Qwen3.8‑Flash‑Next: новая архитектура и тройной прогон бенчей
Qwen 4 заменяет продакшн‑27B, а три прогонки бенчей раскрывают реальную производительность. Обнаружена ошибка в документации про NVFP4A16.
В свежем релизе компании Alibaba Cloud представлена модель Qwen 3.8‑Flash‑Next, построенная на новой архитектуре Qwen 4. По заявкам разработчиков, эта версия позиционируется как замена текущей продакшн‑27B, обещая улучшения в скорости вывода и экономии памяти.
Ключевым моментом, подчеркнутым в статье на Habr AI, стал совет проводить каждый бенчмарк минимум три раза. Авторы показали, что однократный запуск может давать результаты с отклонением до 15 % из‑за динамического распределения ресурсов и кэш‑эффектов. Тройной прогон позволяет усреднить показатели и выявить стабильные узкие места.
В тестах Qwen 3.8‑Flash‑Next продемонстрировал ускорение инференса на 2,8× при тех же 27 B параметрах, а потребление видеопамяти сократилось на 30 % благодаря поддержке NVFP4A16. Однако в официальной документации была обнаружена ошибка: указанный тип NVFP4A16 был описан как «поддерживается только в режиме FP16», тогда как на практике он работает в режиме INT8, что существенно влияет на планирование ресурсов.
Автор статьи сравнил результаты тройного прогона Qwen 4‑Flash‑Next с базовой продакшн‑27B. По средним метрикам модель превзошла предшественника в задачах генерации кода (BLEU +12) и диалоговых систем (ROUGE‑L +9). При этом стоимость инференса в облаке снизилась примерно на 25 %.
Для разработчиков это значит, что переход на Qwen 3.8‑Flash‑Next оправдан, но необходимо учитывать корректировку в документации и проводить многократные бенчмарки для точного планирования ресурсов.
Тройной прогон бенчей стал обязательным: без него можно упустить реальные узкие места. Qwen 3.8‑Flash‑Next предлагает ощутимый прирост скорости и экономию памяти, что выгодно для масштабных сервисов. Ошибка в документации про NVFP4A16 требует внимательности при настройке инференса – лучше проверять типы данных на практике. Переход на новую архитектуру стоит, если ваш пайплайн критичен к задержкам и стоимости облака. Не забывайте обновлять скрипты мониторинга под новые метрики.