Qwen 4: новый подход к обработке контекста и экономии памяти

В статье Habr AI представлено раннее архитектурное превью новой платформы Qwen 4 от Alibaba Cloud. Основная идея – изменить способ, которым трансформерные блоки работают с контекстом, чтобы уменьшить потребление памяти и увеличить длину обрабатываемого текста.

Новые механизмы\

• GDN + QSA (Gated Dynamic Normalization + Query‑Side Attention) – гибридный слой, который динамически регулирует нормализацию и распределение внимания, позволяя модели фокусироваться на релевантных токенах без полного пересчёта всех пар.\
• Gated Residual – модуль, который пропускает часть информации через «запирающие» гейты, сокращая количество сохраняемых активаций и тем самым экономя ОЗУ.\
• 51 B‑gram эмбеддинги – расширенный словарь, включающий n‑gram представления до 51‑разрядных комбинаций, что повышает способность модели запоминать длинные фразы и улучшает качество генерации.
  
  Сравнение с Qwen 3.8 27B
  Бенчмарки показывают, что Qwen 4 при том же количестве параметров (≈27 B) удваивает эффективный контекстный диапазон до 64 К токенов, одновременно снижая пиковый расход памяти на 30 %. На наборе MMLU модель превзошла Qwen 3.8 на 3,2 % в среднем, а на задачах кодогенерации – на 4,1 %.
  
  Локальный запуск
  Авторы предоставили инструкцию по запуску модели на одном GPU RTX 4090 с 24 ГБ VRAM, используя оптимизацию DeepSpeed‑ZeRO‑3. При этом время инференса увеличилось лишь на 12 % по сравнению с Qwen 3.8, что делает Qwen 4 практически готовой к экспериментам в исследовательских проектах.
  
  Перспективы
  Технологии GDN+QSA и Gated Residual могут стать базой для будущих «длинных» LLM, позволяя разработчикам работать с большими контекстами без масштабных вычислительных кластеров. Статья завершает призыв к сообществу протестировать модель в открытом репозитории и поделиться результатами.