MoE‑модели: как 17 B активных параметров обгоняют 70 B плотных
Mixture‑of‑Experts позволяет активировать лишь часть параметров, благодаря чему модели с 17 B активных параметров превосходят плотные 70 B, экономя GPU‑ресурсы.
В статье на Habr AI подробно разобрана архитектура Mixture‑of‑Experts (MoE) и показано, почему современные открытые флагманы всё чаще переходят к «разреженному» вычислению. В MoE‑модели параметров может быть сотни миллиардов, но в каждый момент активируется лишь небольшая подмножина – так называемые эксперты. Это позволяет достичь эффективности плотных моделей при существенно меньших затратах на память и вычисления.
Главный пример – Qwen 3.5 от Alibaba Cloud, объявленная как 397 B‑модель, но благодаря MoE‑структуре её активная часть составляет около 17 B параметров. При генерации текста Qwen 3.5 демонстрирует скорость и качество, сопоставимые с 70 B‑плотными моделями, при этом требуя лишь 1‑2 GPU A100 вместо 8‑10, необходимых для аналогичных dense‑моделей.
Почему это работает? Специализированный роутер выбирает несколько экспертов, наиболее релевантных текущему контексту, а остальные остаются «спящими». Такая динамика снижает нагрузку на видеопамять и ускоряет обучение: исследователи отмечают сокращение времени обучения на 30‑40 % и снижение энергопотребления до 25 % от традиционных подходов.
Открытый софт‑стек (HuggingFace Transformers, DeepSpeed, Megatron‑LM) уже поддерживает MoE, и в ближайшие месяцы ожидается появление новых моделей с активными параметрами от 10 B до 30 B, способных конкурировать с текущими 100 B‑плотными решениями.
Ссылка на оригинал: https://habr.com/ru/companies/cloud_ru/articles/1069008/
MoE‑подход открывает путь к масштабированию без экспоненциального роста расходов – студенты и разработчики могут экспериментировать с «гигантскими» моделями, используя обычные серверы. Однако роутинг и балансировка экспертов требуют дополнительного инженерного внимания, а отладка может стать сложнее.