MoVA — новая архитектура внимания, расширяющая Mixture of Experts
MoVA – развитие MoE, меняет механизм внимания, повышая эффективность и гибкость моделей. В статье — принципы работы, отличия от классического MoE, цифры и независимые бенчмарки.
В последние годы архитектура Mixture of Experts (MoE) стала одной из самых обсуждаемых тем в сообществе машинного обучения. Примеры вроде Mixtral от Mistral AI и DeepSeek показали, как динамический роутинг позволяет масштабировать модели до сотен миллиардов параметров без пропорционального роста вычислительных затрат.
Однако классический MoE имеет ограничения: роутер принимает решения только на уровне экспертов, а механизм внимания остаётся неизменным, что иногда приводит к избыточному использованию ресурсов и ухудшению качества представлений. В статье на Habr AI представлена MoVA (Mixture of Visionary Attention) – прямая эволюция MoE, где внимание интегрировано в процесс роутинга.
Как работает MoVA?
- Динамический роутер сначала выбирает набор экспертов, как в обычном MoE.
- Затем модуль внимания вычисляет контекст‑зависимые веса для выбранных экспертов, позволяя каждому из них «видеть» более релевантные части входа.
- Итоговое представление формируется как взвешенная сумма выходов экспертов, где веса определяются как комбинацией роутера и внимания.
Что изменилось?
- Более точный роутинг: внимание учитывает не только глобальный контекст, но и локальные детали, что снижает шум от нерелевантных экспертов.
- Сокращение FLOPs: благодаря селективному вниманию модель использует в среднем на 12 % меньше операций при сохранении качества.
- Улучшенные метрики: на бенчмарке MMLU MoVA‑12B превзошёл MoE‑12B на 3.4 % в среднем, а на OpenAI‑Eval – на 2.8 %.
Первые независимые обзоры
Исследователи из Stanford и DeepMind подтвердили, что MoVA демонстрирует более стабильную производительность при низкой плотности активных экспертов (≤ 4 из 16). Кроме того, модель показывает лучшую устойчивость к шуму входных данных.
Полный разбор доступен в статье: MoVA: новая архитектура внимания.
Для разработчиков MoVA открывает путь к более эффективным крупномасштабным системам без линейного роста вычислительных расходов. Студентам стоит обратить внимание на новый механизм роутинга‑внимания, который станет базой будущих курсов по масштабируемым моделям. Однако стоит помнить о повышенной сложностью реализации и необходимости тщательной отладки роутера‑внимания, особенно в распределённых средах.
