JetBrains представила Mellum2: 12‑млрд‑параметровая MoE‑модель для кода
Новая модель Mellum2 от JetBrains — 12 млрд параметров в архитектуре Mixture‑of‑Experts, оптимизирована для генерации кода и доступна в Hugging Face Hub.
Компания JetBrains совместно с Hugging Face объявила о запуске Mellum2 — 12‑млрд‑параметровой модели в архитектуре Mixture‑of‑Experts (MoE). Модель обучалась на более чем 200 млн фрагментах кода из открытых репозиториев, охватывая 30+ языков программирования, включая Python, Java, Kotlin и JavaScript. Благодаря MoE‑подходу только часть экспертов (около 1/8) активируется при каждом запросе, что позволяет достичь качества, сопоставимого с 70‑млрд‑параметровыми монолитными моделями, но при значительно меньших вычислительных затратах.
Mellum2 доступна в публичном репозитории Hugging Face Hub (https://huggingface.co/JetBrains/mellum2) под лицензией Apache 2.0, что упрощает её интеграцию в IDE, CI‑пайплайны и облачные сервисы. Для удобства JetBrains выпустила плагин для IntelliJ IDEA, позволяющий использовать модель в режиме автодополнения кода без выхода из редактора. Кроме того, модель поддерживает ускоренный инференс через Hugging Face Inference API и оптимизирована под GPU‑и CPU‑инференс с динамическим роутингом экспертов.
По предварительным бенчмарк‑результатам, Mellum2 превзошла GPT‑3.5‑Turbo в задачах автодополнения кода на 15 % и в генерации функций на 22 % при том же бюджете вычислений. JetBrains планирует дальнейшее развитие MoE‑семейства, а также открытый конкурс на улучшение маршрутизации экспертов, который стартует в июле 2026 года.
Mellum2 открывает новые возможности для создания интеллектуальных помощников в IDE: высокая точность при умеренных ресурсных затратах делает её привлекательной для стартапов и крупных компаний. Однако разработчикам придётся учитывать специфичность MoE‑архитектуры – требуется настройка роутинга и мониторинг нагрузки, чтобы избежать деградации производительности.
