Moonshot AI представила Kimi K3: 2,8 трлн параметров, линейное внимание и агенты до миллиона токенов
Новая мультимодальная MoE‑модель Kimi K3 от Moonshot AI имеет 2,8 трлн параметров, активирует 104 млрд на токен и поддерживает контекст до 1 млн токенов. В тестах по программированию обходит Claude Opus 4.8 и GPT‑5.5, но в среднем уступает Fable 5 и GPT‑5.
Что такое Kimi K3?
Moonshot AI анонсировала Kimi K3 – последнюю версию своей мультимодальной модели с Mixture‑of‑Experts (MoE) архитектурой. Модель содержит 2,8 триллиона параметров, но благодаря MoE‑подходу на каждом токене активируется лишь 104 млрд параметров, что сохраняет эффективность вычислений.
Ключевые технические новшества
- Линейное внимание – уменьшает квадратичную сложность традиционного трансформера, позволяя обрабатывать более длинные последовательности.
- Контекст до 1 млн токенов – поддержка агентов, способных работать с огромным объёмом входных данных без потери качества.
- Мультимодальность – модель обрабатывает текст, изображения и аудио, объединяя их в едином представлении.
Производительность в тестах
В специализированных бенчмарках по программированию и работе с инструментами Kimi K3 обходит такие модели, как Claude Opus 4.8, GPT‑5.5, GPT‑5.6 Sol и Claude Fable 5. Однако, согласно техническому отчёту Moonshot, в среднем модель отстаёт от Fable 5 и GPT‑5 по широкому набору задач, включая генерацию кода, понимание естественного языка и мультимодальные запросы.
Доступность
Веса модели уже опубликованы в открытом доступе, а репозиторий с инструкциями по запуску доступен на GitHub (см. Moonshot AI – Kimi K3).
Что дальше?
Moonshot планирует дальнейшее масштабирование MoE‑подхода и улучшение качества в среднем по задачам, а также интеграцию Kimi K3 в свои облачные сервисы для разработчиков.
Kimi K3 демонстрирует, что MoE‑архитектуры позволяют достичь триллионных масштабов без пропорционального роста вычислительных затрат. Для разработчиков это открывает возможности создания агентов с огромным контекстом, но пока средняя производительность отстаёт от лидеров, поэтому стоит внимательно сравнивать модели под конкретные задачи.
