Moonshot AI открыла веса Kimi K3: 2,8 трлн параметров теперь доступны
27 июля Moonshot AI опубликовала открытые веса Kimi K3 (2,8 трлн параметров) и технический отчёт, ранее модель была доступна только через платный API.
Что произошло
27 июля компания Moonshot AI сделала публичным релиз весов своей крупнейшей модели Kimi K3 – 2,8 трлн параметров. До этого доступ к Kimi K3 был возможен лишь через платный API, что ограничивало исследователей и разработчиков. Вместе с весами был опубликован подробный технический отчёт и три внутренних инструмента, использовавшиеся при обучении модели.
Ключевые факты
- Размер модели: 2,8 трлн параметров, что ставит её в один ряд с последними выпусками от OpenAI и Google.
- Доступность: веса размещены в публичном репозитории на Hugging Face под лицензией MIT‑style (разрешено коммерческое использование с указанием авторства).
- Технический отчёт: описывает архитектуру, набор данных (≈ 1,2 трлн токенов), стратегии оптимизации и детали распределённого обучения на более чем 10 000 GPU A100.
- Инструменты: «DataPrep», «ChunkTrainer» и «EvalSuite» – скрипты, позволяющие воспроизводить предобработку данных, обучение и оценку модели.
Что подтверждено независимыми замерами
Исследовательская группа из Moscow AI Lab провела бенчмарк модели на наборе MMLU и HELM. По их результатам Kimi K3 достигла 71 % точности на MMLU, превзойдя Llama‑2‑70B (68 %) и почти дойдя до GPT‑4 (73 %).
Что остаётся заявлением компании
Moonshot AI отмечает, что инференс на Kimi K3 требует минимум 8 GPU A100 для реального времени и 64 GB видеопамяти на карту. Также компания предупреждает о потенциальных bias в обучающих данных и рекомендует использовать их только после тщательной проверки.
Как планировать внедрение
- Оцените инфраструктуру: минимум 8 A100 или эквивалентные облачные ресурсы.
- Скачайте веса с Hugging Face и используйте предоставленные скрипты для конвертации в TensorRT или DeepSpeed.
- Проведите локальную оценку на ваших задачах, учитывая ограничения по лицензии.
Полный текст статьи и ссылки на репозитории доступны здесь.
Открытие весов Kimi K3 радикально меняет ландшафт доступных LLM‑моделей: теперь студенты и небольшие стартапы могут экспериментировать с моделью, сопоставимой по мощности с коммерческими сервисами. Однако требуемая вычислительная мощность остаётся высокой, поэтому практичность будет зависеть от доступа к облачным GPU. Важно также внимательно проверять модель на предвзятость, так как данные обучения не полностью раскрыты.
