Cursor открыл Mixture-of-Kittens: открытое ядро ускоряет обучение ИИ до 2,4×
Cursor выпустил открытый MoK — ядро для MoE‑моделей, которое ускоряет обучение в 2,37 раз и повышает производительность в продакшене на 41 % (с 761 до 1070 токенов/сек).
Что произошло?
Компания Cursor объявила об открытии проекта Mixture-of‑Kittens (MoK) – открытого ядра, объединяющего вычисления MoE‑слоя и передачу данных между 72 видеокартами Nvidia GB300 NVL72 в единый «гигантский GPU‑ядро». По заявлению разработчиков, такой подход позволяет ускорить обучение MoE‑моделей в 2,37 раз по сравнению с лучшими публичными решениями.
Ключевые цифры
- Ускорение обучения: до 2,4× (по внутренним тестам).
- Повышение пропускной способности в продакшене: с 761 до 1070 токенов в секунду на одну видеокарту – рост 41 %.
- Аппаратная платформа: 72‑GPU‑стойка Nvidia GB300 NVL72.
- Текущий проект: на базе MoK уже обучается модель Composer от Cursor.
Почему это важно?
MoK представляет собой полностью открытый код, доступный на GitHub, что делает передовые оптимизации MoE‑слоёв доступными широкой аудитории исследователей и разработчиков. В отличие от проприетарных решений, MoK позволяет адаптировать ядро под собственные кластеры и экспериментировать с новыми архитектурами без лицензий.
Ссылка на источник
Habr AI: «Смесь котят»: как Cursor создал открытое ядро, ускоряющее обучение ИИ до 2.4 раз
Открытый MoK открывает путь к более быстрым экспериментам с MoE‑моделями, снижая барьер входа для исследователей, которым нужен доступ к крупномасштабным кластерам. Однако требуемая инфраструктура (72‑GPU‑стойка) остаётся доступной лишь крупным игрокам, так что для большинства практикующих будет актуален лишь часть преимуществ через симуляцию или облачные сервисы. Тем не менее, открытый код ускорит развитие экосистемы MoE‑технологий.
