Olmo‑core 3: открытая масштабируемая платформа для обучения больших MoE‑моделей
Новый релиз Olmo‑core 3 от AllenAI и Hugging Face открывает полностью открытый стек для обучения масштабных Mixture‑of‑Experts, ускоряя обучение в десятки раз и снижая затраты.
Что такое Olmo‑core 3?
Olmo‑core 3 – это третье поколение открытой инфраструктуры для обучения large Mixture‑of‑Experts (MoE) моделей, разработанное совместно AllenAI и Hugging Face. Проект полностью открыт на GitHub (link) и построен на PyTorch + HuggingFace Accelerate, что делает его cloud‑agnostic и готовым к работе как на локальных кластерах, так и в публичных облаках.
Ключевые возможности
- Поддержка моделей до 1 трлн параметров с более чем 64 экспертами одновременно.
- Dynamic expert routing и memory‑efficient sharding, позволяющие сократить потребление GPU‑памяти на 40 % по сравнению с Olmo‑core 2.
- Трёхкратное ускорение обучения в типовых бенчмарках (пример: 400 млн токенов/ч на 8 A100 vs 120 млн токенов/ч в v2).
- Интеграция с HuggingFace Hub, автоматическое логирование метрик и поддержка PEFT‑подходов.
- Полный набор CLI‑утилит и Python SDK для простого развертывания и мониторинга.
Почему это важно?
Olmo‑core 3 устраняет главный барьер для исследователей и компаний – сложность и стоимость обучения MoE‑моделей. Открытый код и детальная документация позволяют быстро стартовать даже небольшим командам, а гибкая архитектура упрощает экспериментирование с новыми экспертными топологиями.
Где посмотреть?
- Официальный блог‑пост: https://huggingface.co/blog/allenai/olmocore3
- Репозиторий и инструкции: https://github.com/huggingface/olmocore3
- Документация: https://huggingface.co/docs/olmocore3
Olmo‑core 3 уже доступен в бета‑режиме; первые пользователи отмечают значительное сокращение расходов и ускорение экспериментов.
Для разработчиков AI Olmo‑core 3 открывает путь к обучению действительно гигантских MoE‑моделей без необходимости инвестировать в собственные суперкомпьютеры. Студенты и исследователи получат доступ к передовым экспериментам, а компании смогут быстрее прототипировать и выводить на рынок новые сервисы, экономя до 40 % бюджета на инфраструктуру.
