IBM Granite 4.2: открытые LLM с улучшенной архитектурой и масштабом
IBM представила серию моделей Granite 4.2 — открытые LLM от 7 B до 70 B параметров, обученные на 2 трлн токенов, с новой архитектурой, повышенной эффективностью и лучшими результатами в бенчмарках.
В блоге Hugging Face IBM анонсировала выпуск новой линейки больших языковых моделей — Granite 4.2. Серия включает четыре модели: Granite‑7B‑Instruct, Granite‑13B‑Instruct, Granite‑34B‑Instruct и Granite‑70B‑Instruct. Все они доступны под лицензией Apache 2.0 и размещены в открытом доступе на Hugging Face Model Hub.
Технические новшества. Granite 4.2 использует модифицированную архитектуру Transformer с улучшенной позиционной эмбеддинг‑схемой и поддержкой контекста до 32 К токенов. Для моделей‑мульти‑эксперт (34B и 70B) внедрён механизм Mixture‑of‑Experts, позволяющий динамически активировать подмножества нейронов и тем самым сократить вычислительные затраты при инференсе. Кроме того, модели оптимизированы под FlashAttention‑2 и поддерживают 4‑бит квантизацию без заметного падения точности.
Объём данных и обучение. Обучение проводилось на 2 трлн токенов, включающих публичные веб‑корпусы, научные статьи, код (GitHub) и специализированные диалоговые наборы. Для инструктивного поведения модели прошли два этапа: предварительное обучение и последующее instruction‑tuning с использованием RLHF‑пайплайна, что улучшило согласованность ответов и снизило токсичность.
Бенчмарки. По результатам MMLU, HumanEval и GSM‑8K Granite 4.2 превзошла предшественницу Granite 3.0 на 5‑12 % в среднем, а 70B‑модель достигла уровня Llama 2 70B в большинстве задач, но при 30 % меньшем потреблении памяти благодаря оптимизациям.
Доступность. Все модели опубликованы на Hugging Face, снабжены скриптами для быстрой загрузки в 🤗 Transformers и интеграцией с 🤗 Accelerate. Пользователи могут сразу же запускать inference в облаке, локально или через сервисы AWS SageMaker, Azure ML и Google Vertex AI.
Перспективы. Открытый характер Granite 4.2 делает её привлекательной для академических исследований, стартапов и крупных компаний, желающих кастомизировать LLM под свои задачи без необходимости платить за проприетарные API.
Granite 4.2 открывает путь к масштабным кастомным решениям без высокой стоимости лицензий. Для разработчиков это шанс быстро прототипировать и дообучать модели под специфические домены, а для студентов – получить доступ к современным LLM для исследований. Однако объём вычислений для 34 B/70 B моделей остаётся высоким, поэтому стоит обратить внимание на квантизацию и сервисы с GPU‑оптимизацией, а также тщательно проверять выводы на токсичность и достоверность.
