STARM: маленькая модель, обгоняющая большие LLM в алгоритмических рассуждениях
Исследователи Сбера представили фреймворк STARM, позволяющий небольшим моделям решать задачи рассуждения лучше крупных LLM за счёт инструментов, мультимодальности и латентных представлений.
В статье на Habr AI коллеги из Сбербанка представили новый подход к построению моделей алгоритмического рассуждения – Single Task Algorithmic Reasoning Models (STARM). По их словам, к 2026‑му простого текстового предсказания уже недостаточно для качественного решения большинства пользовательских запросов. Необходима интеграция с внешними инструментами (калькуляторы, базы данных, API), поддержка мультимодальных входов (изображения, графики) и, в некоторых случаях, работа в латентных представлениях сети.
STARM – это фреймворк, позволяющий обучать рекурсивные reasoning‑модели, которые последовательно вызывают инструменты, формируют промежуточные представления и возвращаются к собственному контексту для уточнения ответа. Авторы продемонстрировали, что небольшая модель (около 1,5 ГБ параметров) в сочетании с STARM превосходит крупные LLM (10‑30 ГБ) по точности на наборе benchmark‑задач, включающих арифметику, логические головоломки и визуальные вопросы.
В статье подробно описаны архитектурные детали: модульный пайплайн, API‑интеграция через LangChain‑совместимый слой, обучение с подкреплением на основе обратной связи от инструментов и использование диффузных латентных пространств для визуального рассуждения. Код и предобученные модели опубликованы в открытом репозитории на Hugging Face, что делает подход доступным для исследователей и практиков.
По мнению авторов, STARM открывает путь к более экономичным и гибким системам AI, где небольшие модели могут выполнять сложные задачи без необходимости масштабировать их до миллиардов параметров.
Для разработчиков это шанс сократить затраты на инференс, используя компактные модели с поддержкой инструментов. Студенты смогут экспериментировать с рекурсивными пайплайнами и латентными представлениями без доступа к гигантским LLM. Однако потребуется внимательная настройка интеграций и обеспечение безопасности вызываемых инструментов.
