Малые языковые модели: реальные плюсы и ограничения SLM

В статье на Habr ML рассматриваются малые языковые модели (Small Language Models, SLM) — решения с параметрами от 50 млн до 10 млрд, такие как DistilBERT, LLaMA‑7B, Mistral‑7B. По сравнению с крупными LLM, SLM требуют в 5–10 раз меньше вычислительных ресурсов и позволяют запускать inference на обычных GPU или даже CPU, что открывает возможности для локального развертывания и снижения расходов на облако.

Где SLM действительно полезны

• Классификация и извлечение сущностей: задачи с фиксированным набором меток (spam‑детекция, тональность, NER) работают стабильно, часто без потери точности.
• Встроенные чат‑боты и справочные системы: при ограниченном контексте (до 2 кБ) небольшие модели дают быстрый отклик и могут работать офлайн.
• Edge‑устройства и IoT: модели до 300 млн параметров помещаются в память смартфонов, позволяя реализовать локальный ассистент без передачи данных в облако.

Ограничения

• Сложные цепочки рассуждений и «emergent» способности, характерные для моделей >30 млн параметров, всё ещё недоступны.
• Контекстный лимит: большинство SLM поддерживают лишь 2–4 кБ контекста, что мешает работе с длинными документами.
• Генерация креативного текста: качество часто отстаёт от LLM, появляются «поверхностные» ответы и более частые галлюцинации.

Почему SLM не вытеснят LLM Авторы указывают на масштабные законы обучения: рост параметров сопровождается экспоненциальным улучшением способности к обобщению и мультизадачности. Кроме того, крупные модели обучаются на более разнообразных датасетах, что делает их более устойчивыми к новым запросам. Пока SLM могут служить вспомогательным слоем, но полностью заменить LLM в продуктах с требованием к гибкости и глубине понимания они не способны.

Подробнее читайте в оригинальном материале: https://habr.com/ru/companies/vtb/articles/1086030/