Qwen3-4B-Instruct обучен разговору на карачаево‑балкарском: опыт адаптации LLM к малоресурсному языку

В статье от Habr AI описывается практический опыт дообучения большой языковой модели (LLM) на одном из самых малоресурсных тюркских языков – карачаево‑балкарском. В качестве базовой модели была выбрана Qwen3‑4B‑Instruct‑2507, обладающая 4 млрд параметров и открытой архитектурой, что позволило гибко управлять процессом обучения.

Команда столкнулась с типичными проблемами низкоресурсных языков: отсутствие готовых корпусов, токенизаторов и морфологических инструментов. Чтобы решить их, разработали собственный морфологический процессор, который генерирует разнообразные формы слов (склонения, спряжения) и тем самым расширяет тренировочный набор. На его основе был построен токенизатор «с нуля», обученный на собранных и аугментированных данных, чтобы корректно разбивать слова, характерные для карачаево‑балкарского.

Для обучения использовали около 150 М токенов чистого текста, собранного из открытых источников, и дополнительно синтетические примеры, полученные через аугментацию морфологии. Балансировка «сырых» и «сгенерированных» данных позволила избежать переобучения на редких паттернах. Обучение проходило в 3 этапа: предварительная адаптация токенизатора, дообучение модели на реальном корпусе и финальная калибровка с помощью LoRA‑адаптеров.

Результаты показали, что модель способна вести диалог на карачаево‑балкарском с уровнем грамматической корректности, сравнимым с базовыми русскоязычными версиями. Все инструменты (мorph‑processor, токенизатор, скрипты обучения) опубликованы в открытом репозитории на HuggingFace, что делает процесс воспроизводимым для других малоресурсных языков.

Таким образом, статья демонстрирует практический путь от отсутствия инфраструктуры к полностью функционирующей LLM‑поддержке редкого языка, подчеркивая важность кастомных предобработок и небольших, но гибких моделей.