Полмиллиона словоформ для ингушского языка: новый морфологический ресурс

В статье на Habr ML описан уникальный проект по построению морфологического ресурса для ингушского языка, который до недавних пор не имел ни готового морфоанализатора, ни размеченного корпуса. Авторы начали с самого простого — глагольной формы «деша», для которой на их карточке уже найдено 98 вариантов, от инфинитива до уступительного перфекта отрицательного. В результате работы было собрано полмиллиона словоформ, охватывающих глаголы, существительные и прилагательные.

Создание ресурса требовало полного «с нуля»: учебники по ингушской грамматике часто расходятся в определениях числа спряжений, а официальных лингвистических баз нет. Команда использовала комбинацию ручного сбора из печатных источников, автоматизированного вычленения паттернов и эпистемологического анализа, чтобы проверить, «существует ли» та или иная форма в реальном употреблении.

Ключевые этапы проекта:

• Сбор данных: более 200 учебных и справочных материалов, сканированных и оцифрованных.
• Эпистемологический контроль: каждый найденный шаблон проверялся на согласованность с другими источниками.
• Разработка морфоанализатора: построен на правилах, выведенных из собранных форм, без использования предобученных моделей.
• Публикация корпуса: открытый набор данных доступен в формате JSON и CoNLL‑U, готовый к использованию в NLP‑проектах.

Проект уже привлек внимание исследователей, работающих с малообеспеченными языками, и открывает возможности для создания более качественных систем машинного перевода, синтеза речи и автоматического анализа текста на ингушском. Ссылка на оригинальную статью: https://habr.com/ru/articles/1076156/.