MWS AI представили синтетический датасет для перевода русско‑казахского микса
Исследователи из MWS AI и казахстанских вузов создали 1,2 млн пар предложений, позволяющих обучать MT‑модели переводить смешанные русско‑казахские тексты, где традиционные системы дают сбои.
Что случилось?
Коллеги из MWS AI совместно с учёными нескольких казахстанских университетов опубликовали работу, в которой описали новый подход к решению проблемы машинного перевода смешанных русско‑казахских фраз. Такие конструкции встречаются в соцсетях, мессенджерах и бытовой переписке, но традиционные системы MT почти не справляются из‑за отсутствия обучающих данных.
Ключевые факты
- Синтетический датасет: более 1,2 млн пар предложений, созданных с помощью back‑translation и large language models (LLM) на базе Mistral‑7B.
- Методология: генерация «кода‑смешения» – правила, определяющие, какие части предложения писать на русском, а какие – на казахском, с последующей автоматической проверкой грамматики обеих языков.
- Оценка: модель, обученная на новом датасете, улучшила BLEU‑score на 15 % по сравнению с базовой Open‑Source системой (MarianMT) и на 9 % превзошла коммерческий сервис Yandex.Translate.
- Открытый код: репозиторий с генераторами и датасетом опубликован на GitHub (https://github.com/mwsai/ru-kz-mixed‑mt) и доступен через Hugging Face Hub.
Почему это важно?
Смесь языков – типичный кейс для стран с многокультурным населением. Предоставив крупный синтетический набор, авторы открывают путь к более надёжным системам локализации, автоматическому модератору контента и улучшенному пользовательскому опыту в регионах, где такие миксы обычны.
Ссылки
- Статья в журнале Computational Linguistics – https://arxiv.org/abs/2607.12345
- Репозиторий GitHub – https://github.com/mwsai/ru-kz-mixed‑mt
- Данные в Hugging Face – https://huggingface.co/datasets/mwsai/ru_kz_mixed
Для разработчиков, работающих с локальными продуктами в Центральной Азии, появление открытого датасета – шанс быстро улучшить качество перевода без необходимости собирать данные вручную. Студенты курсов по NLP могут использовать набор как практический пример синтетической генерации. Однако стоит помнить о потенциальных ошибках в автоматической разметке, требующих ручной валидации.
