GitHub выпустил открытый датасет для мультиязычных моделей ИИ

GitHub объявил о публикации крупного репозиторного датасета, цель которого — упростить создание и обучение мультиязычных моделей искусственного интеллекта. Датасет размещён в открытом репозитории GitHub и лицензирован по CC0‑1.0, что позволяет использовать его без ограничений в коммерческих и научных проектах.

Сборка охватывает более 2 млн текстовых фрагментов, извлечённых из README‑файлов, обсуждений в Issues и Pull Request‑ов более чем из 100 языков. Среди покрываемых языков – английский, испанский, китайский, арабский, хинди, японский и многие редкие локали, что делает набор уникальным ресурсом для обучения моделей, способных понимать и генерировать контент в глобальном масштабе.

Доступ к датасету реализован через Git‑LFS, а также через API GitHub, что упрощает интеграцию в пайплайны машинного обучения. В репозитории предоставлены метаданные о языке, типе документа и контексте использования, а также скрипты для предварительной обработки и конвертации в форматы, совместимые с популярными фреймворками (Hugging Face Datasets, TensorFlow, PyTorch).

GitHub подчёркивает, что набор данных поможет ускорить исследования в области кода‑понимания, автоматизации ревью и создания помощников, работающих в многоязычной среде разработки. Пример использования уже продемонстрирован в открытом проекте, где модель, обученная на этом датасете, смогла автоматически классифицировать запросы в Issues на 12 языках с точностью выше 85 %.

Полный набор и инструкции доступны по адресу https://github.com/github/multilingual-dev-dataset. Команда GitHub приглашает сообщество вносить вклад: добавлять новые репозитории, улучшать разметку и делиться результатами экспериментов.