Валидатор llms.txt: 64 теста и анализ запросов ИИ‑ботов

Что это такое?

С 2024 года в корень сайта рекомендуется помещать файл llms.txt – аналог robots.txt, но ориентированный на крупные языковые модели. Идея проста: вместо парсинга HTML‑разметки LLM‑боты могут сразу получить структурированную информацию о содержимом сайта.

Новый инструмент

В статье на Habr AI автор представил генератор и валидатор llms.txt, написанные на Python. Валидатор проверяет файл по 64 тестовым сценариям, охватывающим синтаксис, поддерживаемые директивы и корректность значений.

Тесты и результаты

• 64 теста покрывают все официальные директивы (например, model, description, tags).
• При запуске валидатор обнаружил 7 типичных ошибок в готовых примерах, которые могли бы привести к неправильному восприятию контента LLM‑ботами.
• Автор также собрал лог запросов к llms.txt с помощью публичных аналитических сервисов. За последние 30 дней файл запрашивали лишь ~0,3 % всех известных LLM‑ботов, что свидетельствует о низкой текущей популярности формата.

Практическая польза

Несмотря на скудные запросы, валидатор оказался полезным для разработчиков:

• быстрый дебаг при интеграции llms.txt;
• возможность автоматизировать генерацию файла из CMS;
• проверка совместимости с различными моделями (ChatGPT, Claude, Gemini и др.).

Полный код и инструкция доступны в репозитории автора: https://github.com/author/llms-validator (примерно 200 строк кода).

Что дальше?

Автор призывает сообщество делиться метриками запросов и расширять набор директив, чтобы формат стал более полезным для поисковых и генеративных систем.

---

Источник: Habr AI – Написал валидатор llms.txt на 64 тестах