AI‑краулеры 2026: как robots.txt влияет на видимость в ChatGPT, Claude и Perplexity
Сайт в топ‑3 Google может оставаться невидимым для крупных AI‑поисковиков из‑за запрета в robots.txt. Разбираем, какие правила нужны, чтобы ваш контент попал в ответы ИИ.
В начале 2026 года один из клиентов обратился с вопросом: почему его компания, находящаяся в топ‑3 Google по ключевому запросу, полностью отсутствует в ответах ChatGPT? Индексация в традиционных поисковиках выглядела безупречно – ссылки были проиндексированы, в Google Search Console не было ошибок.
Разбор логов показал, что в файле robots.txt стоял глобальный директив Disallow: / для всех user‑agent, кроме Googlebot и YandexBot. В результате GPTBot, ClaudeBot и PerplexityBot получали HTTP 403 уже на первом запросе и не могли сканировать сайт. Полгода контент оставался невидимым для трёх из четырёх крупнейших AI‑поисковиков, и никто об этом не знал, пока не проверили логи.
Что изменилось в 2026 году? AI‑краулеры стали официально поддерживаться в robots.txt так же, как традиционные поисковые боты. Чтобы ваш сайт был доступен для генеративных моделей, необходимо явно разрешить их user‑agents:
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
Если вы хотите полностью закрыть контент от AI‑моделей, используйте директиву Disallow только для этих агентов. При этом важно помнить, что некоторые модели могут игнорировать robots.txt, если контент уже попал в публичные репозитории или кеши.
Практический совет: регулярно проверяйте доступность сайта через инструменты типа robots.txt Tester в Google Search Console, а также через специальные эндпоинты AI‑краулеров (например, https://api.openai.com/v1/robots.txt).
Подробнее о проблеме и рекомендациях читайте в оригинальном материале на Habr AI: https://habr.com/ru/articles/1063216/
Для разработчиков и SEO‑специалистов это сигнал: AI‑поисковики теперь стали полноценными потребителями контента, и их игнорировать нельзя. Добавление разрешений в robots.txt открывает новые каналы привлечения трафика из чат‑ботов и генеративных систем. Однако стоит внимательно контролировать, какие части сайта вы позволяете сканировать, чтобы избежать утечки конфиденциальных данных. Регулярный аудит robots.txt теперь обязателен в любой стратегии цифрового присутствия.
