Claude Code читает пересказ страниц: что изменилось для веб‑владельцев
Сравнительный разбор 24 135 запросов в Claude и Claude Code показал, что второй инструмент работает с пересказом контента, а не с полной страницей. Какие боты Anthropic посещают ваш сайт, что закрыть в robots.txt и как отследить их в логах – три практических вывода.
В новой статье на Habr AI автор провёл масштабный эксперимент: 24 135 запросов к двум инструментам Anthropic – Claude и Claude Code – и сравнил их ответы. Главное отличие Claude Code – вместо полной HTML‑страницы он получает лишь её пересказ, что сильно меняет паттерны запросов к сайту.
По результатам тестов почти каждый показатель (время отклика, количество запросов к серверу, объём передаваемых данных) разошёлся. Claude Code запрашивает в среднем на 68 % меньше байт, а время отклика сократилось до 0,42 с по сравнению с 0,78 с у обычного Claude. При этом количество уникальных запросов к API выросло на 12 %, что свидетельствует о более интенсивном использ‑овании пересказов вместо полной загрузки страниц.
Для владельцев сайтов статья выделила три практических вывода:
1️⃣ Какие боты Anthropic посещают ваш сайт – в логах видно, что оба инструмента используют пользователь‑агенты Anthropic-Assistant и Claude-Code.
2️⃣ Что закрыть в robots.txt – рекомендуется запретить индексацию динамических API‑эндпоинтов, которые не нужны для пересказа, например /api/* и /search/*.
3️⃣ Как проверить заходы по access‑логу – фильтрация по User‑Agent и анализ частоты запросов позволяют быстро обнаружить аномалии и настроить лимиты.
Подробный разбор доступен на Habr AI: https://habr.com/ru/articles/1082118/. Автор также поделился скриптом для автоматической проверки логов и примером корректного robots.txt.
Эти выводы помогут оптимизировать нагрузку на сервер и избежать лишних запросов от AI‑агентов, сохранив при этом доступность контента для реальных пользователей.
Для разработчиков и администраторов сайтов это значит, что Claude Code может снизить нагрузку, но требует отдельного контроля доступа. Обновите `robots.txt`, чтобы ограничить индексацию ненужных эндпоинтов, и настройте мониторинг логов по User‑Agent. Это простая мера, которая предотвратит неожиданное увеличение трафика от AI‑ботов и сохранит ресурсы сервера.
