Семь AI‑поисковиков, два запроса — ни одного общего источника
Исследование показало, что семь популярных AI‑поисковиков почти не пересекаются в цитируемых источниках, а три модели дают одинаковые списки из‑за единого плагина.
В статье на Habr AI автор провёл эксперимент, сравнив результаты семи AI‑поисковиков (ChatGPT‑Search, Claude‑Web, Gemini‑Browse и др.) по двум типичным запросам: «к кому обратиться» и «как решить проблему с ноутбуком». Каждый сервис вернул от пяти до десяти доменов, которые он считает релевантными.
Ключевые цифры:
- 7 AI‑поисковиков, 2 запроса.
- 0 общих источников между всеми сервисами.
- 3 модели (от разных разработчиков) выдали полностью совпадающие списки, потому что используют один и тот же веб‑поисковый плагин.
Автор выделил пять основных слабостей методики сравнения:
- Разные форматы вывода (список доменов vs. короткие ответы) усложняют автоматический парсинг.
- Не учитывается степень «глубины» обработки — некоторые сервисы агрегируют ответы из нескольких запросов.
- Плагины к внешним поисковикам (Google, Bing) могут быть одинаковыми, что приводит к иллюзорной разнице.
- Отсутствие единого стандарта оценки релевантности делает сравнение субъективным.
- Время выполнения запросов варьируется, что влияет на доступность актуальных источников.
Эти результаты ставят под вопрос текущую практику использования AI‑поисковиков как единственного источника знаний. Если три разных продукта полагаются на один и тот же плагин, пользователь получает лишь иллюзию разнообразия, а не реальное покрытие информации.
Полный текст исследования доступен по ссылке: https://habr.com/ru/articles/1068918/.
Для разработчиков и студентов это значит, что полагаться только на ответы AI‑поисковиков рискованно. При построении систем, использующих такие сервисы, стоит проверять источники вручную или интегрировать несколько независимых поисковых модулей, чтобы избежать «одного плагина» и обеспечить более широкое покрытие информации.
