Непостоянство ответов ИИ‑поиска: три запроса о мастерах на дом дали разные списки компаний
Три одинаковых запроса к нейросети о мастерах на дом вернули 9, 12 и 7 компаний, при этом только 5 названий совпали. Это ставит под вопрос надёжность метрик «упоминаний» в AI‑поиске.
В статье на Habr ML автор провёл простой, но показатель‑ный эксперимент. Он задал один и тот же запрос нейросети‑поиску: «мастер на дом в Москве». Запрос был отправлен три раза подряд, без изменения формулировки и без перезапуска модели.
Результаты:
- Первый запрос вернул список из 9 компаний.
- Второй запрос — 12 компаний.
- Третий запрос — 7 компаний.
Из всех 15 уникальных названий лишь 5 повторились во всех трёх ответах. Более того, первый и третий ответы не имели ни одного общего сайта. Такое расхождение показывает, что «отчёт «вас упоминают в 20 % ответов»», построенный на одной итерации, может полностью состоять из случайных совпадений. При этом рост упоминаний до 25 % за месяц тоже может быть иллюзией, если не учитывать дисперсию результатов.
Автор раскрывает, как сам попался в ловушку, полагаясь на единственный запрос, и публично отзывает свою прежнюю цифру. В статье обсуждаются причины нестабильности: стохастический характер генерации ответов, разнообразие источников данных и отсутствие детерминированного ранжирования. Предлагаются практические рекомендации – выполнять несколько запросов, агрегировать результаты и использовать статистические методы для оценки достоверности метрик.
Полный текст и детали эксперимента доступны на сайте Habr ML: https://habr.com/ru/articles/1072786/
Такой уровень вариативности выводов ИИ‑поиска заставляет задуматься о надёжности метрик упоминаний, которые часто используют в SEO и аналитике. Для разработчиков и студентов важно проводить множественные запросы и агрегировать ответы, а не полагаться на одну выдачу. Статистический подход поможет отделить случайные совпадения от реального сигнала. Кроме того, при построении сервисов, зависящих от AI‑поиска, следует предусмотреть механизм контроля качества и отклонений.
