Девять нейросетей дают готовый список стоматологий в Москве: 4941 ответ и странные детали
В эксперименте 549 запросов к 9 моделям выявлено 94 клиники, 91,7% ответов содержат конкретную клинику, но бренд упоминается лишь в 8,7% случаев.
Исследователи из Habr AI провели масштабный эксперимент, задав девяти популярным нейросетям вопрос «Где в Москве вылечить зуб?». Вместо обычных ссылок на поиск, большинство моделей выдали готовый список стоматологических клиник с адресами и примерными ценами.
Ключевые цифры:
- 549 бытовых запросов, распределённых между 9 моделями;
- получено 4941 ответ (в среднем 9 ответов на запрос);
- в ответах обнаружено 94 уникальных клиники;
- конкретная клиника упомянута в 91,7% всех ответов;
- название бренда встречается лишь в 8,7% ответов, остальные данные получены из страниц клиник;
- одна клиника фигурирует 1694 раза, но её название не названо напрямую;
- половина моделей не использует интернет‑поиск, а генерирует ответы из собственного «знания».
Авторы подробно проанализировали механизмы генерации: модели часто «выуживают» информацию из кэшированных страниц, формируя ответы, похожие на готовый справочник, но без указания источников. Таблицы с распределением клиник по моделям и частотой упоминаний опубликованы в статье.
Вывод: такие ответы могут вводить в заблуждение, создавая иллюзию полной и проверенной информации, хотя источники остаются скрытыми.
Для разработчиков AI‑ассистентов это предупреждение: генерация «списков» без явных ссылок может привести к распространению неточных данных. При построении систем, работающих с запросами о сервисах, важно включать проверку источников и прозрачность.
