Исследование ответов Алисы AI: почему большинство выдаёт ровно 5 или 10 источников
Анализ 455 ответов Алисы AI показал, что количество ссылок в ответах резко сосредоточено в двух пиках — 5 и 10, что свидетельствует о фиксированном шаблоне формирования выдачи.
В недавнем исследовании, опубликованном на Habr AI, автор измерил, как нейросеть Алиса (Yandex) формирует ответы на типичные вопросы о компаниях. Для этого был составлен набор одинаковых вопросов, которые несколько раз прогоняли через различные модели ИИ, включая Алису. На каждом шаге сохранялся не только текст ответа, но и список источников, указанных под ним.
За несколько месяцев накопилось 455 ответов Алисы AI и 2976 ссылок. При анализе распределения количества источников в ответе оказалось, что оно неравномерно: наблюдаются два ярко выраженных пика — пять и десять источников. Других значений почти нет, что указывает на жёстко зашитый шаблон генерации списка ссылок.
Автор отмечает, что такие «пиковые» значения могут быть следствием внутренней политики Yandex по ограничению количества внешних ссылок в ответе, а также попыткой обеспечить компактность и читаемость выдачи. При этом одинаковые наборы вопросов часто приводят к одинаковым спискам источников, что снижает разнообразие информации и повышает риск повторения устаревших или некорректных данных.
Исследование подчёркивает важность промпт‑инжиниринга и необходимости проверки источников вручную, особенно в профессиональных задачах, где точность информации критична. Авторы призывают разработчиков и студентов учитывать такие ограничения при построении систем, использующих Алису в качестве поискового помощника.
Для AI‑разработчиков это сигнал, что Алиса использует фиксированный набор шаблонов для формирования списка источников, что ограничивает разнообразие и актуальность данных. При построении приложений на базе Алисы стоит предусмотреть дополнительный слой валидации и, при необходимости, подменять ссылки собственными источниками, чтобы избежать повторения устаревшей информации.