Обновление моделей: Gemini перестал совпадать с другими ИИ в поиске источников
После перехода на свежие версии три ИИ‑модели почти не пересекаются в выдаче источников (overlap = 0.02), а Gemini впервые показывает локальные результаты по запросу «мастер в Иркутске».
В предыдущей статье автор показал, что три крупные ИИ‑модели (Gemini, ChatGPT‑4 и Claude‑3) выдавали одинаковые списки источников при запросе о мастерах в Иркутске. Причина – единый плагин веб‑поиска, использующий один и тот же индекс. После публикации читатели указали, что тест был проведён на устаревших версиях моделей.
Автор повторил эксперимент на актуальных релизах. Результат оказался неожиданным: пересечение наборов источников между Gemini и двумя другими моделями упало до 0,02 % – фактически ноль. Это демонстрирует, как быстро меняется «корпус знаний» у моделей после обновлений и как сильно зависит от версии конкретного провайдера.
Кроме того, обнаружилось, что поколение модели влияет на географическую осведомлённость. Свежая Gemini, в отличие от своих предшественников, смогла найти восемь локальных сервисов в Иркутске, отвечающих запросу «мастер в Иркутске». Другие модели по‑прежнему предлагали лишь общие ссылки, часто из Одессы и Киева.
Эти наблюдения важны для разработчиков, использующих ИИ‑плагины в продуктах: обновления могут радикально менять качество и релевантность выдачи. При построении систем, где точность источников критична (например, юридические или медицинские сервисы), необходимо регулярно проверять влияние новых релизов.
Ссылка на оригинальную публикацию: https://habr.com/ru/articles/1070978/
Для AI‑разработчиков это сигнал: нельзя полагаться на «один и тот же» плагин как гарантию стабильности результатов. Регулярные тесты после обновлений помогут избежать неожиданного падения качества. А новые возможности Gemini в локальном поиске открывают путь к более персонализированным сервисам, особенно в региональных проектах.
