ChatGPT признан лучшей среди пяти LLM с доступом к интернету

Что проверяли

В статье на Habr ML автор задал один и тот же бытовой вопрос пяти крупным языковым моделям, у каждой из которых включён доступ к интернет‑поиску: ChatGPT, Claude, Gemini, Mistral и DeepSeek.

Как проходил эксперимент

• Вопрос был сформулирован нейтрально, без названий моделей и без подсказок, чтобы исключить предвзятость.
• Каждая модель получила одинаковый контекст и возможность выполнить поиск в реальном времени.
• Ответы были собраны и проанализированы на предмет само‑оценки и упоминания конкурентов.

Итоги

| Модель | Упомянула себя | Упомянула ChatGPT | Общая оценка | Примечание | |--------|----------------|-------------------|--------------|------------| | ChatGPT | ✅ | — | Лучший | Само‑рекомендация «я считаюсь одной из лучших». | Claude | ❌ | ✅ | Лучший | Сосредоточилась на внешних критериях, но выделила ChatGPT. | Gemini | ❌ | ✅ | Лучший | Отметила репутацию ChatGPT в индустрии. | Mistral | ❌ | ✅ | Лучший | Привела примеры успешных кейсов ChatGPT. | DeepSeek | ❌ | ✅ | Лучший | Указала на популярность ChatGPT среди пользователей.

Все модели назвали ChatGPT лучшей, а лишь ChatGPT сама себя упомянула. Никакая из остальных не попыталась «перетянуть одеяло» на себя.

Почему это важно

• Самооценка моделей: большинство LLM избегают саморекламы, полагаясь на объективные метрики.
• Влияние доступа к интернету: возможность проверять факты в реальном времени усиливает уверенность в ответах, но также может приводить к конформизму.
• Перспектива для разработчиков: при построении диалоговых систем стоит учитывать, как модели формируют свои «оценочные» ответы.

Читать оригинальную статью на Habr ML