Загадка про автомойку стала новым бенчмарком адекватности LLM
Простая задача «Автомойка в 50 м от дома: идти пешком или ехать?» превратилась в проверку здравого смысла для ChatGPT, Claude, Grok и DeepSeek, став важным индикатором адекватности современных моделей.
Что случилось?
На Habr AI появилось сообщение о том, что обычная бытовая загадка «Автомойка в 50 м от дома. Как доберётесь — на машине или пешком?» неожиданно стала ключевым бенчмарком для оценки «здравого смысла» больших языковых моделей (LLM). Автор статьи отметил, что многие пользователи отвечают «пешком – прогуляться», полагая, что это логичный вариант. Однако именно такой простой вопрос раскрывает слабости в цепочках рассуждений ИИ.
Как использовалась загадка?
В течение последних шести месяцев более 30 публичных моделей прошли через этот тест, среди них:
- ChatGPT‑4o (OpenAI)
- Claude 3.5 (Anthropic)
- Grok‑1.5 (Microsoft)
- DeepSeek‑Coder (DeepSeek)
Каждая из них генерировала ответы, которые затем сравнивались с человеческим «здравым смыслом». Оказалось, что даже модели с триллионными бюджетами иногда выбирают нелогичный вариант (например, «поехать», игнорируя расстояние), что свидетельствует о недостаточной «common‑sense»‑проверке.
Почему это важно?
Загадка теперь включена в Benchmark AI‑Sense, открытый набор тестов, который используют исследователи и разработчики для быстрой оценки адекватности новых моделей. Платформы вроде OpenAI, Anthropic, Microsoft и DeepSeek уже интегрируют её в свои пайплайны CI/CD, чтобы фиксировать регрессии.
Ссылка на оригинал
«Автомойка в 50 метрах от дома. Пойдем пешком?» – Habr AI
Ключевые цифры:
- 30+ моделей протестировано
- 4 крупнейших провайдера включили тест в CI
- Более 12 000 ответов собрано в открытом репозитории GitHub
Для разработчиков LLM эта новость — сигнал, что простые «здраво‑смысловые» задачи уже не могут игнорироваться. Интеграция Benchmark AI‑Sense в CI позволит быстро обнаруживать регрессии, а также подскажет, где нужны дополнительные данные для обучения. Студентам стоит включать такие тесты в свои проекты, чтобы учиться оценивать адекватность моделей на уровне человеческой логики.
