Qwen и Grok решают советские загадки: кто лучше справляется?

Что проверяли

Исследователи из сообщества Habr ML провели эксперимент, в котором сравнили два современных больших языковых модели — Qwen‑2‑7B от Alibaba и Grok‑1 от xAI — с результатами живых людей. Тест включал две известные советские загадки на внимательность: «Кот в мешке» и «Курочка‑несушка», где участникам требовалось обнаружить скрытые детали в тексте и выбрать правильный ответ из нескольких вариантов.

Как проходил эксперимент

• Каждый участник (модель или человек) получал одинаковый набор вопросов без подсказок.
• Для моделей использовались стандартные запросы без дополнительного «prompt‑тюнинга», чтобы оценить их «из коробки» способности к внимательному чтению.
• Человеческая группа состояла из 120 добровольцев разного возраста и уровня образования.

Результаты

| Участник | Точность на «Кот в мешке» | Точность на «Курочка‑несушка» | |----------|----------------------------|---------------------------------| | Qwen‑2‑7B | 71 % | 68 % | | Grok‑1 | 84 % | 81 % | | Люди | 92 % | 89 % |

Модель Grok‑1 превзошла Qwen‑2‑7B, но обе модели отставали от среднего человеческого результата. Авторы отметили, что модели часто «пропускали» мелкие детали, заменяя их более общими выводами, тогда как люди лучше справлялись с контекстуальными ловушками.

Выводы авторов

• Текущие LLM‑модели всё ещё имеют ограниченную «внимательность» к мелким, но критически важным деталям текста.
• Для задач, требующих точного анализа, рекомендуется использовать дополнительный пост‑процессинг или цепочки запросов (Chain‑of‑Thought).

Полный материал доступен на Habr ML.