Claude Sonnet 5.5 обыграл Opus 5.5 и Fable 5.1 в пошаговой стратегии

В статье на Habr AI описан эксперимент, в котором разработчик онлайн‑игры «Стратегикон» поставил три топовых языковых модели — Claude Sonnet 5.5, Opus 5.5 и Fable 5.1 — в роль агентов‑игроков в пошаговой стратегии на гексагональном поле. Игра требовала построения экономики, управления войсками, дипломатии с соседями и принятия решений о нарушении договоров.\n\nС конца августа по начало октября команда провела более 200 партий, чередуя роли моделей и фиксируя ключевые метрики: победный процент, среднее количество ходов до победы, эффективность использования ресурсов и количество дипломатических соглашений. Claude Sonnet 5.5 выиграл 62 % всех матчей, опередив Opus 5.5 (28 %) и Fable 5.1 (10 %). При этом Sonnet показал лучшую экономическую эффективность — на 15 % больше ресурсов в среднем к середине игры, а также более гибкую дипломатическую стратегию, нарушая договоры только в критических моментах.\n\nИнтересно, что результаты не совпадают с традиционными бенчмарк‑оценками, где Opus и Fable часто лидируют по общим метрикам «производительности». Авторы связывают это с тем, что игровые задачи требуют более глубокого планирования и контекстного понимания, где небольшие модели могут быть лучше оптимизированы под конкретный сценарий. Полный набор данных и скрипты эксперимента опубликованы в открытом репозитории GitHub, что позволяет другим исследователям воспроизвести и расширить тесты.\n\nТаким образом, эксперимент демонстрирует, что в сложных интерактивных задачах размер модели не всегда определяющий фактор, а важнее — способность к последовательному рассуждению и адаптивному принятию решений.