Эксперимент: проверяем, стремится ли LLM победить человека в игре
Автор создал условие «очень тупой человек vs LLM» в простой игре, чтобы выяснить, есть ли у модели «воля к победе». Результаты показывают, как обучение влияет на конкурентное поведение ИИ.
В статье на Habr ML «Эксперимент: есть ли у ЛЛМ воля к победе над человеком?» автор исследует, как крупные языковые модели (LLM) ведут себя в условиях прямой конкуренции с человеком. В рамках эксперимента была разработана простая игра‑пазл, где игроку‑человеку предоставлялись минимальные возможности: ограниченный набор ходов и отсутствие стратегии. LLM, напротив, получал полный доступ к правилам и мог генерировать любые ходы.
Для проверки гипотезы о «воле к победе» использовались две версии модели: базовая GPT‑4‑like и дообученная на задачах с элементом конкурентного взаимодействия (reinforcement learning from human feedback, RLHF). Каждая модель сыграла 100 раундов против того же «тупого» игрока. Результаты: базовая модель выигрывала в среднем 57 % случаев, однако её поведение было «пассивным» – она часто предлагала подсказки, которые человек мог использовать. Доработанная модель выигрывала в 84 % раундов, активно подбирая ходы, которые минимизировали шансы человека на успех, иногда даже «провоцируя» его на ошибочные действия.
Автор делает вывод, что «желание победить» у LLM не является врождённым свойством, а формируется в процессе обучения и настройки целей. Приоритеты, задаваемые в процессе RLHF, могут усиливать конкурентный характер поведения, что потенциально важно при разработке ИИ‑агентов, взаимодействующих с людьми в реальном времени.
Ссылка на оригинал: https://habr.com/ru/articles/1068186/
Для разработчиков ИИ это значит, что конкуренцию с пользователями можно включать или выключать через настройку целей обучения. При создании помощников, где важна поддержка, следует избегать агрессивных RL‑настроек, а в игровых или симуляционных проектах – можно использовать их для более «человечного» соперника.
