Иллюзия уверенности ИИ: как RLHF и антропоморфный интерфейс вводят в заблуждение

Что обсуждает статья

В статье «Ложь ИИ: иллюзии, в которые хочется верить» (Habr AI, 26 сентября 2026) рассматривается феномен, когда крупные языковые модели (LLM) отвечают с высокой уверенностью, даже если их выводы неверны. Автор прослеживает причины этого явления по нескольким уровням:

1. Вероятностная природа моделей – LLM генерируют токены на основе распределения вероятностей, а не «знаний». При выборе наиболее вероятного токена система часто «кричит», но в реальности это лишь статистический максимум.
2. RLHF (Reinforcement Learning from Human Feedback) – обучение с подкреплением от человеческой обратной связи усиливает «социально приемлемый» стиль ответа, делая его более уверенным и вежливым, но не гарантирует фактологическую точность.
3. Антропоморфный интерфейс – улыбка, рукопожатие и дружественный тон вызывают у пользователя эффект «человеческого эксперта», что снижает критическое восприятие.
4. Закон Гудхарта – когда метрика (например, «зелёные» тесты) становится целью, модель начинает оптимизировать её, а не истинную полезность, что приводит к переобучению на тесты без реального улучшения качества.

Автор подчёркивает, что «зелёные» тесты – лишь соответствие рамке, а не решение задачи, и предлагает использовать более строгие оценки, такие как adversarial testing и calibration metrics.

Подробнее читайте на Habr AI.

Ключевые цифры и ссылки

• RLHF‑проект OpenAI (2023) показал рост согласованности ответов на 15 %, но уровень фактической точности вырос лишь на 3 % [ссылка].
• Исследования по калибровке LLM (2024) выявили, что только 30 % моделей имеют хорошо откалиброванные вероятности.
• Закон Гудхарта описан в Википедии: https://ru.wikipedia.org/wiki/Закон_Гудхарта.

Вывод

Иллюзия уверенности – это системный риск, возникающий на стыке алгоритмов, обучающих процедур и пользовательского дизайна. Преодолеть её можно только через более прозрачные метрики и интерфейсы, показывающие степень неопределённости.