Ошибки в разметке галлюцинаций LLM: детектор без обучения нашёл слепую зону судей
Исследователи собрали training‑free детектор галлюцинаций из шести готовых LLM, получили высокие метрики и обнаружили, что в популярном бенчмарке корректные ответы ошибочно помечены как галлюцинации.
В статье на Habr ML [1] описан эксперимент, в котором команда исследователей создала детектор галлюцинаций без дополнительного обучения. Для этого они объединили шесть готовых языковых моделей (GPT‑5, Claude, Gemini, Mistral, DeepSeek и одну откры‑source модель) в единую систему, использующую их согласованные выводы как сигнал о правдоподобности ответа.
Полученные метрики превзошли большинство существующих специализированных решений: точность детектора достигла 87 %, а F1‑score – 0,84 при тестировании на нескольких публичных наборах данных. Однако в процессе оценки обнаружилась «загадка»: группа из 112 примеров, которые все шесть моделей однозначно признали корректными, в эталонной разметке бенчмарка помечалась как галлюцинации. На первый взгляд это выглядело как универсальная «слепая зона» LLM‑as‑judge – потенциально переносимый баг, который мог бы ставить под вопрос надёжность всех подобных автоматических оценок.
Авторы провели дополнительный аудит разметки, привлекли независимых экспертов и проанализировали контекст каждого примера. Оказалось, что более 90 % из этих меток действительно были ошибочными: ответы соответствовали запросу, а в разметке их классифицировали как вымышленные из‑за неверного понимания задачи. Это открытие поставило под сомнение качество используемого бенчмарка и подчеркнуло необходимость более строгих процедур валидации разметки.
Работа демонстрирует, как можно построить эффективный детектор галлюцинаций без затрат на обучение и одновременно улучшить качество эталонных наборов данных, что важно для дальнейшего развития LLM‑технологий. Ссылка на оригинальную статью: https://habr.com/ru/articles/1057056/
Для разработчиков LLM‑систем такой подход открывает возможность быстро внедрять проверку на галлюцинации без дорогостоящего fine‑tuning. Кроме того, обнаруженные ошибки в разметке напоминают, что даже популярные бенчмарки требуют регулярного аудита – иначе мы рискуем обучать модели на неверных сигналах.
