Надёжный LLM‑судья: двухконтурный гейт и CI‑инварианты против галлюцинаций
В статье раскрыт паттерн сдерживания LLM‑судей, описаны CI‑инварианты и враждебные фикстуры для обнаружения галлюцинаций, а также разбор трёх типичных багов, которые могли привести к ложноположительным результатам.
Что предложили авторы
Статья на Habr ML «LLM‑судье нельзя верить на слово» описывает, как построить двухконтурную систему оценки (grounded‑judge‑gate) и обеспечить её надёжность с помощью CI‑инвариантов.
Архитектурный паттерн сдерживания
- Классическая нормализация модели получает право вето от отдельного «вето‑модуля». Если нормализатор выдаёт сомнительный результат, вето‑модуль может отклонить его, требуя дополнительную проверку.
- Такая двойная проверка снижает риск галлюцинаций и повышает прозрачность процесса.
CI‑инварианты и враждебные фикстуры
- В CI‑pipeline добавляются grounded‑judge‑gate tests, которые автоматически проверяют, что ответы модели соответствуют фактам.
- Для обнаружения скрытых ошибок используются adversarial fixtures – специально сконструированные запросы, провоцирующие модель на ошибку.
Разбор трёх реальных багов
- Отсутствие вето‑модуля – система принимала любые ответы, что привело к массовым ложноположительным срабатываниям.
- Переподгонка под тесты – модель «запомнила» фиксированные запросы и начала выдавать корректные ответы только в тестовой среде.
- Утечка данных – в процессе нормализации использовались данные, которые уже присутствовали в обучающем наборе, нарушая принцип изоляции.
Авторы показывают, как исправить каждый из багов и какие метрики использовать для контроля надёжности.
Практический вывод: внедрение двухконтурного гейта и CI‑инвариантов позволяет существенно уменьшить количество ложных срабатываний и делает процесс оценки LLM‑моделей более предсказуемым.
Статья опубликована 24 июля 2026 г., автор – команда исследователей Habr ML.
Для разработчиков LLM‑судей и студентов AI‑курсов это напоминание, что слепая доверчивость к генеративным моделям опасна. Двухконтурный гейт и автоматические CI‑тесты дают практический способ отлавливать галлюцинации ещё до продакшена, повышая надёжность систем.
