Исследование: шесть LLM‑судей дают лишь 1,9 независимого голоса
Консенсус из шести LLM‑судей улучшает точность, но корреляция ошибок делает их эффективными лишь как 1,9 независимых эксперта.
В статье на Habr ML автор провёл эксперимент с шестью инструктивными LLM‑судьями, представляющими четыре исследовательские лаборатории из трёх стран. Каждый судья оценивал одну и ту же задачу в рамках проекта RAGTruth – набор тестов, проверяющих способность моделей правильно «восстанавливать» факты из внешних источников.
Главный вывод: голосование большинства (консенсус) действительно превосходит любой одиночный судью. Однако автор задался вопросом, насколько независимы голоса участников. Для этого была рассчитана средняя корреляция ошибок между парами судей (ρ̄ ≈ 0,42). Такая положительная корреляция свидетельствует о том, что модели часто совершают одинаковые ошибки.
Используя формулу эффективного количества независимых голосов (N_eff = N / (1 + (N‑1)·ρ̄)), где N = 6, получено N_eff ≈ 1,9. Иными словами, шесть судей в совокупности дают лишь почти два независимых мнения. Это объясняет, почему консенсус, хотя и лучше одиночного, всё равно ограничен в надёжности.
Автор подчёркивает, что при построении систем, полагающихся на LLM‑оценку, важно учитывать не только количество моделей, но и их разнообразие: разные архитектуры, обучающие данные, токен‑промпты. Иначе рост количества судей не приводит к линейному улучшению качества.
Полный текст статьи доступен по ссылке: https://habr.com/ru/articles/1071830/
Для разработчиков AI‑систем консенсус из нескольких LLM‑моделей может повысить точность, но без достаточного разнообразия он эквивалентен лишь двум независимым экспертам. При проектировании пайплайнов стоит комбинировать модели из разных лабораторий, менять промпты и обучающие наборы, иначе рост количества судей будет давать diminishing returns.
