LLM‑судья в поддержке: дважды меняем формулу вердикта
Команда OpenAgents построила LLM‑судью для оценки запросов, обнаружила разрыв между текстовыми метриками и реальными вызовами, ввела показатель «фантомных эскалаций» и пересчитала вердикт.
Что произошло
В рамках проекта поддержки AI‑агента команда OpenAgents создала LLM‑судью – модель, которая читает диалог между клиентом и ботом и выдает вердикт, насколько запрос решён. Изначально судья оценивал только текстовую часть диалога и ставил 18 / 20 баллов.
Проблема
При проверке реальных вызовов инструментов (например, автоматическое создание тикетов) тот же судья дал лишь 8 / 20. Оказалось, что текстовые проверки считают «правдоподобный» ответ верным, даже если бот не выполнил нужное действие. Это привело к разрыву между метрикой «правильность ответа» и фактической полезностью.
Как исправляли
- Первая правка – добавили в формулу штраф за отсутствие вызова внешних инструментов. Баллы упали, но метрика стала более консервативной.
- Вторая правка – ввели собственный показатель «процент фантомных эскалаций»: измеряется, насколько слова бота согласованы с его внутренними флагами и реальными действиями. Этот показатель позволил выявить случаи, когда бот обещал решить проблему, но фактически ничего не сделал.
Итоги
После двух итераций LLM‑судья стабилизировался на уровне ≈ 14 / 20, а «фантомные эскалации» сократились с 23 % до 7 %. Команда планирует дальше автоматизировать сбор данных о вызовах инструментов и открывает доступ к метрикам для внешних исследователей.
Для разработчиков AI‑агентов это показывает, что оценка только по тексту сильно переоценивает качество. Включение реальных действий и метрики «фантомных эскалаций» делает валидацию более надёжной, но требует инфраструктуры для логирования вызовов. Такой подход поможет избежать ложных положительных результатов и ускорит вывод более эффективных ботов.
