Как измерять качество ИИ‑агентов: новые метрики RAGAS (Часть 2)
В статье рассматриваются две ключевые метрики оценки LLM‑ответов и суммаризации, демонстрируется их работа внутри библиотеки RAGAS и практические примеры применения.
Продолжая серию «Инженерия качества», во второй части авторы сосредотачиваются на практических метриках, позволяющих перейти от субъективных оценок к измеримому контролю качества ИИ‑агентов. Первая метрика – Answer Correctness (AC) – универсальный способ проверить, насколько ответ LLM соответствует ожидаемому смыслу. Она использует эмбеддинги для сравнения векторного представления ответа и эталонного текста, учитывая как семантику, так и стилистические нюансы.
Вторая метрика – Summarization Consistency (SC) – специально разработана для задач суммаризации. SC измеряет степень совпадения ключевых фактов и структуры между генерируемой сводкой и оригиналом, используя комбинацию ROUGE‑L, BERTScore и собственных токен‑схем RAGAS.
Все метрики реализованы в открытой библиотеке RAGAS (https://github.com/AnswerDotAI/ragas). Библиотека предоставляет готовые функции evaluate_answer и evaluate_summary, а также удобный CLI и интеграцию с LangChain и Haystack. Пример кода показывает, как за несколько строк кода собрать набор тестовых запросов, получить ответы от любой модели (OpenAI, Anthropic, Gemini) и автоматически вывести таблицу с метриками, их средними значениями и доверительными интервалами.
Авторы подчеркивают, что метрики работают «из коробки», но требуют калибровки пороговых значений под конкретный домен. В статье также обсуждаются ограничения: метрики чувствительны к качеству эталонных данных и могут переоценивать ответы, если в обучающем наборе присутствует шум.
Для разработчиков и студентов курсов это практический набор инструментов, который позволяет построить пайплайн CI/CD для LLM‑моделей, автоматически проверяя качество на каждом этапе разработки.
Новые метрики из RAGAS дают возможность количественно оценивать ответы и суммаризацию, что критично для CI‑процессов в проектах с LLM. Их открытый код и интеграция с популярными фреймворками упрощают внедрение в учебные и продакшн‑среды. Однако стоит помнить о необходимости качественных эталонов и периодической переоценки порогов, иначе метрики могут вводить в заблуждение.
