Честный RAG eval set: как собрать 100‑300 кейсов без иллюзий в метриках
В статье описан практический подход к построению небольшого, но репрезентативного набора тестов для RAG, позволяющий избежать завышенных цифр оценки и увидеть реальные проблемы retrieval‑модулей.
В предыдущей части серии авторы исследовали влияние квантизации эмбеддингов на точность поиска, сравнивая с полным fp32‑поиском. Хотя такой замер показывает, ломает ли квантизация существующий retrieval, он оставляет слепое пятно: можно сохранить 99 % выдачи исходного эмбеддера и всё равно плохо находить нужные документы в конкретном домене. Внешние бенчмарки, даже сильные, этого не гарантируют – примером служит BEIR, который измеряет обобщённую эффективность, но не отражает специфичность реального применения.
Статья «Честный RAG eval set» предлагает методику создания собственного небольшого, но репрезентативного набора тестовых кейсов (100‑300 запрос‑документ пар) для оценки Retrieval‑Augmented Generation. Основные шаги:
- Определение домена – выбираем ограниченный набор источников (корпус, сайт, корпоративные документы).
- Генерация запросов – используют как ручные, так и автоматические подходы (LLM‑подсказки, частотный анализ).
- Разметка релевантности – привлекаем экспертов или крауд‑сорсинг, фиксируя «полностью релевантно», «частично» и «не релевантно».
- Валидация – проверка согласованности разметки (Cohen’s κ ≥ 0.8) и удаление дублирующих запросов.
- Формирование метрик – расчёт Recall@k, MRR и nDCG на собранном наборе, сравнение с результатами на BEIR.
Авторы публикуют открытый репозиторий с инструкциями, скриптами на Python и готовый набор примеров для английского и русского языков. Эксперименты показывают, что на их честном наборе разница между базовым BM25 и современными dense‑retriever‑моделями может достигать 15 % в Recall@10, тогда как на BEIR разница выглядит менее значительной.
Методика позволяет разработчикам быстро собрать собственный eval‑сет, адаптированный под их данные, и получить более правдивую картину эффективности RAG‑проектов.
Для разработчиков RAG‑систем и студентов, изучающих retrieval, такой набор – обязательный инструмент: он раскрывает слабые места моделей на реальных данных, а не на абстрактных бенчмарках. Создание собственного eval‑сета требует усилий по разметке, но открывает путь к более надёжным продуктам и научным публикациям. Кроме того, небольшие наборы (100‑300 кейсов) позволяют быстро проводить эксперименты без больших затрат ресурсов.
