Агентный RAG и бенчмарк TRuST: новые возможности многопроходного поиска

В статье на Habr AI представлена подробная оценка агентного Retrieval‑Augmented Generation (RAG) на многошаговых задачах нового бенчмарка TRuST (Test of Retrieval Understanding and Search Tasks). TRuST предназначен для измерения способности LLM‑агентов выполнять последовательные поисковые запросы, обрабатывать результаты и формировать окончательный ответ.

Эволюция архитектуры

• RAG‑v1: простая цепочка «запрос‑поиск‑генерация».
• Agentic RAG‑v2: добавлен планировщик задач, память о предыдущих шагах и динамический выбор инструментов.
• Agentic RAG‑v3 (NaFanya): открытая библиотека, построенная на LangChain, поддерживает автоподбор инструментов, обратную связь и адаптивные промпты.

Сравнение моделей (по точности выполнения задач TRuST):

• GPT‑4o – 68 %;
• Claude 3.5 – 71 %;
• Gemini 1.5 – 66 %;
• Mistral‑Large – 59 %. С использованием NaFanya и Agentic RAG‑v3 лучшие модели достигли 78 % точности, что почти вдвое превышает базовый RAG‑v1 (45 %).

Практические правила промптов для сложных поисковых задач:

1. Явно задавайте цель и ограничения в первом шаге.
2. Используйте chain‑of‑thought для разбивки задачи на подзадачи.
3. Применяйте инструмент‑selector: «если ответ не найден, выполнить поиск в базе X».
4. Добавляйте ошибко‑обработку: «если результат пустой, повторить запрос с другими ключевыми словами».
5. Сохраняйте контекст в памяти агента для последующего использования.

Нафаня – открытый фреймворк, который автоматизирует эти правила, предоставляя готовые шаблоны цепочек, интеграцию с Elastic, Pinecone и локальными векторными базами. Проект уже доступен на GitHub под лицензией MIT.

Статья полезна разработчикам, исследователям и студентам, желающим построить более надёжные RAG‑агенты и оценить их на реальном бенчмарке.