Новый инструмент для бенчмаркинга AI‑агентов с интеграцией в Airflow

Команда Sber AI объявила о запуске собственного инструмента для бенчмаркинга AI‑агентов. Проект возник в рамках разработки GraphRAG‑системы, где каждый эксперимент (изменения в поиске по графу, обработке контекста, внешних интеграциях) требовал отдельной конфигурации и независимого тестирования. Чтобы избавиться от «блокирующего» процесса, инженеры создали платформу, позволяющую одновременно запускать несколько вариантов агентов и сравнивать их метрики в реальном времени.

Ключевые особенности:

• Архитектура микросервисов: каждый агент упакован в Docker‑контейнер, а результаты собираются в центральный хранилище метрик.
• Надёжность: автоматический перезапуск задач, мониторинг таймаутов и алёрты через Prometheus + Grafana.
• Интеграция с Airflow: DAG‑ы описывают сценарии тестов, позволяют планировать эксперименты и масштабировать их на кластере Kubernetes.
• Поддержка конфигураций: YAML‑файлы задают параметры агентов, что упрощает репликацию экспериментов.
• Отчёты и визуализация: встроенный UI показывает сравнение точности, latency, стоимости запросов и потребление ресурсов.

Инструмент опубликован под лицензией Apache 2.0 на GitHub (https://github.com/sberbank-ai/agent‑benchmark). В репозитории уже доступны примеры DAG‑ов, Docker‑образы и набор тестовых наборов данных. По заявлению авторов, первая публичная версия поддерживает до 20 параллельных вариантов агентов и более 10 000 запросов в час.

Для разработчиков это значит, что процесс экспериментального тестирования станет быстрее, а сравнение гипотез – более объективным. Платформа уже привлекла интерес внутри Sberbank и открыта для внешних сообществ, что может ускорить стандартизацию бенчмарков в индустрии AI‑агентов.