Открыт Open Agent Leaderboard: новый бенчмарк оценки LLM‑агентов от Hugging Face и IBM Research

13 мая 2026 года Hugging Face и IBM Research объявили о запуске Open Agent Leaderboard – первого открытого бенчмарка, ориентированного на автономные LLM‑агенты. В отличие от традиционных тестов на генерацию текста, лидерборд измеряет производительность агентов в реальных сценариях: веб‑поиск, автоматическая генерация кода, извлечение данных из таблиц, многопользовательские диалоги и планирование действий.

Для каждого сценария определён набор метрик: уровень успеха (success rate), время отклика, затраты токенов и показатели безопасности (например, количество нежелательных запросов). Все агенты подключаются через единый API, а результаты автоматически собираются в публичный репозиторий на GitHub (https://github.com/huggingface/open-agent-leaderboard).

На момент публикации в таблице лидируют:

• IBM Team‑1 Agent – 92 % успеха, среднее время 1.8 с, 0.45 $ за запрос;
• Meta Llama‑2‑Agent – 89 % успеха, 2.1 с, 0.38 $;
• OpenAI GPT‑4‑Turbo‑Agent – 88 % успеха, 1.9 с, 0.42 $;
• Anthropic Claude‑3‑Agent – 86 % успеха, 2.3 с, 0.40 $.

Сообщество может подавать свои модели через простой процесс регистрации, после чего агент будет протестирован на всех задачах и получит место в публичном рейтинге. Организаторы также предоставляют инструменты для локального воспроизведения тестов и детальные гайды по оптимизации агентов под метрики лидерборда.

Более подробная информация, методика и список задач доступны в блоге Hugging Face: https://huggingface.co/blog/ibm-research/open-agent-leaderboard.