Hugging Face представил бенчмарк агентных способностей открытых моделей
Новый набор тестов оценивает, насколько модели умеют взаимодействовать с пользовательскими инструментами и выполнять автономные задачи.
В блоге Hugging Face от 18 июня 2026 г. опубликован материал Is it agentic enough? Benchmarking open models on your own tooling. Авторы представили открытый бенчмарк, который позволяет измерять «агентность» моделей – их способность интегрироваться в пользовательские пайплайны, вызывать внешние API и принимать решения без постоянного человеческого контроля.
Бенчмарк построен вокруг нескольких типовых сценариев: планирование задач, работа с файловой системой, вызов сторонних сервисов (например, поиск в интернете) и управление интерактивными чат‑ботами. Для каждого сценария предоставляются наборы входных запросов, ожидаемые действия и метрики точности, времени отклика и количества ошибок.
В рамках первой версии Hugging Face протестировал более 20 открытых моделей, включая Llama 3‑8B, Mistral‑7B‑Instruct, Gemma‑2B‑IT и новые модели от OpenChat. Результаты показали, что пока лидируют крупные модели с 30 млн параметров и более, однако небольшие модели (7‑10 млн) тоже демонстрируют достойный уровень агентности при правильной настройке инструментов.
Все материалы – набор данных, скрипты оценки и подробные отчёты – доступны на GitHub в репозитории huggingface/agentic-benchmark. Пользователи могут легко адаптировать тесты под свои собственные инструменты, добавляя кастомные функции и метрики.
Таким образом, Hugging Face предоставляет сообществу единый способ сравнивать открытые модели по агентным способностям, что ранее было разрозненно и сложно воспроизводимо.
Для разработчиков это значит, что теперь можно объективно сравнивать, насколько выбранная модель справится с автоматизацией задач в вашем продукте. Бенчмарк ускорит подбор моделей для агентных систем и поможет выявить слабые места в их интеграции. Однако стоит помнить, что метрики агентности не заменяют реальное тестирование в продакшене – они лишь указывают на потенциальные возможности.
