ITBench-AA: Передовые модели набрали менее 50% в первом бенчмарке агентных IT‑задач
Новый бенчмарк ITBench-AA от IBM и Artificial Analysis оценил крупные модели на агентные задачи в корпоративных ИТ. Лучшие модели показали результат ниже 50%.
В совместном исследовании IBM Research и Artificial Analysis представлен ITBench‑AA – первый открытый бенчмарк, ориентированный на агентные задачи в корпоративных ИТ‑операциях. В набор тестов вошли 12 типовых сценариев: автоматическое распределение тикетов, диагностика инцидентов, мониторинг системных метрик, планирование обновлений и пр. Для оценки использовались как синтетические, так и реальные данные из крупных компаний‑клиентов.
В тестировании приняли участие ведущие «фронтирные» модели: GPT‑4o, Claude 3.5, Gemini 1.5, Llama 3, Mistral‑8B, DeepSeek‑Chat и несколько специализированных моделей от HuggingFace. По итогам экспериментов ни одна модель не превысила 50 % точности в ключевых метриках (F1‑score, точность выполнения задачи). Лучший результат – 48,7 % у GPT‑4o, средний показатель по всем моделям составил 35,2 %.
Авторы подчёркивают, что текущие модели демонстрируют ограниченные возможности в планировании, управлении контекстом и интеграции с внешними ИТ‑сервисами. Несмотря на впечатляющие языковые способности, модели пока не способны полностью автономно решать сложные корпоративные задачи без человеческого вмешательства.
Полный отчёт, детали методологии и открытый набор данных доступны на блоге HuggingFace: https://huggingface.co/blog/ibm-research/itbench-aa. Исследование открывает новые возможности для разработки более «агентных» систем и служит базой для будущих улучшений в области AI‑операций (AIOps).
Для разработчиков AI это сигнал, что текущие крупные модели ещё не готовы к полной автоматизации ИТ‑операций. Нужно сосредоточиться на улучшении планировочных способностей, интеграции с инструментами и контекстуальном понимании. Студентам курсов AIOps ITBench‑AA станет ценным ресурсом для исследований и разработки новых агентных подходов.