ScarfBench: новый бенчмарк для оценки AI‑агентов в миграции Java‑фреймворков
Hugging Face совместно с IBM Research запустили ScarfBench — набор тестов, измеряющий эффективность AI‑агентов при переносе приложений с устаревших Java‑фреймворков на современные.
30 июня 2026 г. Hugging Face и IBM Research объявили о запуске ScarfBench – специализированного бенчмарка, предназначенного для оценки способностей AI‑агентов выполнять миграцию корпоративных Java‑приложений с устаревших фреймворков (например, Struts, Spring 2.x) на современные стеки (Spring Boot, Jakarta EE).\n\nScarfBench состоит из 12 реальных задач, включающих анализ кода, автоматическое генерирование миграционных патчей, валидацию функциональности и оценку производительности после переноса. Для каждой задачи измеряются три ключевых метрики: точность трансформации (Precision), покрытие бизнес‑логики (Coverage) и время выполнения (Latency).\n\nВ первой публичной фазе бенчмарка протестированы пять популярных агентов: OpenAI GPT‑4o, Anthropic Claude 3.5, Google Gemini 1.5, Mistral‑Large и IBM Watson xAI. Результаты показали, что Claude 3.5 достиг лучшего баланса точности и скорости (Precision = 92 %, Latency ≈ 4 сек), тогда как GPT‑4o продемонстрировал наибольшее покрытие бизнес‑логики (Coverage = 88 %). Полный отчёт и набор данных доступны по ссылке https://huggingface.co/blog/ibm-research/scarfbench.\n\nScarfBench открывает возможность сравнивать будущие модели и инструменты миграции, а также служит базой для разработки новых плагинов в IDE и CI/CD‑системах. Организаторы планируют ежегодные обновления набора задач, учитывающие новые версии Java и фреймворков.
Для разработчиков и студентов это значит, что теперь есть объективный способ измерять, насколько эффективно их AI‑агенты справляются с реальными задачами миграции кода. ScarfBench поможет выбрать подходящий инструмент, а также выявить слабые места в текущих моделях, что ускорит внедрение автоматизированных решений в корпоративные проекты.
