OpenAI обнаружила шум в SWE‑Bench Pro: надёжность оценки кодинга под вопросом
В новом исследовании OpenAI показала, что популярный бенчмарк SWE‑Bench Pro содержит значительный шум, из‑за чего модели программирования могут получать завышенные оценки.
OpenAI опубликовала подробный анализ, в котором разоблачены системные проблемы в SWE‑Bench Pro – одном из самых широко используемых бенчмарков для оценки способностей моделей генерировать и исправлять код. Авторы исследования обнаружили, что около 30 % запросов в наборе тестов содержат шумовые сигналы – ошибки в формулировке задач, неоднозначные критерии оценки и даже дублирующиеся решения, которые искажают метрики точности.
В результате модели, такие как GPT‑4‑Turbo и Claude 2, получали завышенные оценки до 15 % по сравнению с более чистыми подмножествами данных. OpenAI предлагает несколько рекомендаций: пересмотр критериев валидации, внедрение строгих проверок на дублирование и публикацию открытых репозиториев с аннотированными ошибками.
Полный текст блога доступен по ссылке: https://openai.com/index/separating-signal-from-noise-coding-evaluations. В нём также обсуждаются планы по созданию нового, более надёжного бенчмарка, который будет учитывать обнаруженные недостатки и предоставит прозрачные метрики для исследователей и практиков.
Для разработчиков AI‑моделей и студентов, изучающих программирование с помощью ИИ, это важное напоминание о необходимости критически оценивать результаты и не полагаться полностью на одну метрику при измерении качества кода.
Для разработчиков AI это сигнал пересмотреть метрики при обучении кодирующих моделей. Студентам курсов стоит быть осторожнее, полагаясь на результаты SWE‑Bench Pro. Ожидаются новые, более строгие бенчмарки, а пока — критический анализ текущих метрик.
