MLE-bench: золото взято, но код исчез
Автор преодолел золотой порог MLE-bench в конкурсе Berkeley RDI, но не смог найти исходный код, вызывая вопросы о воспроизводимости результатов.
В апреле 2026 года участник конкурса агентских соревнований Berkeley RDI объявил, что его агент пересёк золотой порог на MLE-bench – одном из самых жёстких бенчмарков для обучаемых агентов. Достижение было встречено в сообществе как важный шаг вперёд: золотой уровень подразумевает стабильную работу модели на широком спектре задач, от планирования до интерактивного взаимодействия.
Однако, когда Георгий, автор первой статьи на Хабре о своём успехе, попытался опубликовать «тот самый код, который взял золото», он столкнулся с неожиданным препятствием – файл с реализацией агента оказался лишь в временной директории /tmp и уже исчез. Поиск в репозиториях, ветках GitHub и даже в личных архивных папках не дал результата.
В статье «MLE-bench: золото взято, а доказательства остались в /tmp» автор провёл цифровой детективный анализ: сравнил опубликованные метрики с публичными логами, попытался воспроизвести эксперимент на собственных машинах и обнаружил, что без оригинального кода воспроизвести результат практически невозможно. Он также отметил, что в правилах конкурса нет строгого требования к открытой публикации кода, что создаёт «серый» участок в экосистеме репродукции.
Статья служит напоминанием о необходимости прозрачности в AI‑исследованиях. Если результаты не подкреплены открытыми артефактами, их ценность для сообщества резко падает.
Отсутствие открытого кода подрывает доверие к заявленным рекордам и усложняет развитие агентов. Разработчикам стоит требовать публикацию репозитория вместе с результатами, а организаторам – ввести обязательные требования к верификации. Иначе такие «золотые» достижения остаются лишь рекламой, а не практическим прогрессом.
