BenchMIRT: новый взгляд на измерения LLM‑бенчмарков
AllenAI представил BenchMIRT — набор метрик, раскрывающих, что действительно измеряют популярные LLM‑бенчмарки, и открыл открытый репозиторий для переоценки моделей.
В блоге HuggingFace опубликована статья AllenAI о BenchMIRT – новом фреймворке, который пытается ответить на вопрос: что именно измеряют текущие LLM‑бенчмарки?
BenchMIRT (Benchmark for Measuring In‑Depth Reasoning and Transfer) объединяет более 30 метрик, разделённых на три группы: информационная полнота, логическое следование и переносимость знаний. Авторы провели масштабный аудит пяти популярных бенчмарков (GLUE, SuperGLUE, MMLU, BIG‑Bench, HumanEval) и обнаружили, что более 60 % их оценок зависят от поверхностных паттернов, а не от реального понимания текста.
Ключевые результаты исследования:\
- Показатели корреляции между традиционными метриками и BenchMIRT‑метриками составляют лишь 0.42, что указывает на слабую связь.\
- Топ‑5 моделей по GLUE значительно отстают в категории «логическое следование» (разница до 15 % точности).\
- Переносимость измеряется через набор задач‑перекрёстков, где даже крупные модели теряют до 20 % эффективности.
BenchMIRT доступен как открытый репозиторий на GitHub (https://github.com/allenai/benchmirt) и интегрирован в HuggingFace Eval Framework, что позволяет сразу добавить новые метрики в пайплайн оценки. Авторы также предоставляют интерактивный дашборд, где можно сравнить любые модели по каждому из измерений.
Эта работа ставит под вопрос привычный подход к публикации «state‑of‑the‑art» результатов и предлагает более детализированный набор критериев, которые помогут разработчикам понять слабые места своих систем.
BenchMIRT показывает, что текущие лидирующие бенчмарки часто переоценивают LLM‑модели. Для студентов и разработчиков это сигнал: стоит добавить BenchMIRT‑метрики в свои эксперименты, чтобы получить более правдивую картину возможностей модели и избежать ложных оптимизаций.
