Claude Fable обогнал GPT‑5.6 в бенчмарке MirrorCode: 64 % vs 20 %
Исследователи Epoch AI обновили лидерборд MirrorCode, где новый Claude Fable 5 решил 64 % задач, а GPT‑5.6 Sol — лишь 20 %.
Что произошло?
Исследовательская группа Epoch AI опубликовала обновление лидерборда MirrorCode – специализированного бенчмарка, измеряющего способность больших языковых моделей (LLM) переписывать программы с нуля. В новой версии таблицы появились результаты двух флагманских моделей: Claude Fable 5 от Anthropic и GPT‑5.6 Sol от OpenAI.
Ключевые цифры
- Claude Fable 5 решил 64 % из 500 тестовых задач.
- GPT‑5.6 Sol справился лишь с 20 % задач.
- Разрыв в три раза превышает средние различия, наблюдаемые в других публичных тестах, где модели часто находятся в пределах 5‑10 % друг от друга.
Почему так?
Пока официальных комментариев от Anthropic и OpenAI нет, но аналитики Epoch AI указывают на несколько факторов:
- Фокус на код‑ориентированных данных – Claude Fable 5 обучалась на расширенном наборе репозиториев GitHub, включая редкие языки и низкоуровневый код.
- Новая архитектура «Fable‑Core», позволяющая лучше захватывать контекст программных зависимостей.
- Тонкая настройка под MirrorCode – команда Anthropic провела несколько раундов RLHF (reinforcement learning from human feedback) с участием профессиональных разработчиков.
Что дальше?
Epoch AI планирует добавить новые метрики, такие как время генерации и потребление памяти, а также расширить набор задач до 1000 примеров. Ожидается, что результаты будут регулярно обновляться, что сделает MirrorCode важным индикатором прогресса в автоматическом программировании.
Ссылки
- Оригинальная статья на Habr ML: https://habr.com/ru/articles/1066254/
- Leaderboard MirrorCode (Epoch AI): https://epoch.ai/mirrorcode
- Документация Claude Fable 5: https://anthropic.com/claude-fable
- Технические детали GPT‑5.6 Sol: https://openai.com/gpt-5-6
Для разработчиков и студентов это сигнал, что модели, ориентированные на код, могут уже существенно ускорять рутинные задачи переписывания и рефакторинга. Claude Fable 5 демонстрирует, как целенаправленная дообучаемость и расширенный код‑корпус дают конкурентное преимущество. Однако пока GPT‑5.6 отстаёт, стоит следить за дальнейшими обновлениями Benchmark’а и проверять, как новые модели справляются с реальными проектами, а не только с синтетическими тестами.
