Claude Opus 4.7 обещает 1 М токенов, но полезных только 300 тыс.: падение MRCR до 32 %
Anthropic признали, что новый Opus 4.7 теряет эффективность в длинных контекстах: MRCR упал с 78 % до 32 %, а практический объём полезных токенов сократился до 300 тыс.
В начале мая Кангвук Ли, Chief AI Officer Krafton, опубликовал в X (Twitter) разбор возможностей нового Claude Opus 4.7 от Anthropic. На первый взгляд модель поддерживает контекст до 1 млн токенов, что в два раза превышает предыдущий Opus 4.6. Однако, как показала реальная проверка, «доступно» — не значит «полезно». По данным system card Anthropic, раздел §8.7.2, метрика MRCR (Mean Retrieval Correctness Rate) для Opus 4.7 упала с 78,3 % (Opus 4.6) до 32,2 %. Это значит, что только около 300 000 токенов из заявленного миллиона действительно участвуют в качественном поиске информации.
Anthropic официально советует использовать Opus 4.6 как fallback‑модель при работе с задачами, требующими long‑context retrieval. При этом Opus 4.6 оказывается в два раза медленнее, что создаёт компромисс между скоростью и точностью.
В дополнение к этим выводам, Кангвук Ли продемонстрировал, как двумя API‑вызовами и 35 строками Python‑кода удалось извлечь из Codex AES‑зашифрованный compaction‑промпт. Этот «компакшн‑промпт» позволяет сократить объём контекста без потери смысловой нагрузки, что может стать временным решением проблемы «потери полезных токенов» в Opus 4.7.
Для разработчиков, использующих Claude в продуктивных сценариях, это значит, что необходимо пересмотреть стратегии работы с длинными контекстами: либо откатиться к Opus 4.6, либо внедрять собственные методы компрессии текста. Подробности и ссылки на оригинальные материалы доступны в статье на Habr ML (https://habr.com/ru/articles/1034214/).
Для AI‑разработчиков Opus 4.7 пока не готов к масштабным задачам с миллионом токенов – эффективность резко падает. Рекомендуем держать Opus 4.6 в резерве и экспериментировать с техникой компрессии контекста, как показал Кангвук Ли. Пока нет уверенного решения, лучше планировать бюджеты запросов с учётом реального объёма полезных токенов, а не заявленного лимита.
