Whisper vs GigaAM: три ловушки бенчмарка, меняющие оценки русского ASR
Перепроверка моделей на реальных продакшен‑записях показала, что прежние выводы о превосходстве GigaAM над Whisper могут быть ошибочными из‑за трёх типичных ошибок измерений.
В начале 2026 года команда исследователей из Habr ML опубликовала статью, где GigaAM v3‑e2e‑rnnt от SberDevices достиг 3,3 % WER на пяти коротких TTS‑фрагментах из аудиокниг. На основании этих замеров был сделан вывод: «специализация бьёт универсальность», и Whisper от OpenAI был объявлен менее конкурентоспособным.
Через несколько месяцев авторы провели повторные измерения, но уже на реальных продакшен‑записях: телефонные разговоры, записи колл‑центров и подкасты, охватывающие широкий спектр акустических условий, шумов и говорящих. В процессе анализа они выявили три типичные «ловушки» бенчмарка, которые могут исказить результаты:
1️⃣ Искусственный TTS‑контент – синтезированная речь имеет более чистый спектр и меньше вариативности, чем живой голос, что упрощает задачу распознавания. 2️⃣ Ограниченный набор коротких фрагментов – небольшие отрезки не отражают длительные контексты, паузы и переключения говорящих, важные для реального применения. 3️⃣ Отсутствие разнообразия акустических условий – отсутствие фонового шума, эхо и разных микрофонов приводит к завышенной точности.
После устранения этих факторов результаты изменились. На наборе из 1 200 секунд реального аудио Whisper‑large продемонстрировал 4,1 % WER, а GigaAM – 4,5 % WER. При этом Whisper использует лишь CPU с умеренной нагрузкой, тогда как GigaAM требует специализированного ускорителя для сравнимой скорости.
Авторы подчёркивают, что выбор модели должен базироваться на тестах в условиях, близких к конечному продукту, а не только на «идеальных» TTS‑бенчмарках.
Для разработчиков ASR‑систем это значит, что нельзя полагаться только на результаты TTS‑тестов – реальное аудио раскрывает истинные сильные и слабые стороны моделей. Whisper оказывается более гибким и экономичным решением при работе на обычных CPU, тогда как GigaAM требует специализированного железа и подходит для сценариев с высокой нагрузкой. При выборе модели важно учитывать акустическое разнообразие и целевые метрики, а не только WER на искусственно чистых данных.
