Как построить локальный speech‑to‑text сервер вместо Yandex SpeechKit
После разрыва партнёрства с Yandex Kazakhstan команда создала собственный сервер распознавания речи, заменив облачный SpeechKit на открытые модели и Docker‑инфраструктуру.
В начале 2025 года компания‑стартап, работающая в сфере речевой аналитики, была официальным партнёром Yandex Kazakhstan. Под капотом их продукта использовались Yandex SpeechKit для преобразования голоса в текст и YandexGPT для смысловой оценки диалогов. В конце 2025 года Yandex объявил, что не будет поддерживать партнёров, у которых уже есть собственные решения, даже если они построены на технологиях Yandex. Партнёрство было расторгнуто, и команда оказалась перед выбором: искать нового облачного провайдера или перейти на полностью локальное решение.
Авторы решили построить собственный speech‑to‑text сервис. В качестве ядра они выбрали открытый Whisper‑large‑v2 от OpenAI, доступный через HuggingFace 🤗, а для ускорения инференса – NVIDIA TensorRT и CUDA‑оптимизацию. Для лёгкой интеграции с существующей инфраструктурой был написан Docker‑образ, включающий модель, gRPC‑сервер и API‑шлюз FastAPI. В качестве альтернативы был протестирован Vosk, который показал хорошие результаты на русскоязычных аудио при низкой нагрузке.
Сервер развёрнут в собственных дата‑центрах на базе серверов с 8 GPU A100, что позволило сократить задержку до 120 мс на 30‑секундный аудиофрагмент и снизить стоимость распознавания до $0,002 за минуту – в 5‑раз меньше, чем у облачных конкурентов. Кроме того, локальное решение полностью устранило риски утечки пользовательских данных, что особенно важно для финансовых и медицинских приложений.
Подробный гайд по развертыванию, Docker‑файлы и скрипты доступны в публичном репозитории GitHub: https://github.com/example/local-stt. Статья также содержит сравнение точности Whisper и Vosk на наборе тестовых аудио из Казахстана, где Whisper достиг 96,3 % WER, а Vosk – 98,1 %.
Таким образом, команда получила независимый, масштабируемый и более дешёвый сервис распознавания речи, полностью контролируемый внутри компании.
Для AI‑разработчиков это пример, как можно быстро перейти от облачных сервисов к локальному решению, используя открытые модели. Экономия и контроль над данными становятся критичными, особенно в регулируемых отраслях. Однако потребуется инфраструктура GPU и навыки DevOps, чтобы поддерживать стабильность и обновления модели.