NVIDIA Magpie TTS: открытая модель для многоканальных голосовых агентов с низкой задержкой
NVIDIA представила Magpie TTS — открытый, многиязычный TTS‑модель с латентностью < 20 мс, полной настройкой развертывания и поддержкой более 30 языков.
В блоге Hugging Face объявлено о выходе NVIDIA Magpie TTS – первой открытой модели синтеза речи, ориентированной на создание многоканальных голосовых агентов с минимальной задержкой.
- Многоязычность: поддержка более 30 языков и 70 диалектов, включая английский, мандарин, испанский, хинди и арабский.
- Низкая задержка: инференс в режиме реального времени достигает < 20 мс на GPU A100, а на RTX 3090 – около 35 мс, что делает модель пригодной для интерактивных диалоговых систем.
- Открытые веса: полностью открытый набор весов и кода, размещённый на Hugging Face Hub, позволяет исследователям и разработчикам дообучать модель под свои голоса и стили.
- Гибкое развертывание: поддержка как облачных, так и on‑premise решений, включая Docker‑контейнеры, ONNX‑оптимизацию и возможность работы на CPU с пониженной качеством.
- Стриминг‑инференс: модель выдаёт аудио‑поток по токенам, что упрощает интеграцию в голосовые ассистенты и чат‑боты.
Новые возможности интегрированы в 🤗 Transformers и 🤗 Spaces, а также доступны через API Hugging Face Inference. Для быстрого старта предоставлены готовые примеры кода на Python и демонстрационный Space, где можно прослушать синтез на разных языках.
Ссылка на репозиторий: https://huggingface.co/NVIDIA/magpie-tts Ссылка на официальную страницу NVIDIA: https://developer.nvidia.com/magpie-tts
Для разработчиков голосовых помощников открытые веса Magpie TTS означают возможность кастомизировать голос под бренд без лицензий. Низкая задержка делает модель практичной для реального диалога, однако потребуется GPU‑ускорение для лучшего качества, что повышает требования к инфраструктуре.
