OpenAI добавила новые модели реального времени для голосового интеллекта в API

OpenAI объявила о запуске серии новых голосовых моделей, доступных через публичный API. В отличие от предыдущих решений, эти модели работают в режиме реального времени, способны не только транскрибировать речь, но и выполнять контекстные рассуждения, переводить разговоры на более чем 30 языков и генерировать ответы с учётом интонации и эмоций.

Новые модели построены на архитектуре, оптимизированной под низкую латентность: среднее время отклика от момента получения аудио‑потока до выдачи результата составляет менее 200 мс при использовании стандартных облачных инстанций. Это делает их пригодными для интерактивных сценариев, таких как голосовые ассистенты, клиентская поддержка, субтитрование онлайн‑трансляций и многопользовательские игровые чаты.

OpenAI представила два уровня сервисов – Voice‑Lite (экономичный, до 30 мс/секунда аудио) и Voice‑Pro (полный набор функций, включая «reasoning»‑модуль, способный отвечать на сложные вопросы, построенные на контексте диалога). Цены указаны в тарифах API: от $0.002 за минуту аудио для Lite и $0.006 за минуту для Pro.

Для разработчиков доступна простая интеграция: достаточно отправить поток PCM‑данных в эндпоинт /v1/voice/stream и получать JSON‑сообщения с полями transcript, translation и thoughts. Документация уже обновлена, а примеры кода опубликованы для Python, Node.js и JavaScript.

OpenAI также объявила о партнёрстве с несколькими платформами облачных коммуникаций, что позволит быстро внедрять голосовые функции в существующие продукты без необходимости масштабировать собственные вычислительные кластеры.

Ссылка на оригинальный пост: https://openai.com/index/advancing-voice-intelligence-with-new-models-in-the-api