PVAD: ИИ, который выделяет голос нужного человека в шумной комнате

В современных офисных переговорах часто возникает ситуация, когда в одной комнате одновременно разговаривают несколько человек, а система должна понять, кто из них является целевым спикером. Традиционные Voice Activity Detection (VAD) решают лишь задачу «кто говорит», но не «чей голос нужен». Команда разработчиков из проекта PVAD (Personal Voice Activity Detection) предложила решение этой проблемы.

PVAD использует комбинацию нейронных сетей для извлечения голосовых эмбеддингов конкретного пользователя и последующего сравнения их с текущим аудиопотоком. На этапе обучения система собирает короткие образцы голоса целевого спикера, формируя уникальный вектор‑подпись. Затем в реальном времени поток аудио разбивается на короткие окна, из которых извлекаются эмбеддинги. Если сходство с подписью превышает порог, система помечает окно как «целевой голос», иначе — как фон или чужой говор.

В тестах на реальных записях из переговорных, где одновременно говорили от 3 до 6 человек, PVAD достиг точности определения целевого спикера 94 % при шумовом уровне до 12 дБ SNR. Кроме того, система способна работать в режиме онлайн с задержкой менее 150 мс, что делает её пригодной для интеграции в видеоконференц‑платформы и системы автоматического протоколирования.

Более подробный обзор кейса доступен в статье на Habr AI: https://habr.com/ru/articles/1069410/. Технология открывает новые возможности для голосовых ассистентов, систем мониторинга и аналитики разговоров в шумных условиях.