SESAME: модульный подход к улучшению речи с меньшим шумом
Студенты ВШЭ и VK представили SESAME — систему, которая распределяет разные типы шума между специализированными нейросетями, повышая качество речи.
В статье на Habr ML авторы — студенты мастерской ИИ в Инженерно‑математической школе НИУ ВШЭ и VK — делятся опытом разработки SESAME (Speech Enhancement System with Adaptive Modular Experts). Традиционные решения подают весь аудиосигнал в одну нейросеть, что приводит к «шумовому» переобучению и ограниченной эффективности при разнообразных типах помех. SESAME разбивает входной поток на несколько под‑каналов, каждый из которых обрабатывается отдельным экспертным модулем, обученным на конкретный тип шума: бытовой, транспортный, речевой перекрывающий и т.д.
Архитектура построена на PyTorch и использует лёгкие Conv‑TasNet‑подобные блоки в качестве экспертов, а также «мульти‑модульный» контроллер, который в реальном времени определяет доминирующий тип шума и переключает соответствующий модуль. Для оценки качества применялись метрики PESQ, STOI и SDR. По результатам экспериментов SESAME улучшил PESQ в среднем на 0.42 пункта и повысил STOI на 7 % по сравнению с базовым единственным моделем, при этом вычислительная нагрузка выросла лишь на 15 %.
Система успешно интегрирована в прототип голосового помощника VK и доступна в открытом репозитории GitHub (https://github.com/vkcom/SESAME). Авторы предоставляют подробную инструкцию по обучению новых экспертов и настройке контроллера, что делает подход пригодным для дальнейших исследований и коммерческих приложений в области аудио‑коммуникаций.
SESAME демонстрирует, что модульность в обработке аудио может существенно повысить качество речи без значительного роста вычислительных затрат. Для разработчиков это открывает путь к гибким пайплайнам, где новые типы шумов легко добавлять через отдельные эксперты. Студентам и исследователям стоит обратить внимание на открытый код и методику адаптивного контроля, чтобы ускорить прототипирование в проектах голосовых интерфейсов.
