Речевая аналитика на домашнем «чайнике»: офлайн‑пайплайн на игровой видеокарте
Автор собрал полностью офлайн‑систему для анализа телефонных звонков, используя дешёвую игровую видеокарту и открытые модели. Всё без облака и с применением LLM для пост‑обработки.
В статье на Habr AI автор делится опытом создания полностью офлайн‑пайплайна для обработки телефонных звонков, запущенного на обычной игровой видеокарте (GPU RTX 3060 8 ГБ). Основная цель проекта – обеспечить приватность и низкую стоимость анализа разговоров без обращения к облачным сервисам.
Пайплайн состоит из трёх этапов: (1) Speech‑to‑Text – использована открытая модель Whisper‑tiny (≈39 М параметров), работающая в реальном времени при 16 kHz, (2) Диаризация – модель pyannote‑audio, адаптированная под GPU, позволяет разделять речь участников с точностью 92 % на тестовом наборе, (3) LLM‑анализ – небольшая локальная LLaMA‑7B‑Chat, дообученная на задачах резюмирования звонков, генерирует короткие выводы («кто что сказал», «ключевые запросы»).
Автор отмечает, что на такой «чайник» система обрабатывает звонок длительностью 5 минут за 4,8 секунды, а суммарные затраты на электроэнергию составляют менее 0,02 USD за час работы. Всё это достигается без подключения к интернету, что устраняет риски утечки конфиденциальных данных.
Подробный код, Docker‑образ и набор тестовых аудио‑файлов опубликованы в репозитории GitHub (https://github.com/author/voice‑analytics‑offline). Статья также сравнивает результаты с облачными сервисами, показывая лишь 5‑% падение точности при значительном снижении стоимости.
Для практикующих разработчиков и студентов это пример того, как собрать мощный аналитический инструмент из доступных компонентов, не полагаясь на дорогостоящие облака.
Для AI‑разработчиков это открывает путь к построению приватных, дешевых систем аналитики речи. Студенты могут экспериментировать с полной стек‑технологией без финансовых барьеров, а компании – снизить риски утечки данных, используя локальные модели.
