WhisperType: голосовой ввод в любое окно Windows за секунду без GPU

Команда разработчиков представила WhisperType – инструмент, который делает возможным голосовой ввод в любое окно Windows за одну секунду, полностью офлайн и без использования GPU. Проект построен на базе модели Whisper от OpenAI, но благодаря ряду оптимизаций работает исключительно на центральном процессоре.

Ключевые технические решения включают:

• Сужение окна энкодера – уменьшение контекстного окна модели, что сокращает количество вычислений без заметного падения качества распознавания;
• Потоковая обработка аудио – аудио разбивается на небольшие куски, обрабатываемые по мере поступления, что устраняет задержки, характерные для пакетной обработки;
• Оптимизация Faster‑Whisper – переиспользование уже существующего ускорителя, но без зависимости от PyTorch (torch). Вместо этого используется чистый Python‑C++ бэкенд, который легко компилируется под любые Windows‑машины.

Проект полностью открытый, исходный код размещён на GitHub (https://github.com/whispertype/whispertype). Установить его можно через pip, а запуск происходит одной командой whispertype --window. Авторы также подготовили подробный гайд по интеграции с WinAPI, позволяющий «подслушивать» ввод в любые активные окна, от браузеров до IDE.

Тесты показывают, что на среднем ноутбуке с i5‑8250U и 8 ГБ ОЗУ система достигает скорости распознавания ~0.9 секунды на 5‑секундном аудио‑фрагменте, что почти в 4 раза быстрее оригинального Whisper. При этом точность остаётся в пределах 90 % от базовой модели.

WhisperType открывает путь к приватным, быстрым и дешёвым решениям голосового ввода для десктопных приложений, особенно полезным в корпоративных и образовательных средах, где облачные сервисы нежелательны.