Бот, превращающий доклады в вертикальные ролики: Whisper, LLM‑хайлайты и однопроходной ffmpeg
Автор делится пайплайном, который автоматически нарезает конференционные выступления, добавляет субтитры и слайды, используя Whisper, LLM‑поиск ключевых моментов и один проход ffmpeg.
В статье на Habr AI Андрей описывает, как построил полностью автоматизированный конвейер, превращающий обычные видеозаписи докладов в готовые вертикальные ролики для соцсетей. Основные этапы пайплайна:
- Транскрипция – аудио проходит через модель Whisper (выполняется через Hugging Face Inference API). Полученный текст сохраняется в формате JSON с тайм‑стампами.
- Поиск хайлайтов – к транскрипции применяется LLM (ChatGPT‑4) через LangChain‑цепочку, которая выделяет ключевые фразы и определяет отрезки длительностью 10‑15 секунд, которые будут «золотыми» моментами ролика.
- Субтитры – вместо привычных .ass‑файлов Андрей использует фильтр
drawtextв ffmpeg. Это упрощает процесс, позволяя задавать стили (шрифт, цвет, тень) непосредственно в командной строке и избегать отдельного рендеринга. - Слайды – если в оригинальном докладе есть слайды, они экспортируются в PNG и синхронно накладываются на видео‑треки с помощью фильтра
overlay. - Однопроходный рендер – все элементы (видеоряд спикера, субтитры, слайды) собираются в одну команду ffmpeg, что экономит время и ресурсы по сравнению с многократными проходами.
Автор делится реальными «граблями»: неверные тайм‑коды Whisper при шумном фоне, необходимость предобработки текста (удаление «мусора») перед передачей в LLM и ограничения ffmpeg‑drawtext по поддержке кириллицы. В конце статьи приведён готовый скрипт, который можно адаптировать под любые конференции.
Ссылка на оригинал: https://habr.com/ru/articles/1049918/
Для разработчиков контент‑автоматизации это отличный пример, как собрать готовый продукт из открытых компонентов без собственного ML‑инжиниринга. Пайплайн легко масштабировать, а однопроходный ffmpeg экономит вычислительные ресурсы, что важно при массовой обработке видеоматериалов.
