Как генерировать видео из сториборда: пошаговый метод с двумя нейросетями

В статье на Habr AI описан рабочий процесс создания видеоролика из сториборда при помощи двух нейросетей. Автор отмечает, что простая команда «сгенерировать видео» почти всегда даёт случайный результат, поэтому предлагает более контролируемый подход.

Этап 1 – генерация раскадровки. На первом этапе используется модель генерации изображений (например, Midjourney или Stable Diffusion) для создания одного листа с несколькими пронумерованными панелями. Каждая панель представляет отдельный кадр будущего ролика: композиция, позы персонажей, освещение и ключевые объекты. В статье приведён пример – кроссовок, «оживающий по ночам». Промпт включает указание стиля, ракурса, времени суток и желаемой атмосферы.

Этап 2 – трансформация в видео. Полученный лист передаётся в модель видеогенерации (например, Runway Gen‑2 или Google Gemini Video). Автор формирует покадровый промпт, где каждому изображению сопоставляет тайм‑код, описание движения камеры (план, зум) и звуковую дорожку. Пример промпта: «00:00‑00:03 – крупный план кроссовка, медленный зум‑аут, ночной городской фон, приглушённый шёпот ветра». Такой детализированный ввод позволяет модели синхронно создавать последовательные кадры и аудио.

Продвинутая версия. Для более гибкой стилизации автор предлагает использовать «черновой» скетч‑сториборд, нарисованный вручную или с помощью AI‑рисовальщика (например, Clip‑Studio). Такой набросок задаёт общую динамику, а затем модель «раскрашивает» его в полном виде.

Результат – получившееся видео выглядит согласованно, каждый кадр следует заданному плану, а звуковая дорожка усиливает атмосферу. Все использованные промты опубликованы в статье, что делает метод полностью воспроизводимым.

Ссылки: оригинальная статья на Habr AI (https://habr.com/ru/articles/1062618/), модели Midjourney, Runway Gen‑2, Gemini Video.