Google представил Gemini Omni 3.5: 9 демонстраций видео‑анализа и генерации

Google AI Blog опубликовал пост, где демонстрируются возможности последней версии своей мультимодальной модели — Gemini Omni 3.5. По сравнению с предыдущими Gemini 3.5, новая версия умеет работать с видеопотоками: воспринимать кадры, понимать контекст, генерировать текст, аудио и даже новые видеокадры. В статье представлено 9 демонстраций, раскрывающих широкий спектр применений:

1. Автоматическое создание субтитров и перевод речи в реальном времени.
2. Синтез видеоконтента по текстовому запросу – от простых анимаций до коротких рекламных роликов.
3. Видео‑резюмирование: модель выделяет ключевые моменты длительных записей и генерирует лаконичное описание.
4. Интерактивный диалог с персонажами в реальном времени, где модель отвечает голосом и анимирует аватар.
5. Код‑ревью в виде видео – модель просматривает запись экрана и предлагает улучшения кода.
6. Обучающие ролики: генерация поясняющих анимаций к учебному материалу.
7. Визуальный поиск – поиск объектов в видеопотоке с мгновенным выводом результатов.
8. Сценарный генератор для короткометражных фильмов, где модель пишет диалоги и визуальные описания.
9. Трансформация стиля – преобразование видеоматериала под заданный художественный стиль.

Google отмечает, что Gemini Omni 3.5 уже доступен в ограниченном API‑превью на Google Cloud и планирует расширить доступ в ближайшие месяцы. Технические детали: модель использует Transformer‑based архитектуру с 1,2 трлн параметров, поддерживает 4‑K видео‑разрешение и работает в режиме «on‑the‑fly», минимизируя задержку.

Ссылка на оригинальный пост: https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-omni-3-5-videos/