Google представил Gemini Omni: модель «anything‑to‑anything» для генерации видео и мультимодального контента
Новая модель Gemini Omni умеет создавать и редактировать видеоролики из текста, изображений и аудио, открывая возможности для креативных проектов и вызывая вопросы этики deepfake.
Google анонсировала Gemini Omni — первую в линейке Gemini модель, способную генерировать и трансформировать любой тип медиа: от текста и изображений до полного видеоконтента. По словам инженеров Google, Omni объединяет возможности Gemini‑1.5 и новейших видеогенеративных сетей, позволяя создавать короткие видеоклипы (до 30 секунд) в разрешении до 1080p, а также выполнять in‑place‑редактирование существующего видео.
В статье The Verge автор провел эксперимент, заменив в рекламном ролике Google плюшевого оленя на своего плюшевого друга, используя Gemini Omni. Получившийся «deepfake‑видео» выглядит правдоподобно, с естественной анимацией и плавными переходами, демонстрируя потенциал модели для видеогенерации, анимации и визуального сторителлинга.
Ключевые возможности Gemini Omni:
- Multimodal input: текст, изображения, аудио и даже фрагменты видео могут служить подсказкой.
- Video synthesis: генерация новых видеоклипов с динамической камерой, освещением и движением объектов.
- Video editing: замена объектов, изменение стиля, добавление эффектов без необходимости перезаписывать весь ролик.
- Safety layers: встроенные фильтры для предотвращения создания нелегального контента и deepfake‑злоупотреблений; доступ пока ограничен приглашениями и проходит бета‑тестирование.
Google разместила подробный блог‑пост о Gemini Omni, где указано, что модель будет интегрирована в Vertex AI и доступна через API в ближайшие месяцы. По предварительным данным, Gemini Omni обучалась на более чем 1,2 млрд видеокадров и использует Transformer‑V архитектуру, оптимизированную для обработки последовательностей в реальном времени.
Для разработчиков и студентов это открывает новые горизонты: от автоматической генерации учебных видеоматериалов до создания интерактивных рекламных кампаний. Однако рост возможностей deepfake также усиливает необходимость этических руководств и механизмов контроля.
Gemini Omni расширит арсенал AI‑разработчиков: теперь можно генерировать короткие видеоролики программно, что упростит прототипирование и контент‑маркетинг. Студентам курсов стоит уже изучать работу с видеогенеративными API. Однако повышенный риск создания deepfake‑контента требует строгих проверок и этических практик.
