NVIDIA Cosmos Predict 2.5: LoRA/DoRA‑тюнинг для генерации роботизированных видео
Hugging Face продемонстрировал, как дообучить Cosmos Predict 2.5 с помощью LoRA и DoRA, получив модель, генерирующую реалистичные видеоролики роботов за считанные секунды.
В блоге Hugging Face опубликован подробный разбор того, как дообучить новейшую видеомодель NVIDIA Cosmos Predict 2.5 с помощью лёгких адаптеров LoRA и DoRA. Cosmos Predict 2.5 – это текст‑в‑видео диффузионная модель, способная синтезировать 8‑секундные видеоклипы в разрешении 720p, использующая 2,3 млрд параметров. Команда Hugging Face собрала специализированный набор данных из более чем 12 000 коротких роликов роботов‑манипуляторов, снятых в лабораториях и на производственных линиях, и провела дообучение только небольших слоёв адаптеров (LoRA – Low‑Rank Adaptation, DoRA – Distributed Rank Adaptation).
Результат: новая версия модели, названная Cosmos‑Robotics‑LoRA, генерирует видеопоследовательности с улучшенной динамикой движений (среднее PSNR ↑ 1.8 дБ, FVD ↓ 12 ед.) и сохраняет оригинальную скорость инференса – 3 fps на RTX 4090. Кроме того, DoRA‑адаптер позволил уменьшить объём памяти, необходимый для fine‑tuning, до 8 GB, что делает процесс доступным даже на потребительских GPU.
В статье также приведены примеры кода на 🤗 Transformers и 🤗 Diffusers, а также готовый репозиторий с моделью, доступный по ссылке https://huggingface.co/nvidia/cosmos‑robotics‑lora. Автор подчёркивает, что такой подход открывает путь к быстрой кастомизации видеомоделей под узкоспециализированные задачи – от имитации робототехнических процессов до создания обучающих материалов для инженеров.
Для разработчиков роботов и исследователей это значит, что теперь можно получить видеогенерацию, точно отражающую движения реальных манипуляторов, без необходимости обучать тяжёлую модель с нуля. LoRA/DoRA‑тюнинг экономит GPU‑ресурсы и ускоряет прототипирование, но требует качественного датасета‑специалиста. Внимание к метрикам качества (PSNR, FVD) поможет избежать переоценки визуального реализма.
