NeMo Automodel + 🤗 Diffusers: масштабное дообучение видео и изображений
Hugging Face совместно с NVIDIA представили интеграцию NeMo Automodel и Diffusers, позволяющую быстро дообучать крупные видеомодели и модели изображений на кластерах, с поддержкой LoRA, 8‑битных весов и автоматическим распределением.
Что объявлено
17 июля 2026 г. Hugging Face опубликовал совместный пост с NVIDIA, в котором анонсировала NeMo Automodel — автоматический фреймворк для масштабного дообучения нейросетей, теперь полностью интегрированный с библиотекой 🤗 Diffusers. Интеграция позволяет обучать как изображения, так и видеомодели (Stable Diffusion Video, AnimateDiff и др.) на кластерах из нескольких GPU без ручного написания распределённого кода.
Ключевые возможности
- Автоматическое распределение: система сама разбивает модель и данные по доступным устройствам, поддерживая как Data‑, так и Model‑Parallel.
- LoRA‑ и 8‑битные адаптеры: экономия памяти до 4 ×, ускорение обучения на 1,8‑2,2 × по сравнению с традиционным fp16‑тренингом.
- Поддержка популярных видеомоделей: готовые пайплайны для Stable Diffusion 2‑Video, AnimateDiff, DreamBooth‑Video.
- Интеграция с HF Hub: один клик – загрузка предобученной модели, сохранение чекпоинтов и публикация fine‑tuned версии.
- Открытый репозиторий: код доступен на GitHub [link] и сопровождается подробными ноутбуками‑демо.
Пример производительности
Тесты на кластере из 8 GPU A100 показали, что обучение модели Stable Diffusion 2‑Video на 100 k видеокадров (720p) занимает ≈ 3 ч вместо 5‑6 ч при обычном fp16‑тренинге. При использовании LoRA‑адаптера и 8‑битных весов время сокращается до ≈ 2 ч.
Почему это важно
Ранее дообучение видеомоделей требовало глубоких знаний в распределённом обучении и значительных вычислительных ресурсов. Теперь любой исследователь или разработчик может запустить масштабный эксперимент, используя знакомый API Diffusers и автоматические инструменты NeMo.
Ссылки
- Полный пост на Hugging Face Blog: https://huggingface.co/blog/nvidia/scale-diffusers-finetuning-nemo-automodel
- Репозиторий NeMo Automodel: https://github.com/NVIDIA/NeMo-Automodel
- Документация Diffusers: https://huggingface.co/docs/diffusers
Для разработчиков это значит, что масштабные эксперименты с видеогенерацией стали доступнее: меньше кода, быстрее вывод в продакшн. Студенты курсов смогут практиковать обучение больших моделей без глубоких знаний в распределённом тренинге. Однако рост доступности увеличивает потребность в контроле расходов и этического надзора за генерируемым контентом.
