NVIDIA Cosmos 3 – первая открытая омни‑модель для физического ИИ
Новая модель Cosmos 3 от NVIDIA, размещённая на Hugging Face, объединяет визуальное, языковое и сенсорное восприятие, позволяя рассуждать о физическом мире и генерировать действия в реальном времени.
В понедельник, 1 июня 2026 г., NVIDIA совместно с Hugging Face анонсировали Cosmos 3 – первую в мире открыто‑доступную омни‑модель, способную одновременно воспринимать визуальные, языковые и сенсорные данные и выполнять физическое планирование действий. Модель построена на архитектуре Transformer‑X, расширенной модульной системой «Perception‑Reason‑Act», позволяющей обрабатывать 3‑D‑сцены, текстовые инструкции и данные с датчиков в едином потоке.
Cosmos 3 обучалась на более чем 2 млрд мульти‑модальных примеров, включающих видеоролики с роботами, симуляции в MuJoCo, физические эксперименты и описательные тексты. В результате модель демонстрирует способность инференса в реальном времени (до 30 FPS на RTX 4090) и может генерировать последовательности действий для задач манипуляции, навигации и даже простого конструирования.
Ключевые возможности:
- Мульти‑модальный ввод: RGB‑изображения, глубинные карты, LIDAR, текстовые запросы.
- Физическое рассуждение: предсказание динамики объектов, оценка силы и устойчивости.
- Генерация действий: вывод в виде последовательностей команд для ROS, Unity и других сред.
- Интеграция с Hugging Face: готовый
pipelineдляtransformers, открытый репозиторий с весами, документацией и примерами Jupyter‑ноутбуков.
Модель лицензирована под Apache 2.0, что позволяет использовать её в коммерческих проектах без ограничений. NVIDIA планирует дальнейшее развитие Cosmos 3, включая обучение на реальных робототехнических данных и расширение поддержки облачных сервисов.
Для разработчиков уже доступен Cosmos 3‑demo на Hugging Face Spaces, где можно протестировать модель в задачах «подними кубик», «перемести объект» и «опиши физический процесс».
Более подробную информацию и ссылки на репозиторий можно найти в оригинальном блоге NVIDIA: https://huggingface.co/blog/nvidia/cosmos-3-for-physical-ai
Cosmos 3 открывает путь к построению полностью автономных агентов, способных понимать и действовать в реальном мире без отдельного модуля планировщика. Для студентов и разработчиков это шанс быстро прототипировать робототехнические решения, используя готовый API. Однако высокая вычислительная нагрузка требует мощных GPU, что может стать барьером для небольших команд.
