MolmoMotion: новый язык‑управляемый 3D‑модель предсказания движения от AllenAI
AllenAI представила MolmoMotion — модель, способную предсказывать 3D‑траектории объектов по текстовым инструкциям, доступную в Hugging Face.
В блоге Hugging Face объявлен релиз MolmoMotion — первой в мире модели, объединяющей язык и 3‑мерную динамику. Разработанная совместно с AllenAI, она способна прогнозировать движение объектов в реальном времени, используя только текстовое описание задачи. \n\nMolmoMotion построена на основе архитектуры Molmo, расширенной трёхмерной диффузионной сетью и модулем трансформера, обученным на более чем 2,5 млн пар «текст‑траектория» из открытых датасетов, включая Human3.6M, AMASS и собственный набор MolmoMotion‑3D. Модель поддерживает входные данные в виде текстовых запросов, 2D‑изображений и скелетных поз, а выводит полные 3D‑скелеты с точностью до 5 см по метрике MPJPE. \n\nВ тестах MolmoMotion превзошла существующие решения на 12 % по MPJPE и продемонстрировала реальное время инференса (≈30 FPS на RTX 4090). Кроме того, модель открыта под лицензией Apache 2.0 и размещена в Hugging Face Model Hub, где уже доступны готовые пайплайны для Python, JavaScript и Unity. \n\nДля разработчиков доступен API‑интерфейс с поддержкой batch‑запросов и интеграции в LangChain‑агенты. Документация включает примеры: от анимации персонажей в играх до предсказания траекторий роботов в промышленности. \n\nСсылка на оригинальный пост: https://huggingface.co/blog/allenai/molmomotion
MolmoMotion открывает путь к интерактивному 3D‑контенту, где сценарий задаётся естественным языком. Для студентов и разработчиков это шанс быстро прототипировать анимацию и робототехнику без сложных физических симуляций, однако стоит учитывать требовательность к GPU при масштабных проектах.
