Hugging Face выпустила открытые мультимодальные модели D1 для edge‑устройств

В блоге Hugging Face объявлен релиз серии открытых мультимодальных моделей open‑d1 – первой в своем роде линейки decision‑моделей, способных одновременно обрабатывать текст, изображения и аудио‑данные на edge‑устройствах. \n\nМодели построены на архитектуре D1, включающей до 1,2 млрд параметров, и поставляются в нескольких конфигурациях: от лёгкой версии d1‑tiny (≈30 М параметров) до более мощной d1‑large (≈1,2 млрд). Все варианты поддерживают 8‑битную квантизацию и экспорт в ONNX/TensorRT, что позволяет достичь latency 12‑18 мс на типичном ARM Cortex‑A78 при работе с 224×224 изображениями и 30‑секундным аудио‑фрагментом. \n\nКлючевые особенности:\n- Мультимодальность: единый forward‑проход обрабатывает текстовый запрос, визуальный контент и короткие аудио‑сигналы, выдавая единую рекомендацию или действие.\n- Оптимизация под edge: модели прошли профилирование на Raspberry Pi 4, Jetson Nano и мобильных чипах Snapdragon 8‑Gen 2, демонстрируя экономию энергии до 40 % по сравнению с аналогичными решениями на базе GPT‑4‑o.\n- Открытый код и весы: репозиторий доступен на Hugging Face Hub под лицензией Apache 2.0, включены скрипты для автоматической квантизации и конвертации в TensorRT.\n- Интеграция с Transformers: новые классы OpenD1ForDecision и OpenD1Processor позволяют быстро внедрять модели в существующие пайплайны.\n\nСсылка на оригинальный пост: https://huggingface.co/blog/LiquidAI/open-d1. Ожидается, что сообщество быстро начнёт использовать D1 в сценариях умных камер, голосовых помощников, автономных роботов и интеллектуального IoT.