Nemotron‑Labs Diffusion ускоряет генерацию текста до скорости света

Что представили Nemotron‑Labs

В блоге Hugging Face анонсированы Nemotron‑Labs Diffusion Language Models – первая серия больших языковых моделей, использующих диффузионный процесс вместо традиционного автрорегрессивного предсказания токенов. По словам авторов, такой подход позволяет генерировать текст почти со скоростью света: при одинаковом железе модели достигают 5‑7× ускорения по сравнению с классическими автрорегрессивными LLM, сохраняя при этом сопоставимый показатель perplexity (≈ 7,2) и качество в тестах HumanEval.

Технические детали

• Диффузионный декодер: вместо последовательного предсказания токенов модель генерирует скрытое представление текста за несколько «шагов диффузии», после чего происходит быстрый обратный процесс восстановления токенов.
• Архитектура: базируется на Nemotron‑3 (175B параметров) с модификациями слоёв attention и добавлением Noise Scheduler, заимствованного из Stable Diffusion.
• Инференс: оптимизирован под NVIDIA H100 и AMD MI250, но работает и на обычных GPU (RTX 4090) с ускорением в 2‑3×.
• Открытый код и веса: модели и обучающие скрипты размещены в репозитории Hugging Face (nemotron-labs/diffusion-7b, diffusion-13b, diffusion-70b). Поддерживается интеграция через transformers и accelerate.
• Эффективность: при генерации 512 токенов средняя латентность снижается с 120 мс до 20‑30 мс на H100, что открывает возможности для реального времени в чат‑ботах и интерактивных приложениях.

Почему это важно

Диффузионные модели уже доказали свою эффективность в генерации изображений, а теперь их перенос в текстовый домен обещает решить одну из главных проблем LLM – задержку. Ожидается, что сообщество быстро адаптирует подход к другим задачам: перевод, суммирование и даже код‑генерацию.

Ссылка: https://huggingface.co/blog/nvidia/nemotron-labs-diffusion