NVIDIA Dynamo заменил Triton: новый фреймворк инференса для агентных систем
NVIDIA представила Dynamo — open‑source сервер инференса с KV‑маршрутизацией, обещающий до 3‑кратного ускорения агентных сценариев и гибкую масштабируемость.
В начале июля 2026 года NVIDIA анонсировала Dynamo — открытый фреймворк для инференса, который заменит давно используемый Triton Inference Server. По словам разработчиков, Dynamo построен вокруг новой концепции KV‑маршрутизации (key‑value routing), позволяющей динамически направлять запросы к нужным моделям и контекстным данным без фиксированных цепочек шагов.
Главные изменения по сравнению с Triton:
- Архитектура без‑состояния: каждый запрос обрабатывается независимо, но при этом Dynamo может хранить промежуточные KV‑пары в памяти GPU, что резко сокращает задержку при многократных вызовах в агентных диалогах.
- Поддержка LLM‑агентов: встроенные коннекторы для LangChain, LlamaIndex и OpenAI API позволяют быстро интегрировать большие языковые модели.
- Улучшенные метрики: в тестах компании NVIDIA показано снижение латентности до 30 % и рост пропускной способности до 3× при типичных нагрузках «много запросов – короткие ответы».
- Гибкая оркестрация: Dynamo автоматически распределяет модели по нескольким GPU и поддерживает масштабирование в кластерах Kubernetes через Helm‑чарты.
- Open‑source: код опубликован под Apache 2.0 на GitHub (https://github.com/NVIDIA/Dynamo), что упрощает кастомизацию и интеграцию в существующие пайплайны.
В статье на Habr ML Александра, Data Scientist компании Raft, провела практический бенчмарк Dynamo против Triton в агентных сценариях (чат‑боты, рекомендательные системы). Результаты подтвердили заявленные цифры: средняя задержка запросов сократилась с 120 мс до 85 мс, а при нагрузке 500 RPS система выдержала 1 200 RPS без деградации качества.
Для разработчиков важен переходный период: Dynamo совместим с большинством моделей, уже экспортированных в ONNX и TensorRT, но требует обновления конфигураций и миграции KV‑хранилищ. NVIDIA обещает предоставить миграционный гайд и поддерживать Triton в режиме «maintenance» до конца 2026 года.
Ссылки:
- Официальный релиз Dynamo: https://developer.nvidia.com/dynamo
- Репозиторий GitHub: https://github.com/NVIDIA/Dynamo
- Статья на Habr ML: https://habr.com/ru/companies/raft/articles/1056460/
Dynamo открывает новые возможности для разработки агентных систем: ускоренный KV‑маршрут и масштабируемая оркестрация позволяют строить более отзывчивые чат‑боты и рекомендатели. Однако переход с Triton потребует переписывания конфигураций и тестирования KV‑логики, так что планировать миграцию стоит уже сейчас.
