DeepSeek 0731 на DGX Spark: 68 токенов/сек и +22% от обновления vLLM
Тест на двух NVIDIA DGX Spark показал ускорение до 68 токенов в секунду. Переключение с vLLM 0.21.1 на 0.25.2 дало прирост ~22% на том же чекпоинте.
Что протестировано
Автор статьи провёл бенчмарк модели DeepSeek‑0731 на двух серверах NVIDIA DGX Spark (GPU GB10, SM121). Каждый узел имеет 128 GB unified‑памяти, из которых системе доступно около 122 GiB. Сеть подключена через QSFP 200 Gbit/s RoCEv2, драйвер NVIDIA 580.159.03.
Результаты
- 68 токенов/сек – максимальная пропускная способность модели в лучшем случае.
- При базовом запуске (runtime‑образ vLLM 0.21.1) скорость была ~56 tok/s.
- После перехода на образ vLLM 0.25.2 (полный пакет обновления) наблюдался рост ≈22 %, т.е. до 68 tok/s на том же чекпоинте.
Почему так?
Разница объясняется не отдельным коммитом, а полной сменой runtime‑образа. В новой версии vLLM улучшена работа с CUDA‑кешем, оптимизирована планировка запросов и добавлена поддержка более новых драйверов. Это позволило лучше использовать 200 Gbit/s RoCE‑связь и унифицированную память DGX Spark.
Что дальше?
Автор отмечает, что дальнейшее исследование может выявить дополнительные «скрытые» улучшения, но уже сейчас переход на vLLM 0.25.x выглядит выгодным для всех, кто разворачивает крупные LLM на GPU‑кластерах.
Для разработчиков, работающих с большими языковыми моделями, это подтверждает, что обновление runtime‑окружения может дать ощутимый прирост без изменения кода модели. При планировании инфраструктуры стоит сразу выбирать последние версии vLLM и проверять совместимость драйверов. В противном случае вы рискуете упустить до 20 % производительности, что критично для продакшн‑запросов и стоимости облака.
