Развёртывание LLM локально: опыт с vLLM, DGX Spark и ограничениями инференса

В статье на Habr ML автор подробно описывает процесс локального развёртывания крупных языковых моделей (LLM) в реальных условиях. За два дня он поднял две LLM на сервере NVIDIA DGX Spark, использовав библиотеку vLLM для эффективного инференса, а также отдельную модель автоматического распознавания речи (ASR) на GPU AMD. Всё это было соединено в единую мультиагентную платформу, где агенты обмениваются запросами и ответами в режиме реального времени.

Ключевые выводы:

• Файлы модели – не сервис. Хранение больших весов в файловой системе без специализированного сервиса приводит к задержкам при загрузке и масштабировании.
• Контекст vs KV‑кеш. Длинные запросы (10 К+ токенов) быстро заполняют KV‑кеш, что ухудшает производительность и увеличивает латентность.
• Токены/сек – вводят в заблуждение. Показатель tokens/sec не отражает пользовательскую задержку, особенно при параллельных запросах и переменной длине контекста.
• Параллелизм и планировщик. vLLM позволяет эффективно распределять запросы по GPU, но при высокой конкуренции требуется тонкая настройка планировщика и ограничение количества одновременных потоков.
• Кросс‑платформенные ограничения. Запуск ASR‑модели на AMD GPU потребовал адаптации драйверов и конвертации модели, что добавило дополнительный слой сложности.

Автор приводит измерения: при 1 GPU LLM достигает 45 tokens/sec, но реальная пользовательская задержка составляет 1,2 сек.; при 8 GPU – 320 tokens/sec, но латентность растёт до 2,8 сек. из‑за KV‑кеша. Итоги подчёркивают, что масштабировать LLM локально без учёта этих факторов сложно.

Статья полезна разработчикам, планирующим самостоятельный инференс, а также студентам, изучающим практические ограничения современных LLM.