Тест производительности Nvidia L40S и vGPU 16 ГБ в llama.cpp и ComfyUI

В статье сравнивают L40S и виртуальный GPU 16 ГБ при запуске LLM через llama.cpp и генерации изображений в ComfyUI, демонстрируя ускорение до 2,3× и экономию памяти.

Автор провёл серию тестов, чтобы оценить, насколько эффективно можно использовать выделенный графический процессор Nvidia L40S и его виртуальную версию (vGPU) с 16 ГБ видеопамяти для задач генерации текста и изображений. В качестве движка для больших языковых моделей (LLM) был выбран открытый проект llama.cpp, а для визуального контента – ComfyUI, популярный UI‑фреймворк для Stable Diffusion.

Конфигурация: L40S (PCIe, 48 ГБ, но в тесте ограничен 16 ГБ) и виртуальный GPU на базе Nvidia RTX A6000 (16 ГБ). Оба устройства работали под Linux Ubuntu 24.04, драйверы 560.68. Оба теста запускались на последних версиях llama.cpp (v2.2) и ComfyUI (v1.5). Для LLM использовалась модель LLaMA‑2‑7B, а в ComfyUI – модель Stable Diffusion XL (SDXL‑1.0).

Результаты LLM: При инференсе 2048‑токенов среднее время генерации составило 1,12 с на L40S и 2,58 с на vGPU, что даёт ускорение 2,3×. Потребление видеопамяти оставалось в пределах 13 ГБ, позволяя запускать несколько запросов параллельно.

Результаты генерации изображений: При генерации 512×512‑px изображений в режиме 4‑шаговой диффузии L40S обработал запрос за 6,9 с, а vGPU – за 15,4 с (ускорение 2,2×). При этом качество изображений оказалось идентичным, что подтверждает отсутствие компромиссов в визуальном выводе.

Выводы: L40S демонстрирует высокую эффективность как для LLM‑инференса, так и для задач генерации изображений, при этом стоимость аренды vGPU остаётся привлекательной для небольших команд и студентов, которым важна гибкость распределения ресурсов.

Ссылка: https://habr.com/ru/companies/first/articles/1042142/