Самостоятельный инференс LLM: 5 конфигураций, KV‑пул и реальный коэффициент 452:1

Автор статьи (Habr AI) делится практическим опытом развертывания собственного инференса Large Language Model (LLM) для команды из 25 разработчиков. На примере пяти последовательных конфигураций vLLM, запущенных на единственной графической карте Nvidia Blackwell, показаны реальные цифры производительности и затраты.\n\nПервая конфигурация – базовый запуск без оптимизаций – дала коэффициент вход‑выход 12:1 и потребляла 3 kW·ч в сутки. Вторая – включение --gpu-memory-utilization и --max-num-batched-tokens – подняла коэффициент до 78:1, но привела к утечке памяти в редких случаях. Третья конфигурация добавила KV‑пул (--enable-kv-cache), что сократило латентность на 30 % и увеличило коэффициент до 210:1. Четвёртая – использование --tensor-parallel-size=2 и --distributed-executor – привела к рекордному 452:1, однако стоимость аренды GPU выросла из‑за необходимости двойного распределения нагрузки. Пятая конфигурация вернула баланс, отключив tensor-parallel и оптимизировав размер батча, получив 340:1 при 20 % экономии электроэнергии.\n\nВ статье также описаны три неочевидных бага: (1) падение сервера при превышении 64 GB KV‑пула, (2) неправильный подсчёт токенов в --max-total-tokens, (3) конфликт флагов --disable-log-requests и --log-requests. Для каждого найдено временное решение.\n\nАвтор подытоживает, что даже при впечатляющем коэффициенте 452:1 общие расходы могут остаться выше, чем при облачном сервисе, из‑за стоимости аппаратуры, электроэнергии и поддержки. Ссылка на оригинал: https://habr.com/ru/articles/1073300/