LLM 2026: как многократные видеокарты и новые слои инфраструкции влияют на производительность
Разбираем, почему 70‑млрд‑параметровая модель помещается в память GPU, но тормозит под нагрузкой: HBM, KV‑кеш, NVLink, InfiniBand, MoE и другие слои AI‑инфраструктуры 2026 года.
В статье Habr AI «LLM работает не на одной видеокарте: анатомия AI‑инфраструктуры 2026» авторы подробно разбирают, какие узкие места появляются при запуске крупных языковых моделей (70 B и более) в современных GPU‑кластерах.
Память и кеш. Современные ускорители используют HBM 2e/3 с объёмом до 1 ТБ, а также KV‑кеши, позволяющие хранить эмбеддинги токенов в виде‑в‑памяти. Это решает проблему «out‑of‑memory», но не устраняет задержки при интенсивных запросах.
Сетевые соединения. NVLink и InfiniBand становятся базой для меж‑GPU коммуникаций. NVLink обеспечивает до 600 GB/s внутри узла, а InfiniBand 200 Gbps между узлами, однако при масштабировании до десятков узлов растут накладные расходы на синхронизацию.
Параллелизм. Tensor‑ и pipeline‑parallelism позволяют распределять вычисления модели, но требуют точного балансирования: избыточный pipeline‑parallelism может привести к простоям, а недостаточный – к переполнению памяти.
MoE (Mixture‑of‑Experts). Специализированные эксперты снижают количество активных параметров на запрос, однако добавляют сложность маршрутизации и увеличивают нагрузку на CPU‑контроллеры.
CPU, RAM и NVMe. При предзаполнении (prefill) и декодировании (decode) модель активно обращается к системной памяти и быстрым NVMe‑накопителям. Ограничения ввода‑вывода становятся критичными при высокой пропускной способности запросов.
В итоге статья показывает, что «узким местом» современной LLM‑инфраструктуры уже не является только видеокарта, а совокупность сетевых, кешевых и процессорных слоёв. Для эффективного масштабирования требуется комплексный подход к архитектуре кластера, а не просто добавление GPU.
Для разработчиков LLM важно планировать не только количество GPU, но и пропускную способность сети, размер HBM и эффективность KV‑кеша. Выбор между tensor‑ и pipeline‑parallelism должен базироваться на профилировании нагрузки. MoE‑модели требуют дополнительного контроля CPU‑контроллеров, иначе выгода от экспертов нивелируется. Инфраструктурные ограничения могут стать более дорогим узким местом, чем сами модели, поэтому инвестировать в NVLink/InfiniBand и быстрые NVMe‑накопители сейчас выгоднее, чем просто в новые видеокарты.
