Qwen3.8 в llama.cpp: 75 ток/сек на двух RTX 3090 благодаря MTP и тензорному параллелизму
Оптимизация запуска 27‑млн‑параметровой модели Qwen 3.8 в llama.cpp повышает скорость вывода с 32 до 75 токенов в секунду на двух RTX 3090.
В статье на Habr AI автор подробно разбирает, как добиться почти двойного ускорения вывода крупной модели Qwen 3.8 (27 млн параметров) в открытом движке llama.cpp. Из коробки модель на двух видеокартах RTX 3090 (24 ГБ, 936 ГБ/с) выдаёт лишь 32 токена в секунду – явно ниже потенциала железа.
Для устранения узких мест были включены несколько флагов запуска, отвечающих за MTP (Multi‑Threaded Pipeline) и тензорный параллелизм:
-mmap– использует память карты напрямую, снижая накладные расходы.-ngl 33– активирует 33‑го уровня графа нагрузки, позволяя более эффективно распределять вычисления.-tensor-split "0.5,0.5"– делит тензоры поровну между двумя GPU.-t 8– увеличивает количество рабочих потоков до 8.-p 2– включает двухуровневый pipeline, позволяя одновременно обрабатывать несколько запросов.
После применения этих параметров скорость выросла до 75 токенов в секунду – почти в 2,5 раза больше. Автор подчеркивает, что каждый флаг подробно описан в статье: зачем он нужен, как его задать и какие цифры даёт.
Эти результаты демонстрируют, что даже на потребительском оборудовании можно эффективно запускать модели в диапазоне 20‑30 млн параметров, если правильно настроить параллелизм и использовать возможности llama.cpp. Полный разбор доступен в оригинальном материале: https://habr.com/ru/articles/1076080/.
Ключевые цифры:
- Модель: Qwen 3.8, 27 млн параметров
- Аппарат: 2 × RTX 3090, 24 ГБ VRAM каждая
- Базовая производительность: 32 ток/сек
- После оптимизации: 75 ток/сек
- Прирост: +134 %
Ссылки:
Для разработчиков и студентов это открывает возможность запускать крупные LLM на обычных видеокартах без облачных сервисов, экономя бюджет. Главное – понять, какие флаги влияют на MTP и тензорный параллелизм, и экспериментировать с их настройками. Такой подход снижает барьер входа в практику работы с 20‑30 млн‑параметровыми моделями и ускоряет прототипирование.
