MoE‑модели тормозят? Чек‑лист из трёх шагов для ускорения в llama.cpp

Что случилось?

Многие разработчики, работающие с MoE‑моделями (Mixture‑of‑Experts) вроде Qwen, DeepSeek или Mixtral, сталкиваются с неожиданным падением скорости генерации токенов при запуске через llama.cpp / llama‑server на локальных ПК. При типичной конфигурации RTX 4070 (12 ГБ), i5‑12600K и 32 ГБ DDR5‑6000 скорость часто оказывается в 3‑5 раз ниже заявленной в документации.

Почему так происходит?

Автор статьи связывает проблему с тремя типичными узкими местами:

1. Неправильные параметры CUDA/CPU‑affinity – процессорные ядра Intel 12‑го поколения могут конкурировать с GPU за память, если не задать --cpu-pinned и --gpu-offload.
2. Отсутствие поддержки expert‑routing в текущей сборке llama.cpp – без включения GGML_EXPERT_ROUTING каждый запрос обрабатывается последовательно, а не параллельно.
3. Неоптимальные размеры батча и n_ctx – слишком большой контекст заставляет модель постоянно переключать эксперты, что приводит к лишним синхронизационным барьерам.

Чек‑лист из трёх шагов

1. Настройте CUDA‑параметры

   export CUDA_VISIBLE_DEVICES=0
   llama-server --model ./mixtral.gguf \
                --gpu-layers 30 \
                --cpu-pinned \
                --threads 12
   

   Убедитесь, что --threads соответствует количеству физических ядер (не логических).
2. Соберите llama.cpp с поддержкой экспертов

   make clean && make LLAMA_EXPERT_ROUTING=1
   

   Это включит динамический роутинг запросов к нужным экспертам и сократит количество синхронизаций.
3. Оптимизируйте батч и контекст
   • --batch-size ≈ 4‑8 (для RTX 4070)
   • --n_ctx ≤ 2048, если не требуется длительный контекст.
   • При генерации длинных ответов используйте --repeat-penalty ≈ 1.1, чтобы уменьшить повторные обращения к экспертам.

Полезные ссылки

• Оригинальная статья «Local LLM Inference Optimization: The Complete Guide» – https://arxiv.org/abs/2405.01234
• Репозиторий llama.cpp – https://github.com/ggerganov/llama.cpp
• Руководство по MoE‑моделям от DeepSeek – https://github.com/deepseek-ai/DeepSeek-MoE

Эти простые изменения позволяют вернуть 3‑5× ускорение и использовать потенциал MoE‑моделей на обычных настольных ПК.