GTX 1080 Ti всё ещё в игре: сравнение MoE‑моделей 35B‑176B для llama‑server

Что произошло?

В статье на Habr AI автор проверил, насколько эффективно можно запускать крупные MoE‑модели (Mixture‑of‑Experts) на устаревшей видеокарте GTX 1080 Ti. Ранее он экспериментировал с 176‑млрд‑параметровой моделью Qwen 3.8‑Flash‑Next, но результаты были на грани возможного. Недавно он нашёл материал на ast‑softpro.ru — там команда запустила Qwen 3.8‑27B на двух RTX 5060 Ti (по 16 ГБ) и продемонстрировала 24 токена/с в квантизации Q4_K_M, благодаря гибридной архитектуре DeltaNet + attention, оптимизированной под длинный контекст.

Тестируемые модели

Автор скачал три MoE‑модели, подготовленные для llama‑server:

• 35 B (микросервисный вариант с 35 млрд параметров)
• 120 B
• 176 B

Все модели были квантизированы до 8‑бит (Q4_K_M) и запущены через llama.cpp с параметром --gpu-layers 32. На GTX 1080 Ti (11 ГБ VRAM) удалось разместить 35 B без выгрузки, а 120 B и 176 B требовали частой выгрузки в системную память, что сильно падало производительность.

Ключевые цифры

| Модель | Пиковая скорость (токен/с) | Память VRAM* | Качество (BLEU) | |--------|---------------------------|--------------|----------------| | 35 B | 12,4 | 10,2 ГБ | 0,78 | | 120 B | 7,1 | 10,9 ГБ* | 0,81 | | 176 B | 5,3 | 11,0 ГБ* | 0,83 |

* При работе 120 B и 176 B часть весов выгружается в RAM, что увеличивает латентность.

Выводы автора

• 35 B обеспечивает наилучший отклик (≈12 токен/с) и полностью помещается в видеопамять, что делает её более удобной для интерактивных приложений.
• 120 B и 176 B дают небольшое улучшение качества, но требуют постоянных выгрузок, что делает их менее практичными на старом железе.
• Квантизация Q4_K_M и гибридная архитектура DeltaNet позволяют достичь приемлемой скорости даже на видеокартах уровня GTX 1080 Ti.

Ссылки:

• Оригинальная статья Habr AI: https://habr.com/ru/articles/1086998/
• Материал ast‑softpro.ru о Qwen 3.8‑27B: https://ast-softpro.ru/qwen-3-8-27b-rtx5060ti