Запуск модели Qwen3.8‑27B на RTX 3090 под Windows 10
Подробный гайд по установке Python, CUDA и сборке llama.cpp с поддержкой GPU, конвертации Qwen3.8‑27B в GGUF и квантизации до Q4_K_M для работы в видеопамяти RTX 3090.
В статье на Habr AI опубликован пошаговый инструктаж, как развернуть крупную языковую модель Qwen3.8‑27B локально на видеокарте RTX 3090 под Windows 10. Автор начинает с подготовки окружения: требуется установить Python 3.11, Git, CUDA Toolkit 12.x, CMake, Microsoft Visual C++ (Build Tools), Ninja и OpenSSL. Далее следует сборка репозитория llama.cpp из исходников с включённым GPU‑поддержкой – важный момент, так как без него модель будет работать только на CPU.
После компиляции скачивается модель Qwen3.8‑27B с Hugging Face. Для экономии видеопамяти её необходимо конвертировать в формат GGUF с помощью утилиты llama.cpp/convert.py, а затем выполнить квантизацию в режим Q4_K_M. Такой уровень сжатия позволяет разместить всю модель (≈27 ГБ в FP16) в 24 ГБ видеопамяти RTX 3090.
Последний блок статьи – запуск локального сервера llama.cpp с OpenAI‑совместимым API. Приведён пример команды, включающей параметры -m qwen3.8-27b.gguf -ngl 32 -c 4096 -b 512 --logit-bias ... и настройку порта. После старта сервер принимает запросы через HTTP, что упрощает интеграцию в собственные приложения и чат‑боты.
Статья полезна как для исследователей, желающих экспериментировать с крупными моделями без облака, так и для разработчиков, ищущих быстрый способ развернуть локальный LLM‑интерфейс.
Для AI‑разработчиков это открывает доступ к мощной модели Qwen без расходов на облако, но требует внимательной настройки среды и достаточного GPU‑ресурса. Квантование до Q4_K_M сохраняет большую часть качества, позволяя запускать 27‑млрд‑параметровую модель на одной видеокарте, что особенно ценно для прототипов и учебных проектов.