2‑битный DeepSeek V4 Flash на RTX PRO 6000: падение точности до 0.697
Автор протестировал 2‑битную версию DeepSeek V4 Flash на RTX PRO 6000. Точность упала до 0.697 против 0.731 у полной модели, что показывает реальную цену квантования.
В новой статье на Habr AI автор продолжил серию экспериментов с крупными языковыми моделями, запустив DeepSeek V4 Flash полностью локально на своей видеокарте RTX PRO 6000. Ранее он сравнивал Qwen‑3.8‑27B (запущенный на той же карте) с DeepSeek V4 Flash, использующим облачный API, и получил оценку качества 0.731.
Для ответа на запрос читателей модель была квантована до 2‑бит с помощью открытого инструмента GPTQ‑CUDA. После квантования модель была запущена в режиме self‑host, используя Hugging Face Transformers и bitsandbytes для ускорения вычислений. На тестовом наборе метрика точности (BLEU‑like) составила 0.697, то есть ‑0.034 по сравнению с полной‑точностью.
«Разница в 0.034 балла кажется небольшой, но в реальных диалогах она проявляется в более частых фактических ошибках и менее плавных формулировках» – отметил автор.
Технические детали: RTX PRO 6000 обладает 48 ГБ видеопамяти, что позволяет разместить полную 35‑биллонную модель без компромиссов, но 2‑битное квантование снижает потребление памяти до ~22 ГБ и ускоряет инференс почти в 1.8 раз. При этом наблюдается рост шума в весах, что, вероятно, и объясняет падение метрики.
Полный текст статьи доступен по ссылке: https://habr.com/ru/articles/1074860/. Дополнительные материалы о DeepSeek V4 Flash и 2‑битном квантовании – в репозитории модели на Hugging Face.
Ключевые цифры:
- Полная точность: 0.731
- 2‑битная точность: 0.697
- Память без квантования: 48 ГБ
- Память с 2‑битным квантованием: ≈22 ГБ
- Ускорение инференса: ~1.8×
Для разработчиков и студентов это хороший пример того, как 2‑битное квантование экономит ресурсы, но платой за экономию становится точность. При планировании деплоймента на ограниченных GPU важно тестировать конкретные задачи, а не полагаться только на теоретические выгоды.
