Квантование LLM до 3 бит: от оптимизации к фанатизму
Экстремальное сжатие весов LLM до 3‑битных и ниже моделей превратилось в модный тренд, а не в практичную оптимизацию. Почему такие подходы часто ухудшают качество и повышают риски?
Переход от 16‑битного FP16 к 8‑битному квантованию стал крупным инженерным прорывом: модели стали работать на потребительском железе с минимальными потерями точности. Однако уже через год индустрия начала стремительно «сжимать» модели дальше. Сейчас 4‑битные решения считаются базовым уровнем, а 3‑битные – «новым стандартом», а на GitHub обсуждаются даже 2‑битные и 1,58‑битные схемы.
В статье на Habr ML автор разбирает математические основы квантования и показывает, почему такие экстремальные уровни сжатия часто приводят к деградации качества. При переходе к 3‑битным весам происходит сильное увеличение шума квантизации, что особенно критично для больших моделей (например, 70‑B параметров), где небольшие отклонения в градиентах могут вызвать существенное падение точности.
Кроме того, автор указывает на практические проблемы: увеличение времени на калибровку, необходимость сложных пост‑тренировочных методов и рост риска появления скрытых предвзятостей. При этом выгода в виде экономии памяти и ускорения инференса часто переоценивается, поскольку реальное ускорение достигается лишь на специфических аппаратных ускорителях, а на обычных CPU/GPU выгода нивелируется.
В итоге статья призывает сообщество вернуть баланс между «квантовым фанатизмом» и реальными потребностями: использовать 8‑ и 4‑битные схемы там, где они действительно дают выигрыш, а более агрессивные методы применять только после тщательной валидации.
Ссылка на оригинал: https://habr.com/ru/articles/1036880/
Для разработчиков LLM важен компромисс между экономией ресурсов и качеством модели. 3‑битные схемы могут быть полезны в узкоспециализированных задачах, но требуют сложной калибровки и тщательного тестирования. Не стоит воспринимать их как «универсальное решение» – лучше сначала оценить 8‑ и 4‑битные варианты, а уже потом экспериментировать с более экстремальными настройками.
