Ужатие LLaMA‑7B до 1 ГБ без дообучения: результаты 60 экспериментов
Автор сократил 13 ГБ модель LLaMA‑7B до 1 ГБ, используя разные схемы квантования без дополнительного обучения, и оценил влияние на точность, скорость и потребление памяти.
В статье на Habr AI автор решил проверить, насколько можно уменьшить размер модели LLaMA‑7B (13 ГБ) без дорогостоящего дообучения. За несколько недель он провёл более 60 экспериментов, пробуя различные схемы квантования: 8‑bit INT8, 4‑bit GPTQ, AWQ, SmoothQuant и их гибридные варианты. \n\nСамый удачный результат был получен с 4‑bit GPTQ‑квантованием, где итоговый размер модели составил 1,2 ГБ (≈92 % экономии). При этом перплексия выросла лишь на 6 %, а субъективная оценка качества генерации снизилась в среднем на один‑два балла по шкале HumanEval. Скорость инференса на RTX 4090 увеличилась в 2,5‑3 раза, а на CPU (AMD 7950X) модель стала работать в реальном времени при 8‑токенных запросах. \n\nМенее агрессивные схемы (8‑bit INT8, 6‑bit) сохраняли почти исходную точность, но экономия памяти была лишь 30‑45 %. При попытке «жёсткого» 3‑bit сжатия модель стала нестабильной: частые падения и сильный рост перплексии (до 20 %). Автор также отметил, что без дообучения важна калибровка квантизационных параметров – небольшие изменения в наборе калибровочных данных могли улучшить точность на 2‑3 %. \n\nВсе эксперименты задокументированы в открытом репозитории на GitHub, где доступны скрипты для автоматической квантизации и набор тестов (MMLU, TruthfulQA). Статья подчёркивает, что даже без дообучения можно получить практичную, небольшую версию LLaMA‑7B, пригодную для локального запуска на ноутбуках и небольших серверах.
Для разработчиков и студентов это открывает возможность запускать мощные модели LLaMA‑7B на обычных ноутбуках, экономя до 90 % памяти. Однако стоит помнить о потере качества: для критических задач потребуется более консервативное квантование или дообучение. Выбор компромисса зависит от конкретных требований к скорости и точности.
