Маленькая 0.6B модель Qwen3 лучше справляется с квантованием function‑calling, чем 1B Llama‑3.2

В статье на Habr ML авторы представили новый бенчмарк QuantCall, цель которого – измерить, как квантование влияет на способность больших языковых моделей (LLM) выполнять function‑calling и генерировать корректный JSON‑output. Тесты проводились на видеокарте с ограниченной памятью — 4 ГБ VRAM, что типично для большинства ноутбуков и edge‑устройств.

Для экспериментов были выбраны две модели разного семейства и размера:

• Qwen3‑0.6B (семейство Qwen, 0.6 млрд параметров);
• Llama‑3.2‑1B (семейство Llama, 1 млрд параметров).

Обе модели прошли серию квантований от Q4 (4‑бит) до Q8 (8‑бит) с использованием стандартных методов (GPTQ, AWQ). После каждого шага измерялась точность генерации JSON‑структур, требуемой для function‑calling, а также время инференса.

Ключевые результаты:

• Qwen3‑0.6B стабильно генерирует валидный JSON даже при агрессивном Q4‑квантовании, деградация начинается лишь после Q6.
• Llama‑3.2‑1B уже на уровне Q8 начинает путать типы данных, генерирует синтаксические ошибки и «сломанные» функции.
• Применение GBNF‑грамматик не спасает модели от ошибок, но добавляет ~15 % к времени инференса.

Авторы делают вывод, что устойчивость к квантованию определяется не размером модели, а её архитектурным семейством. Маленькие модели из семейства Qwen оказываются более «квантоустойчивыми», чем более крупные Llama‑модели.

Полный текст статьи и репозиторий бенчмарка доступны по ссылке: https://habr.com/ru/articles/1056656/.