Радикальное квантование: 27‑млрд‑параметровый нейросетевой инференс на ноутбуке

В последние годы большинство усилий по ускорению больших языковых моделей (LLM) было сосредоточено на low‑bit квантовании – переводе весов в 4‑8‑битные представления с небольшими потерями точности. Однако команда из лаборатории X (см. Habr AI) решила пойти дальше и протестировать нетрадиционное квантование, полностью отказываясь от аппроксимации весов.

Вместо привычных 256‑значных диапазонов авторы использовали только 3‑4 дискретных значения (например, -1, 0, +1 и +2). Такая «бинарно‑третичная» схема позволяет хранить параметры модели в виде 2‑3 бит на вес, что сокращает объём памяти более чем в 30 раз.

Ключевые результаты экспериментов:

• 27‑млрд параметров модели (аналог GPT‑3) помещаются в 8 GB видеопамяти ноутбука с RTX 3050.
• При этом скорость инференса достигает 12 токенов/сек, сравнимую с небольшими 7‑B моделями, традиционно запускаемыми на том же оборудовании.
• Точность на наборе MMLU упала лишь на 2.3 %, а на ARC‑Challenge – на 1.8 %, что считается приемлемым для многих практических задач.

Методика включает два этапа: (1) грубое квантование всех слоёв до 3‑4 значений, (2) пост‑тренировочная калибровка с помощью небольшого набора реальных запросов, позволяющая восстановить часть утраченной информации. Авторы также предложили модификацию AdamW‑оптимизатора, учитывающую дискретность градиентов.

Работа демонстрирует, что радикальное сокращение битности весов может стать практической альтернативой классическому low‑bit подходу, открывая путь к локальному запуску действительно больших моделей без специализированного железа.

Источник: Habr AI, 1 августа 2026