FreeToken позволяет запускать 753 млрд‑параметров на RTX 4060: 39,3 токен/с
С помощью библиотеки FreeToken исследователи из Калифорнии добились 39,3 токенов в секунду на ноутбуке с RTX 4060 (8 ГБ), запустив 753‑млрд‑параметров модель, несмотря на половинный PCIe‑линк.
Что произошло?
Статья на Habr ML «753B на одной видеокарте: разбор FreeToken» рассказывает о том, как команда инженеров из солнечной Калифорнии смогла запустить 753‑млрд‑параметров модель (примерно размером GPT‑4‑Turbo) на одной видеокарте RTX 4060. Для этого использовалась открытая библиотека FreeToken, оптимизирующая распределение памяти и токен‑свопинг.
Ключевые цифры
- GPU: RTX 4060, 8 ГБ видеопамяти, PCIe 3.0 x8 (половина пропускной способности).
- Модель: 753 млрд параметров, 35‑млрд токенов контекста.
- Производительность: 39,3 токенов в секунду (≈ 1 токен ≈ 0,025 с).
- Стоимость: одна видеокарта стоит примерно как подержанный автомобиль, в отличие от многокарточных серверов, которые оцениваются в десятки тысяч долларов.
Как это работает?
FreeToken использует динамический kv‑cache‑свопинг, перемещая неактивные части кэша в системную память и возвращая их по мере необходимости. Кроме того, библиотека применяет quant‑aware fine‑tuning и 8‑битные матричные умножения, что позволяет уместить огромный контекстный буфер в ограниченной видеопамяти.
Почему это важно?
Традиционно такие модели требовали минимум 4‑х GPU с 48 ГБ VRAM каждый. Теперь даже ноутбук‑энтузиаст может экспериментировать с крупными LLM, открывая новые возможности для разработки, прототипирования и обучения.
Статья опубликована 23 августа 2026 года.
Для разработчиков и студентов это открывает доступ к масштабным языковым моделям без необходимости инвестировать в дорогостоящие серверы. Однако стоит помнить о повышенной нагрузке на системную память и возможных задержках из‑за свопинга, поэтому такие решения подходят больше для прототипов и исследований, а не для продакшн‑нагрузок.
