GLM‑5.2 с 744 Млн параметров запущен на ноутбуке с 25 ГБ ОЗУ
Разработчик JustVugg выпустил движок Colibri, позволяющий запускать открытый флагман Z.ai GLM‑5.2 без дистилляции на обычном ноутбуке, потребляя лишь 25 ГБ RAM и генерируя ~0,05 токена/сек.
В сообществе AI‑энтузиастов появился новый проект под названием Colibri – открытый движок, разработанный одиночкой под ником JustVugg. Colibri позволяет запускать модель GLM‑5.2 от китайской компании Z.ai, содержащую 744 млрд параметров, на обычном ноутбуке с 25 ГБ оперативной памяти. Для сравнения, даже 2‑битные квантизации аналогичных моделей требуют порядка 220 ГБ памяти, что делает такой запуск практически невозможным без мощных серверов.
Colibri использует комбинацию оптимизаций: динамический off‑loading параметров в системную память, эффективную схему кеширования и кастомный CUDA‑ядро‑костыль, позволяющий работать без полной дистилляции модели. На текущем этапе скорость генерации составляет ≈0,05 токена в секунду, что, безусловно, не подходит для интерактивных задач, но открывает двери к экспериментам с крупными LLM на персональном железе.
Проект уже собрал более 2000 звёзд на GitHub и доступен под лицензией MIT, как и сами веса GLM‑5.2. Авторы планируют дальнейшую оптимизацию, в том числе поддержку 4‑битных квантов и более агрессивного paging‑механизма. Если эти улучшения реализуются, возможность локального запуска моделей такого масштаба может стать реальностью для широкого круга исследователей и разработчиков.
Ссылка на репозиторий: https://github.com/JustVugg/colibri
Ссылка на оригинальную модель GLM‑5.2: https://github.com/Z-ai/GLM-5.2
Для разработчиков и студентов это демонстрирует, что даже самые крупные открытые модели могут быть исследованы без доступа к дорогостоящим облачным GPU. Однако текущая производительность оставляет желать лучшего, поэтому практическое применение пока ограничено экспериментами и отладкой. Следите за обновлениями Colibri – ускорения могут открыть новые возможности для локального fine‑tuning и прототипирования.
