Bonsai-27B на RTX 3050: рекурсивный форк llama.cpp и реальный бенчмарк
Автор запустил 27‑миллиардную модель Bonsai‑27B на видеокарте RTX 3050, показал, как рекурсивный форк llama.cpp улучшает инференс, и сравнил скорость и качество с базовой моделью.
В статье на Habr AI автор делится результатами запуска крупной модели Bonsai‑27B (27 млрд параметров) на обычной видеокарте RTX 3050. Для этого он использовал собственный рекурсивный форк проекта llama.cpp, который позволяет выполнять несколько проходов инференса, используя ответы модели как дополнительный контекст.
Ключевые шаги:
- Сборка форка llama.cpp с поддержкой рекурсии и оптимизаций под CUDA‑ядра RTX 3050.
- Загрузка весов Bonsai‑27B (примерно 52 ГБ в 4‑битном квантовании) и их конвертация в формат ggml.
- Запуск модели в обычном режиме (single‑pass) и в рекурсивном режиме (3‑пасс), где каждый проход дополняет контекст.
Бенчмарк: На тестовой задаче «логическое рассуждение» базовая модель зависла после 30 секунд и не смогла дать ответ. Рекурсивный форк завершил задачу за 78 секунд, предоставив корректный вывод. При этом средняя загрузка GPU составила 92 % в обычном режиме и 78 % в рекурсивном, а потребление памяти выросло с 6 ГБ до 9 ГБ.
Стоимость скорости: рекурсия добавляет ~2,5× замедление, но позволяет решить задачи, недоступные в single‑pass. Автор публикует полностью готовый скрипт запуска и набор параметров, чтобы любой желающий мог воспроизвести эксперимент на своём железе.
Вывод: Bonsai‑27B теперь доступна разработчикам с ограниченным бюджетом, а рекурсивный подход открывает новые возможности для улучшения качества вывода без необходимости в более мощных GPU.
Для AI‑разработчиков и студентов это значит, что даже 27‑млрд‑параметровую модель можно запускать на ноутбуке с RTX 3050, если согласиться на небольшое замедление. Рекурсивный форк llama.cpp даёт способ «умнее» инференса без дополнительных параметров, но требует внимательного управления памятью. Это открывает двери для экспериментов в low‑resource средах, однако стоит помнить о повышенном времени отклика.
