Рекурсивный движок llama.cpp на RTX 3050: Qwen 32B и 7B Coder дают в 3 раза лучшее качество
Тесты на RTX 3050 показали, что рекурсивный механизм в форке llama.cpp повышает качество вывода Qwen‑32B и 7B Coder в три раза, но требует заметно больше видеопамяти.
В статье на Habr AI авторы провели детальное исследование нового рекурсивного движка, реализованного в форке популярного открытого проекта llama.cpp. Тесты проводились на видеокарте RTX 3050 (8 ГБ GDDR6) с использованием двух моделей семейства Qwen – тяжёлой 32‑млрд параметров и лёгкой 7‑млрд параметров Coder.
Для сравнения использовались три конфигурации: базовый llama.cpp без рекурсии, рекурсивный форк и оригинальная модель Qwen, запущенная через официальные бинарники. Качество генерации оценивалось по метрике GPT‑Eval (BLEU, ROUGE) на наборе задач программирования и генерации кода. Результаты показали, что рекурсивный движок улучшает показатели качества в среднем в 3 раза по сравнению с базовым вариантом, особенно в задачах, требующих длинных контекстов и сложных логических цепочек.
Однако рост качества сопровождается ростом потребления видеопамяти: Qwen 32B в рекурсивном режиме требует около 7,5 ГБ, а 7B Coder – около 4 ГБ, что почти полностью заполняет память RTX 3050. Скорость генерации снизилась на 20‑30 % из‑за дополнительного прохода по модели.
Авторы делают вывод, что рекурсивный подход оправдан, когда приоритетом является качество, а не скорость и экономия памяти. Для разработчиков, работающих с ограниченными GPU, рекомендуется использовать 7B Coder в рекурсивном режиме или переключаться на базовый движок для более быстрых ответов.
Для AI‑разработчиков это открывает возможность получать более точные ответы от больших моделей даже на бюджетных видеокартах, но следует учитывать рост потребления памяти и небольшое падение скорости. Практический совет – использовать рекурсию только для задач, где качество критично, и планировать апгрейд видеопамяти.
