Тест 18 квантов Ornith‑1.5 и Qwen‑3.8: RTX 5090 не нужен
Автор проверил 18 вариантов квантования 9‑млрд‑параметров моделей Ornith‑1.5 и Qwen‑3.8 на одной видеокарте и пришёл к выводу, что достаточно Q5/Q6‑квантов – RTX 5090 дома не требуется.
В статье на Habr AI автор столкнулся с практической задачей: определить, какой уровень квантования (quant) выбрать для больших языковых моделей (LLM) и нужна ли для этого топ‑уровневая видеокарта RTX 5090. В качестве тестовых моделей были выбраны Ornith‑1.5 (9 B параметров) и Qwen‑3.8 (9 B параметров).
Для каждой модели подготовили пять‑шесть вариантов квантования: FP16, INT8, Q5_0, Q5_1, Q6_K, а также экспериментальные Q4 и Q3. Всего получились 18 конфигураций, которые запускались последовательно на одной видеокарте RTX 4090 (24 ГБ VRAM). Тестовый набор включал 22 реальных задачи: генерацию кода, ответы на вопросы, суммирование длинных текстов и небольшие диалоговые сценарии.
Результаты показали, что квантования Q5_0 и Q5_1 дают почти тот же уровень качества, что и FP16, но в 1,5‑2 раза быстрее и используют в среднем 30 % меньше видеопамяти. Q6_K даёт небольшое улучшение точности по сравнению с Q5, но уже требует почти столько же ресурсов, что и FP16. Более агрессивные Q4 и Q3 сильно деградируют качество, особенно в задачах с длинным контекстом.
Самой важной находкой стало то, что даже при максимальной нагрузке (одновременно несколько запросов) RTX 4090 справлялась без падений, а RTX 5090 не давала ощутимого прироста производительности. Таким образом, для домашнего использования достаточно видеокарты уровня RTX 4090 и любой из Q5‑квантов, а модели Ornith‑1.5 и Qwen‑3.8 в 9 B‑версии полностью покрывают большинство практических сценариев.
Для разработчиков и студентов это отличная новость: можно запускать современные 9‑млрд‑параметров LLM на обычных RTX 4090, экономя бюджеты на дорогие GPU. Выбирайте Q5‑квантование – оно сохраняет качество и ускоряет инференс, а RTX 5090 сейчас избыточен.