Как мы сократили расходы на LLM с $2000 до $30 в месяц
JobPath заменил Claude Sonnet на дешёвый LLM, снизив ежемесячные затраты с $2000 до $30, но столкнулся с падением качества и новыми ограничениями.
В рамках проекта JobPath каждую ночь запускается Celery‑задача, собирающая свежие вакансии из открытых источников и Telegram‑каналов, а затем превращающая сырой текст в структурированную карточку. Изначально за трансформацию отвечала модель Claude Sonnet от Anthropic, которая обеспечивала отличную точность и естественность формулировок, но её стоимость оказалась неприемлемой – по прогнозу на текущий объём данных расходов достигала $2000 в месяц.
Команда решила искать более экономичное решение. После тестирования нескольких вариантов они остановились на открытой модели Mistral‑7B, развернутой в собственных облачных инстансах. Стоимость вычислительных ресурсов для такой модели составила около $30 в месяц, что позволило сократить бюджет почти на 99 %.
Перенос требовал адаптации пайплайна: пришлось изменить промпты, добавить пост‑обработку и настроить более строгие ограничения по длине входных данных. Результаты показали, что качество карточек слегка ухудшилось – иногда появляются неточности в названиях должностей или пропуски ключевых навыков. Тем не менее, команда считает, что такой компромисс приемлем, учитывая экономию.
В статье также обсуждаются планы дальнейшего улучшения: оптимизация токенизации, внедрение RAG‑подхода и возможный переход на более мощные, но всё ещё дешёвые модели, такие как Llama 3 8B. Автор подчёркивает важность постоянного мониторинга стоимости и качества при выборе LLM для продакшн‑сервисов.
Снижение расходов почти в сто раз показывает, что открытые модели могут заменить дорогие коммерческие решения в задачах среднего уровня. Для разработчиков это шанс экспериментировать с собственными инфра‑структурами, но необходимо готовиться к дополнительным усилиям по настройке и контролю качества. При масштабировании важно балансировать между стоимостью и точностью, а также учитывать потенциальные риски деградации пользовательского опыта.
