Почему дешёвая LLM может стоить дороже дорогой модели

В статье от OTUS на Habr ML авторы показывают, что простая цена за миллион токенов не отражает реальной стоимости решения задачи с помощью крупной языковой модели (LLM). Дешёвая модель может иметь более высокий коэффициент ошибок, что приводит к необходимости повторных запросов, дополнительным вычислительным затратам и вмешательству инженера.\n\nДля оценки полной стоимости предлагается формула: \n\nTotal Cost = TokenCost × TokensUsed + RetryCost × Retries + EngineerHours × HourlyRate - CacheSavings\n\nГде RetryCost – стоимость повторных запросов, а CacheSavings учитывает экономию за счёт повторного использования уже полученных ответов. Авторы приводят пример: модель стоимостью $0.001 за 1 000 токенов генерирует 30 % ошибочных ответов, требуя в среднем 1.4 запросов на задачу. При учёте $30/час для инженера и 5 минут на исправление, итоговая стоимость одного запроса превышает $0.02, в то время как более дорогая модель ($0.004 за 1 000 токенов) с ошибкой 5 % обходится в $0.008.\n\nКроме того, статья подчёркивает важность кэширования: повторное использование уже сгенерированных ответов может снизить токенные расходы до 20‑30 %. Также рекомендуется вести метрики ошибок и времени инженера, чтобы точно измерять ROI от выбранной модели. В конце приводятся практические рекомендации: выбирать модель не только по тарифу, а по совокупному показателю «стоимость‑качество», внедрять кэш и автоматический мониторинг, а при необходимости использовать более дорогие модели для критичных запросов.