(Не)видимая цена интеллекта: как экономия на LLM ломает агентные системы

Разработчики агентных систем находятся в парадоксальном положении: цены на крупные языковые модели (LLM) падают, но их способность решать задачи падает ещё быстрее. Статьи от Bothub на Habr AI показывают, что провайдеры активно конкурируют в снижении стоимости токена, а команды, желая сэкономить, мигрируют на облегчённые версии моделей.

На первый взгляд экономия выглядит очевидной – меньше расходов на вычисления, меньше затрат на облако. Однако уже при первом столкновении с реальной бизнес‑задачей появляется скрытый «ценовой» фактор. Агент, работающий на дешёвой модели, начинает делать в среднем в три раза больше вызовов к внешним инструментам (поиск, базы данных, API) по сравнению с тем же агентом на более дорогой модели. Это не только удлиняет время отклика, но и резко увеличивает суммарные вычислительные расходы, нивелируя первоначальную экономию.

Более того, дешёвая модель теряет способность к долгосрочному планированию. Она часто «запинается» в циклических рассуждениях, генерирует непроверенные факты (галлюцинации) и иногда вовсе отказывается предлагать стратегию, полагаясь лишь на реактивные ответы. В результате система становится менее надёжной, а её поведение – менее предсказуемым.

Авторы статьи советуют несколько практических подходов: 1) проводить A/B‑тестирование новых моделей на реальных сценариях, а не только на метриках perplexity; 2) учитывать скрытую стоимость вызовов инструментов в бюджете проекта; 3) использовать гибридные стратегии, где «тяжёлые» запросы направляются к более мощным моделям, а простые – к экономичным.

Таким образом, экономия на LLM может обернуться гораздо более высоким общим расходом и падением качества работы агентных систем, если не учитывать скрытую цену интеллекта.