Как оптимизация ломает prefix‑cache в LLM‑агентах: 32 инструмента vs 7

В новой статье серии о prefix‑caching, опубликованной на Habr ML, авторы Bitrix разобрали неожиданный эффект оптимизации запросов в LLM‑агентах. На первый взгляд, уменьшение количества инструментов в промпте (например, с 32 до 7) должно снижать вычислительные расходы. Однако в агентском цикле, где каждый шаг сохраняет «префикс» предыдущего контекста в кэше, такая локальная экономия приводит к полной потере эффективности кэширования.

Prefix‑cache работает так: после каждого обращения LLM сохраняет токены уже сгенерированного вывода, чтобы при следующем запросе использовать их вместо повторного вычисления. Когда промпт резко меняется – например, заменяется 32‑инструментный набор на 7‑инструментный – структура префикса разрушается, и кэш становится недоступным. В результате агент вынужден заново генерировать весь контекст, что удорожает вычисления и увеличивает задержку.

Авторы провели эксперимент: при 32 инструментах кэш сохранялся в 92 % запросов, а при 7 – лишь в 38 %. При этом общее время обработки выросло в среднем на 45 %. Статья подробно описывает механизм разрушения кэша, приводит примеры кода и предлагает практические рекомендации: фиксировать набор инструментов в начале цикла, использовать «stable‑prompt»‑шаблоны и контролировать длину префикса через специальные токен‑маркеры.

Эти выводы важны для разработчиков LLM‑агентов, особенно в сценариях с длинными диалоговыми цепочками и ограниченными ресурсами. Авторы планируют продолжить серию, рассматривая стратегии восстановления кэша и адаптивного управления префиксами.