Куда уходят токены у кодинг‑агента: разбираем пять категорий usage
В статье раскрыты пять типов токенов (ввод, запись/чтение кэша, вывод, reasoning) и показано, как скрытые reasoning‑токены могут резко увеличить счёт, даже если полезный текст почти отсутствует.
Недавно на Habr AI вышла статья, в которой автор после недели экспериментов с кодинг‑агентом попытался понять, почему стоимость запросов растёт быстрее, чем объём написанного кода. Разбор показал, что система учитывает токены не только в обычном вводе‑выводе, а разделяет их на пять категорий: input – токены пользовательского запроса; cache write – запись промежуточных результатов в префиксный кэш; cache read – чтение из кэша при последующих запросах; output – токены, отправленные клиенту; reasoning – токены, использованные агентом для внутреннего рассуждения.
Особенно интересен тип reasoning. Он часто скрыт от пользователя, но тарифицируется по той же ставке, что и вывод. В примере из статьи агент выдал ответ в 234 токена, из которых 230 были рассуждениями, а полезный текст — одно слово. Такой «мусор» может быстро съедать бюджет, если не контролировать его.
Автор также объясняет, как работает префиксный кэш: при первом запросе агент сохраняет промежуточные шаги, а при последующих запросах читает их, экономя токены ввода, но всё равно платит за запись и чтение кэша. Таймстемпы в кэше позволяют агенту «запоминать» контекст, однако их использование также учитывается в счёте.
Для разработчиков это значит, что необходимо внимательно мониторить поля usage в ответах API, а при необходимости отключать или ограничивать reasoning‑токены через параметры модели. Инструменты аналитики токенов и профилирования запросов становятся обязательными в проектах с ограниченным бюджетом.
Ссылка на оригинал: https://habr.com/ru/articles/1082084/
Для AI‑разработчиков это предупреждение: без детального контроля usage легко превысить бюджет, даже если кажется, что код генерируется небольшими порциями. Рекомендуется внедрять мониторинг токенов, использовать кэш осознанно и экспериментировать с параметрами модели, чтобы ограничить скрытый reasoning. Студенты курсов тоже должны знать, что токены – не только ввод‑вывод, а целый набор внутренних операций, влияющих на стоимость.
