GitHub повысил токен‑эффективность в агентных рабочих процессах
GitHub проанализировал свои production‑workflows, обнаружил лишние токены и внедрил новые агенты, сократив расходы на API.
Что изменилось?
GitHub объявил о запуске инициативы по повышению токен‑эффективности в своих agentic workflows — автоматических цепочках, которые запускаются при каждом pull‑request. По словам команды, такие рабочие процессы могут незаметно «съедать» огромные объёмы токенов, что приводит к росту расходов на OpenAI‑ и Anthropic‑API.
Как они это сделали?
- Инструментальная диагностика – команда внедрила метрики, собирающие данные о количестве токенов, времени выполнения и частоте вызовов AI‑моделей в реальном времени.
- Выявление узких мест – анализ показал, что большинство запросов дублируются, а некоторые модели используют более дорогие версии без необходимости.
- Новые агенты‑оптимизаторы – построены лёгкие «прокси‑агенты», которые:
- кэшируют ответы для часто повторяющихся вопросов;
- переключаются на менее дорогие модели (например,
gpt‑4o‑mini) при простых задачах; - объединяют несколько мелких запросов в один пакетный запрос.
Что это значит для пользователей?
GitHub обещает, что после внедрения этих улучшений средний расход токенов на один PR снизится на 30‑40 %, а общие счета за API могут уменьшиться вдвое для крупных проектов. Все изменения уже доступны в публичных репозиториях github/copilot-agent и github/agentic-workflows.
Ссылка: Improving token efficiency in GitHub Agentic Workflows
Для разработчиков это реальный шанс сократить расходы на AI‑интеграцию без потери функциональности. Стоит сразу перейти на новые агенты‑оптимизаторы, особенно если ваш CI/CD активно использует Copilot‑помощники. Внимание к кэшированию и пакетированию запросов станет новой практикой в построении экономичных AI‑потоков.
