NVIDIA сократила токены вдвое без смены модели: новые приёмы оптимизации кодинг‑агента

В совместном исследовании учёные из NVIDIA, MIT и NTU создали «оптимизирующего» агента, задача которого – улучшать harness (обёртку и управленческие стратегии) уже существующего кодинг‑ассистента, построенного на открытой модели Pi. За один эксперимент агент перебрал 152 гипотезы по изменению запросов, форматов вывода и стратегии кэширования. \n\nИз всех вариантов лишь четыре показали заметный эффект: они почти удвоили эффективность использования токенов, при этом модель оставалась той же. В результате стоимость обращения к API упала на треть, а показатель EdgeBench (оценка производительности на краевых устройствах) снизился лишь на 6 %, что считается приемлемой потерей в обмен на экономию. \n\nКакие именно приёмы сработали? 1) Сокращение системных подсказок – удаление избыточных инструкций в системном промпте. 2) Динамическое объединение запросов – группировка нескольких мелких задач в один запрос. 3) Контекстное кэширование – сохранение часто используемых фрагментов кода между запросами. 4) Токен‑префиксирование – добавление коротких маркеров, позволяющих модели быстрее находить нужные паттерны. \n\nАвторы подчёркивают, что такие «инженерные» улучшения могут быть применены к любой LLM‑системе, где важна экономия токенов, особенно в коммерческих продуктах с высоким объёмом запросов. Однако они также отмечают, что снижение EdgeBench указывает на потенциальные компромиссы в скорости генерации и качестве кода, требующие дальнейшего тестирования.