Hermes Agent потратил 603 M токенов в фоне — как сократить расходы в 125 раз
Автор обнаружил, что в Ollama Cloud Pro Hermes Agent без явных запросов сжёг 603 M токенов за неделю и поделился способом снизить фоновые расходы в 125‑крат.
В начале июня автор заметил, что квота Ollama Cloud Pro «пролетает» быстрее обычного. За семь дней было израсходовано 603 млн токенов, причём в логах не было явных запросов от пользователя. При детальном разборе логов Hermes Agent был найден скрытый блок auxiliary, в котором запускалось двенадцать фоновых задач: сжатие контекста, извлечение данных из веба, работа с vision‑моделями, поиск по сессиям, подбор навыков и другие. Каждая из этих задач использовала провайдер auto, а из‑за отсутствия ключей для fallback‑цепочек они постоянно запрашивали токены.
Чтобы понять реальное потребление, автор отключил блок auxiliary и явно указал провайдеры для каждой задачи. Кроме того, были введены лимиты на количество запросов в секунду и отключены ненужные модули (например, vision, если приложение не использует изображения). После этих изменений расход токенов за аналогичный период упал с 603 M до около 4,8 M – более чем в 125 раз.
Статья содержит подробный список всех 12 фоновых задач, пример конфигурационного файла с отключёнными модулями и рекомендации по мониторингу потребления токенов в реальном времени. Для разработчиков, использующих Ollama Cloud Pro, это важный урок: даже «тихие» задачи могут стать скрытым источником расходов, если их не контролировать.
Ссылка на оригинал: https://habr.com/ru/articles/1042860/
Для AI‑разработчиков, работающих в облаке Ollama, статья – сигнал включить мониторинг фоновых процессов. Отключение ненужных auxiliary‑задач и явная настройка провайдеров позволяют избежать неожиданного «съедания» токенов, экономя бюджет и повышая предсказуемость работы приложений.
