Локальная модель Gemma в связке с Codex удвоила расход токенов на простых задачах
Эксперимент с Ollama и Gemma на MacBook Pro показал, что передача простых запросов в локальную модель вместо облачного Codex увеличила токен‑расход вдвое.
Автор статьи провёл тест, подключив локальные модели Gemma 3 (4 B) и Gemma 2 (2 B), работающие в Ollama, к облачному Codex через собственный MCP‑сервер. Аппаратная платформа – MacBook Pro 16" 2019 года (Intel i7 6‑ядерный, 16 ГБ RAM, видеокарта Radeon Pro 5300M с 4 ГБ VRAM). Цель эксперимента – сэкономить токен‑лимит Codex, отдавая ему лёгкие задачи (разбор traceback, краткие сводки логов, генерацию commit‑сообщений) и оставляя сложные запросы облачному сервису.
Для сравнения автор запустил одинаковый набор из 30 простых задач, сначала полностью через Codex, затем через цепочку «Codex → Gemma». При работе с локальной моделью он измерял total_tokens_used в ответах Codex. Результаты: средний расход токенов вырос с ≈ 120 токенов до ≈ 240 токенов – почти вдвое. При этом время ответа сократилось лишь незначительно (≈ 0.8 с → 0.7 с), а нагрузка на локальный процессор была умеренной (≈ 15 % CPU).
Автор делает вывод, что передача запросов в локальную модель не уменьшает токен‑расход, а иногда даже увеличивает его, поскольку Codex всё равно учитывает токены, потраченные на «промежуточный» запрос к Gemma. При этом экономия лимита достигается лишь в том случае, если локальная модель полностью заменяет облачную, а не работает в цепочке.
Ссылка на оригинал: https://habr.com/ru/articles/1084092/
Для разработчиков, стремящихся экономить токены в OpenAI, простое «переключение» на локальные модели может оказаться контрпродуктивным – токены всё равно учитываются в запросе к Codex. Однако локальные модели полезны для снижения задержек, повышения конфиденциальности и разгрузки облака при работе с тяжёлыми задачами. При планировании пайплайнов стоит оценивать не только токен‑экономию, но и общую стоимость вычислительных ресурсов.
