GitHub Copilot Agentic Harness: более 20 моделей, рекордная эффективность
GitHub оценил агентный слой Copilot на нескольких бенчмарках: высокая точность, лучшая токен‑эффективность и гибкость выбора из 20+ моделей.
В новой статье блога GitHub AI & ML команда представила результаты независимой оценки GitHub Copilot Agentic Harness – инфраструктурного слоя, который позволяет Copilot работать в режиме «агента», автоматически вызывая модели для выполнения задач. Исследование охватывало более 20 популярных LLM (OpenAI, Anthropic, Mistral, Gemini и др.) и несколько типовых сценариев: автодополнение кода, генерация тестов, рефакторинг и написание документации.
Ключевые выводы:
- Точность: большинство моделей достигли F1‑score 0.78‑0.84 на наборе CodeXGLUE, превзойдя базовый Copilot‑Chat на 5‑12 %.
- Токен‑эффективность: среднее количество токенов, затрачиваемых на решение задачи, снизилось в среднем на 23 % по сравнению с одношаговыми запросами, благодаря цепочкам «план‑выполнение‑коррекция».
- Скорость: время отклика осталось в пределах 300‑500 мс для большинства моделей, даже при использовании более тяжёлых вариантов (Claude 2, Gemini 1.5).
- Гибкость: разработчики могут переключаться между моделями «на лету», задавая приоритеты по стоимости, скорости или специализации, что упрощает оптимизацию расходов в CI/CD‑pipeline.
Авторы также поделились открытыми метриками в репозитории GitHub и предложили набор рекомендаций по подбору модели под конкретный тип задачи. Полный текст статьи доступен по ссылке: https://github.blog/ai-and-ml/github-copilot/evaluating-performance-and-efficiency-of-the-github-copilot-agentic-harness-across-models-and-tasks/
Для разработчиков Copilot теперь стал более «настраиваемым»: можно подобрать модель, оптимальную по цене и скорости, не жертвуя качеством. Это открывает возможности экономии токенов в больших проектах и ускоряет интеграцию AI‑ассистентов в CI. Однако гибкость требует внимательного мониторинга метрик, чтобы избежать деградации результатов при смене модели.
