GitHub представил «Trust Layer» для валидации поведения Copilot‑агентов

GitHub опубликовал статью Validating agentic behavior when “correct” isn’t deterministic — практический гайд по построению так называемого Trust Layer для Coding Agents, работающих в GitHub Copilot. Автор подчеркивает, что традиционные методы тестирования (жёсткие скрипты, наборы unit‑тестов) часто ломаются, когда генеративный ИИ предлагает несколько «правильных» решений, а не одно детерминированное.

Для решения этой проблемы предложен доминирующий анализ (dominatory analysis). Вместо сравнения с единственным эталоном, система проверяет, удовлетворяют ли предлагаемые решения набору доминирующих критериев: корректность кода, отсутствие регрессионных багов, соблюдение стайлгайдов и соответствие бизнес‑логике. Критерии задаются в виде гибких правил, а оценка проводится через агрегирующую функцию, учитывающую вес каждого из них.

Ключевые преимущества подхода:

• Устойчивость к недетерминированности: любые «правильные» варианты проходят проверку, если соответствуют доминирующим правилам.
• Снижение количества «ломающих» тестов: вместо большого количества специфических скриптов достаточно поддерживать набор качественных критериев.
• Прозрачность: правила открыты для аудита, что облегчает построение доверия к агенту.

Статья также содержит примеры реализации на базе GitHub Actions и интеграцию с Copilot — авторы делятся готовыми конфигурациями и рекомендациями по настройке. Подробнее можно прочитать на официальном блоге GitHub: https://github.blog/ai-and-ml/generative-ai/validating-agentic-behavior-when-correct-isnt-deterministic/.