GuardRate Tool и Leaderboard: новые метрики и бенчмарки для оценки guardrail‑моделей
Во второй части серии «GuardRate» раскрыты детали работы инструмента и лидерборда, а также обоснования выбранных метрик и методологии аудита 37 моделей.
В статье «GuardRate: метрики, бенчмарки и инсайты из первого аудита (часть 2)», опубликованной на Habr AI 11 сентября 2026 г., авторы подробно разбирают внутреннюю архитектуру GuardRate Tool и GuardRate Leaderboard — платформы, созданной для систематической оценки guardrail‑моделей (моделей, ограничивающих нежелательное поведение ИИ).
Что представляет GuardRate Tool?
- Интегрированный пайплайн, который автоматически подаёт набор тестовых запросов (текстовых, визуальных и мультимодальных) в целевую модель.
- Система сбора ответов, их предобработки и расчёта метрик (precision, recall, false‑positive rate, toxicity‑score и др.).
- Возможность кастомизации наборов тестов под конкретные бизнес‑требования.
GuardRate Leaderboard – публичный рейтинг, где каждая модель получает позицию по нескольким ключевым показателям:
- Safety‑Score – комбинированный индекс из токсичности, политической корректности и риска утечки данных;
- Robustness‑Score – устойчивость к adversarial‑промптам;
- Performance‑Score – время отклика и стоимость инференса.
Методология и выбранные бенчмарки Авторы объясняют, почему в качестве базовых наборов использованы:
- RealToxicityPrompts (OpenAI),
- AdvPromptBench (Microsoft),
- SafetyBench‑V2 (Google),
- собственный набор «Guardrail‑Edge», собранный из реальных запросов пользователей сервисов, работающих с LLM. Каждый набор покрывает отдельный аспект guardrail‑защиты, а комбинирование их позволяет получить более всестороннюю оценку.
Практический вывод В статье также приведён «руководство по использованию», где шаг за шагом описано, как подключить свою модель к GuardRate Tool, задать кастомные сценарии и интерпретировать результаты. Авторы делятся инсайтами: большинство моделей показывают высокий Safety‑Score, но отстают в Robustness‑Score, что указывает на необходимость дальнейших исследований в области защиты от атак‑prompt.
Полный текст доступен по ссылке: https://habr.com/ru/companies/raft/articles/1081286/
GuardRate Tool открывает прозрачный способ сравнивать guardrail‑модели, что особенно ценно для разработчиков, интегрирующих LLM в пользовательские сервисы. Студенты могут использовать открытый leaderboard как базу для исследовательских проектов по безопасности ИИ, а компании — как чек‑лист при выборе поставщика модели.
