GLiNER Guard (GLiGuard): один schema‑driven энкодер вместо множества LLM‑гарда

Что изменилось?

Разработчики LLM‑приложений часто «обвешивают» модели целым набором защитных слоёв: отдельные классификаторы для safety, PII, prompt injection, toxicity и пр. При таком подходе каждая нода обслуживает от 4 до 5 моделей‑классификаторов, а каждый пользовательский запрос требует 20+ forward‑проходов. Это приводит к росту задержек, расходу вычислительных ресурсов и усложнённой инфраструктуре.

GLiNER Guard (GLiGuard)

Компания Raft представила GLiNER Guard – schema‑driven энкодер, который заменяет весь набор гарда‑модулей одним компактным решением. Вместо пяти независимых классификаторов система использует единую нейросетевую схему, обученную на объединённом датасете, покрывающем все типы проверок.

Ключевые особенности

• Единый encoder: один forward‑проход вместо 20+, что сокращает латентность до 30‑50 %.
• Schema‑driven: задаётся набор правил (schema) в виде JSON‑описания, которое модель интерпретирует во время инференса.
• Zero‑shot prompting: новые проверки можно добавить, просто описав их в схеме без дополнительного fine‑tuning.
• Совместимость: работает с любой LLM, поддерживая OpenAI, Anthropic, Gemini и локальные модели через 🤗 HuggingFace.

Как это работает?

GLiGuard принимает schema – структуру, описывающую типы угроз (например, {"type":"PII", "pattern":"[A-Z][a-z]+"}) – и использует zero‑shot механизм, основанный на инструкционном обучении, чтобы распознать соответствующие паттерны в тексте. При необходимости можно добавить кастомные правила без переобучения модели.

Практический эффект

• Снижение затрат: одна модель вместо пяти уменьшает потребление GPU‑памяти на ~40 %.
• Упрощённая DevOps‑инфраструктура: меньше сервисов, меньше точек отказа.
• Гибкость: новые типы проверок внедряются за часы, а не недели.

Подробнее о реализации и результатах тестов можно узнать в оригинальной статье на Habr ML: https://habr.com/ru/companies/raft/articles/1037116/.