Дообучение детектора промпт‑инъекций: пять раундов, четыре отката и гейты против регресса

Что произошло?

В статье компании Agima на Habr ML описан практический опыт дообучения модели‑детектора промпт‑инъекций. За полгода команда провела пять раундов обучения, из которых четыре пришлось откатывать из‑за регрессий в точности или росту ложных срабатываний.

Как собирали и размечали данные?

• Корпус формировался из реального корпоративного трафика: запросы пользователей, ответы LLM и метки «инъекция»/«чистый».
• Для разметки привлекались два уровня экспертов – практикующие инженеры Prompt Engineering и анализаторы безопасности. Итоговый набор включал ≈ 120 k запросов, из которых ≈ 8 % – инъекции.
• После каждого раунда данные дополнялись новыми примерами, найденными в продакшн‑логах.

Ключевые метрики и причины откатов

| Раунд | Precision ↑ | Recall ↑ | F1 ↓ (регресс) | Причина отката | |-------|--------------|----------|----------------|----------------| | 1 | 0.92 | 0.78 | — | Появились ложные срабатывания на легитимные запросы (FP ↑ 12 %). | | 2 | 0.94 | 0.81 | — | Снижение Recall на новых типах инъекций (Recall ↓ 5 %). | | 3 | 0.95 | 0.84 | — | Увеличение latency до 450 мс, не укладываясь в SLA. | | 4 | 0.96 | 0.86 | — | Регресс в bias‑тестах: модель начала блокировать нейтральные запросы о политике. | | 5 (успешный) | 0.97 | 0.89 | — | Все гейты прошли, latency ≤ 300 мс, FP ≤ 3 %. |

Гейты против регресса

Команда внедрила пять автоматических гейтов перед выкатыванием:

1. Threshold‑gate – минимум 0.95 Precision на валидационном наборе.
2. Recall‑gate – минимум 0.85 Recall на новых типах инъекций.
3. Latency‑gate – время ответа ≤ 350 мс.
4. Bias‑gate – отсутствие деградации в тестах на нейтральные запросы.
5. Canary‑gate – 0.1 % трафика в продакшн с мониторингом FP/ FN.

Итоги

Пятый раунд, прошедший все гейты, продемонстрировал F1 = 0.93 и стабильно низкий уровень ложных срабатываний. Модель уже используется в продакшн‑сервисах Agima для защиты от вредоносных промптов.

Читать оригинальную статью