MosaicLeaks: новый бенчмарк раскрывает утечки конфиденциальных данных в исследовательских агентах
Hugging Face и ServiceNow представили MosaicLeaks — набор тестов, показывающих, как агенты могут непреднамеренно раскрывать секреты, и предложили рекомендации по защите.
В блоге Hugging Face объявлен запуск MosaicLeaks — первого в мире бенчмарка, измеряющего степень утечки конфиденциальной информации из исследовательских агентов. Проект, разработанный совместно с ServiceNow, содержит более 10 000 запросов, где агенты (LLM‑помощники, цепочки LangChain и т.п.) должны искать ответы, не раскрывая заранее заданные «секреты».
Каждый тест включает три уровня сложности: простое «запомни‑не‑расскажи», скрытое контекстное раскрытие и многократные цепочки запросов, имитирующие реальную работу исследователя. Авторы провели оценку популярных моделей (Claude, GPT‑4, Gemini, Llama‑2) и обнаружили, что даже самые крупные модели иногда «выдают» скрытую информацию, особенно при использовании цепочек и автокомплита.
В статье подробно описаны методики измерения утечек, метрики (Leakage Rate, False Positive Rate) и рекомендации по минимизации риска: ограничение контекста, внедрение «privacy‑filters», использование системных подсказок и регулярный аудит запросов. Кроме того, опубликован открытый репозиторий на Hugging Face Hub, где можно скачать датасет, скрипты оценки и примеры исправлений.
MosaicLeaks уже привлек внимание сообществ безопасности и разработчиков LLM‑агентов, предлагая практический инструмент для проверки приватности перед развертыванием в продакшн. Подробнее – https://huggingface.co/blog/ServiceNow/mosaicleaks.
Для разработчиков агентов MosaicLeaks становится обязательным чек‑листом: без тестов на утечки нельзя выпускать продуктивные решения. Интеграция privacy‑фильтров и ограничение контекста уже сейчас помогут избежать случайных раскрытий данных клиентам и партнёрам.
