Промпт‑инъекции, широкие права доступа и утечки данных: как сломать AI‑агента в HR

Команда Jay Guard, разработчики платформы безопасного использования языковых моделей, опубликовала подробный разбор уязвимостей AI‑агента, предназначенного для HR‑процессов. В статье отмечается, что уже в комментариях к публикации возникли вопросы о том, куда уходят персональные данные сотрудников, какие сведения видит LLM и что фиксируется в журналах событий.

Основные проблемы

1. Prompt‑инъекции – злоумышленник может модифицировать входной запрос так, чтобы LLM выполнил нежелательные действия (например, раскрытие конфиденциальных сведений).
2. Широкие права доступа – часто агент получает доступ к базе данных, файловой системе и внешним API без минимизации привилегий, что упрощает эксфильтрацию данных.
3. Логирование и аудит – недостаточно детализированные логи не позволяют отследить, какие запросы и ответы генерировались, что затрудняет расследование инцидентов.

Соответствие требованиям РФ

Автор статьи подчеркивает, что любые операции с персональными данными должны соответствовать 152‑ФЗ и внутренним регламентам информационной безопасности. Нарушения могут привести к штрафам и репутационным потерям.

Рекомендации Jay Guard

• Внедрять контроль контекста запросов: фильтрация и санитизация входных данных перед передачей в LLM.
• Применять принцип наименьших привилегий для всех компонентов агента.
• Обеспечить полноценное журналирование (включая запрос, ответ, идентификатор пользователя) и хранить логи в защищённом хранилище.
• Проводить регулярный аудит и тестирование на уязвимости, включая имитацию prompt‑инъекций.

Подробнее с примерами и чек‑листом можно прочитать в оригинальной статье на Habr ML.