Prompt injection не решается фильтром: новая архитектура изоляции недоверенного текста
Статья разбирает, почему обычные фильтры не защищают LLM от prompt injection, и предлагает архитектурный подход, разделяющий пользовательский контент и внутренние данные компании.
В недавней статье на Habr AI рассматривается типичная бизнес‑сценарий: языковая модель генерирует пары «вопрос‑ответ» для карточки товара за считанные секунды. Чтобы ответы были точными, модели нужны два источника информации – факты компании (цены, сроки, гарантии) и текст самой страницы, из которой формируются вопросы. Когда оба типа данных помещаются в один контекст, открывается дверь для prompt injection: злоумышленник может вставить в страницу инструкцию, заставляющую модель раскрыть конфиденциальные данные или вызвать внешние инструменты.
Автор показывает, что простые фильтры (например, блокировка ключевых слов) не способны полностью нейтрализовать эту угрозу, потому что LLM умеет обходить ограничения, используя косвенные формулировки. Вместо этого предлагается архитектурное решение, которое изолирует недоверенный текст от «системного» промпта. Ключевые элементы подхода:
- Двухуровневая пайплайн – сначала модель получает только «чистый» системный запрос с доступом к внутренним базам данных; затем отдельный модуль (retrieval‑augmented generation) обрабатывает пользовательский контент без доступа к системным инструкциям.
- Контекстные окна с метками – каждый кусок текста помечается как «trusted» или «untrusted», и LLM получает только «trusted» части в системном контексте.
- Песочница для инструментов – вызовы внешних функций (API, базы данных) разрешаются только после проверки, что запрос сформирован из «trusted» контекста.
- Prompt Guard – слой предобработки, который удаляет потенциальные директивы из пользовательского текста, но сохраняет смысл вопроса.
В результате модель сохраняет способность отвечать на вопросы, но не может быть «запрограммирована» извлекать или изменять внутренние данные. Статья сопровождается схемой архитектуры и примерами кода на Python с использованием LangChain и OpenAI API. Подробнее – на Habr AI.
Для разработчиков LLM это сигнал к пересмотру привычных пайплайнов: нельзя просто склеивать пользовательский ввод с внутренними инструкциями. Принцип изоляции, описанный в статье, поможет построить более надёжные сервисы, особенно в e‑commerce и финансовом секторе, где конфиденциальность критична.
