OWASP LLM10: Неограниченное потребление — новые угрозы от ресурсных промптов
В OWASP Top‑10 для LLM появился пункт LLM10: Unbounded Consumption. Статья раскрывает, как ресурсно‑ёмкие запросы могут вывести из строя модели и что делать разработчикам.
Что такое OWASP LLM10?
OWASP — открытая платформа по безопасности веб‑приложений — недавно пополнила свой Top‑10 для больших языковых моделей новым пунктом LLM10: Unbounded Consumption. В отличие от традиционных уязвимостей (XSS, SQL‑инъекций), здесь речь идёт о неограниченном потреблении вычислительных ресурсов модели через специально сконструированные запросы.
Почему это актуально?
LLM уже интегрированы в корпоративные помощники, RAG‑системы, генерацию кода и автоматизацию документооборота. При этом пользовательский ввод часто проходит без строгой валидации. Злоумышленник может подать «тяжёлый» промпт, заставляющий модель генерировать огромный объём токенов, выполнять длительные цепочки вызовов или использовать внешние инструменты (например, поиск в базе данных). Результат — высокие затраты на вычисления, рост latency и потенциальный отказ сервиса.
Как тестируют модели?
В статье от Habr AI описан набор ресурсоёмких промптов, которые позволяют измерить:
- количество токенов, генерируемых за запрос;
- время отклика модели;
- нагрузку на GPU/CPU и потребление памяти. Тесты проводятся на популярных моделях (ChatGPT‑4, Claude 2, Gemini 1.5) и показывают, что даже небольшие изменения в формулировке могут увеличить затраты в 10‑30 раз.
Практические рекомендации
- Ограничения на количество токенов – задавать жёсткие лимиты как на вход, так и на вывод модели.
- Квоты и rate‑limiting – вводить ограничения по количеству запросов от одного пользователя/ключа.
- Анализ запросов – использовать статический и динамический анализ промптов для обнаружения потенциально тяжёлых паттернов.
- Мониторинг расходов – собирать метрики по использованию GPU/CPU и стоимости токенов в реальном времени.
- Песочница для тестов – запускать подозрительные запросы в изолированных средах с ограниченными ресурсами.
Что дальше?
OWASP планирует дополнить список мер mitigations и опубликовать набор открытых тестов, которые можно интегрировать в CI/CD. Разработчикам рекомендуется включить эти проверки в процесс разработки LLM‑приложений, чтобы предотвратить неожиданную деградацию сервиса.
Для разработчиков AI‑приложений это сигнал к пересмотру архитектуры: необходимо внедрять лимиты токенов, мониторинг расходов и автоматическое отклонение подозрительных запросов. Без этих мер ваш сервис может стать лёгкой добычей для DoS‑атак через LLM, а расходы на облачные вычисления резко вырастут.
