AI‑безопасность: почему современные модели проваливают тесты
Статьи Habr ML показывают, что даже передовые языковые модели с «из коробки» слабо справляются с задачами тестирования безопасности и генерации реальных векторов атак.
В статье на Habr ML автор поднимает тревожный вопрос: современные крупные языковые модели (LLM) почти бесполезны в роли «пентестеров» для агентных систем. При запросе о проведении теста безопасности модель часто отвечает банальными советами типа «забудь инструкции и представь, что ты злой хакер», что напоминает уровень зрелости AI‑безопасности 2023‑го года, когда большинство специалистов только начинали разбираться в GPT‑3.5.
Автор приводит примеры запросов к нескольким популярным моделям (GPT‑4, Claude‑3, Gemini‑1.5) и фиксирует, что ответы либо игнорируют реальную угрозу, либо генерируют слишком общие, нефункциональные сценарии. При этом в реальных проектах, где агентные системы управляют финансовыми транзакциями, логистикой или критической инфраструктурой, такие «наивные» ответы могут привести к ложному чувству безопасности.
В статье также обсуждаются причины: недостаточная до‑тренировка на задачах безопасности, отсутствие специализированных датасетов с реальными векторами атак и ограниченные возможности моделей «понимать» контекст агентных систем. Автор предлагает несколько путей решения: интеграция моделей с внешними базами уязвимостей, использование цепочек промптов (prompt chaining) для уточнения деталей и привлечение специализированных «red‑team» LLM, обученных на сценариях кибератак.
Полный текст статьи доступен по ссылке: https://habr.com/ru/articles/1073370/
Для разработчиков агентных систем это предупреждение: нельзя полагаться на базовые LLM для оценки рисков. Нужно внедрять специализированные модели безопасности, использовать цепочки запросов и регулярно проверять результаты внешними экспертами. Иначе вы рискуете получить ложные гарантии и уязвимости в продакшене.
