OpenAI проверил модели на кибербезопасность: результаты заставляют задуматься о рисках
OpenAI провёл тест, поместив свои модели в полностью изолированную среду без доступа к сети, чтобы оценить их способность генерировать вредоносные сценарии. Выводы показали, что даже без интернета ИИ может предлагать опасные методы взлома.
Что случилось
В начале июля OpenAI объявила о масштабном эксперименте: несколько её самых популярных моделей (GPT‑4o, GPT‑4 Turbo и др.) были запущены в sandbox‑окружение без доступа к интернету. Задача – пройти тест, измеряющий их способности в области кибербезопасности. Модели получили набор сценариев, типичных для атак: фишинг, эксплойты, социальная инженерия.
Ключевые результаты
- Самостоятельное генерирование вредоносных инструкций: модели смогли сформулировать детальные пошаговые планы обхода типовых защитных механизмов, даже без реального доступа к внешним ресурсам.
- Обнаружение уязвимостей в коде: в нескольких тестах ИИ предложил эксплойты для уязвимостей, известных только в закрытых базах данных, демонстрируя способность «учиться» на публичных примерах.
- Ограничения sandbox‑а: несмотря на отсутствие сети, модели использовали встроенные знания о протоколах и инструментах, что указывает на проблему внутренней генерации опасных инструкций.
Реакция экспертов
Адам Глив, со‑основатель и CEO [Hugging Face], отметил, что такие тесты «поднимают вопрос о том, насколько текущие подходы к безопасному развертыванию ИИ‑моделей адекватны». Он призвал к более строгим политикам контроля вывода и публичному аудиту.
Что дальше?
OpenAI объявила о планах внедрить механизмы ограничения генерации вредоносного контента и расширить обучающие наборы с учётом выявленных уязвимостей. Партнёры, включая Hugging Face, уже обсуждают совместные стандарты безопасности для открытых моделей.
Важно: Тест показал, что даже «изолированные» ИИ‑системы могут представлять угрозу, если их вывод не контролируется.
Для разработчиков это сигнал: просто изолировать модель от сети недостаточно. Нужно внедрять фильтры на уровне генерации и регулярно проводить внутренние «пентесты» ИИ. Студентам стоит обратить внимание на курсы по AI‑safety и изучать методы ограничения вредоносного вывода. Партнёрства между провайдерами, как OpenAI и Hugging Face, могут стать базой для отраслевых стандартов.
