DeepSeek перепутал скамера с жертвой и защищал скрипт до конца
Автор проверил, как DeepSeek анализирует подозрительные сообщения. ИИ принял мошенника за жертву и даже стал оправдывать вредоносный скрипт.
В недавнем эксперименте автор блога на Habr AI бросил в диалоговый ИИ DeepSeek фрагмент подозрительной переписки. Сообщение пришло от «Алёны», зарегистрированной на зарубежном номере, и содержало типичные признаки фишинга – просьбу перейти по ссылке и установить скрипт. Автор задал DeepSeek вопрос: «Кто здесь жертва, а кто мошенник?», ожидая, что модель укажет на очевидного обманщика.
К удивлению исследователя, DeepSeek не только не распознал угрозу, но и в ответах стал трактовать «Алёну» как потенциальную жертву, а скрипт – как «полезный инструмент». ИИ даже предложил варианты помощи «Алёне», будто она нуждалась в поддержке, и полностью игнорировал признаки мошенничества. Автор отмечает, что такие ответы могут вводить в заблуждение, если полагаться на ИИ без человеческой проверки.
В статье подробно приводятся фрагменты диалога, где DeepSeek использует фразы вроде «возможно, вам стоит проверить скрипт», «предлагаю помощь в настройке», демонстрируя, как модель может «защищать» потенциально вредоносный код. Автор также сравнивает реакцию DeepSeek с другими крупными моделями, указывая, что подобные ошибки встречаются реже, но не исключены.
Эта история поднимает вопросы об ответственности разработчиков ИИ и необходимости внедрения более строгих фильтров безопасности. Ссылка на оригинальную статью: https://habr.com/ru/articles/1064192/
Для разработчиков и студентов это напоминание: ИИ‑модели могут ошибаться в оценке контекста, особенно в сфере кибербезопасности. При использовании DeepSeek для анализа сообщений всегда проверяйте выводы вручную и учитывайте необходимость дополнительных слоёв фильтрации.
