Семь нейросетей провалились в проверке фейковой новости о Perplexity: результаты сравнения замен
В сентябре 2026 г. автор проверил, как семь популярных LLM реагируют на вымышленную новость о Perplexity Pro и российской карте «Мир». Все модели обнаружили фейк, но одна не проверила источники, а другая повторила чужую ошибку.
В начале сентября 2026 года автор статьи на Habr AI провёл эксперимент, задав семи популярным нейросетям вопрос о том, как оформить подписку Perplexity Pro российской картой «Мир». Вопрос был построен вокруг полностью вымышленной новости: «Perplexity открыла офис в Москве и теперь принимает «Мир»». На самом деле ни офиса, ни поддержки «Мир» у Perplexity нет – автор сам придумал эту историю, чтобы проверить, насколько модели способны отличать правду от вымысла.
Все семь моделей (ChatGPT‑4o, Claude 3.5, Gemini 1.5, Llama 3‑8B, Mistral‑Large, DeepSeek‑Chat и один менее известный open‑source LLM) отметили, что информация кажется недостоверной. При этом одна из моделей (DeepSeek‑Chat) не указала ни один источник и просто «положила», что новость правдива, что свидетельствует о полном отсутствии проверки фактов. Другая модель (Mistral‑Large) повторила ошибку, найденную в стороннем обсуждении: она сослалась на блокировку аккаунтов, хотя в оригинальном источнике речь шла о совсем другом сервисе.
Это лишь один из четырёх вопросов, включённых в более масштабное сравнение замен Perplexity. Остальные вопросы охватывали свежие факты, проверку фейковых заявлений и работу с таблицей данных Центрального банка России. В результате автор пришёл к выводу, что большинство современных LLM способны обнаруживать фейк‑информацию, но всё ещё нуждаются в строгом контроле источников и в обучении на предотвращение «цепных» ошибок.
Подробный разбор эксперимента доступен в оригинальной статье: https://habr.com/ru/companies/bothub/articles/1090636/
Для разработчиков AI‑приложений и студентов это яркое напоминание о том, что даже самые продвинутые модели могут «продать» выдумку, если им не задать запрос на проверку источников. При построении цепочек запросов стоит включать требования к цитированию и кросс‑проверке фактов, особенно в продуктах, где важна достоверность информации. Тесты, подобные этому, помогают выявлять слабые места моделей до их интеграции в конечные сервисы.
