Исследование: насколько Perplexity AI точно цитирует источники
Автор проверил 1355 ссылок в ответах Perplexity API, обнаружив, что лишь 448 из них содержат полностью совпадающий фрагмент текста.
В недавнем исследовании, опубликованном на Habr ML, автор провёл масштабный аудит качества цитирования в ответах Perplexity AI. Было сгенерировано 20 различных запросов, каждый из которых выполнен три раза через Perplexity API, что дало в сумме 60 ответов.
Для каждого ответа автор сопоставил каждую ссылку‑отметку [N] с оригинальной веб‑страницей, указавшейся в тексте. Из 1355 найденных ссылок 948 (≈70 %) вели на страницы, которые всё ещё доступны. Далее исследователь вручную проверил, совпадает ли конкретное предложение из ответа с реальным фрагментом текста на странице‑источнике.
Результаты показали, что только 448 ссылок (≈33 % от всех) содержали абзац, пункт списка или ячейку таблицы, полностью соответствующую утверждению в ответе. Остальные ссылки либо вели на общие страницы без конкретного подтверждающего текста, либо приводили лишь частичную или неточную информацию.
Таким образом, хотя Perplexity AI часто указывает на источники, её механизм «цитировать» не гарантирует, что пользователь получит полностью проверенный фрагмент текста. Это открывает вопросы о надёжности автоматических систем, использующих «ссылки‑подтверждения» в качестве аргументов. Авторы исследования предлагают улучшить алгоритмы сопоставления и добавить более строгие проверки соответствия текста, чтобы повысить доверие к ответам ИИ.
Полный отчёт доступен по ссылке: https://habr.com/ru/articles/1084140/
Для разработчиков, интегрирующих Perplexity API в свои продукты, это значит, что полагаться исключительно на автоматическую проверку фактов нельзя. Нужно внедрять дополнительный слой валидации или использовать альтернативные источники, чтобы гарантировать точность цитат.
