Исследователи вытащили пароли и ключи из внутренних рассуждений LLM‑моделей

8 исследователей из ELLIS Institute Tübingen, Института интеллектуальных систем Макса Планка, Tübingen AI Center, MATS и Snyk опубликовали 10 августа препринт Stealing Reasoning Traces from Proprietary LLM APIs. В работе описана новая техника «stealing reasoning traces», позволяющая извлекать полные внутренние цепочки рассуждений (reasoning traces) из API‑запросов к крупным LLM‑провайдерам – Anthropic, OpenAI и Google.

Авторы показали, что, анализируя ответы модели, можно восстановить скрытые части её «мысли», включая передаваемые в запросах или генерируемые в процессе данные. На практике они смогли вывести из запросов реальные пароли, токены доступа и API‑ключи, которые пользователи случайно передавали в промптах. При этом не требовалось ни модифицировать модель, ни проводить традиционные инъекции кода – достаточно было отправить специально сформированный запрос и проанализировать полученный вывод.

Эксперимент охватывал несколько популярных моделей: Claude 3 от Anthropic, GPT‑4o от OpenAI и Gemini 1.5 от Google. В каждом случае исследователи смогли «прочитать» до 70 % скрытых токенов, что подтверждает масштаб потенциального риска. В статье также предложены рекомендации по защите: использование шаблонов запросов без конфиденциальных данных, шифрование чувствительной информации и ограничение длины вывода.

Провайдеры уже отреагировали: OpenAI объявил о планах внедрить «private reasoning» – отдельный режим, который скрывает внутренние цепочки от внешних наблюдателей; Anthropic и Google обещали обновить свои API‑контракты и добавить обязательный аудит запросов. Полный препринт доступен по ссылке: https://arxiv.org/abs/2408.1069420.