Исследование: LLM‑ы генерируют несуществующие пакеты, открывая уязвимости цепочки поставок

Что изучалось

В статье We Have a Package for You! A Comprehensive Analysis of Package Hallucinations by Code Generating LLMs исследователи из нескольких университетов и компаний провели масштабный эксперимент: 16 популярных LLM‑моделей, способных генерировать код, попросили добавить зависимости в проекты. Было получено 576 000 сгенерированных образцов.

Ключевые результаты

• 10‑12 % рекомендаций включали пакеты, которые не существуют в публичных репозиториях (npm, PyPI, Maven и др.).
• Наиболее «творческие» модели (Claude 3, Gemini 1.5) генерировали вымышленные имена чаще, чем более консервативные (GPT‑4o, CodeLlama).
• При повторных запросах вероятность появления «фантазийных» зависимостей ростала до 18 %.
• Авторы проверили, насколько легко злоумышленник может воспользоваться такой ошибкой: создав пакет с тем же именем в публичном реестре, он может внедрить вредоносный код в проекты, принявшие рекомендацию модели.

Почему это важно

Эти «пакетные галлюцинации» превращают обычные ошибки LLM в угрозу поставки программного обеспечения. При автоматическом внедрении рекомендаций в CI/CD такие уязвимости могут оставаться незамеченными, пока не будет выполнен код из подложного пакета.

Что предлагают исследователи

• Валидацию названий пакетов через официальные API реестров перед их добавлением в requirements.txt или package.json.
• Фильтрацию рекомендаций LLM с помощью «чёрных списков» известных подозрительных шаблонов.
• Обучение моделей на реальных метаданных пакетов, чтобы снизить вероятность выдумывания.

Полный текст исследования доступен по ссылке: https://habr.com/ru/companies/codescoring/articles/1068000/ .