Почему умные промпты вызывают галлюцинации у Qwen Code

В статье на Habr AI автор, работающий с ограниченным набором моделей, рассказывает о своей работе с Qwen Code – LLM, предназначенной для генерации кода. Несмотря на то, что модель обещает высокую точность, в реальном проекте она часто «галлюцинировала»: добавляла лишние артефакты, генерировала неверные функции и даже предлагала несуществующие библиотеки.

Первой задачей был CLI‑агент, который в идеале можно было реализовать «поиск‑и‑замена» за 20 минут. Вместо этого Qwen Code тратил два часа, постоянно вставляя ошибочные блоки кода. Автор начал разбирать причины:

• Слишком «умные» промпты. При попытке задать модель сложные инструкции (много условий, цепочки рассуждений) она теряла контекст и «заполняла пробелы» вымышленными данными.
• Отсутствие внешних проверок. Модель генерировала ответы без обращения к реальному репозиторию или статическому анализу, что позволяло ошибкам оставаться незамеченными.
• Настройки температуры и длины. Высокие значения способствовали разнообразию, но также увеличивали вероятность фантазий.

Для борьбы с проблемой автор применил несколько техник:

1. Упрощение промптов – разбить задачу на небольшие шаги и задавать их последовательно.
2. Chain‑of‑thought – явно просить модель объяснить каждый шаг перед выдачей кода.
3. Retrieval‑augmented generation – подключить поиск по локальному репозиторию и вставлять найденные фрагменты как контекст.
4. Пост‑проверка – запускать статический анализ и юнит‑тесты сразу после генерации, откатывая ошибочные части.
5. Снижение температуры до 0.2‑0.3 и ограничение длины вывода.

В результате время генерации сократилось до 30‑40 минут, а количество «лишних» артефактов упало на 70 %. Автор подчёркивает, что даже при ограниченном доступе к более мощным моделям (например, Claude) правильный подход к промптам и валидации может значительно повысить эффективность.

Полный текст статьи доступен по ссылке: https://habr.com/ru/articles/1053516/