Галлюцинации VLM в zero‑shot детекции дыма: ложные тревоги и решение через промпт

В статье на Habr ML автор делится опытом применения vision‑language модели (VLM) для zero‑shot детекции огня и дыма без дополнительного обучения. Первоначальные эксперименты прошли успешно: на видеозаписях с реальным дымом модель корректно выделяла области огня, выдавая боксы и уверенность до 95 %.

Однако при тестировании на «чистых» улицах, где дым отсутствовал, VLM начала выдавать ложные тревоги – в среднем 70 % кадров содержали боксы, обозначающие дым. Причём некоторые из них имели confidence 0 %, но при этом модель добавляла текстовое пояснение «дым отсутствует», создавая путаницу. Анализ показал, что одношаговый формат bbox‑запроса («найди дым и нарисуй коробку») провоцирует такие галлюцинации: модель стремится выполнить задачу, даже если объект не найден.

Автор пробовала стандартные приёмы промпт‑инжиниринга – уточнение контекста, добавление отрицательных примеров, изменение температуры генерации – но улучшений не было. Переломным оказался переформулированный запрос: вместо «Найди дым и нарисуй коробку» использовалось «Если ты видишь дым, укажи его координаты, иначе ответь «нет дыма».» Такое изменение заставило модель сначала проверять наличие сигнала, а лишь затем генерировать bbox, что сократило количество ложных детекций до 5 % и полностью убрало боксы с нулевой уверенностью.

Статья подчёркивает важность проверки VLM в реальных сценариях и демонстрирует, как небольшие правки в промпте могут решить проблему галлюцинаций, делая zero‑shot детекцию более надёжной.