Трансформер BLIP в тесте визуальных иллюзий: что он «видит» первым?
Исследователи проверили модель BLIP на наборе иллюзорных картинок и проанализировали, какой объект модель описывает в первую очередь.
В статье на Habr ML от 22 августа 2026 года авторы исследовали, как современный vision‑language трансформер BLIP реагирует на визуальные иллюзии. Для эксперимента использовались классические амбиграммы – изображения, в которых один и тот же набор линий может восприниматься как разные объекты (крокодил, лодка, силуэт человека) в зависимости от угла обзора.\n\nКоманда подготовила 50 таких картинок и задала модели два типа запросов: «Что вы видите на картинке?», а также более конкретный «Опишите объект, который первым бросился в глаза». BLIP генерировал текстовые ответы, после чего исследователи сравнили их с человеческими оценками, собранными в онлайн‑опросе.\n\nРезультаты показали, что модель склонна фиксировать один «доминирующий» объект в 68 % случаев, часто совпадающий с тем, что выбирает большинство людей. Однако при изменении формулировки запроса (например, добавить «сначала») частота согласия упала до 45 %. Кроме того, в 12 % ответов BLIP предлагал полностью «неправильный» объект, которого в иллюзии нет.\n\nАвторы делают вывод, что даже продвинутые vision‑language модели сохраняют «склонность к первичному восприятию», аналогичную человеческому мозгу, но их ответы сильно зависят от формулировки промпта. Статья доступна по ссылке: https://habr.com/ru/articles/1073336/
Для разработчиков LLM‑систем это значит, что при интеграции визуальных моделей важно тщательно прорабатывать формулировку запросов – небольшие изменения могут радикально менять результат. Студентам стоит экспериментировать с различными промптами, чтобы понять, как модель интерпретирует неоднозначные изображения, и учитывать возможные «залипания» на одном объекте.
