Как измерять упоминание бренда в шести популярных LLM: схема, логи и типичные ошибки

Автор делится практической схемой измерения видимости брендов (ChatGPT, Claude, Perplexity, Gemini, Алиса AI, GigaChat) в запросах к ИИ, форматом логов и тремя распространёнными ошибками, которые искажают результаты.

Что измеряется и зачем

В статье на Habr ML автор исследует, насколько часто крупные языковые модели называют конкретные бренды, когда пользователь просит совет или ответ. Цель — понять, как ИИ‑сервисы «продвигают» свои собственные продукты и какие модели дают преимущество своим создателям.

Шесть моделей в фокусе

| Модель | Псевдоним в запросах | |--------|----------------------| | ChatGPT | ChatGPT | | Claude | Claude | | Perplexity | Perplexity | | Gemini | Gemini | | Алиса AI (Яндекс) | Алиса | | GigaChat | GigaChat |

Схема замера

Сбор запросов – генерируются 10 000 случайных пользовательских запросов с помощью prompt‑generation скрипта. Каждый запрос отправляется одновременно во все шесть моделей через их публичные API.
Парсинг ответов – ответы разбираются регулярными выражениями, ищутся упоминания названий брендов (регистронезависимо).
Агрегация – результаты сохраняются в единый CSV‑файл, где для каждой модели указано количество запросов, в которых найдено упоминание, и процент от общего числа.

Формат логов

Логи сохраняются в JSON‑строке, удобной для последующего анализа в pandas или SQL:

{
  "request_id": "c3f9a1",
  "prompt": "Как лучше подготовиться к интервью?",
  "model": "chatgpt",
  "response": "...",
  "brand_mention": "ChatGPT",
  "timestamp": "2026-08-18T12:34:56Z"
}

Каждая запись содержит идентификатор запроса, исходный промпт, название модели, полный ответ, найденное упоминание бренда (или null) и метку времени.

Три типичные ошибки

| Ошибка | Почему вредна | Как исправить | |--------|----------------|--------------| | Неполный список синонимов | ИИ часто использует сокращения (например, GPT‑4 вместо ChatGPT). | Добавить расширенный словарь синонимов и регулярные шаблоны. | | Неучёт регистронезависимости | По умолчанию поиск чувствителен к регистру, теряя упоминания в виде gpt‑4. | Включить флаг re.IGNORECASE в регулярных выражениях. | | Параллельный запрос без ограничения скорости | API‑лимиты приводят к таймаутам и пропущенным запросам, искажают статистику. | Ввести rate‑limiting (например, 5 req/s) и повторную отправку неудавшихся запросов. |

Итоги

Методика позволяет быстро оценить, насколько каждая модель «рекламирует» свой бренд. При правильной реализации полученные метрики могут стать частью маркетинговой аналитики и контроля за нейтральностью ИИ‑сервисов.

Читать оригинал на Habr ML