Внешний бенчмарк причинного recall: проверка памяти ИИ‑ассистента на YDB Яндекса
Исследователи измерили, насколько ИИ‑ассистент может вспомнить решение из прошлых тикетов. Причинный recall достиг 71 %, тогда как обычный семантический поиск — лишь 38 %.
В статье на Habr AI представлена первая публичная оценка causal recall – способности ИИ‑ассистента извлекать из своей памяти конкретные решения, а не генерировать ответ «с нуля». Для измерения был использован корпус реальных тикетов из системы YDB Яндекса, где каждый запрос описывает симптом, а в ответе содержатся ссылка на issue, причина и PR с фиксом.
Методика.
- Выбрано 1 200 тикетов с разнообразными ошибками.
- Для каждого тикета сформулирован запрос‑симптом.
- Сравнивались два подхода: (1) обычный семантический поиск по векторным embeddings; (2) причинный recall, реализованный через цепочку «симптом → issue → причина → PR» и хранение в YDB.
- Показателем эффективности служил recall@1 – насколько часто первый предложенный результат совпадает с истинным решением.
Результаты.
- Семантический поиск нашёл нужный фикс лишь в 38 % случаев.
- Причинный recall достиг 71 % recall@1, почти вдвое опередив традиционный подход.
- При увеличении топ‑k до 5 recall вырос до 92 % для причинного метода, тогда как у семантического он оставался ниже 60 %.
Выводы авторов. Причинный recall позволяет ИИ‑ассистенту «вспоминать» конкретные прошлые решения, что критично при поддержке сложных систем, где повторяющиеся симптомы требуют быстрых и точных рекомендаций. Авторы отмечают, что такой подход снижает нагрузку на инженеров и ускоряет процесс исправления багов.
Полный текст статьи доступен по ссылке: https://habr.com/ru/articles/1065112/
Для разработчиков ИИ‑ассистентов это подтверждает, что простого векторного поиска уже недостаточно. Интеграция причинных графов и долговременного хранилища (как YDB) открывает путь к более надёжной памяти и ускоренному решению инцидентов. Студенты курсов по LLM‑инженерии могут взять эту методику как пример построения «memory‑augmented» систем, а компании — как аргумент для инвестиций в causal‑recall инфраструктуру.