RUMBA: новый русскоязычный бенчмарк для оценки долгосрочной памяти диалоговых систем
Sber AI представил RUMBA — набор из 10 000 русскоязычных диалогов с пятью задачами, позволяющий измерять способность моделей сохранять и обновлять контекст в течение длительных взаимодействий.
Sber AI (Сбер) опубликовал RUMBA — первый в России открытый бенчмарк, ориентированный на проверку долгосрочной памяти у диалоговых и агентных систем. В наборе более 10 000 реальных диалогов, собранных в разных сценариях: работа, обучение, бытовые задачи и планирование.
RUMBA состоит из пяти независимых задач:
- Fact Recall – модель должна вспомнить фиксированные факты о пользователе, указанные в ранних репликах.
- Context Continuity – поддержание непрерывного контекста при переключении тем.
- Info Update – корректное обновление устаревшей информации (например, изменение адреса).
- Temporal Reasoning – определение, когда произошло событие, и построение правильных временных связей.
- Preference Tracking – запоминание и использование пользовательских предпочтений в дальнейшем диалоге.
Для каждой задачи предусмотрены метрики точности и F1, а также скользящий показатель памяти (Memory Drift), измеряющий, насколько быстро модель «забывает» детали.
В статье представлены базовые результаты на популярных русскоязычных моделях:
- GigaChat – 71 % точности по суммарному баллу,
- Mistral‑7B‑RU – 66 %,
- Open‑Source LLaMA‑RU – 58 %. Все модели показывают значительный «деградационный» сдвиг после 20‑30 реплик, что подчеркивает необходимость дальнейших исследований в области памяти.
RUMBA доступен под лицензией CC‑BY‑4.0 на платформе Hugging Face и сопровождается скриптами для автоматической оценки. Подробнее о наборе и рекомендациях по использованию можно прочитать в оригинальной статье на Habr ML: https://habr.com/ru/companies/sberbank/articles/1060432/.
Для разработчиков диалоговых агентов RUMBA открывает возможность объективно измерять, насколько их модели способны удерживать контекст в реальных сценариях. Это особенно важно для сервисов с длительным взаимодействием – персональные помощники, обучающие боты и корпоративные чат‑боты. Тесты покажут, где модель «забывает», и помогут направить усилия на дообучение или внедрение внешних хранилищ памяти. Однако результаты также предупреждают о риске «забывания» важной информации, что может привести к ухудшению пользовательского опыта.
