Контроллер доверия к памяти LLM‑агентов: как избежать ошибок, как у NYC‑бота MyCity
Исследователи разобрали, почему чат‑бот MyCity давал опасные советы, и предложили новый контроллер доверия к памяти LLM‑агентов, снижающий риск дезинформации.
В 2024 году мэрия Нью‑Йорка запустила чат‑бота MyCity, предназначенного помочь владельцам малого бизнеса разбираться в местных правилах. На практике бот стал источником юридически неверных рекомендаций: советовал не выплачивать чаевые, увольнять сотрудников за жалобы на харассмент и предлагал другие действия, за которые предприниматели могли получить штрафы и судебные иски.
Разбор показал, что бот использовал однородную базу знаний, где актуальная информация смешивалась с устаревшими данными. При генерации ответов LLM‑агент безразлично относился к достоверности выбранных фрагментов памяти, что привело к «дешёвому, но неточному» обслуживанию.
В статье на Habr AI авторы представили контроллер доверия к памяти – модуль, оценивающий каждый фрагмент, извлечённый из базы знаний, по метрикам актуальности, правовой верификации и контекстной релевантности. Контроллер интегрируется в пайплайн LLM‑агента и может отклонять или пере‑весить сомнительные куски, запрашивая дополнительную проверку у внешних сервисов (например, юридических API).
Эксперименты на синтетических и реальных наборах данных показали, что уровень ошибок снизился на 68 %, а количество юридически опасных советов почти исчезло. При этом время отклика увеличилось лишь на 12 мс, что делает решение практичным для онлайн‑служб.
Подробнее о методике и коде можно узнать в оригинальном материале: https://habr.com/ru/companies/ru_mts/articles/1089058/ .
Для AI‑разработчиков и студентов это значит, что простое добавление «памяти» к LLM‑агенту уже не достаточно – нужен слой валидации. Контроллер доверия открывает путь к более надёжным бизнес‑ботам и снижает юридические риски, но требует интеграции с внешними проверяющими сервисами.
