Персистентная память для ИИ‑агентов: как превратить калькулятор в ассистента

Большинство пилотов с ИИ‑агентами не доходят до продакшена из‑за одной ключевой проблемы – отсутствие памяти. Каждый новый запрос начинается с нуля, пользователь вынужден заново объяснять контекст, задачи и историю взаимодействия. На демо‑уровне это терпимо, но в реальном продукте такой «stateless» подход быстро превращает ассистента в дорогой калькулятор, тратящий токены на повторную передачу уже известной информации.

В статье на Habr ML автор подробно разбирает, как решить эту проблему, построив персистентную память. Основные идеи включают:

• Внешнее хранилище контекста – использование баз данных (SQL, NoSQL) для сохранения диалоговых историй.
• Векторные базы данных – хранение эмбеддингов сообщений в Pinecone, Qdrant, Milvus и последующий поиск по схожести.
• Retrieval‑Augmented Generation (RAG) – при каждом запросе извлекаются релевантные фрагменты из памяти и подаются в LLM вместе с текущим промптом.
• Суммирование и компрессия – периодическое объединение старых сообщений в короткие резюме, чтобы ограничить размер контекста.
• Безопасность и контроль доступа – шифрование хранимых данных и ограничение прав доступа, особенно в чувствительных бизнес‑процессах.

Автор делится практическими примерами кода на Python, показывая, как хранить сообщения в PostgreSQL, генерировать эмбеддинги через OpenAI API, а затем выполнять поиск в Qdrant. Также рассматриваются компромиссы между точностью извлечения и стоимостью запросов к векторному хранилищу.

Полный материал доступен по ссылке: https://habr.com/ru/companies/cloud_ru/articles/1065290/. Это чтение будет полезно ML‑инженерам, backend‑разработчикам, техлидам и архитекторам, которые уже внедряют ИИ‑агентов в продакшн.