Новый подход к сжатию контекста в AI‑агентах: от «резиновых» историй к динамической памяти
Исследователи представили методы динамического сжатия диалоговой истории, позволяющие LLM работать с ограниченным контекстным окном без потери качества ответов.
В статье Habr AI «Эволюция подхода к сжатию контекста в AI‑агентах» (12 августа 2026) рассматривается проблема роста диалоговой истории в интерактивных системах, где каждый обмен сообщениями добавляет новые токены в контекст. Традиционный подход – передавать всю историю в каждый запрос к модели – быстро достигает предела контекстного окна современных LLM (8‑32 К токенов), что приводит к ухудшению качества и увеличению расходов.
Авторы предлагают три ключевых метода сжатия:
- Контекстуальная агрегация – периодическое суммирование ранних сообщений в короткие резюме с помощью вспомогательной модели‑сумматора. Такие резюме сохраняют смысловые «якоря», но занимают в разы меньше токенов.
- Динамический отбор релевантных фрагментов – при каждом запросе система ищет в истории наиболее релевантные части с помощью векторного поиска (RAG) и передаёт только их.
- Иерархическая память (MCP) – хранит диалог в виде дерева, где узлы‑сводки могут быть «развёрнуты» по запросу, позволяя модели «перепрыгивать» через менее важные детали.
В эксперименте на наборе задач «Customer Support» авторы показали снижение количества токенов на 45 % при сохранении уровня точности ответа (отклонение < 2 %). Кроме того, новые техники позволяют использовать более дешёвые модели с меньшим контекстным окном без потери качества.
Полный текст статьи доступен по ссылке: https://habr.com/ru/articles/1069780/
Для разработчиков AI‑агентов это значит, что можно экономить токены и ускорять отклики, внедряя автоматическое резюмирование и RAG‑поиск в пайплайн. Студенты курсов по LLM теперь получат практический пример, как построить «ленивую» память без потери контекста. Однако стоит помнить о потенциальных ошибках в автоматических резюме – требуется контроль качества.
