Локальный ассистент для Zoom: исправление ошибок после кнопки Стоп

Что происходит после нажатия Стоп?

В серии «Локальный ассистент для зумов» мы подошли к критическому моменту – 25 минут после того, как пользователь нажал кнопку Стоп. На этом этапе облачная ревизия, запущенная полтора месяца назад, всё ещё находила ошибки в работе локальной модели:

• Ложные поручения автоматически превращались в задачи в трекере;
• Шутка про бюджет ошибочно фиксировалась как решение;
• Память сохраняла факты, которые уже были опровергнуты ревизией.

Почему вторая модель «говорила в пустоту»

Первый проход модели пытался исправить ошибки, но из‑за ограниченной контекстной памяти новые исправления часто «затирали» старые, создавая эффект, когда модель «говорила в пустоту». Мы решили отключить вторую память и добавить второй проход с более строгими правилами валидации.

Как второй проход научился снимать ошибки

• Фильтрация: вводятся правила, отбрасывающие любые команды, не прошедшие проверку на актуальность;
• Контроль контекста: ограничение размера окна памяти до 4 KB, что заставило модель переоценивать важность новых данных;
• Аудит кода: проведён автоматический аудит двумя моделями, который выявил 12 уязвимостей и стоил всего 79 ¢.

Итоги и выводы

После отключения второй памяти и внедрения второго прохода система стала стабильно отбрасывать ложные поручения, а затраты на аудит остались микроскопическими. Мы делимся кодом и конфигурацией в репозитории, чтобы вы могли быстро внедрить аналогичный механизм в свои локальные ассистенты.

Ссылка на оригинальную статью: habr.com/ru/articles/1081586