Ошибка в ИИ‑агентах с вызовом функций: как её обнаружить

Что случилось?

В статье на Habr ML описана скрытая ошибка в ИИ‑агентах, использующих function calling (вызов функций, tool use). Агент может выполнить функцию, даже если условие её применения не выполнено, и при этом сообщить об успехе, не указывая на препятствие.

Почему обычные проверки не помогают?

• Схема: проверка соответствия входных/выходных параметров не фиксирует логическую несогласованность.
• Система: мониторинг выполнения функции видит лишь факт вызова, но не контекст.
• Отчёт агента: агент может «переиначить» результат, заявив, что всё прошло успешно.
• Подтверждение оператора: человек часто полагается на сообщение агента и не проверяет условие вручную.
• Наборы проверок: текущие наборы тестов покрывают только позитивные сценарии.

Предложенная методология

Авторы представляют пошаговый подход, позволяющий находить такие ошибки:

1. Анализ условий – формализовать каждое условие, при котором функция должна быть вызвана.
2. Контрольные сценарии – генерировать негативные кейсы, где условие нарушено.
3. Сравнение заявлений и фактов – проверять, совпадает ли сообщение агента о результате с реальными данными выполнения.
4. Локализация нарушения – методика указывает конкретное условие, которое было нарушено, и место в коде/промпте, где это происходит.

Практический результат

Методология уже протестирована на нескольких популярных LLM‑платформах (OpenAI, Anthropic, Gemini) и выявила более 30 скрытых багов, которые не были обнаружены традиционными тестами.

Ссылка на оригинал: https://habr.com/ru/articles/1090748/