Сколько инструментов показывать LLM‑оркестратору? Результаты замера

В статье на Habr AI авторы рассказывают о практическом эксперименте с их ИИ‑оркестратором, который умеет работать с более чем 90 различными инструментами: таблицами, документами, почтой, задачами, веб‑страницами, презентациями и другими сервисами. На каждом шаге запросов модель должна решить, какой из этих инструментов вызвать.

Главный вопрос, который стоял перед командой, – сколько инструментов показывать модели одновременно: весь набор из 90+ штук или лишь подмножество, отобранное по релевантности к текущему запросу. Для ответа был проведён замер производительности и качества ответов на реальном наборе запросов, охватывающих разные бизнес‑сценарии.

Ключевые результаты:

• При показе полного списка инструментов среднее время ответа увеличилось на 35 % из‑за дополнительной нагрузки на модель при выборе нужного инструмента.
• Точность выполнения задач (по метрике F1) снизилась на 4 % – модель иногда выбирала менее подходящий инструмент, «перегружаясь» информацией.
• При ограничении списка до 5‑10 наиболее релевантных инструментов время ответа сократилось на 22 %, а точность выросла на 3 %.
• Наиболее эффективным оказался гибридный подход: сначала модель получает краткую предвыборку (по семантике запроса), а затем уже из неё выбирает конкретный инструмент.

Авторы отмечают, что такой подход работает как с крупными облачными LLM, так и с небольшими моделями, размещёнными на бытовой видеокарте. Минимальный рабочий вариант оркестратора – RT (runtime), который позволяет динамически подстраивать количество инструментов в зависимости от нагрузки.

Вывод: ограничение списка инструментов до релевантных улучшает как скорость, так и качество работы LLM‑оркестратора, при этом сохраняет гибкость для широкого спектра задач.