AI Gateway теперь поддерживает откаты по уровню уверенности

Что изменилось?

Vercel объявил о выпуске confidence‑based decision fallbacks для своего продукта AI Gateway. Теперь разработчики могут задать условия уверенности, при которых запрос будет автоматически эскалирован к резервной (fallback) модели. Это позволяет снизить риск неверных ответов и повысить надёжность сервисов, построенных на LLM.

Ключевые возможности

• Условные пороги уверенности – задаются в виде JSON‑объекта. Если первичная модель не достигает указанного уровня, запрос переходит к альтернативной модели.
• Комбинирование условий – можно указать несколько сигналов (например, низкая уверенность и высокий риск ошибки) и требовать их одновременного выполнения.
• Поддержка разных типов вопросов:
  • Choice и Score вопросы проверяют значение confidence.
  • Boolean вопросы используют диапазон вероятности.
• Совместимость с существующими fallback‑моделями – простые имена моделей, указанные в models, продолжают ловить прямые ошибки, поэтому прежние настройки не ломаются.

Как настроить?

{
  "model": "gpt‑4o",
  "fallback": {
    "model": "gpt‑4-mini",
    "condition": {
      "type": "confidence",
      "min": 0.6,
      "max": 0.8,
      "questionTypes": ["choice", "score"]
    }
  }
}

Добавьте один объект условия в конфигурацию вашего шлюза, и система будет автоматически переключаться, когда условие сработает.

Почему это важно?

• Снижение количества «галлюцинаций» за счёт контроля над уверенным ответом.
• Гибкость: можно использовать более дешёвую модель в fallback‑слое, экономя бюджеты.
• Улучшение пользовательского опыта – ответы становятся более предсказуемыми.

Больше деталей в официальном блоге Vercel: https://vercel.com/changelog/confidence-based-decision-fallbacks