Региональная инференция теперь доступна в Vercel AI Gateway
AI Gateway от Vercel позволяет фиксировать запросы к моделям в США или ЕС, гарантируя локальное хранение данных и прозрачность региона выполнения.
Что изменилось?
Vercel объявила о запуске региональной инференции в сервисе AI Gateway. Теперь разработчики могут указать параметр inferenceRegion в запросе и привязать его к одному из двух поддерживаемых регионов — US или EU.
- Локальное выполнение: запрос обрабатывается в выбранном регионе, а все данные, которые хранит провайдер модели, остаются в той же юрисдикции.
- Глобальная маршрутизация: если ни один провайдер не может обслужить запрос в указанном регионе, запрос не будет перенаправлен в другой регион — он завершится ошибкой.
- Отчёт о регионе: каждый ответ от AI Gateway содержит поле
servedRegion, позволяя убедиться, где именно был выполнен запрос.
Эта функция работает со всеми провайдерами моделей, поддерживающими региональную инференцию, без необходимости менять код модели. Для глобальных запросов можно оставить параметр пустым — тогда система выберет оптимальный провайдер.
Ссылка на оригинал: https://vercel.com/changelog/regional-inference-now-available-on-ai-gateway
Почему это важно?
- Соответствие требованиям GDPR и другим законам о локализации данных.
- Уменьшение задержек за счёт выполнения запросов ближе к пользователям.
- Повышение доверия к сервису, так как разработчики получают полную видимость места обработки данных.
Как использовать?
POST https://api.vercel.com/v1/ai/gateway
Headers: { "Authorization": "Bearer <token>" }
Body: {
"model": "gpt-4",
"messages": [{"role": "user", "content": "Hello"}],
"inferenceRegion": "EU"
}
Для разработчиков, работающих с чувствительными данными, региональная инференция открывает путь к соблюдению локальных регуляций без лишних усилий. Студенты курсов AI смогут экспериментировать с GDPR‑совместимыми сценариями, а компании получат инструмент для снижения латентности и повышения доверия к своим продуктам.
