Vercel Sandbox поддерживает Harbor: запуск Terminal‑Bench и других бенчмарков
В Vercel Sandbox теперь можно выполнять оценки Harbor (Terminal‑Bench, SWE‑bench, tau3‑bench, OSWorld) в изолированных Firecracker‑микровиртуальных машинах, что позволяет запускать сотни параллельных испытаний с сетевыми политиками и безопасной инъекцией секретов.
Что изменилось
Vercel объявил о новой возможности запуска Harbor‑оценок в своей облачной среде Vercel Sandbox. Harbor – открытая платформа, лежащая в основе популярного бенчмарка Terminal‑Bench, а также наборов SWE‑bench, tau3‑bench и OSWorld. Теперь каждый запуск можно выполнить командой harbor run --env vercel.
Как работает
При указании --env vercel каждый тест исполняется в отдельной Firecracker‑microVM – лёгкой виртуализации, предоставляющей полную изоляцию и мгновенный старт. Такая архитектура позволяет масштабировать параллельные запуски гораздо дальше, чем на локальном ноутбуке: десятки и даже сотни микровМ могут работать одновременно.
Сетевые ограничения задаются sandbox‑firewall и применяются к задаче вне виртуальной машины, что гарантирует строгий контроль трафика. При необходимости можно добавить инъекцию учётных данных – секреты автоматически привязываются к соответствующим контейнерам, без риска их утечки.
Что это даёт пользователям
- Скорость: запуск бенчмарков в облаке занимает секунды вместо минут на локальном железе.
- Изоляция: каждый тест полностью отделён от остальных, минимизируя влияние конфликтов зависимостей.
- Параллелизм: возможность одновременного выполнения большого количества испытаний ускоряет исследовательские циклы.
- Безопасность: сетевые политики и управляемая работа с секретами упрощают соблюдение требований GDPR и других регуляций.
Более подробно о новой функции можно прочитать в сообщении блога Vercel.
Для AI‑разработчиков это открывает быстрый путь к масштабному тестированию моделей и систем без необходимости содержать собственный кластер. Параллельные микровиртуалы позволяют собрать статистику по тысячам запросов за часы, а не за дни. Однако стоит помнить о потенциальных расходах облака и правильно управлять секретами, чтобы избежать случайных утечек.
