SkyPilot + Hugging Face Storage: запуск AI‑задач в любой облаке без egress‑расходов

Что изменилось?

Hugging Face объявила о интеграции SkyPilot — открытого инструмента оркестрации облачных задач — с собственным HF‑Storage. Теперь разработчики могут запускать любые AI‑вычисления (обучение, инференс, fine‑tuning) в AWS, GCP, Azure, IBM Cloud и других провайдерах, а результаты автоматически сохраняются в репозитории Hugging Face без zero‑egress‑стоимости.

Ключевые возможности

• Zero‑egress storage – данные, записанные в HF‑Storage, не облагаются платой за исходящий трафик, независимо от облака‑источника.
• Единый токен доступа – авторизация через ваш HF‑токен, без необходимости управлять отдельными ключами облачных провайдеров.
• Автоматическая синхронизация – результаты (модели, чекпоинты, логи) синхронно копируются в ваш Hugging Face Hub, где включена версия и контроль доступа.
• Поддержка Spot‑инстансов – экономия до 80 % при использовании недорогих прерываемых машин, что особенно актуально для больших экспериментов.

Как начать?

1. Установите последние версии пакетов:

   pip install sky huggingface_hub
   

2. Настройте токен HF в переменной HF_TOKEN.
3. В файле конфигурации SkyPilot укажите storage: hf://<username>/<repo>.
4. Запустите задачу обычной командой sky launch train.yaml.

Более подробные инструкции и примеры доступны в документации SkyPilot и в блоге Hugging Face здесь.

Почему это важно?

• Снижение расходов: отсутствие egress‑трафика может сэкономить сотни долларов в месяц при работе с большими датасетами.
• Упрощение пайплайна: нет необходимости в отдельном шаге копирования данных между облаком и хранилищем модели.
• Безопасность: все данные шифруются в покое и в транзите, а доступ контролируется через HF‑токен.
• Гибкость: можно быстро переключаться между облаками, выбирая оптимальные цены и ресурсы.

Смотрите также: новые возможности HF Inference Endpoints и AutoTrain уже используют HF‑Storage в качестве бекенда.

---

Интеграция доступна с версии SkyPilot 0.13.0 и Hugging Face Hub v0.15.