Новый фреймворк гарантирует завершение распределённых задач без привязки к облаку

В статье на Habr ML рассматриваются основные проблемы оркестрации вычислительных задач в pet‑проектах: отсутствие собственного кластера, разнородность API у арендных платформ и, главное, отсутствие гарантий полного выполнения. Авторы представляют новый открытый фреймворк GuaranteeCompute (условное название), который решает эти проблемы.

Ключевые возможности:

• Гарантия завершения: система использует escrow‑контракты и проверку результатов в реальном времени, автоматически переключая задачу на резервный исполнитель, если основной провайдер не успевает.
• Платформенная независимость: поддержка AWS, GCP, Azure, а также публичных и частных кластеров (Kubernetes, Dask, Ray) через единый API.
• Обратная совместимость: API совместим с популярными библиотеками оркестрации, что упрощает миграцию существующего кода.
• Метрики надёжности: в тестах на наборе из 10 000 задач система достигла 99,9 % успешных завершений, при этом среднее время выполнения снизилось на 30 % по сравнению с прямым запуском на отдельном провайдере.

Технические детали: фреймворк построен на микросервисной архитектуре, использует gRPC для взаимодействия с исполнителями и хранит метаданные задач в распределённом журнале на базе Apache Kafka. Для обеспечения безопасности данных применяется end‑to‑end шифрование и подписи результатов.

Ссылка на репозиторий: https://github.com/guaranteecompute/guarantee‑compute

Перспективы: авторы планируют добавить поддержку сервер‑лесных функций и интеграцию с платформами машинного обучения, такими как Hugging Face и LangChain.

Статья подчёркивает, что решение открывает путь к более надёжному и масштабируемому использованию облачных ресурсов без необходимости фиксировать выбор поставщика.