Hugging Face добавил асинхронную обработку в continuous batching
Новая функция позволяет выполнять асинхронные запросы в режиме непрерывного батчинга, повышая пропускную способность и уменьшая задержку при обслуживании моделей.
Hugging Face опубликовал в блоге статью Unlocking asynchronicity in continuous batching (14 мая 2026), где представил поддержку асинхронных запросов в системе continuous batching. Традиционный подход к батчингу группирует запросы в фиксированные пакеты, что часто приводит к простоям, когда входящие запросы не совпадают по размеру или времени прибытия. Новая реализация позволяет обрабатывать запросы сразу же, как только они поступают, без ожидания полного набора для формирования батча.
Ключевые изменения:
- Введён API
AsyncContinuousBatcher, совместимый с существующейContinuousBatcherи поддерживающий как синхронные, так и асинхронные вызовы. - Поддержка динамического размера батчей: система автоматически подбирает оптимальный размер в реальном времени, учитывая текущую нагрузку GPU.
- Улучшенная метрика latency: в тестах на модели Llama‑2‑13B средняя задержка снизилась с 45 мс до 28 мс при нагрузке 200 req/s.
- Прирост пропускной способности до 30 % в сценариях с переменными запросами, что подтверждено бенчмарками на NVIDIA A100 и AMD MI250.
Для интеграции достаточно заменить импорт from huggingface_hub import ContinuousBatcher на from huggingface_hub import AsyncContinuousBatcher и добавить await к вызовам. Документация, примеры кода и подробные руководства доступны по ссылке: https://huggingface.co/blog/continuous_async.
Эта функция уже включена в последнюю версию transformers (v5.2) и accelerate (v0.33).
Для разработчиков инференс‑сервисов это открывает возможность построения более отзывчивых API без потери эффективности. Асинхронный батчинг упрощает работу с переменными запросами и снижает стоимость GPU, однако потребуется адаптировать существующий код к async‑модели и внимательно мониторить очередь запросов.
