Hugging Face представила нативный ускоренный backend vLLM для Transformers
Новый backend vLLM от Hugging Face обеспечивает ускоренный инференс LLM‑моделей без кастомных компиляторов, повышая пропускную способность до 2‑3×.
Что произошло?
Hugging Face объявила о запуске Native‑speed vLLM Transformers backend – полностью нативного решения для ускоренного инференса больших языковых моделей (LLM). Новый backend построен на базе библиотеки Transformers и использует оптимизации, ранее доступные только в специализированных проектах вроде vLLM от MosaicML.
Ключевые факты
- Быстрее без компиляции: ускорение достигает 2–3× по сравнению с обычным
transformersinference, без необходимости в компиляторах типаtorch.compileилиtriton. - Поддержка всех популярных моделей: работает с моделями из Hugging Face Hub, включая Llama‑2, Mistral, Falcon и новейшие GPT‑like модели.
- Гибкая интеграция: API полностью совместим с текущим
pipelineиAutoModelForCausalLM, что упрощает миграцию существующего кода. - Эффективное использование GPU: улучшенный планировщик запросов и батчинг снижают латентность и повышают GPU‑utilization до 95 %.
- Открытый код: репозиторий доступен на GitHub, включены подробные benchmarks и примеры.
Почему это важно?
Для разработчиков, которые развертывают LLM‑сервисы в продакшн, новый backend обещает существенное снижение затрат на инфраструктуру и ускорение отклика. Кроме того, отсутствие необходимости в сложных компиляционных пайплайнах упрощает процесс CI/CD и делает технологию более доступной для небольших команд и студентов.
Ссылка
Для AI‑разработчиков это шанс быстро масштабировать LLM‑сервисы без глубоких оптимизаций. Студенты смогут экспериментировать с продакшн‑уровневой производительностью на обычных GPU. Однако стоит внимательно протестировать совместимость со своими кастомными токенизаторами и пайплайнами, чтобы избежать неожиданного падения точности.
