LFM2.5‑DSpark ускоряет инференс до 3,2×
Новый движок LFM2.5‑DSpark от Hugging Face обеспечивает до 3,2‑кратного ускорения инференса LFM2.5, снижая задержку и стоимость вычислений.
Hugging Face объявил о выпуске LFM2.5‑DSpark — специализированного движка для инференса модели LFM2.5, построенного на платформе Apache Spark. По результатам внутреннего бенчмарка, LFM2.5‑DSpark способен увеличить пропускную способность до 3,2 × по сравнению с традиционным PyTorch‑бэкендом, одновременно уменьшая среднюю задержку на 45 %.
Технология использует data‑parallel Spark executors, распределяя батчи по узлам кластера и применяя оптимизированные графы вычислений. Благодаря динамической компоновке графов и поддержке mixed‑precision (FP16/INT8), движок экономит до 30 % видеопамяти, что открывает возможности для более крупных батчей на том же оборудовании.
В блоге Hugging Face представлены три сценария тестирования: 1) генерация текста на 8‑ядерном CPU‑кластерe, 2) инференс на GPU‑кластерe с 4 × A100, 3) гибридный CPU+GPU режим. Во всех случаях LFM2.5‑DSpark превзошёл базовый PyTorch‑runtime, а в случае GPU‑кластера достиг 2,9 × ускорения при сохранении качества генерации (BLEU ≈ 0,92).
Для начала работы достаточно установить пакет lfm2.5-dspark через pip и добавить несколько строк кода, указывающих Spark‑контекст. Интеграция с Hugging Face Hub позволяет сразу загружать модели и токенизаторы, а также использовать готовые конфигурации для масштабирования.
Подробнее о релизе и инструкциях по развертыванию можно прочитать в оригинальном посте: https://huggingface.co/blog/LiquidAI/lfm25-dspark.
Для разработчиков это значит, что крупные языковые модели теперь можно обслуживать в реальном времени без экстремального роста расходов на инфраструктуру. Студенты и исследователи получат доступ к более быстрым экспериментам, однако понадобится базовое понимание Spark‑кластеров, что может стать порогом входа для небольших команд.
