LFM2.5-Encoders: ускоренный inference длинного контекста на CPU
Новые энкодеры LFM2.5 от Hugging Face позволяют обрабатывать до 32 К токенов в реальном времени на обычных процессорах без GPU.
Hugging Face анонсировала выпуск LFM2.5-Encoders — семейства лёгких трансформеров, оптимизированных под быстрый inference длинных последовательностей на CPU. По заявлению команды, модели способны обрабатывать контекст до 32 000 токенов со скоростью ≈ 150 токенов/сек на 8‑ядерном процессоре Intel Xeon, что в 3‑5 раз быстрее аналогов на базе LLaMA‑2.
Технически LFM2.5‑Encoders используют модульные слои с линейным вниманием (Linear‑Attention) и Flash‑Attention‑2‑оптимизацию, а также квантование 4‑бит без потери точности (BLEU ≈ 0.84 по сравнению с оригиналом). Модель доступна в репозитории Hugging Face Hub: huggingface/lfm2.5-encoders, а также в виде 🤗 Transformers‑обёртки, готовой к использованию в LangChain, n8n и OpenAI‑compatible API.
Для разработчиков важна возможность без‑GPU развертывания: пакет lfm2.5-cpu включает предкомпилированные бинарники для Linux, macOS и Windows, а также Docker‑образ hf/lfm2.5-cpu:latest. В блоге также опубликованы benchmark‑таблицы сравнения с Llama‑2‑7B, Mistral‑7B и Falcon‑40B, где LFM2.5‑Encoders выигрывают по латентности и энергопотреблению.
Ссылка на оригинальный пост: https://huggingface.co/blog/LiquidAI/lfm2-5-encoders
Для AI‑разработчиков LFM2.5‑Encoders открывают возможность запускать продвинутые LLM‑приложения (например, чат‑боты с длинной историей диалога) на обычных серверах без дорогостоящих GPU. Это снижает барьер входа и ускоряет прототипирование, но стоит помнить о возможных ограничениях точности при экстремальном квантовании.
