Apple Neural Engine теперь запускает Qwen без GPU и CPU
Исследователи Habr ML раскрыли, как запустить модель Qwen напрямую на Apple Neural Engine, обойдя традиционные процессоры и открыв новые возможности для edge‑AI.
В новой статье серии «Внутри Apple Neural Engine» авторы продолжают разбор внутренностей ANE, фокусируясь на практическом запуске крупной языковой модели Qwen без привлечения GPU или CPU. На основе reverse‑engineering они показали, как подготовить модель к компиляции в формат, совместимый с ANE, и какие оптимизации требуются для эффективного выполнения.
Для начала команда использовала инструменты mlc-compiler и ane-mlc, адаптировав граф вычислений Qwen к набору инструкций ANE. Ключевым шагом стало преобразование весов в 16‑битный формат FP16 и применение техники quant‑aware training, что позволило сократить объём памяти до 2 ГБ, укладываясь в лимит чипа. После компиляции модель была загружена на iPhone 15 Pro, где время отклика на запросы составило около 250 мс, а энергопотребление — в 30 % ниже, чем при аналогичном запуске на CPU.
Авторы подробно описали процесс: от анализа микрокода ANE, через построение кастомных операторов, до отладки на уровне инструкций. Кроме того, в статье приведены сравнения производительности: ANE против GPU (Apple M2) и CPU (A16), где ANE выигрывает в энергоэффективности, но пока отстаёт в пропускной способности для самых больших моделей.
Полный материал доступен на Habr ML: https://habr.com/ru/articles/1078762/. Эта работа открывает путь к более широкому использованию LLM‑технологий на мобильных устройствах, где конфиденциальность и автономность играют ключевую роль.
Запуск Qwen на ANE демонстрирует, что iOS‑устройства могут стать полноценными узлами LLM‑инференса без серверных мощностей. Для разработчиков это шанс создавать приватные чат‑боты и ассистенты, работающие полностью офлайн, но потребуется адаптировать модели под ограничения памяти и вычислительных ресурсов ANE.
