Qwen 3.8‑27B BF16 на M3 Ultra: от 12 до 38 токенов в секунду
Автор протестировал локальную модель Qwen 3.8‑27B‑bf16 от mlx‑community на процессоре Apple M3 Ultra. За счёт оптимизаций скорость выросла с 12 до 38 токенов в секунду без квантизации.
В статье на Habr AI автор делится результатами эксперимента с крупной языковой моделью Qwen 3.8‑27B, адаптированной под Apple Silicon. Вместо стандартного PyTorch‑чекпоинта он использовал версию mlx‑community/Qwen3.8‑27B‑bf16, подготовленную в формате MLX специально для процессоров M‑серии. Модель работает в 16‑битном формате BF16, без применения 8‑ или 4‑битной квантизации, что сохраняет оригинальную точность, но требует высокой пропускной способности памяти.
Первоначальные тесты на M3 Ultra показывали лишь 12 токенов в секунду, что выглядело разочаровывающе для 27‑миллиардной модели. Автор провёл детальный разбор узких мест: ограниченная эффективность BF16‑операций в ядрах GPU, отсутствие специализированных инструкций для ускорения матричных умножений и перегрузка памяти при работе с полным набором параметров.
После ряда оптимизаций – включения torch.backends.mps ускорителей, ручного распределения слоёв между CPU и GPU, а также использования torch.compile в режиме «max‑autotune» – производительность выросла до 38 токенов в секунду. При этом точность вывода модели не пострадала, а расход памяти оставался в пределах 30 ГБ, что укладывается в типичный объём оперативки современных Mac‑устройств.
Статья содержит ссылки на репозиторий mlx‑community, подробные команды установки и скрипты benchmark‑тестов, а также сравнение с другими крупными моделями, запущенными на той же платформе. Для разработчиков, работающих с локальными LLM на Apple Silicon, это практический гайд по получению максимальной производительности без компромиссов в качестве.
Для AI‑разработчиков, использующих Mac с M‑серией, статья показывает, что локальный запуск больших моделей в BF16 теперь реально достижим. Оптимизации, описанные автором, позволяют увеличить пропускную способность почти в три раза без квантизации, что открывает возможности для интерактивных приложений и прототипов. Однако стоит помнить, что такие улучшения требуют глубокого понимания стеков PyTorch/MLX и доступа к мощному GPU‑видеочипу, что может стать барьером для новичков.