Apple M5 Ultra: больше памяти, но инференс не ускорился
Apple представила чип M5 Ultra с увеличенной памятью, однако RTX PRO 6000 всё ещё обгоняет его в инференсе. Единственное преимущество – пропускная способность памяти.
Apple официально анонсировала новый процессор M5 Ultra, позиционируя его как «самый мощный» в линейке Mac Studio. Чип оснащён 256 ГБ унифицированной памяти и заявленной пропускной способностью до 2,5 ТБ/с, что почти вдвое превышает показатели предыдущих поколений. Однако в реальных тестах инференса нейронных сетей M5 Ultra отстаёт от конкурентов. На примерах крупных языковых моделей (LLaMA‑2 70B) и Vision‑Transformer‑моделей RTX PRO 6000 с 48 ГБ GDDR6 показал в среднем на 18 % быстрее время предзаполнения (prefill) и на 22 % быстрее декодирование (decode) токенов.
Исследователи из Habr AI провели сравнение на одинаковых нагрузках, используя PyTorch и TensorRT. Единственное, где Apple смогла удержать конкурентоспособность – пропускная способность памяти, позволяющая ускорить загрузку больших тензоров в память. Тем не менее, узкая шина PCIe 4.0 и отсутствие специализированных ускорителей, аналогичных NVIDIA Tensor Cores, ограничивают эффективность M5 Ultra в задачах, требующих интенсивных матричных операций.
Для разработчиков это значит, что при выборе железа для инференса стоит ориентироваться не только на объём ОЗУ, но и на архитектурные особенности ускорителей. Более подробный разбор доступен в оригинальной статье на Habr AI: https://habr.com/ru/articles/1074474/.
Для AI‑разработчиков M5 Ultra пока не представляет прорыва в инференсе: лучше инвестировать в GPU с Tensor‑ядрами, если важна скорость. Память в 256 ГБ может пригодиться для масштабных экспериментов, но без соответствующей пропускной способности и ускорителей выгода будет ограничена.
