MTPLX ускоряет локальный кодовый агент в 3–6 раз по сравнению с oMLX
Вторая часть сравнения MTPLX и oMLX демонстрирует, как многотоковое предсказание повышает скорость работы Qwen3.8‑27B на MacBook Pro M4 Max в 3–6 раз.
В первой части серии автор показал, как разместить кодового агента pi на локальной модели Qwen3.8‑27B через MTPLX и решить сложную задачу в разных режимах размышлений. Вторая часть посвящена главному вопросу: насколько ускоряет многотоковое предсказание (MTP) в MTPLX работу по сравнению с обычным MLX‑обвязкой (oMLX).
Автор установил MLX‑сервер на MacBook Pro с процессором M4 Max после рекомендаций от ChatGPT и запустил те же запросы через два пути: 1) MTPLX + pi + Qwen3.8‑27B, 2) oMLX + Qwen3.8‑27B. Для измерения использовались метрики времени отклика, загрузка GPU и объём потребляемой памяти.
Результаты:
- Среднее время генерации токена в MTPLX сократилось с 120 мс до 20‑40 мс, что соответствует ускорению 3–6×.
- При этом нагрузка на GPU оставалась в пределах 70 % (MTPLX) против 95 % (oMLX), а потребление оперативной памяти снизилось на 15 %.
- Многотоковое предсказание позволило одновременно обрабатывать несколько ветвей рассуждений, что особенно полезно в интерактивных сценариях кода.
Автор подчёркивает, что MTPLX требует более тонкой настройки (выбор количества потоков, размер батча), но выгода в скорости очевидна. Также отмечается, что oMLX остаётся более простым в установке и подходит для быстрых прототипов.
Полный текст статьи доступен на Habr AI: https://habr.com/ru/articles/1089890/
Для разработчиков локальных агентов MTPLX открывает путь к реальному использованию больших моделей на ноутбуках без облака, но требует внимания к параметрам многопоточности. Студенты смогут быстрее экспериментировать, однако стоит помнить о повышенной сложностью настройки.