TorchNeuron перевёл Hugging Face-модели на нативный бэкенд PyTorch для Trainium
Публичная бета упрощает обучение и инференс на AWS Trainium через стандартные Transformers, Diffusers, Accelerate, PEFT и TRL.
20 октября TorchNeuron стал доступен в публичной бете как нативный бэкенд PyTorch для ускорителей AWS Trainium. Плагин поддерживает eager-режим, torch.compile и распределённые API PyTorch, включая FSDP и tensor parallelism. Библиотеки Transformers, Diffusers и Kernels получили нативную поддержку нового устройства. Для обучения также можно применять привычные Accelerate, PEFT и TRL без отдельного тренера или специальной копии кода модели. Hugging Face теперь рекомендует пользователям Neuron работать с этими библиотеками напрямую вместо Optimum Neuron. При этом остаются технические ограничения: динамические формы пока требуют осторожности, для генерации рекомендуется статический кеш, а асинхронная загрузка весов не поддерживается. Сохранённые контрольные точки остаются стандартными и не привязаны к Trainium.
Источник: huggingface.co. Дата события: 2026-10-20.
Наш взгляд: переход к обычным интерфейсам PyTorch снижает стоимость поддержки отдельного Trainium-пайплайна. Но публичная бета и ограничения компиляции означают, что перед переносом продакшена нужны собственные замеры совместимости и производительности.
