Гибридные трансформеры под нагрузкой: Gated DeltaNet уступает полному вниманию
Исследование показывает, что гибридные модели с Gated DeltaNet не всегда выигрывают у классического full‑attention при больших нагрузках, ставя под вопрос их эффективность для длительных контекстов.
В статье на Habr AI автор проверил популярную гипотезу о гибридных трансформерах: заменой полного внимания на более экономичные механизмы, такие как Gated DeltaNet, можно сократить рост памяти с линейного до суб‑линейного и, соответственно, удешевить работу с длинными контекстами.
Для экспериментов использовались два сценария – «модель‑в‑прямом» (full attention) и гибридный вариант с Gated DeltaNet, оба обучены на одном корпусе данных и запущены на одинаковом железе (GPU A100 40 ГБ).
При контекстных длинах до 8 К токенов гибридный подход действительно показывал 30‑40 % снижение потребления видеопамяти и ускорение инференса на 20‑25 %. Однако при росте нагрузки (одновременные запросы от 10 до 50 пользователей) эффективность резко падала: из‑за дополнительного синхронного обновления гейтов время обработки увеличивалось, а точность генерации (BLEU, ROUGE) отставала от full‑attention на 2‑3 пункта.
Самый интересный результат – при контекстах более 16 К токенов гибридная модель начала «запинаться»: падение точности достигало 7‑8 % и потребление памяти почти сравнялось с полным вниманием, но без выигрыша в скорости.
Автор делает вывод, что гибридные трансформеры пока лучше подходят для одиночных запросов с умеренно длинным контекстом, а в условиях высокой конкурентности и экстремально длинных последовательностей классический full‑attention остаётся более надёжным выбором.
Для разработчиков это значит, что гибридные модели стоит применять только в сценариях с ограниченным числом одновременных запросов и контекстом до нескольких тысяч токенов. При масштабировании сервисов лучше оставить проверенный full‑attention, пока не появятся более устойчивые гибридные решения.
