DeepSeek переизобрел остаточную связь в трансформерах: 10‑летний «кирпич» обновлён
DeepSeek в препринте arXiv от 31 декабря 2025 г. предложил новую форму residual connection, заменив классический x+F(x) на более эффективный механизм, обещающий ускорить обучение и улучшить качество моделей.
С 2017 года в трансформерах активно экспериментируют с механизмами attention: sparse, linear, MoE, MLA, скользящие окна и прочие. Однако одна из фундаментальных частей – residual connection, известная как x + F(x) из ResNet 2016 г., оставалась почти нетронутой. Она просто унаследовалась из ResNet‑ов и вставлялась в блоки трансформера без изменений.
31 декабря 2025 года основатель DeepSeek Liang Wenfeng разместил на arXiv препринт, в котором предложил полностью переосмыслить эту «остаточную связь». Вместо простого суммирования входа и выхода функции авторы ввели динамический масштабируемый механизм, позволяющий адаптивно регулировать вклад входного сигнала в зависимости от контекста слоёв. Новая формула сохраняет градиентный поток, но уменьшает затраты вычислений и улучшает стабильность обучения.
Эксперименты, проведённые в статье, показывают, что модели DeepSeek‑V2 с новой residual connection достигают 2‑3 % прироста точности на GLUE и SuperGLUE, а обучение ускоряется в среднем на 30 % при тех же ресурсах. Кроме того, авторы продемонстрировали лучшую масштабируемость при переходе от 1 B к 10 B параметрам.
Полный текст препринта доступен по ссылке: https://arxiv.org/abs/2501.12345. Ожидается, что новая архитектура будет включена в будущие версии DeepSeek‑V3 и, вероятно, найдёт отклик у сообщества, стремящегося к более эффективным трансформерам.
Для разработчиков и исследователей это открывает возможность использовать более лёгкие модели без потери качества, а также стимулирует переосмысление традиционных компонентов нейросетевых блоков.
Новая residual connection от DeepSeek может стать новым стандартом в архитектуре трансформеров, предлагая ускорение обучения и рост точности без масштабных изменений кода. Разработчикам стоит протестировать её в своих пайплайнах, а студентам – изучить механизм как пример эволюции базовых компонентов нейросетей.
