Фундаментальная математика переосмыслила градиентный спуск

Градиентный спуск уже давно считается базовым алгоритмом обучения нейросетей. На практике он реализуется как простое вычитание градиента из текущих весов: (w_{t+1}=w_t-\eta\nabla L(w_t)). Однако с точки зрения линейной алгебры это действие выглядит некорректным – мы складываем вектор (вес) и ковектор (градиент), принадлежащие разным пространствам. В новой статье авторов из MIT CSAIL (CSAIL) эта «математическая диссонансность» рассматривается как возможность улучшить теоретическую основу оптимизации.

Авторы вводят формализм двойственности пространств: каждый вектор из пространства параметров имеет сопряжённый ковектор в двойственном пространстве. Обновление весов тогда трактуется как проекция ковектора градиента обратно в пространство параметров через естественный изоморфизм, определяемый модульной структурой. В статье предлагаются два ключевых шага: 1) построить модуль над полем параметров, в котором градиент рассматривается как элемент двойственного модуля; 2) использовать канонический гомоморфизм модуля в его двойственный, чтобы «перевести» градиент в совместимый вектор.

Практический результат – более строгая формула обновления, сохраняющая геометрические свойства пространства параметров и позволяющая корректно учитывать метрики, неявно задаваемые архитектурой сети. Авторы демонстрируют, что в простых задачах регрессии такой подход приводит к более стабильному сходимости и уменьшает чувствительность к выбору шага обучения. Кроме того, формализм открывает путь к построению новых оптимизаторов, учитывающих структуру двойственности, и к более точному анализу устойчивости обучения.

Статья содержит математические доказательства, примеры кода на PyTorch и обсуждение потенциальных расширений, включая применение к трансформерам и графовым нейронным сетям.