Глубина vs ширина: почему глубокие нейросети умнее, а теорема об аппроксимации вводит в заблуждение
Статья разбирает, почему увеличение глубины сети дает лучшую выразительность, чем простое расширение ширины, и в чем ограничена классическая теорема об универсальной аппроксимации.
В статье «Иллюзия ширины и геометрия глубины: почему глубокие нейросети умнее, и в чем лжет теорема об аппроксимации», опубликованной на Habr ML, авторы критически оценивают базовую теорему машинного обучения, утверждающую, что нейросеть с одним скрытым слоем способна аппроксимировать любую функцию при достаточной ширине. На практике же лидирующие SOTA‑модели предпочитают увеличивать количество слоёв, а не ширину.\n\nАвторы показывают, что масштабирование ширины (d_model) приводит к экспоненциальному росту параметров без существенного улучшения представления сложных функций. В отличие от этого, увеличение глубины (num_layers) позволяет нелинейностям «складывать» латентное пространство, создавая эффект, похожий на оригами: каждый слой добавляет новую складку, формируя более сложные геометрические структуры. Такая иерархическая композиция нелинейностей делает возможным представление функций, требующих экспоненциального количества нейронов в широкой сети.\n\nКроме того, статья объясняет, почему логический вывод, реализуемый глубокими сетями, нельзя полностью распараллелить: каждый слой зависит от выхода предыдущего, а это создаёт последовательную цепочку вычислений, аналогичную физическому процессу складывания бумаги. Авторы подкрепляют теоретический анализ экспериментальными данными, показывая, что глубокие трансформеры достигают лучшего качества при меньшем числе параметров по сравнению с широкими аналогами.\n\nПодробный разбор доступен по ссылке: https://habr.com/ru/articles/1037066/
Для разработчиков это подтверждает, что глубина остаётся ключевым фактором эффективности моделей, особенно при работе с иерархическими данными. Широкие сети быстро становятся неуправляемыми и требуют огромных вычислительных ресурсов. При проектировании новых архитектур стоит сосредоточиться на продуманных блоках глубины и остаточных связях, а не просто «добавлять нейроны». Однако увеличение глубины требует более сложных техник стабилизации обучения, таких как нормализация и адаптивные оптимизаторы.
