PCA в пяти измерениях: почему разные формулировки дают одинаковые компоненты

В статье «50 оттенков PCA», опубликованной на Habr ML, автор подробно исследует метод главных компонент (PCA) с пяти разных сторон. Первая часть посвящена классическому статистическому определению PCA как задачи максимизации дисперсии проекций. Далее рассматривается геометрический подход, где PCA трактуется как поиск наилучшего линейного подпространства, минимизирующего среднеквадратичную ошибку восстановления исходных данных. Третья перспектива связывает PCA с сингулярным разложением матрицы (SVD), показывая, как собственные векторы ковариационной матрицы совпадают с правыми сингулярными векторами данных. Четвёртая точка зрения рассматривает PCA как задачу оптимального сжатия: проекция на первые k компонент сохраняет максимум информации при заданном уровне сжатия. Пятая — вероятностная интерпретация, где PCA появляется как максимальное правдоподобие в модели линейного гауссовского скрытого пространства.

Автор демонстрирует, что все эти постановки, несмотря на различную формулировку, приводят к одинаковому набору главных компонент. Это объясняется тем, что они сводятся к одной и той же задаче спектрального разложения ковариационной матрицы. В статье присутствуют визуализации, примеры кода на Python и ссылки на оригинальные исследования. Читатели получают целостное понимание PCA, что позволяет выбирать наиболее удобную формулировку под конкретную задачу, а также избежать распространённых ошибок при интерпретации результатов.

Ссылка на оригинал: https://habr.com/ru/articles/1068438/