UMAP быстрее t-SNE, но не лучше: разбор PCA, t-SNE и UMAP

В статье на Habr AI автор подробно сравнивает три метода снижения размерности: классический PCA, нелинейный t‑SNE и более современный UMAP.

PCA – линейный подход, основанный на сингулярном разложении матрицы. Он быстро вычисляет главные компоненты, но сохраняет лишь глобальную структуру данных, теряя сложные нелинейные зависимости.

t‑SNE (t‑Distributed Stochastic Neighbor Embedding) работает в два этапа: сначала строит вероятностное распределение соседств в исходном пространстве, затем ищет низко‑мерное представление, минимизируя дивергенцию Кульбака‑Лейблера. Метод отлично раскрывает локальные кластеры, но требует значительных вычислительных ресурсов и чувствителен к гиперпараметрам (perplexity, learning rate).

UMAP (Uniform Manifold Approximation and Projection) использует теорию топологической манипуляции и графов ближайших соседей. По заявлению авторов, UMAP в 5‑10 раз быстрее t‑SNE при аналогичном числе точек, однако в реальных задачах качество кластеризации часто уступает t‑SNE, особенно при небольших наборах данных.

Автор приводит экспериментальные сравнения на наборах MNIST, CIFAR‑10 и собственных синтетических данных. На 60 000 изображений MNIST UMAP обрабатывает данные за ~30 секунд, тогда как t‑SNE требует более 5 минут. При этом визуализация t‑SNE чётче разделяет цифры, а UMAP иногда «сливает» соседние кластеры.

Статья завершается рекомендациями: использовать PCA для предварительной линейной редукции, затем выбирать между t‑SNE и UMAP в зависимости от задачи – t‑SNE для детального анализа небольших наборов, UMAP – для быстрых прототипов и больших данных.