Анизотропия эмбеддингов: почему центрирование улучшает косинусное сходство

В статье на Habr AI автор рассматривает проблему анизотропии эмбеддингов — явления, когда векторные представления распределены неравномерно, и большая часть их энергии сосредоточена в нескольких направлениях. При расчёте обычного косинусного сходства такие «доминирующие» компоненты создают размытый сигнал, из‑за чего похожие по смыслу объекты могут выглядеть менее схожими, а наоборот — несвязанные элементы получают искусственно высокие оценки.

Для борьбы с этим предлагается простая, но эффективная техника — центрирование эмбеддингов. Суть метода: из каждого вектора вычитается среднее значение по всем измерениям (или по всему набору векторов). Это убирает общий фон, оставляя только отклонения, которые действительно отражают смысловую разницу. В отличие от более тяжёлых методов, таких как PCA‑обрезка или нормализация по длине, центрирование не разрушает локальные смысловые области и сохраняет структуру пространства.

Автор демонстрирует эффективность подхода на реальных данных из своей Obsidian‑базы заметок. После применения центрирования к эмбеддингам, полученным от модели OpenAI Ada, косинусные расстояния стали более контрастными: схожие темы (например, «машинное обучение» и «нейронные сети») получили более высокие значения, а разноплановые записи («кулинария» vs «финансы») — значительно ниже. При этом средняя дисперсия сходств увеличилась на 27 %, а количество «ложных» позитивов сократилось почти вдвое.

В заключении подчеркивается, что анизотропия не всегда «зло» — в некоторых случаях она может указывать на доминирующие темы в корпусе. Однако для большинства практических задач, где требуется тонкая дифференциация, центрирование представляет собой быстрый и бесплатный способ улучшить качество поиска, кластеризации и рекомендаций.