Как плеер определяет тональность: алгоритм Крумхансл‑Шмуклера и нейросети

Что происходит под капотом музыкального плеера?

Автор статьи на Habr ML раскрывает, как обычный медиаплеер умеет показывать тональность трека – «ми минор», «до мажор» и т.д. Вместо сложного музыкального анализа, плеер использует алгоритм Крумхансл‑Шмуклера (K‑S), известный в музыковедении с 1970‑х.

Как работает K‑S?

1. Подсчёт 12 нот – аудио разбивается на короткие окна, и для каждого окна считается, как часто звучит каждая из 12 нот (pitch‑class profile). Это 12‑мерный вектор, часто называют числом‑частотой.
2. Сравнение с шаблонами – заранее подготовленные профили типичных мажорных и минорных гамм (корреляционные шаблоны) сравниваются с полученным вектором. Вычисляется корреляция Пирсона; самая высокая корреляция указывает на предполагаемую тональность.

Где алгоритм ошибается?

• Квинтовые и родственные тональности – K‑S часто путает, например, «ми минор» и «си бемоль мажор», потому что их профили почти идентичны.
• Модальные и экзотические шкалы – алгоритм рассчитан на диатонические гаммы, поэтому не справляется с блюзовой или арабской музыкой.
• Сложные аранжировки – при наличии сильного баса или синтезаторов, доминантные ноты могут «перекрывать» истинный центр тональности.

Что меняют нейросети?

Современные модели (например, OpenAI Whisper, Google MusicLM) обучаются на миллионах треков и могут «слушать» гармонию, ритм и даже текст. Они используют спектрограммы и attention‑механизмы, что позволяет точнее различать близкие тональности и работать с нестандартными шкалами. Тем не менее, в большинстве бытовых плееров всё ещё применяется лёгкий K‑S‑подход из‑за низкой вычислительной нагрузки.

Читать полностью → https://habr.com/ru/articles/1089832/