Meta‑Attention: новый подход к трансформерам от исследователя Habr ML

В статье «meta‑attention is all you need» (Habr ML, 23 мая 2026) автор делится результатами экспериментов с языковыми моделями, в ходе которых был разработан новый архитектурный блок – мета‑attention. По сути, вместо традиционного self‑attention, где каждый токен взаимодействует напрямую со всеми другими, мета‑attention вводит уровень‑выше механизм: сначала формируется мета‑представление всего контекста, а уже затем оно используется для вычисления внимания к отдельным токенам. Такой подход автор назвал мета‑трансформерами.

Ключевые результаты:

• На наборе GLUE мета‑трансформер превзошёл базовый BERT‑base на +2,1 % точности при том же числе параметров.
• На задаче машинного перевода (WMT‑14 EN‑DE) наблюдалось 10 % ускорение инференса благодаря сокращённому числу матричных умножений.
• Параметрический рост составил лишь 0,5 % от оригинальной модели, что делает улучшения практически без стоимости.

Автор подробно описывает алгоритм построения мета‑представления, сравнивает его с другими упрощёнными attention‑механизмами (Linformer, Performer) и публикует открытый репозиторий на GitHub (https://github.com/meta‑attention/meta‑transformers). В статье также обсуждаются ограничения: мета‑attention пока демонстрирует наилучшие результаты только на задачах с относительно короткими последовательностями и требует дополнительной настройки гиперпараметров.

Таким образом, работа представляет собой интересный эксперимент в направлении упрощения attention‑механизмов, который может стать отправной точкой для дальнейших исследований в области более эффективных трансформеров.