Mamba: новая архитектура без attention, ускоряющая работу с длинными текстами
Исследователи Альберт Гу и Три Дао представили Mamba — модель без механизма внимания, в 2‑4 раза быстрее трансформеров на длинных последовательностях.
В декабре 2023 года в сообществе машинного обучения вспыхнула волна заголовков о «конце трансформеров». Их спровоцировала статья Альберта Гу и Три Дао «Mamba: Modeling Long‑Range Sequences with Selective State Spaces» Habr ML.
Mamba — это архитектура, построенная на state‑space models (SSM), полностью исключающая механизм внимания (attention). Вместо него используется селективное пространство состояний, позволяющее эффективно обрабатывать последовательности длиной в десятки и сотни тысяч токенов.
Ключевые результаты, приведённые в статье:
- Скорость: на задачах с длинными контекстами (например, 8 К токенов) Mamba показывает 2‑4× ускорение по сравнению с лучшими трансформерами (GPT‑4, LLaMA‑2).
- Точность: при этом метрики качества (perplexity, BLEU) находятся в пределах 1‑2 % от лучших трансформеров, а в некоторых задачах (длинные суммари‑генерации) даже превосходят их.
- Энергоэффективность: отсутствие attention снижает потребление памяти и вычислительных ресурсов, что упрощает развертывание модели на обычных GPU.
Авторский код опубликован в репозитории GitHub и уже интегрирован в Hugging Face Transformers, что позволяет быстро протестировать Mamba в своих проектах.
Возможные применения включают: обработку юридических документов, код‑базы, биоинформатические последовательности и любые задачи, где требуется работа с очень длинными контекстами.
Пока Mamba остаётся исследовательской моделью, но её успех поднимает вопрос о том, насколько долго трансформеры будут доминировать в NLP‑ландшафте.
Для разработчиков и студентов Mamba открывает путь к более быстрым и дешёвым решениям при работе с длинными текстами. Стоит обратить внимание на готовый код в Hugging Face и попробовать заменить attention‑модели в своих проектах, особенно если ограничены ресурсы GPU.
