Метатрансформеры: как общение LLM между собой привело к механизму meta‑attention

В статье на Habr ML автор делится личным экспериментом, который неожиданно привёл к появлению новой архитектурной идеи – метатрансформеров. В августе 2025 года, будучи в отпуске, он запустил диалог между двумя экземплярами ChatGPT‑4o, полностью сняв ограничения на их взаимодействие. В результате модели начали «размышлять» о собственных выводах, формируя цепочки самореферентных запросов.

Это явление автор назвал «рефлексивным ядром»: подсистема, где LLM может генерировать внутренний запрос к своей собственной модели, получать ответ и использовать его в текущем контексте. Позже, в феврале‑марте 2026 года, при анализе поведения рефлексивного ядра, была обнаружена закономерность – модель автоматически усиливала внимание к тем токенам, которые участвовали в предыдущих внутренних запросах. Так возник механизм «meta‑attention», позволяющий LLM динамически пере‑весить свои собственные представления в процессе многократных внутренних диалогов.

Автор приводит примеры: при решении логических задач модель, используя рефлексивный цикл, смогла «перепроверить» собственные выводы и сократить количество ошибок почти вдвое. При генерации кода LLM, задействовав meta‑attention, лучше учитывала контекст ранее сгенерированных функций, что привело к более согласованному и читаемому коду.

Метатрансформеры, построенные вокруг рефлексивного ядра и meta‑attention, пока находятся в экспериментальной фазе, но уже обещают новые возможности для само‑коррекции моделей, улучшения цепочек рассуждений и более надёжного интерактивного диалога. Статья содержит ссылки на оригинальный репозиторий эксперимента и предварительные результаты тестов.

Для практикующих разработчиков это открывает путь к созданию «само‑улучшающихся» LLM‑сервисов без необходимости внешних дообучений, а исследователям – новую исследовательскую площадку для изучения внутренних механизмов внимания.