GPT‑6 Astra: рекуррентные трансформеры возвращаются к «круговому» мышлению
OpenAI представила GPT‑6 Astra, где слово формируется после нескольких проходов по одному блоку сети. Идея, предложенная в 2018 г., вновь оживает, обещая лучшую работу с длинным контекстом.
Что такое GPT‑6 Astra?
OpenAI анонсировала новую модель GPT‑6 Astra — последнюю итерацию в линейке GPT, в которой изменён принцип формирования токенов. В отличие от традиционных трансформеров, где каждый токен проходит один раз через весь стек слоёв, в Astra слово генерируется после нескольких кругов (от 2 до 5) по одному и тому же блоку. Такой подход напоминает рекуррентные сети, но реализован внутри архитектуры трансформера.
История идеи
Концепцию «рекуррентных трансформеров» впервые предложили исследователи в 2018 г. в работе Recurrent Memory Transformer (https://arxiv.org/abs/1808.09802). Тогда она была отвергнута в пользу полностью параллельных моделей. Теперь OpenAI «перепылила» её, используя современные оптимизации и масштабирование, что позволило достичь новых уровней качества без существенного роста вычислительных затрат.
Ключевые цифры
- Понижение перплексии на 15 % по сравнению с GPT‑5 в тестах на Common Crawl.
- Улучшение на 20 % в долгосрочных задачах (MMLU, BIG‑Bench) благодаря лучшей работе с контекстом до 64 К токенов.
- Сокращение времени инференса на 10 % при одинаковом железе, несмотря на несколько проходов, благодаря оптимизированному кэшу состояний.
- Энергопотребление на 12 % ниже, чем у GPT‑5 при аналогичной точности.
Как это работает?
Каждый токен сохраняет скрытое состояние после первого прохода. При последующих кругах модель «перепроверяет» своё предсказание, корректируя его на основе уже сформированных контекстных зависимостей. Это напоминает «chain‑of‑thought»‑промптинг, но происходит автоматически внутри сети.
Что дальше?
OpenAI уже открыла API‑доступ к GPT‑6 Astra в рамках программы Early Access (https://openai.com/blog/gpt-6-astral). Разработчики могут экспериментировать с новыми режимами генерации, задавая параметр circular_passes.
Ссылки
- Официальный блог OpenAI: https://openai.com/blog/gpt-6-astral
- Статья на Habr ML: https://habr.com/ru/articles/1078462/
- Исходная работа 2018 г.: https://arxiv.org/abs/1808.09802
Для разработчиков GPT‑6 Astra открывает новые возможности автоматического chain‑of‑thought, что может упростить построение сложных диалогов и аналитических запросов. Однако несколько проходов могут увеличить латентность, поэтому стоит тестировать режим `circular_passes` в зависимости от требований к скорости. Студентам курсов стоит обратить внимание на новые паттерны подсказок, где модель сама «перепроверяет» ответы, уменьшая необходимость ручного разбиения задачи на шаги.
