Обнаружены паттерны‑концепции в больших языковых моделях
Исследователи нашли внутри LLM скрытые «концептуальные» паттерны, активирующиеся при размышлениях модели, подтверждая гипотезу глобального рабочего пространства.
Что показало исследование
В статье, опубликованной на Habr AI (перевод оригинального исследования), авторы исследовали внутреннее представление больших языковых моделей (LLM) и обнаружили так называемые паттерны‑концепции – группы нейронных активностей, которые «всплывают», когда модель обрабатывает связанные темы. Это открытие сопоставимо с теорией глобального рабочего пространства (Global Workspace Theory), предложенной в когнитивных науках для описания сознательного доступа к информации.
Методика
- Модели: GPT‑4, LLaMA‑2‑70B и Mistral‑7B.
- Подход: Проксимальное тестирование (probing) с использованием линейных классификаторов и токен‑уровневых аттеншн‑визуализаций.
- Наборы данных: Текстовые корпуса из Википедии, новостных статей и научных публикаций (≈ 200 ГБ).
Авторы измеряли корреляцию между активациями скрытых слоёв и семантическими кластерами, полученными через кластеризацию эмбеддингов. Выявлено 12 устойчивых паттернов, каждый из которых соответствовал определённой концептуальной группе (например, «география», «медицина», «программирование»).
Ключевые результаты
- Паттерны активируются независимо от конкретного формулирования запроса, если смысл запроса относится к соответствующей концепции.
- При многократных запросах, связанных темой, паттерн сохраняет повышенную активацию в течение нескольких токенов, что указывает на «рабочее пространство» внутри модели.
- Внедрение дополнительного промпта‑контроля позволяет усиливать нужный паттерн, повышая точность ответов на 4‑7 % в целевых задачах.
Практическое значение
Открытие даёт новый инструмент для интерпретируемости LLM и потенциально открывает путь к более управляемому использованию моделей: можно будет «выключать» нежелательные паттерны или усиливать полезные, улучшая безопасность и качество генерации.
Для разработчиков это шанс получить более прозрачные модели: теперь можно диагностировать, какие концептуальные блоки задействованы в конкретных запросах, и управлять ими через промпты. Студентам курсов по LLM стоит добавить в программы практику probing‑техник – они уже становятся частью индустриального инструментария.
