Как ROME меняет факты в LLM: перенесли Эйфелеву башню из Парижа в Рим
Исследователи использовали метод ROME для точечного редактирования весов GPT‑2 XL, заменив факт о местоположении Эйфелевой башни без полного переобучения модели.
В статье на Habr ML «Где LLM хранит факты, или как перенести Эйфелеву башню из Парижа в Рим» авторы демонстрируют практический пример редактирования знаний в крупной языковой модели. Традиционно изменение фактов в LLM требует масштабного дообучения, что дорого и времязатратно. Вместо этого исследователи применили метод ROME (Rank-One Model Editing) – точечную модификацию весов, позволяющую изменить отдельный факт без влияния на остальные знания модели.
Для эксперимента была взята модель GPT‑2 XL (1,5 млн параметров). Исходный факт: «Эйфелева башня находится в Париже». С помощью ROME авторы изменили один весовой вектор, после чего модель начала отвечать, что «Эйфелева башня находится в Риме», независимо от формулировки вопроса. При этом остальные ответы модели оставались неизменными, а метрики качества не ухудшились.
Метод основан на предположении, что отдельные факты кодируются в виде ранг‑один матриц в трансформерных слоях. Выделив соответствующий вектор и заменив его на новый, можно «переписать» факт. Авторы также провели оценку устойчивости правки к различным перефразам и показали, что изменения сохраняются в течение нескольких эпох генерации.
Статья подробно описывает алгоритм, требования к данным (парные запрос‑ответ), а также ограничения: метод работает лучше для «простых» фактов и может вызвать конфликты при изменении сильно связанных знаний. Полный текст доступен по ссылке: https://habr.com/ru/companies/bothub/articles/1066216/.
Для разработчиков LLM это шанс быстро корректировать ошибочные или устаревшие сведения без дорогостоящего дообучения. Однако возможность точечного вмешательства повышает риски злоупотреблений – необходимо внедрять контроль и аудит правок.
