Activation Steering, часть 2: repeng, pyreft и новые способы поиска вектора
Во второй части серии «Activation Steering» авторы раскрывают практику применения repeng, pyreft и других методов для более точного подбора вектора управления в LLM.
В статье «Можно ли лучше? Activation Steering, pt 2: repeng, pyreft и другие способы найти вектор правильнее» (Habr ML, 6 июля 2026) автор продолжает разбирать технику steering – управления выводом больших языковых моделей через изменение их активаций.
Первая часть показала базовый подход: внедрение вектор‑смещения через PyTorch hooks, библиотеку nnsight и утилиту pyvene. Было доказано, что вектор действительно влияет на генерацию, но результаты оказались инвертированными и неоднородными: на некоторых запросах эффект почти исчезал.
Во второй части автор переходит к более «умным» способам подбора вектора:
- repeng – метод, использующий репрезентативные эмбеддинги для построения вектора, минимизирующего отклонения от целевого поведения.
- pyreft – библиотека, позволяющая проводить re‑fine‑tuning на уровне отдельных слоёв, что даёт возможность корректировать вектор без полного переобучения модели.
- Дополнительные техники, такие как gradient‑based search и bayesian optimization, которые позволяют автоматизировать процесс подбора.
Автор подробно описывает код‑примеры на Python, показывает, как интегрировать эти инструменты в существующий пайплайн и сравнивает полученные метрики (BLEU, ROUGE, человеческие оценки). Результаты демонстрируют повышение точности steering‑эффекта до 30 % и более стабильную работу на широком наборе промптов.
Ссылка на оригинал: https://habr.com/ru/articles/1056006/
Для разработчиков LLM‑приложений это значит, что теперь есть готовые инструменты (repeng, pyreft) для более надёжного управления выводом без полного переобучения модели. Студенты курсов по промпт‑инжинирингу получат практический набор методов, позволяющих быстро экспериментировать и улучшать результаты.
