Умные слои повышают эффективность LoRA‑файн‑тюнинга: эксперименты с Qwen‑3‑1.7B
Исследование показало, что выбор активных слоёв модели при LoRA‑адаптации улучшает качество генерации, подтверждено на Qwen‑3‑1.7B.
В типичном LoRA‑дообучении адаптеры внедряются во все слои трансформера, хотя их вклад в формирование ответа сильно варьируется. Авторы статьи на Habr ML решили проверить гипотезу: если ограничиться «умными», то есть наиболее активными слоями, можно получить более качественный результат без увеличения параметров.
Для проверки были использованы два подхода. Первый – воспроизведение метода Act‑LoRA, описанного в одноимённой работе, который автоматически отбирает слои на основе их активаций при обработке целевого промпта. Второй – собственный градиентный индикатор, измеряющий среднеквадратичную величину градиентов адаптеров в каждом слое во время обучения. На основе полученных метрик исследователи сформировали набор «умных» слоёв и сравнили их с полным набором.
Эксперименты проводились на модели Qwen‑3‑1.7B, доступной через Hugging Face. В качестве тестовой задачи использовался набор запросов по тематике «научно‑технические статьи». Качество генерации оценивалось по BLEU и человеческой оценке. Результаты показали стабильный прирост: средний BLEU вырос на 3,2 пункта, а субъективные оценки улучшились на 12 % при использовании лишь 40 % слоёв. Статистический анализ (t‑тест, p < 0.01) подтвердил значимость различий.
Таким образом, исследование демонстрирует, что «умный» подбор слоёв позволяет сократить вычислительные затраты и повысить точность LoRA‑адаптации, открывая путь к более эффективным решениям в ограниченных ресурсах.
Для разработчиков это значит, что можно экономить GPU‑время, обучая LoRA только на активных слоях, без потери качества. Студенты курсов по LLM‑тюнингу получат практический пример, как использовать градиентные метрики для отбора слоёв. Однако стоит помнить, что набор «умных» слоёв зависит от конкретной задачи, поэтому автоматизация выбора остаётся открытой проблемой.