Hugging Face представляет новые методы PEFT, превосходящие LoRA
В блоге Hugging Face сравнивают LoRA с новыми техниками параметрически‑эффективного дообучения (PEFT) и показывают, как новые подходы дают лучшую точность при той же вычислительной нагрузке.
Компания Hugging Face опубликовала подробный обзор новых техник параметрически‑эффективного дообучения (PEFT), которые могут превзойти LoRA – текущий лидер среди методов лёгкого дообучения больших языковых моделей (LLM). В статье Beyond LoRA: Can you beat the most popular fine‑tuning technique? авторы провели масштабные эксперименты на нескольких популярных моделях (Llama‑2‑7B, Mistral‑7B, Falcon‑40B) и сравнили LoRA с новыми подходами: AdaLoRA, IA³, Prompt Tuning with Residual Adapters и BitFit++.
Ключевые результаты:
- Точность: На задачах GLUE и SuperGLUE новые методы показали прирост от 1,2 % до 3,8 % в сравнении с LoRA при том же числе обучаемых параметров.
- Память: Все техники сохраняют потребление GPU‑памяти в пределах 1‑2 GB, что сравнимо с LoRA.
- Скорость: AdaLoRA и IA³ демонстрируют ускорение обучения на 15‑20 % за счёт более эффективного распределения адаптеров.
- Отладка: Авторы предоставили открытый репозиторий с готовыми скриптами на 🤗 Transformers и PEFT, а также наборы конфигураций для
accelerate.
Статья также обсуждает практические рекомендации: когда стоит использовать LoRA (быстрый прототип), а когда переходить к более «умным» адаптерам, особенно в условиях ограниченного бюджета вычислений. В конце блога представлена дорожная карта развития PEFT до 2027 года, включая план по интеграции новых методов в 🤗 Hub.
Ссылка на оригинал: https://huggingface.co/blog/peft-beyond-lora
Для разработчиков и студентов это значит, что теперь есть проверенные альтернативы LoRA, позволяющие достичь лучшей точности без роста затрат. Стоит экспериментировать с AdaLoRA или IA³ в своих проектах, особенно если вы ограничены в GPU‑памяти, но хотите улучшить качество модели.
