Новый метод обрезки LLM: физика Исинга в деле оптимизации блоков

В блоге Hugging Face объявлен выпуск нового метода Pruning LLMs Like a Physicist, который рассматривает задачу удаления блоков в больших языковых моделях как задачу оптимизации Исинга. Исследователи из Multiverse Computing совместно с командой Hugging Face предложили формализовать каждый потенциальный блок‑признак модели как спин в системе Исинга, а их взаимосвязи — как взаимодействия между спинами. Решение задачи достигается с помощью симулированного отжига и других физически‑вдохновлённых алгоритмов.

Ключевые результаты:

• На модели Llama‑2‑7B удалось уменьшить количество FLOPs на 30 % при падении точности менее 1 % на наборе MMLU.
• Метод показал аналогичные улучшения для Mistral‑7B и Gemma‑2B, подтверждая его универсальность.
• В рамках проекта открыт open‑source репозиторий multiverse-prune (https://github.com/huggingface/multiverse-prune), где предоставлены инструменты для построения графа Исинга, настройка отжига и интеграция с transformers.
• Авторы отмечают, что подход легко масштабируется: для моделей до 70 B параметров требуется лишь несколько GPU‑часов.

Метод отличается от традиционных «мagnitude‑based» или «gradient‑based» обрезок тем, что учитывает корреляцию между блоками, а не только их отдельную важность. Это позволяет избежать «каскадных» потерь качества, когда удаление одного блока негативно сказывается на соседних.

Блог‑пост содержит подробные эксперименты, визуализацию энергетических ландшафтов и рекомендации по подбору гиперпараметров отжига. Команда планирует добавить поддержку quantization‑aware pruning в будущих версиях.

Для разработчиков это открывает путь к более эффективному использованию больших моделей в ограниченных вычислительных средах, а также к экспериментам с физически‑мотивированными оптимизаторами в других задачах машинного обучения.