Дообучаем FLUX.2 [klein] за час на RTX 4090: LoRA, Diffusers и Gradio

FLUX.2 [klein] можно дообучить на одной видеокарте RTX 4090 за ~1 час, используя LoRA, библиотеку Diffusers и интерфейс Gradio — всё за $0.5 при аренде GPU.

Статья на Habr ML от Otus подробно описывает, как за час дообучить компактную версию генеративной модели FLUX.2 [klein] на потребительском графическом процессоре. Авторы показывают, что 4‑млрд‑параметровая модель помещается в 24 ГБ видеопамяти, поэтому её можно запустить на RTX 4090 без дополнительных техник сжатия.

Процесс начинается с подготовки небольшого датасета (примерно 200‑300 изображений) в формате .png и .json‑метаданных. Далее в статье показано, как собрать окружение с помощью pip и установить библиотеку Diffusers от Hugging Face, а также accelerate для распределённого обучения. Для дообучения используется метод LoRA (Low‑Rank Adaptation), который добавляет небольшие матрицы‑адаптеры к весам модели, экономя память и ускоряя обучение.

Ключевые цифры: один проход (epoch) занимает ~15 минут, а полное обучение в 4‑5 эпох занимает около 60 минут. При аренде RTX 4090 на популярных облачных платформах стоимость составляет примерно $0.50. После завершения обучения полученный адаптер сохраняется в формате .safetensors, что упрощает дальнейшее использование.

Последний шаг — интеграция модели в Gradio‑приложение. Авторы демонстрируют, как быстро собрать веб‑интерфейс, где пользователь может задавать текстовый промпт и получать изображения, сгенерированные уже дообученной моделью. Готовое приложение удобно разместить в Hugging Face Spaces, где оно будет доступно всем желающим.

Полный гайд, включая скрипты и ссылки на репозитории, доступен по адресу https://habr.com/ru/companies/otus/articles/1044348/.