Как дообучить свою GPT‑like LLM на диалогах по Warhammer 40K: Supervised Fine‑Tuning (SFT)
В четвёртой части серии Владимир делится практикой SFT – дообучения небольшой decoder‑only модели на датасете «вопрос‑ответ», чтобы она могла вести осмысленные диалоги в мире Warhammer 40K.
Автор серии статей — Владимир — показывает, как превратить уже обученную decoder‑only LLM, построенную с нуля для вселенной Warhammer 40K, в диалоговый агент. В части 4 он фокусируется на этапе Supervised Fine‑Tuning (SFT), то есть дообучении модели на специально подготовленном наборе «вопрос‑ответ».
Что делается:
- Сбор и разметка данных. Из официальных источников, книг и вики‑страниц по WH40K извлекаются парные вопросы‑ответы, формируются 2 млн примеров, очищаются от шума и токенизируются с помощью tokenizer, совместимого с базовой моделью.
- Подготовка датасета. Данные конвертируются в формат
jsonlс полямиpromptиcompletion, затем упаковываются вdatasets‑объект HuggingFace. - Обучение. Для экономии ресурсов используется LoRA‑адаптация (rank = 8) и 8‑GPU сервер с 48 ГБ VRAM. Параметры: batch‑size = 64, learning‑rate = 2e‑5, epochs = 3. Весь процесс занимает ~6 часов.
- Оценка. После SFT модель генерирует ответы на 100 тестовых вопросов, достигая 78 % точности по метрике BLEU и заметно улучшая когерентность диалога.
- Инференс. Пример кода для запуска чат‑бота через Gradio опубликован в репозитории GitHub, где можно протестировать модель в режиме реального времени.
Ключевые цифры: 2 млн Q&A‑пар, 3 эпохи, 6 часов обучения, BLEU = 0.78, размер модели ≈ 350 М параметров.
Ссылка на оригинал: https://habr.com/ru/articles/1060976/
Эта статья демонстрирует полностью открытый пайплайн от сбора данных до развёртывания диалогового агента, что особенно ценно для небольших команд и студентов, желающих построить собственные специализированные LLM.
Для разработчиков и студентов такой пошаговый гайд – золотой стандарт: он показывает, как при минимальных ресурсах (350 М параметров, несколько GPU) получить работающего чат‑бота в узкоспециализированной теме. SFT открывает двери к кастомным диалоговым системам без необходимости масштабных RLHF‑циклов, но требует тщательной валидации данных, иначе модель может «запутаться» в канонике вселенной.
