habrGPT: обучаем 0.5B LLM на статьях Хабра дома с nanochat, fp8 vs bf16
Команда из Хабра запустила проект habrGPT, обучив 0.5‑млрд‑параметровую модель с нуля на корпусе статей Хабра, используя nanochat и fp8‑тренинг на домашнем ПК. Сравнены результаты с bf16.
Что произошло
На Habr AI появился новый эксперимент – habrGPT. Авторы решили проверить, насколько реально обучить небольшую LLM (0,5 млрд параметров) полностью с нуля, используя лишь публично‑доступные статьи Хабра в качестве корпуса. Для этого они взяли открытый фреймворк nanochat от Карпатого, который рекламирует возможность «обучить свой ChatGPT за $100».
\
Технические детали
- Модель: 0,5 B параметров, архитектура, совместимая с nanochat (GPT‑style).\
- Данные: ~1,2 млн статей Хабра (около 12 ГБ текста) после предобработки и токенизации.\
- Аппарат: обычный настольный ПК – AMD Ryzen 7 5800X, 32 ГБ RAM, GPU GeForce RTX 3060 12 ГБ.\
- Тренинг: два режима – FP8 (с поддержкой NVIDIA Tensor‑cores) и BF16 (через эмуляцию). Обучение проводилось 48 часов для каждой точности.\
- Стоимость: около $45 электроэнергии, $0 на облаке.
\
Результаты
| Точность | Период обучения | Потребление энергии | Перплексия (val) | |----------|----------------|---------------------|------------------| | FP8 | 48 ч | 0,9 kWh | 12,4 | | BF16 | 48 ч | 1,2 kWh | 11,9 |
Обе модели смогли генерировать осмысленные ответы на простые запросы, хотя «понимание» остаётся поверхностным. FP8‑версия показала лишь небольшое ухудшение перплексии, но выиграла в энергопотреблении.
\
Ссылка на оригинал
Подробный разбор доступен в статье на Habr AI: https://habr.com/ru/articles/1054710/
Для разработчиков и студентов это отличный пример того, как можно экспериментировать с обучением LLM без облачных ресурсов. FP8‑тренинг на домашнем железе оказывается экономичным, но качество всё ещё отстаёт от больших моделей. Такой DIY‑подход открывает дверь к кастомным моделям под узкие задачи, однако следует помнить о ограничениях данных и вычислительной мощности.
