Тестирование собственного LLM‑агента Oni: fine‑tuning Qwen3‑14B для DevOps‑мониторинга
Автор делится опытом обучения модели Qwen3‑14B через Unsloth QLoRA, чтобы автоматизировать мониторинг и перезапуск проектов в отпуске, сравнивая её с другими моделями в Ollama.
Что произошло
В четвёртой части серии о создании DevOps‑агента Oni автор рассказывает, как попытался упростить мониторинг проектов, пока собирался в отпуск. Изначальная идея – позволить локальной модели через OpenClaw автоматически обнаруживать ошибки и переподнимать сервисы – столкнулась с ограничениями большинства моделей, доступных в Ollama.
Ключевые выводы
- Проблемы с tool calling: около половины протестированных моделей не поддерживали вызов внешних инструментов, что делало их непригодными для автоматизации задач DevOps.
- Неустойчивость multi‑step сценариев: многие модели «ломались» при выполнении цепочек из нескольких шагов, что критично для мониторинга, где требуется последовательная проверка и реакция.
- Выбор модели: в итоге автор остановился на Qwen3‑14B, открытой модели от Alibaba, которая демонстрирует хорошие результаты в tool calling и multi‑step цепочках.
- Обучение: модель была дообучена с помощью Unsloth QLoRA на виртуальной машине с RTX 3090. За неделю удалось получить рабочий агент, после чего автор приобрёл старый Dell с аналогичным GPU для дальнейшего эксперимента.
Технические детали
- Платформа: Ollama + локальная VM (RTX 3090) → обучение через Unsloth QLoRA (PyTorch, 4‑битные веса).
- Данные: набор типовых DevOps‑запросов (лог‑парсинг, проверка статуса сервисов, рестарт контейнеров).
- Результат: агент успешно реагирует на симулированные сбои, вызывает
docker restartи отправляет уведомления в Slack.
Ссылки
- Статья на Habr ML: https://habr.com/ru/articles/1038310/
- Qwen3‑14B на HuggingFace: https://huggingface.co/Qwen/Qwen3-14B
- Unsloth QLoRA: https://github.com/unslothai/unsloth
- Ollama: https://ollama.com/
Для разработчиков и студентов это отличный пример, как собрать собственный DevOps‑агент без больших затрат. Главное – подобрать модель с поддержкой tool calling и правильно настроить LoRA‑обучение. Такой подход открывает путь к автоматизации рутинных задач и ускоряет CI/CD‑циклы, но требует доступа к мощному GPU.