Локальный ИИ‑агент на серверном GPU: интеграция Ollama и OpenClaw

Автор статьи на Habr ML рассказывает о практическом опыте развертывания локального AI‑агента в собственном окружении. В качестве базовых компонентов использованы Ollama – локальный сервер LLM, и OpenClaw – система оркестрации запросов, работающая на сервере с мощным GPU.

За один вечер автор столкнулся с двенадцатью ошибками, большинство из которых скрывались в конфигурации и взаимосвязях между сервисами. В статье подробно описаны три типовых случая, которые могут встретиться у любого разработчика, пытающегося собрать подобный стек.

1. Пустой ответ модели – Ollama возвращала пустую строку, хотя в логах не было явных ошибок. Оказалось, что запрос не доходил до Ollama из‑за неверного пути к сокету в конфиге OpenClaw.
2. Неудачная авторизация – панель управления OpenClaw отказывала в доступе, потому что API‑ключ, указанный в secrets.yaml, имел недостаточные права. Перегенерация ключа с полными правами и обновление переменной окружения решили проблему.
3. Гейтвей в «зелёном» статусе, но без реакции – статус‑endpoint показывал «healthy», однако изменения в конфигурации не применялись. Причина – кэширование конфигурации в контейнере Docker. Перезапуск контейнера и очистка тома config_cache привели к корректной работе.

Автор сопровождает каждый случай реальными репликами агента и выводами команд, что делает материал ценным справочником. Кроме того, в статье обсуждаются нюансы работы с GPU: настройка драйверов, выделение видеопамяти через CUDA_VISIBLE_DEVICES и оптимизация загрузки модели в видеокарту для снижения латентности.

Полный текст статьи доступен по ссылке: https://habr.com/ru/companies/vk/articles/1068686/