Домашний сервер с Qwen Code за 25 000 ₽: как собрать LLM без облака
Инженер‑студент собрал сервер на базе Tesla V100 за 25 к, запустил локальную модель Qwen Code и избавился от ограничений Claude и отключений Anthropic.
Что случилось
Автор статьи — начинающий инженер, который активно использует Claude и Anthropic в работе, но сталкивается с жёсткими лимитами: у Claude — полчаса непрерывной сессии, у Anthropic — внезапные отключения моделей (пример — Fable 5). Чтобы избавиться от зависимости от облачных сервисов, он решил собрать собственный домашний сервер с локальной LLM.
Как построен сервер
- Аппаратная база: видеокарта NVIDIA Tesla V100, купленная на Avito за ~25 000 ₽. В комплекте – переходник PCIe → NVMe, система водяного охлаждения и открытая рама вместо традиционного корпуса.
- Стоимость: базовая сборка обошлась в 25 000 ₽; с дополнительными GPU (две‑три карты) и аксессуарами — около 35 000 ₽.
- Программный стек: установленный Qwen‑Code (модель от Alibaba, оптимизированная для генерации кода), Docker‑контейнеры с vLLM и OpenAI‑compatible API‑слой, позволяющие использовать привычные клиентские библиотеки.
- Результат: сервер способен обслуживать несколько одновременных запросов, генерировать код и отвечать на вопросы без ограничений, характерных для облачных сервисов.
Почему это важно
- Независимость от провайдеров и их политик.
- Экономия: даже при учёте электроэнергии стоимость обслуживания ниже, чем платные тарифы крупных облаков при интенсивном использовании.
- Гибкость: возможность менять модели, настраивать параметры и интегрировать собственные инструменты.
Для студентов и небольших команд такой подход открывает путь к автономной разработке AI‑инструментов без постоянных расходов на облако. Главное — иметь доступ к подержанному GPU и готовность поддерживать железо. При росте нагрузки стоит планировать масштабирование и резервное электропитание.