Как установить серверный GPU в игровой ПК за £200 и удвоить VRAM
Автор заменил обычную RTX 4080 на серверный графический ускоритель, подключив его через адаптер, и получил 32 ГБ памяти для локального запуска 27‑млрд‑параметровой модели.
В статье на Habr ML автор делится практическим опытом, как превратить обычный игровой компьютер в мощную рабочую станцию для больших языковых моделей без огромных затрат. Изначально у него уже была RTX 4080 с 16 ГБ видеопамяти, чего оказалось недостаточно для локального инференса моделей более 20 млрд параметров. Вместо покупки дорогой видеокарты с 40 ГБ VRAM он нашёл альтернативу – серверный GPU, предназначенный для дата‑центров, который обычно продаётся в виде «board‑only» без стандартного PCIe‑слота.
Купив такой ускоритель за £200 (примерно 230 USD) и используя специальный адаптер PCIe x16 → NVLink/PCIe‑cable, он подключил карту к своему ПК. В результате система получила два графических процессора: оригинальная RTX 4080 (16 ГБ) и серверный GPU (16 ГБ), суммарно предоставив 32 ГБ видеопамяти. Это позволило запустить локально модель с 27 млрд параметров, которой ранее требовалась отдельная машина с 40‑+ ГБ VRAM.
Автор подробно описывает процесс выбора адаптера, настройку драйверов и оптимизацию памяти через PyTorch + DeepSpeed. Также отмечает, что такой подход требует аккуратного охлаждения и достаточного блока питания, но в целом экономит более £1500 по сравнению с покупкой профессионального графического ускорителя. Статья полезна как для разработчиков ИИ, так и для энтузиастов, желающих расширить возможности своего ПК без значительных инвестиций.
Это отличный пример того, как креативный подход к железу может открыть доступ к крупным моделям без дорогостоящих серверов. Для студентов и фрилансеров такой «хак» снижает барьер входа в локальное обучение и инференс. Главное – внимательно следить за совместимостью адаптеров и требованиями к питанию.
