Инференс модели AliceAI‑Foundation‑80B‑A3B‑Base: 4 A100 и высокая цена
Для работы модели AliceAI‑Foundation‑80B‑A3B‑Base требуется минимум четыре видеокарты NVIDIA A100, CPU‑offload и отсутствие квантизации, что делает её дорогим решением для большинства разработчиков.
В течение недели в профессиональных чатах обсуждался релиз претрейна модели AliceAI‑Foundation‑80B‑A3B‑Base от Яндекса. Интерес к ней вызван её масштабом – 80 млрд параметров – и обещанными возможностями в области диалоговых систем.
Однако практический тест показал, что запуск модели в инференсе требует четырёх графических процессоров NVIDIA A100. При этом без применения CPU‑offload модель не стартует, а любые попытки уменьшить нагрузку через квантизацию отвергаются: разработчики отмечают, что они «не готовы идти на компромиссы» в виде потери точности.
Для небольших команд это означает, что даже аренда облачных GPU будет стоить дорого. По текущим тарифам облачных провайдеров (примерно $3‑4 за час работы одного A100) стоимость одного часа инференса модели уже превышает $12, без учёта затрат на CPU‑ресурсы и сетевой трафик.
Яндекс в статье‑анонсе (см. habr.com/en/companies/yandex/articles/1083300/) подчёркивает, что модель ориентирована на крупные корпоративные проекты, где такие ресурсы оправданы.
Таким образом, пока модель остаётся недоступной для большинства стартапов и исследователей, её реальная ценность проявится в масштабных продуктах с достаточным бюджетом на инфраструктуру.
Для AI‑разработчиков это сигнал: крупные LLM‑модели всё ещё требуют значительных вычислительных вложений. Если ваш проект ограничен бюджетом, лучше рассмотреть более лёгкие модели или ждать появления оптимизированных версий с квантизацией.
