Тензорные ядра больше не спасают: ИИ‑ускорители упрутся в память

В последние годы лидеры рынка AI‑ускорителей (NVIDIA, AMD, Intel) удваивают количество тензорных ядер и внедряют ультра‑низкие форматы данных – FP8, FP4, даже INT1. На бумаге такие изменения дают прирост производительности до 2‑3×, а в тестах новых моделей H100, MI300X и Gaudi 2 действительно фиксируются рекордные TFLOPS. Однако рост вычислительной мощности обостряет старую проблему – ограниченность памяти.

Тензорные ядра работают с весами модели и промежуточными активациями, которые должны быть доставлены из памяти в реальном времени. При современных масштабах моделей (от десятков до сотен гигабайт) даже HBM3‑E с 3,2 ТБ/с пропускной способностью оказывается узким местом. Чипы с десятками миллиардов транзисторов проводят большую часть цикла в простое, ожидая следующую порцию данных. Это «памятный» бутылочный горлышко уже наблюдается в облачных сервисах, где нагрузка на память превышает 90 %.

Samsung объявила о разработке новой памяти HB (Hybrid‑Buffer), сочетающей HBM‑подобную плотность с DRAM‑уровнем латентности. По заявлению компании, HB сможет обеспечить до 5 ТБ/с пропускной способности и 1,5 ТБ/с эффективного объёма при энергопотреблении ниже 30 Вт. Если решение реализуется, ускорители получат «двойную» пропускную способность – как для весов, так и для активаций, что позволит полностью задействовать тензорные ядра.

Для разработчиков это значит, что оптимизация под память станет столь же важной, как и подбор модели. Техники, такие как градиентный чек‑поинтинг, микросегментация слоёв и использование 8‑битных форматов, помогут снизить нагрузку, но в долгосрочной перспективе новые архитектуры памяти будут определять конкурентоспособность ускорителей.

Ссылка на оригинальную статью: https://habr.com/ru/companies/ru_mts/articles/1078518/. Ссылка на спецификации NVIDIA H100: https://www.nvidia.com/en-us/data-center/h100/. Ссылка на Samsung HB (пресс‑релиз): https://news.samsung.com/global/hb-memory-innovation.