“小顯存，大模型”國(guó)數(shù)集聯(lián)解讀如何降低AI普惠門檻

當(dāng)行業(yè)普遍在為部署一套千億參數(shù)大模型而堆砌數(shù)百GB HBM顯存、配置多臺(tái)高端GPU服務(wù)器時(shí)，一個(gè)更現(xiàn)實(shí)的問題擺在中小企業(yè)面前：如何在有限預(yù)算內(nèi)，安全、高效地本地化運(yùn)行這些模型？國(guó)數(shù)集聯(lián)嘗試從“運(yùn)力”的角度給出方案——用更經(jīng)濟(jì)的DDR內(nèi)存和CXL互聯(lián)技術(shù)，緩解對(duì)昂貴顯存的依賴，讓“小顯存”也能跑起“大模型”。