隨著高效能運(yùn)算(HPC)工作負(fù)載日益復(fù)雜，生成式 AI 正加速整合進(jìn)現(xiàn)代系統(tǒng)，推動(dòng)先進(jìn)內(nèi)存解決方案的需求因此日益增加。為了應(yīng)對(duì)這些快速演進(jìn)的需求，業(yè)界正積極發(fā)展新一代內(nèi)存架構(gòu)，致力于提升帶寬、降低延遲，同時(shí)增加電源效能。DRAM、LPDDR 以及利基型內(nèi)存技術(shù)的突破正重新定義運(yùn)算效能，而專為 AI 優(yōu)化的內(nèi)存方案，則扮演了驅(qū)動(dòng)效率與擴(kuò)展性的關(guān)鍵角色。華邦的半定制化超高帶寬元件 (CUBE) 內(nèi)存即是此進(jìn)展的代表，提供高帶寬、低功耗的解決方案，支持 AI 驅(qū)動(dòng)的工作負(fù)載。本文將探討內(nèi)存技術(shù)的最新突破、AI 應(yīng)用日益增長的影響力，以及華邦如何透過策略性布局響應(yīng)市場不斷變化的需求。

先進(jìn)內(nèi)存架構(gòu)與效能擴(kuò)展

內(nèi)存技術(shù)正迅速演進(jìn)，以滿足 AI、AIoT 與 5G 系統(tǒng)對(duì)效能的嚴(yán)苛要求。產(chǎn)業(yè)正迎來前所未有的架構(gòu)革新，DDR5 與 HBM3E 的廣泛應(yīng)用將成為新趨勢，這些技術(shù)可同時(shí)提供更高帶寬與更佳的能源效率。DDR5 的單腳位數(shù)據(jù)速率最高可達(dá) 6.4 Gbps，每模塊可達(dá) 51.2 GB/s，效能幾乎為 DDR4 的兩倍，且工作電壓由 1.2V 降至 1.1V，進(jìn)一步提升功耗效率。HBM3E 則將帶寬推升至每堆棧逾 1.2 TB/s，為 AI 大型訓(xùn)練模型提供理想的效能。然而，其高功耗特性使其不適合用于移動(dòng)設(shè)備與邊緣端部署。

隨著 LPDDR6 預(yù)計(jì)在 2026 年突破 150 GB/s 的帶寬，低功耗內(nèi)存正朝向更高的傳輸效率與能源效益邁進(jìn)，以應(yīng)對(duì) AI 智能型手機(jī)與嵌入式 AI 加速器所面臨的挑戰(zhàn)。華邦正在研發(fā)小容量的 DDR5 和 LPDDR4 解決方案，以便對(duì)功耗要求應(yīng)用進(jìn)行優(yōu)化。同時(shí)，華邦推出了 CUBE 內(nèi)存，旨在實(shí)現(xiàn)超過 1 TB/s 的帶寬并降低熱耗散。

CUBE 的未來容量預(yù)期可擴(kuò)展至每組 8GB，甚至更高。例如，采用單一光罩區(qū)(reticle size)制程的 4Hi WoW 堆棧架構(gòu)，可實(shí)現(xiàn)逾 70GB 的容量與 40TB/s 的帶寬，使 CUBE 成為 AI 邊緣運(yùn)算領(lǐng)域中，相較傳統(tǒng)內(nèi)存架構(gòu)更具優(yōu)勢的替代方案。

此外，CUBE 的子系列 CUBE-Lite 提供 8-16GB/s 的帶寬(相當(dāng)于 LPDDR4x x16/x32)，其運(yùn)作功耗僅為 LPDDR4x 的 30%。在不搭載 LPDDR4 PHY 的情況下，SoC 僅需整合 CUBE-Lite 控制器，即可達(dá)成相當(dāng)于 LPDDR4x 滿速的帶寬表現(xiàn)，不僅可節(jié)省高額的 PHY 授權(quán)費(fèi)用，更能采用 28nm 甚至 40nm 的成熟制程節(jié)點(diǎn)，達(dá)成原先僅能在 12nm 工藝下實(shí)現(xiàn)的效能水平。

此架構(gòu)特別適用于整合NPU 的 AI-SoC、AI-MCU，可驅(qū)動(dòng)具備電池供電需求的 TinyML 終端裝置。搭配 Micro Linux 操作系統(tǒng) 與 AI 模型執(zhí)行，可應(yīng)用于 IP 攝影機(jī)、AI 眼鏡、穿戴式設(shè)備等低功耗 AI-ISP 終端場景，有效達(dá)成系統(tǒng)功耗優(yōu)化與芯片面積縮減的雙重效益。

生成式 AI 部署下的內(nèi)存瓶頸

生成式 AI 模型的指數(shù)級(jí)增長將帶來前所未有的內(nèi)存帶寬與延遲挑戰(zhàn)。特別是基于 Transformer 架構(gòu)的 AI 工作負(fù)載，對(duì)運(yùn)算吞吐量與高速數(shù)據(jù)存取能力有極高需求。

以 LLamA2 7B 為例，在 INT8 模式下部署至少需要 7GB 的內(nèi)存，即便轉(zhuǎn)為 INT4 模式仍需 3.5GB，凸顯目前移動(dòng)設(shè)備內(nèi)存容量的限制?，F(xiàn)階段使用 LPDDR5(帶寬 68 GB/s)的 AI 智能型手機(jī)，已面臨明顯瓶頸，市場急需 LPDDR6 的進(jìn)一步發(fā)展。然而，在 LPDDR6 商用化之前，仍需有過渡性解決方案來填補(bǔ)帶寬缺口。

從系統(tǒng)層面來看，機(jī)器人、自動(dòng)駕駛汽車與智能傳感器等 AI 邊緣應(yīng)用也對(duì)功耗與散熱提出更嚴(yán)苛的挑戰(zhàn)。盡管 JEDEC 標(biāo)準(zhǔn)正朝 DDR6 與 HBM4 演進(jìn)，以提升帶寬利用率，華邦的 CUBE 內(nèi)存作為一種半定制化架構(gòu)，則提供符合 AI SoC 要求的高擴(kuò)展性與高效能替代方案。CUBE 結(jié)合了 HBM 級(jí)別帶寬與低于 10W 的功耗，是邊緣 AI 推理任務(wù)的理想選擇。

散熱與能源效率的雙重挑戰(zhàn)

將大型 AI 模型部署至終端設(shè)備，將面臨顯著的散熱與能源效率挑戰(zhàn)。AI 工作負(fù)載本身即需大量能耗，所產(chǎn)生的高熱容易影響系統(tǒng)穩(wěn)定性與效能表現(xiàn)。

? 裝置端內(nèi)存擴(kuò)充：

為減少對(duì)云端 AI 處理的依賴并降低延遲，行動(dòng)裝置需整合更高容量的內(nèi)存。然而，傳統(tǒng) DRAM 的擴(kuò)展已接近物理極限，未來須透過混合式架構(gòu)，整合高帶寬與低功耗內(nèi)存以突破瓶頸。

? HBM3E 與 CUBE 的比較：

盡管 HBM3E 可實(shí)現(xiàn)極高的數(shù)據(jù)傳輸速率，但其單堆棧功耗超過 30W，并不適用于移動(dòng)邊緣應(yīng)用。華邦的 CUBE 則可作為替代型最后層快取 (Last Level Cache, LLC)，有效降低對(duì)芯片內(nèi) SRAM 的依賴，同時(shí)維持高速數(shù)據(jù)存取能力。隨著邏輯制程邁入次 7nm 時(shí)代，SRAM 面臨更嚴(yán)重的縮放瓶頸，凸顯新一代快取解決方案的迫切需求。

? 散熱優(yōu)化策略：

AI 處理可能導(dǎo)致單一芯片產(chǎn)生超過 15W 的熱負(fù)載，因此，如何有效分配功耗與進(jìn)行熱管理成為關(guān)鍵。華邦透過 CUBE 采用的 TSV(Through Silicon Via, 硅穿孔)封裝技術(shù)，并優(yōu)化內(nèi)存的刷新周期，協(xié)助在小型化裝置中實(shí)現(xiàn) AI 執(zhí)行的最佳能效。

DDR5 與 DDR6：推升 AI 運(yùn)算效能的催化劑

DDR5 與 DDR6 的演進(jìn)標(biāo)志著 AI 系統(tǒng)架構(gòu)的重大轉(zhuǎn)折點(diǎn)，帶來更高的內(nèi)存帶寬、更低延遲以及更佳的擴(kuò)展性。

DDR5 采用 8 組 Bank Group 架構(gòu)與芯片內(nèi)建的 ECC(Error-Correcting Code , 錯(cuò)誤修正碼)，提供優(yōu)異的數(shù)據(jù)完整性與效能，非常適合用于 AI 強(qiáng)化的筆記本電腦與高效能 PC。其單模塊的最大傳輸率達(dá) 51.2 GB/s，能支持實(shí)時(shí)推理、多任務(wù)處理與高速數(shù)據(jù)運(yùn)算需求。

DDR6 目前仍在研發(fā)階段，預(yù)期將實(shí)現(xiàn)超過 200 GB/s 的模塊帶寬，功耗降低約 20%，并針對(duì) AI 加速器進(jìn)行優(yōu)化設(shè)計(jì)，進(jìn)一步拓展 AI 運(yùn)算的極限。

華邦在 AI 內(nèi)存領(lǐng)域的策略領(lǐng)導(dǎo)力

華邦積極推動(dòng)專為 AI 工作負(fù)載與嵌入式處理應(yīng)用所設(shè)計(jì)的內(nèi)存架構(gòu)創(chuàng)新，其市場策略重點(diǎn)包括：

· CUBE 作為 AI 優(yōu)化內(nèi)存：

透過 TSV(穿硅互連)技術(shù)，整合高帶寬與低功耗特性，CUBE 是行動(dòng)與邊緣 AI SoC 的理想內(nèi)存解決方案。

· 與 OSAT 合作伙伴協(xié)同創(chuàng)新：

華邦與外包半導(dǎo)體封裝與測試(OSAT)伙伴密切合作，推動(dòng)與下一代 AI 硬件的深度整合，優(yōu)化內(nèi)存封裝效率并降低系統(tǒng)延遲。

· 面向未來的內(nèi)存創(chuàng)新藍(lán)圖：

華邦專注于 AI 專用內(nèi)存解決方案、專屬高速緩存設(shè)計(jì)，以及優(yōu)化 LPDDR 架構(gòu)，致力于支持高效能運(yùn)算、機(jī)器人與實(shí)時(shí) AI 處理等未來應(yīng)用。

結(jié)語

AI 驅(qū)動(dòng)的工作負(fù)載、效能擴(kuò)展的挑戰(zhàn)，以及對(duì)低功耗內(nèi)存解決方案的迫切需求，正共同推動(dòng)內(nèi)存市場的深度轉(zhuǎn)型。生成式 AI 的迅猛發(fā)展，加速了對(duì)低延遲、高帶寬內(nèi)存架構(gòu)的渴求，進(jìn)一步促使內(nèi)存與半定制化內(nèi)存技術(shù)持續(xù)創(chuàng)新。

華邦憑借其在 CUBE 內(nèi)存及 DDR5/LPDDR 系列技術(shù)上的領(lǐng)先優(yōu)勢，已成為新一代 AI 運(yùn)算的重要推手。隨著 AI 模型日益復(fù)雜，市場對(duì)兼具高效能與能源效率的內(nèi)存架構(gòu)需求將更加迫切。華邦對(duì)技術(shù)創(chuàng)新的長期承諾，讓其持續(xù)站穩(wěn) AI 內(nèi)存進(jìn)化的前沿，實(shí)現(xiàn)高效能運(yùn)算與可持續(xù)擴(kuò)展性之間的最佳平衡。