簡介

人工智能在越來越多的硬件應用中快速發(fā)展，推動了對傳統(tǒng)馮·諾依曼架構無法滿足專業(yè)計算加速的前所未有的需求。在眾多競爭性替代方案中，最有前景的一種方案是模擬存內(nèi)運算(In-Memory Computing, IMC)。釋放多級阻變存儲器(RRAM)的潛力，讓這一承諾在今天比以往更加真實，硅谷新創(chuàng)公司TetraMem引領這一發(fā)展，正在解決阻礙這一解決方案發(fā)展的根本挑戰(zhàn)。該公司的獨特IMC采用多級RRAM技術，提供更高效、低延遲的AI處理，滿足AR/VR、移動設備、物聯(lián)網(wǎng)等現(xiàn)代應用不斷增長的需求。

半導體產(chǎn)業(yè)背景

過去幾十年來，半導體產(chǎn)業(yè)取得了顯著進步，特別是在滿足人工智能和機器學習不斷增長的需求方面。芯片設計的創(chuàng)新突破了性能和效率的界限，然而，一些固有的持續(xù)挑戰(zhàn)仍然存在，例如馮·諾依曼瓶頸和存儲墻(memory wall)，限制了CPU和內(nèi)存之間的數(shù)據(jù)傳輸速率，以及與先進節(jié)點技術相關的不斷升級的功耗和熱管理問題。

IMC代表了一種突破性的計算方法轉變，改變了數(shù)據(jù)處理的方式。傳統(tǒng)的運算架構將存儲和處理單元分開，產(chǎn)生大量的數(shù)據(jù)傳輸負擔，特別是對于以數(shù)據(jù)為中心的人工智能應用程序。另一方面，IMC將存儲器和處理器整合在同一實體中，通過交叉陣列架構實現(xiàn)更快、更高效的數(shù)據(jù)運算，進一步消除矩陣運算中的大量中間數(shù)據(jù)。這種方法對于大規(guī)模數(shù)據(jù)處理和實時分析至關重要的人工智能和機器學習應用特別有益。

為IMC選擇合適的存儲設備至關重要，SRAM和DRAM等傳統(tǒng)存儲技術由于其設備和單元限制及其易失性特性，并未針對存儲中操作進行優(yōu)化。RRAM憑借其高密度、多級功能和非揮發(fā)性以及卓越的保持能力，無需刷新即可克服這些挑戰(zhàn)。RRAM的工作原理是通過控制電壓或電流來調(diào)整存儲單元的電阻變化，模仿人類大腦中突觸的行為，這一功能使RRAM特別適合模擬IMC。

TetraMem專注于多級RRAM(阻變存儲器)技術，與傳統(tǒng)的單級單元存儲技術相比，該技術具有多種優(yōu)勢。RRAM能夠在每個單元中存儲多個比特，并在原地執(zhí)行高效的矩陣乘法運算，這使其成為IMC的理想選擇。該技術解決了傳統(tǒng)數(shù)字運算的許多限制，例如帶寬限制和能效不足等問題。

RRAM可編程電路設備會記住其最后的穩(wěn)定電阻值，此電阻值可以通過施加電壓或電流來調(diào)節(jié)，施加在設備上的電壓和電流的大小和方向變化會改變其導電性，從而改變其電阻值。類似人類神經(jīng)元的功能，這種機制有多種應用：存儲、模擬神經(jīng)元，以及TetraMem的存內(nèi)運算IMC。RRAM的操作由離子驅動，通過控制導電絲的尺寸、離子濃度和高度，可以精確實現(xiàn)不同的單元電阻多級變化。

數(shù)據(jù)在與存儲相同的實體中進行處理，中間數(shù)據(jù)移動和存儲最少，從而實現(xiàn)低功耗。通過具有設備級顆粒內(nèi)核的交叉陣列架構進行大規(guī)模并行運算可產(chǎn)生高吞吐量。通過物理定律(歐姆定律和基爾霍夫電流定律)進行運算，確保低延遲。TetraMem的非易失性存內(nèi)運算單元相比傳統(tǒng)的數(shù)字馮·諾依曼架構可大幅降低功耗。

顯著成就

TetraMem在RRAM技術的發(fā)展中取得了重要的里程碑。值得注意的是，該公司展示了一個前所未有的設備，每個單元具有11位，在單個設備中實現(xiàn)了2000多個信息等級，這一精度水平代表了存內(nèi)運算IMC技術的重大突破。

近期在Nature《1》和Science《2》等著名期刊上發(fā)表的文章強調(diào)了TetraMem的創(chuàng)新方法。提高單元噪聲性能和增強多級信息IMC運算技術是其重要的進展領域。例如，TetraMem開發(fā)了專有算法來抑制隨機電報噪聲(telegraph noise)，從而使RRAM單元具有更優(yōu)越的記憶保持和耐久性特征。

存內(nèi)運算(IMC)的運作

TetraMem的IMC技術采用交叉架構，其中陣列中的每個交點對應于一個可編程的RRAM存儲單元。這種配置允許高度并行操作，這對神經(jīng)網(wǎng)絡計算至關重要。在向量矩陣乘法(Vector-Matrix Multiplication, VMM)操作期間，輸入信號會應用于交叉開關陣列，計算結果被收集到位線(bit lines)上。這種方法大大減少了在存儲和處理單元之間傳輸數(shù)據(jù)的需求，從而提高了計算效率。

實際應用

TetraMem通過商業(yè)晶圓廠制造的首款評估SoC，MX100芯片(見下圖)展示了其IMC技術的實際應用。該芯片已在多個芯片內(nèi)演示中展示了其能力，展示了其在現(xiàn)實場景中的功能。一個值得注意的演示是瞳孔中心網(wǎng)絡(Pupil Center Net, PCN)，展示了該芯片在AR/VR中的應用，用于自動駕駛車輛中的面部追蹤和身份驗證監(jiān)控。

為了促進其技術的采用，TetraMem提供了全面的軟件開發(fā)套件(Software Development Kit, SDK)。此SDK使開發(fā)者能夠無縫地定義邊緣AI模型。此外，與Andes晶心科技的NX27V RISC-V CPU及其向量擴展功能的整合簡化了操作，讓客戶更輕松地將TetraMem的解決方案部署到其產(chǎn)品中。

TetraMem的IMC設計非常適合矩陣乘法，但在向量或標量運算等其他功能上的效率不高。這些運算在神經(jīng)網(wǎng)絡中經(jīng)常使用，為了支持這些功能，Andes晶心科技提供了CPU加向量引擎的靈活性，并擁有現(xiàn)有的SoC參考設計以及成熟的編譯器和函數(shù)庫，以加快我們的市場推廣時間。

TetraMem與Andes晶心科技合作，將其IMC技術與Andes晶心的RISC-V CPU和向量擴展集成在一起。這一合作提升了整體系統(tǒng)性能，為各種AI任務提供了強大的平臺。結合的解決方案充分利用了兩家公司優(yōu)勢，提供了一個靈活且高效的架構。

展望未來，TetraMem準備推出基于22nm技術的MX200芯片，這款芯片承諾將提供更大的性能和效率。該芯片專為邊緣推理應用而設計，提供低功耗、低延遲的AI處理。MX200預計將開拓新的市場機會，特別是在能源效率至關重要的電池供電的人工智能設備中。

結論

TetraMem在IMC方面的進展代表了AI硬件領域的一次重大飛躍。通過解決傳統(tǒng)計算的基本挑戰(zhàn)，TetraMem正在為更高效和可擴展的AI解決方案鋪平道路。隨著公司不斷創(chuàng)新并與Andes晶心科技等行業(yè)領導者合作，AI處理的未來看起來充滿希望。TetraMem的解決方案不僅提升了性能，還降低了采用尖端AI技術的門檻。