大數(shù)據(jù)(big data)應(yīng)用持續(xù)推動(dòng)內(nèi)存更密切結(jié)合運(yùn)算資源的架構(gòu)需求，但人工智能(AI)和機(jī)器學(xué)習(xí)更進(jìn)一步展現(xiàn)了硬件和硬件架構(gòu)如何在成功部署中發(fā)揮關(guān)鍵作用。然而，關(guān)鍵的問題在于內(nèi)存應(yīng)該要設(shè)計(jì)在哪里?

根據(jù)美光科技(Micron Technology)最近委托Forrester Research進(jìn)行的研究發(fā)現(xiàn)，有89%的受訪者認(rèn)為運(yùn)算和內(nèi)存在架構(gòu)上密切整合至關(guān)重要。Forrester Research的這項(xiàng)調(diào)查還發(fā)現(xiàn)，針對(duì)硬件限制使得AI與機(jī)器學(xué)習(xí)能力受限的討論中，最常被提及的就是內(nèi)存和存儲(chǔ)技術(shù)。超過75%的受訪者認(rèn)為目前的內(nèi)存與存儲(chǔ)技術(shù)有必要進(jìn)行升級(jí)或重新架構(gòu)，才能突破應(yīng)用上的限制。

特別是AI讓大數(shù)據(jù)和分析原已面對(duì)的挑戰(zhàn)更形復(fù)雜，因?yàn)闄C(jī)器學(xué)習(xí)經(jīng)由神經(jīng)網(wǎng)絡(luò)在龐大的數(shù)據(jù)矩陣上執(zhí)行乘積累加運(yùn)算。這些運(yùn)算不斷地重復(fù)執(zhí)行，伴隨更多的結(jié)果出現(xiàn)，同時(shí)從數(shù)據(jù)處理中學(xué)習(xí)，最終產(chǎn)生一種每次都能達(dá)到最佳路徑和最佳選擇的算法。

美光科技企業(yè)策略副總裁Colm Lysaght說，由于數(shù)據(jù)越來越龐大，取得足夠可用內(nèi)存的常見解決方案就是增加更多的DRAM。這使得性能的瓶頸開始從原始運(yùn)算轉(zhuǎn)移到數(shù)據(jù)的所在位置。他說：“內(nèi)存和存儲(chǔ)正是數(shù)據(jù)所在之處。由于這些龐大的數(shù)據(jù)組合必須處理，我們只得一再地將其傳送至CPU進(jìn)行處理后返回。”

只要找到讓運(yùn)算和內(nèi)存更緊密結(jié)合的方法，就意味著能夠更加省電，因?yàn)閿?shù)據(jù)不必再密集地來回傳送了。Lysaght說，“它還提高了性能，因?yàn)楦嗟奶幚砣蝿?wù)都可以在需要之處才發(fā)生。”

美光科技認(rèn)為，諸如DRAM和3D NAND SSD等現(xiàn)有的內(nèi)存和存儲(chǔ)技術(shù)，為AI架構(gòu)提供了可用硬件。該公司同時(shí)還研究其他更新的技術(shù)，例如許多新創(chuàng)公司也支持的內(nèi)存處理器(PIM)架構(gòu)(來源：Micron Technology)

Lysaght指出，“有許多不同的方法可以創(chuàng)建更好的架構(gòu)。例如神經(jīng)形態(tài)處理器，可在內(nèi)部使用神經(jīng)網(wǎng)絡(luò)，并將內(nèi)部核心數(shù)分解為更多的較小核心。他說：由于必須處理大量的資料矩陣，因此，更理想的解決方案是讓更多核心周而復(fù)始地執(zhí)行相對(duì)簡(jiǎn)單的運(yùn)算。”

例如一家對(duì)開發(fā)新架構(gòu)感興趣的內(nèi)存公司Crossbar最近與Gyrfalcon Technology、mtes Neural Networks (mtesNN)和RoboSensing等公司合作，共同成立了一個(gè)名為‘SCAiLE’(SCalable AI for Learning at the Edge)的AI聯(lián)盟，致力于開發(fā)一款加速、節(jié)能的AI平臺(tái)。

Crossbar策略營(yíng)銷和業(yè)務(wù)開發(fā)副總裁Sylvain Dubois表示，該聯(lián)盟將結(jié)合先進(jìn)的加速硬件、可變電阻式內(nèi)存(ReRAM)以及優(yōu)化的神經(jīng)網(wǎng)絡(luò)，共同打造具有免監(jiān)督學(xué)習(xí)和事件辨識(shí)功能的節(jié)能解決方案。

Dubois表示，無論是智能音箱、智能相機(jī)還是智能電視，許多公司面臨的挑戰(zhàn)在于希望直接將AI導(dǎo)入裝置上，但又不知道如何著手。該聯(lián)盟的目標(biāo)就在于提供一個(gè)將所有必要部份整合在一起的平臺(tái)。

Crossbar的貢獻(xiàn)在于內(nèi)存——特別是ReRAM，它將透過文本、關(guān)鍵詞、GPS坐標(biāo)以及來自傳感器的可視數(shù)據(jù)(非結(jié)構(gòu)化)等各種輸入，以處理在機(jī)器學(xué)習(xí)系統(tǒng)中產(chǎn)生的數(shù)據(jù)。

Dubois還設(shè)計(jì)了一種內(nèi)存數(shù)組架構(gòu)，讓特定處理程序代碼可在邊緣裝置中，以高度平行的方式針對(duì)每一個(gè)案例進(jìn)行讀取。他說：“如果彼此匹配，就會(huì)知道在邊緣裝置進(jìn)行哪些處理。但如果無法順利匹配，那么就成了我們所說的學(xué)習(xí)曲線。”

在云端執(zhí)行更多分析

以相機(jī)傳感器為例，他指出這種系統(tǒng)將會(huì)在ReRAM數(shù)組的備用位置存儲(chǔ)新事件或一組功能。Dubois說：“等到下一次在這臺(tái)相機(jī)面前出現(xiàn)類似的事件時(shí)，相機(jī)本身就能檢測(cè)到，而無需在云端進(jìn)行任何訓(xùn)練。”。

因此，Dubois表示，如果出現(xiàn)了需要快速?zèng)Q策的意外事件，例如具有安全顧慮的交通現(xiàn)場(chǎng)時(shí)，這提供了一種全然不同的AI處理途徑，因?yàn)樗⒉槐匾蕾囉谠贫酥械拇罅坑?xùn)練能力。

Forrester Research的研究預(yù)期，更多的公司將在公共云和邊緣進(jìn)行分析，從而在邊緣實(shí)現(xiàn)更多的機(jī)器學(xué)習(xí)。51%的受訪者表示目前在公共云執(zhí)行分析，這一數(shù)字預(yù)計(jì)將在未來3年增加到61%。此外，盡管目前約44%的人開始在邊緣進(jìn)行分析，但Forrester預(yù)測(cè)，這一比重將在2021年增加到53%。

在為美光科技進(jìn)行這項(xiàng)調(diào)查期間，F(xiàn)orrester基礎(chǔ)設(shè)施和營(yíng)運(yùn)產(chǎn)業(yè)資深分析師Chris Gardner一開始對(duì)于硬件產(chǎn)品大量“涌現(xiàn)”的程度備感驚訝，特別是存儲(chǔ)和內(nèi)存。

Gardner說：“我本來預(yù)期會(huì)看到更多與硬件有關(guān)的軟件可編程問題，以及管理等問題。當(dāng)然，這些問題確實(shí)也出現(xiàn)了，但并不至于像其他事情的程度。”

Gardner表示，在該研究中衍生而出的是內(nèi)存本身如何完成大量的工作，同時(shí)又盡可能避免進(jìn)行存儲(chǔ)。但值得注意的是，對(duì)于內(nèi)存和存儲(chǔ)的需求取決于實(shí)際的應(yīng)用類型。據(jù)Gardner解釋，訓(xùn)練模型需要相當(dāng)龐大的內(nèi)存和存儲(chǔ)能力，除此之外，你幾乎不需要其他任何東西。

Crossbar最近成立了一個(gè)打造AI平臺(tái)的聯(lián)盟，提供針對(duì)AI應(yīng)用的內(nèi)存產(chǎn)品，例如其內(nèi)建嵌入式ReRAM的P-Series MCU(來源：Crossbar Inc.)

Gardner說，理想上，企業(yè)希望擁有一個(gè)容量高達(dá)數(shù)百GB或TB級(jí)RAM的存儲(chǔ)環(huán)境。但現(xiàn)實(shí)上，他們必須自行打造或付費(fèi)給供貨商協(xié)助打造，他并補(bǔ)充說，目前業(yè)界亟需的是整個(gè)硬件典范的轉(zhuǎn)型。

Gardner說：“我們需要更多以內(nèi)存為中心(memory-centric)的架構(gòu)。”他進(jìn)一步解釋，運(yùn)算需要以內(nèi)存為中心，并盡量減少存儲(chǔ)的必要性，而不再是以運(yùn)算為中心。

Gardner說：“但這并不表示當(dāng)今的運(yùn)算架構(gòu)及其存取方式很糟糕，而只是強(qiáng)調(diào)在執(zhí)行AI和機(jī)器學(xué)習(xí)方面，它可能不是最有效率的方式。”

Forrester的研究?jī)?nèi)容還涵蓋了邊緣運(yùn)算。應(yīng)用場(chǎng)景之一是內(nèi)部架設(shè)攝影機(jī)的主要運(yùn)動(dòng)場(chǎng)館，這些攝影機(jī)將產(chǎn)生大量需要快速處理的資料，以確定場(chǎng)是否存在危險(xiǎn)情況。Gardner說：“目前雖然可以來回云端傳送資料，但并沒時(shí)間進(jìn)行分析。他們需要的是盡可能迅速地進(jìn)行處理。”

當(dāng)然還有一些機(jī)器學(xué)習(xí)任務(wù)得在云端中完成，再將其發(fā)送回物聯(lián)網(wǎng)(IoT)裝置，但其中的一些裝置將會(huì)變得越來越智能并自行執(zhí)行機(jī)器學(xué)習(xí)，接著傳回云端共享后再傳送到其他裝置。Gardner表示，對(duì)于內(nèi)存制造商來說，這意味著商品組件制造商正持續(xù)轉(zhuǎn)型以及重新編譯應(yīng)用程序，以善加利用AI和機(jī)器學(xué)習(xí)工作負(fù)載所需的新式內(nèi)存架構(gòu)。

但我們?nèi)缃袢蕴幱趯?shí)驗(yàn)階段，因?yàn)檫€沒有任何真正的張量(tensor flow)——使用以內(nèi)存為中心的架構(gòu)可以整合在一起;這種以內(nèi)存為中心的架構(gòu)要走出實(shí)驗(yàn)室之前還得克服很大的延遲挑戰(zhàn)。

Gardner說：“幾十年來，我們一直抱持著以CPU執(zhí)行的心態(tài)。如今這種極具革命性的想法，將有助于我們擺脫這種心態(tài)。”

去年秋天，美光科技宣布投資1億美元于AI新創(chuàng)領(lǐng)域。該公司如今已在實(shí)驗(yàn)室中開發(fā)了一款類似DRAM的產(chǎn)品，目標(biāo)是在2021年出樣，同時(shí)，該公司的研究人員也正致力于研究業(yè)界新創(chuàng)公司積極探索中的內(nèi)存處理器(PIM)架構(gòu)。