1月底，計(jì)算領(lǐng)域經(jīng)歷了兩個(gè)不同尋常的里程碑——很多人都沒(méi)有注意到。一個(gè)記錄了開(kāi)拓者的逝去：人工智能(AI)領(lǐng)域先驅(qū)、導(dǎo)師Marvin Minsky去世。而另一個(gè)顯著的里程碑則可能標(biāo)志著一個(gè)新時(shí)代的開(kāi)始。就在Minsky去世后的幾天，《自然》雜志的一篇文章報(bào)道了一臺(tái)計(jì)算機(jī)在一場(chǎng)五局的圍棋正式比賽中以5:0擊敗了歐洲圍棋冠軍Fan Hui。AI在上個(gè)世紀(jì)70年代已經(jīng)奄奄一息了，(圖1)，而現(xiàn)在又煥發(fā)了青春，引發(fā)了新一輪研究，例如，公開(kāi)抓物演示，引起了對(duì)機(jī)器人的恐懼潮，使得人們重新思考系統(tǒng)設(shè)計(jì)的某些門(mén)類(lèi)。

圖1. 就像“現(xiàn)代普羅米修斯”中的怪物，AI通過(guò)對(duì)早期概念的修修補(bǔ)補(bǔ)看起來(lái)又復(fù)活了。

我們也許應(yīng)該停下來(lái)思考一下定義。對(duì)AI正式的描述是圖靈機(jī)測(cè)試：“我無(wú)法定義它，雖然我看不到它，但我知道它的存在。”或者，不太正式的，AI不需要人類(lèi)的干預(yù)就能夠讓一個(gè)系統(tǒng)去完成通常與生命體相關(guān)的任務(wù)。

不論您喜歡哪種定義，AI都像過(guò)山車(chē)那樣大起大落。上個(gè)世紀(jì)60年代讓人興奮到了頂點(diǎn)，那時(shí)MIT的Minsky等研究團(tuán)隊(duì)率先展示了大型機(jī)軟件解析自然語(yǔ)言文本，采用攝像機(jī)識(shí)別物體，通過(guò)機(jī)器人手臂來(lái)操縱這些物體。然后就停滯不前了，十多年里看起來(lái)好像什么也沒(méi)有發(fā)生。

而上個(gè)世紀(jì)80年代又圍繞專(zhuān)家系統(tǒng)、模糊邏輯和神經(jīng)網(wǎng)絡(luò)等概念掀起了一次研究高潮。但是這一波高潮同樣退去了，因?yàn)樗a(chǎn)生的系統(tǒng)既不能調(diào)整也不能推廣。

今天，我們還是處于另一波浪中。前沿研究各種各樣的新結(jié)果，例如，玩人類(lèi)的游戲，識(shí)別照片中的物體，知道所在位置，無(wú)人駕駛車(chē)輛的控制等，都看起來(lái)很有希望。這一次會(huì)有所不同嗎?

三種基礎(chǔ)

為回答這一問(wèn)題，我們需要回顧一下算法的特點(diǎn)。從這一角度，我們可以看到AI的過(guò)去是三種大概念交織在一起：基于規(guī)則的系統(tǒng)、神經(jīng)生物學(xué)，以及大規(guī)模并行搜素(圖2)。

圖2. 來(lái)自不同領(lǐng)域的三種工作渠道匯集到了今天的AI思路中。

基于規(guī)則的系統(tǒng)給AI帶來(lái)了最直觀(guān)的方法：如果您要讓一個(gè)系統(tǒng)去完成一項(xiàng)任務(wù)，那么，給它一組規(guī)則，讓它按規(guī)則去做。規(guī)則通常非常簡(jiǎn)單：如果X為真，那么進(jìn)行Y。從這種簡(jiǎn)單的形式中，您可以構(gòu)建非常復(fù)雜的偶發(fā)樹(shù)。實(shí)際表明這種結(jié)構(gòu)在解某些問(wèn)題時(shí)非常有效，例如，簡(jiǎn)單游戲，基于預(yù)定義特性的分類(lèi)，處理形式邏輯，或者確定IC設(shè)計(jì)中的模式與工藝技術(shù)相兼容。

而這些都是人類(lèi)在認(rèn)知層面上思考時(shí)遇到的問(wèn)題。如果有疑問(wèn)，我們可以展示我們的工作。有很多任務(wù)，包括，感知、判斷、意識(shí)，或者直覺(jué)，這其中我們并沒(méi)有察覺(jué)到自己的思考過(guò)程。Intel資深研究員Pradeep Dubey解釋說(shuō)，“規(guī)則來(lái)自那些智慧的人們。但是，我們對(duì)我們自己推理過(guò)程的理解非常不可靠。”

試著想像一下，能否有一組規(guī)則在任何環(huán)境下都可以確定哪些像素代表了您母親的臉部。直覺(jué)上，應(yīng)該有。而第一波AI就是要解決這類(lèi)問(wèn)題，只是江郎才盡，用盡了計(jì)算能力。而且，它是如此直觀(guān)——很多人都相信要最終獲得成功，只要有更多的規(guī)則、更多的資金、更多的MIPS就可以了。

大約在同一時(shí)期——上個(gè)世紀(jì)60年代，Minsky和其他人一起展示了基于規(guī)則的系統(tǒng)驚人的早期結(jié)果，這一新的偉大理念來(lái)自一個(gè)完全不同的領(lǐng)域。神經(jīng)生物學(xué)家開(kāi)始解開(kāi)神經(jīng)元細(xì)胞的精細(xì)結(jié)構(gòu)，把神經(jīng)元體、樹(shù)突和突觸作為電子網(wǎng)絡(luò)組成進(jìn)行建模，而不是作為活細(xì)胞或者電化學(xué)交換單元。

這種想法對(duì)生物學(xué)家用處不大，但在AI領(lǐng)域卻是一種爆發(fā)。神經(jīng)元網(wǎng)絡(luò)模型已經(jīng)可以由那時(shí)的大型機(jī)進(jìn)行處理了，成為密集研究的主題，帶來(lái)了無(wú)窮無(wú)盡的研究項(xiàng)目，Minsky尤其推崇。被稱(chēng)之為最流行模型的這種“感知器”實(shí)際上的連接要比真實(shí)的大腦神經(jīng)元少得多。它通過(guò)調(diào)整一個(gè)簡(jiǎn)單非線(xiàn)性匯集器輸入的權(quán)重系數(shù)進(jìn)行學(xué)習(xí)，而實(shí)際的神經(jīng)元是通過(guò)增加新連接，使用復(fù)雜的時(shí)間相關(guān)系列函數(shù)來(lái)適應(yīng)的。

盡管如此簡(jiǎn)單，研究人員發(fā)現(xiàn)即使很少的感知器也能一起工作，經(jīng)過(guò)訓(xùn)練后可以很好的完成簡(jiǎn)單的目標(biāo)識(shí)別和認(rèn)知任務(wù)。然而此時(shí)，基于規(guī)則的系統(tǒng)研究人員等感知器推崇者也發(fā)現(xiàn)這會(huì)超出計(jì)算能力。但是，他們非常懷疑實(shí)際的感知器大網(wǎng)——稱(chēng)之為神經(jīng)網(wǎng)絡(luò)，生物學(xué)家對(duì)此已經(jīng)完全不了解了，這種網(wǎng)絡(luò)即使有足夠的計(jì)算能力，也能否好于基于規(guī)則的系統(tǒng)，這些系統(tǒng)用于完成不好理解的AI任務(wù)。

動(dòng)蕩年代

這種情形一直持續(xù)到上個(gè)世紀(jì)80年代，人們逐漸忘記了AI，或者指責(zé)AI未能達(dá)成所愿。但是在上個(gè)世紀(jì)80年代又樂(lè)觀(guān)起來(lái)了，這時(shí)誕生了摩爾定律，業(yè)界涌現(xiàn)了風(fēng)險(xiǎn)投資潮。研究人員又開(kāi)始做AI夢(mèng)了。

基于規(guī)則的系統(tǒng)以專(zhuān)家系統(tǒng)的樣子重生：這種架構(gòu)能夠幫助人類(lèi)理解相關(guān)主題專(zhuān)家系統(tǒng)怎樣解決問(wèn)題，把想法抽象為規(guī)則。神經(jīng)網(wǎng)絡(luò)研究人員構(gòu)建了規(guī)模更大、更復(fù)雜的網(wǎng)絡(luò)，確信其計(jì)算能力更強(qiáng)，就像實(shí)際的機(jī)器視覺(jué)那樣能夠工作。模糊邏輯是相關(guān)的混合概念，在控制系統(tǒng)中似乎充滿(mǎn)前途。但進(jìn)展還是達(dá)到了平臺(tái)期，業(yè)界的注意力又轉(zhuǎn)移了。

進(jìn)入搜索

影響AI的另一個(gè)大的想法來(lái)自讓人想不到的方向：互聯(lián)網(wǎng)搜索引擎。數(shù)量巨大的網(wǎng)頁(yè)需要高效的搜索工具，其經(jīng)濟(jì)意義恰好符合大規(guī)模數(shù)據(jù)中心的經(jīng)濟(jì)規(guī)模需求。在這種環(huán)境下，涉及到大規(guī)模并行搜索的三重基本結(jié)構(gòu)(圖3)。

圖3. 三重模型描述了大規(guī)模并行搜索系統(tǒng)，也對(duì)應(yīng)于很多AI系統(tǒng)。

頂層代表了巨大的數(shù)據(jù)池的結(jié)構(gòu)。“蜘蛛”探查網(wǎng)頁(yè)，采集可搜索數(shù)據(jù)以及易于識(shí)別的關(guān)鍵詞，連續(xù)構(gòu)建數(shù)據(jù)，將其裝入到基本非結(jié)構(gòu)池中。第二層按照關(guān)系對(duì)巨量的數(shù)據(jù)進(jìn)行過(guò)濾。當(dāng)出現(xiàn)一次查詢(xún)時(shí)，這一層構(gòu)建一個(gè)過(guò)濾器，根據(jù)元數(shù)據(jù)和文本模式等類(lèi)似很容易訪(fǎng)問(wèn)到的特性，識(shí)別出可能有某些關(guān)系的頁(yè)面。需要針對(duì)速度和包容性對(duì)這一過(guò)濾器進(jìn)行優(yōu)化。過(guò)濾器被分發(fā)到數(shù)量巨大的服務(wù)器上，每一個(gè)都分配了相當(dāng)數(shù)量的頁(yè)面數(shù)據(jù)池。從這些潛在的成千上萬(wàn)的服務(wù)器中，您就有可能得到數(shù)千個(gè)相關(guān)的頁(yè)面。

搜索用戶(hù)不會(huì)對(duì)雜亂無(wú)章堆疊在一起的可能相關(guān)的頁(yè)面感興趣，因此，還需要一層：頁(yè)面排序。這里，代碼顯然是基于規(guī)則的組合——一些來(lái)自某些搜索專(zhuān)家，一些學(xué)自用戶(hù)以前的點(diǎn)擊行為，對(duì)候選頁(yè)面進(jìn)行等級(jí)排序，從而產(chǎn)生了您在屏幕上看到的頁(yè)面列表。開(kāi)發(fā)人員還在評(píng)級(jí)問(wèn)題上應(yīng)用了神經(jīng)網(wǎng)絡(luò)，但是，規(guī)則和網(wǎng)絡(luò)對(duì)應(yīng)起來(lái)是非常隱私的問(wèn)題。

它會(huì)思考嗎?

聰明的人們采用合適的過(guò)濾和評(píng)級(jí)算法，不需要很長(zhǎng)的時(shí)間就能夠識(shí)別出這些，這種三重結(jié)構(gòu)能夠勝任完成非常智能的行為。更進(jìn)一步：搜索算法能夠很好的應(yīng)用于某些類(lèi)型的游戲。

例如，考慮一下井字棋。簡(jiǎn)單的算法能夠一步一步的構(gòu)建一個(gè)數(shù)據(jù)池，列出了每一個(gè)合法的對(duì)策。這就是第1層。然后，當(dāng)您玩游戲時(shí)，您可以使用第2層過(guò)濾器，查詢(xún)數(shù)據(jù)池中含有當(dāng)前棋盤(pán)狀態(tài)的合法對(duì)策。最后，第3層評(píng)定引擎選擇能夠讓您獲勝的對(duì)策?，F(xiàn)在，您知道了下一步走法。

IBM以一種更復(fù)雜的方式使用了這種結(jié)構(gòu)，建立了Jeopardy競(jìng)賽計(jì)算系統(tǒng)Watson。Jeopardy差不多是一種非常正式的游戲，很多地方與搜索相似。因此，毫不令人吃驚的，Watson能夠很好的建立起三重模型。

在第1層，人類(lèi)專(zhuān)家選出幾類(lèi)網(wǎng)頁(yè)——例如，全部維基百科，將其送入到Watson中，摘入到大規(guī)模數(shù)據(jù)池中。他們建立了第2個(gè)過(guò)濾層，根據(jù)從線(xiàn)索中產(chǎn)生的關(guān)鍵詞以及線(xiàn)索結(jié)構(gòu)的語(yǔ)義分析，挑出候選頁(yè)面。例如，線(xiàn)索是否要求某一類(lèi)別的實(shí)例，就像第十任法國(guó)國(guó)王是誰(shuí)? 或者，它是否有雙關(guān)含義? 最終，從過(guò)濾器中選出的真正有意義的信息被分類(lèi)評(píng)級(jí)，從而與線(xiàn)索完全相符。在一場(chǎng)電視轉(zhuǎn)播的Jeopardy實(shí)際競(jìng)賽中——除了沒(méi)有一些線(xiàn)索外，Watson設(shè)計(jì)人員還無(wú)法針對(duì)這些線(xiàn)索設(shè)計(jì)出規(guī)則，Watson擊敗了以前的兩名人類(lèi)冠軍。為能夠理解相對(duì)適中的規(guī)模，成功的Watson使用了2,500多臺(tái)服務(wù)器，運(yùn)行了Apache非結(jié)構(gòu)化信息管理體系結(jié)構(gòu)和Hadoop：按照今天的標(biāo)準(zhǔn)，這絕不是一個(gè)大型系統(tǒng)。

更傳統(tǒng)的游戲呈現(xiàn)出不同類(lèi)型的挑戰(zhàn)。例如，國(guó)際象棋很接近井字棋。但是要在一個(gè)數(shù)據(jù)集中生成所有可能的國(guó)際象棋對(duì)策是不可能的。而IBM的“深藍(lán)”——國(guó)際象棋游戲系統(tǒng)，在1997年的復(fù)賽中最終擊敗了特級(jí)大師Gary Kasparov，它采用了與假想井字棋機(jī)器相同的分層結(jié)構(gòu)。但是，深藍(lán)并沒(méi)有采用所有可能走法的巨大的數(shù)據(jù)集，而是使用了專(zhuān)用硬件，從當(dāng)前位置即時(shí)生成可能的走法。把它看成是按需第1層。

當(dāng)它生成走法時(shí)，深藍(lán)通過(guò)向前走出所有的合法走法來(lái)進(jìn)行評(píng)估。系統(tǒng)中主CPU上的軟件生成數(shù)千種后面的四種走法合理的序列，并進(jìn)行評(píng)估。沒(méi)有明顯失誤的序列然后被映射到系統(tǒng)的其他CPU上。(擊敗了Kasparov的1997版的深藍(lán)含有30個(gè)RS/6000 CPU，每一個(gè)連接了16個(gè)象棋處理ASIC。)每個(gè)CPU從其分配到的序列開(kāi)始，生成后續(xù)連續(xù)的四種走法序列，評(píng)估每個(gè)新序列。深藍(lán)查看下面八種走法所有合理的序列。

對(duì)于這八種走法，在軟件中進(jìn)行分析，使得IBM的國(guó)際象棋專(zhuān)家即使在比賽過(guò)程中也能夠修改算法。通過(guò)早期的應(yīng)用，軟件能夠遵從有可能贏的序列，一直到游戲結(jié)束。八種走法序列的其他部分——有可能是數(shù)百萬(wàn)個(gè)，被分配到硬件國(guó)際象棋芯片中，再次進(jìn)行后續(xù)的四種走法，并分析。最終，在我們所謂的第3層，對(duì)比所有12種走法序列的評(píng)分和所有保持不敗的走法，主CPU從得分最高的序列中選擇下一步走法。

前進(jìn)之路

深藍(lán)在1997年的勝利可能標(biāo)志著基于規(guī)則的系統(tǒng)已經(jīng)達(dá)到了最高點(diǎn)。自此之后，大量的工作是在專(zhuān)家系統(tǒng)上——實(shí)際上，IBM使用當(dāng)時(shí)的POWER服務(wù)器硬件把深藍(lán)推向市場(chǎng)，應(yīng)用于地質(zhì)勘探和醫(yī)療診斷等各種領(lǐng)域。但是AI的體系結(jié)構(gòu)發(fā)展方向卻被另一生力軍改變了——神經(jīng)網(wǎng)絡(luò)的回歸。

這種復(fù)興來(lái)源于兩種因素。首先是大規(guī)模并行計(jì)算系統(tǒng)的出現(xiàn)。對(duì)于很多神經(jīng)網(wǎng)絡(luò)，在使用中，在其要求嚴(yán)格的訓(xùn)練模式中，都遇到了令人尷尬的并行問(wèn)題。在數(shù)萬(wàn)臺(tái)服務(wù)器上，您可以真正的認(rèn)真處理巨大的深度分層的網(wǎng)絡(luò)，而這是上個(gè)世紀(jì)80年代研究人員所夢(mèng)想的。

但是，仍然有問(wèn)題。常規(guī)的神經(jīng)網(wǎng)絡(luò)在其訓(xùn)練階段是全連接的：一層中的每個(gè)神經(jīng)元連接了前一層中每一神經(jīng)元的輸入。如果把神經(jīng)元分散到不同的服務(wù)器上，這不但使得一個(gè)神經(jīng)元下一級(jí)的計(jì)算非常繁瑣，而且會(huì)帶來(lái)雪崩式的網(wǎng)絡(luò)流量。最好是有一種 推理 的方法，以減少網(wǎng)絡(luò)中的連接，但是不失其通用性。

好在機(jī)器視覺(jué)領(lǐng)域的工作解決了這一問(wèn)題，是促使其復(fù)活的另一因素。多年以來(lái)研究人員一直使用卷積內(nèi)核作為特性探測(cè)器。在這一應(yīng)用中，每一個(gè)小內(nèi)核只掃描整個(gè)輸入圖像的一小部分——可能是6*16像素矩陣。研究人員發(fā)現(xiàn)您不僅可以通過(guò)在前端放置一個(gè)卷積平面來(lái)縮減神經(jīng)網(wǎng)絡(luò)的規(guī)模，而且還可以在網(wǎng)絡(luò)中深度混合卷積平面，極大的減少了互聯(lián)。然后，可以采用神經(jīng)元輸入權(quán)重來(lái)訓(xùn)練卷積濾波器。結(jié)果被稱(chēng)之為卷積神經(jīng)網(wǎng)絡(luò)(CNN)，如圖4所示。經(jīng)過(guò)高強(qiáng)度訓(xùn)練后，這在識(shí)別和解析2D圖像方面非常成功。而CNN能夠進(jìn)一步推廣。

圖4. 卷積神經(jīng)網(wǎng)絡(luò)在靠近前端使用卷積級(jí)，在后端使用全連接級(jí)。

更廣泛的應(yīng)用

機(jī)器視覺(jué)領(lǐng)域的一個(gè)分支立即采用了CNN。汽車(chē)輔助駕駛(ADAS)和無(wú)人駕駛汽車(chē)的研究人員采用CNN作為一種方法來(lái)減少汽車(chē)上的攝像機(jī)、雷達(dá)和激光產(chǎn)生的圖像。

最近，另一種應(yīng)用使用了CNN獲得了驚人的結(jié)果：DeepMind，還有其足以擊敗圍棋大師的程序。圍棋與國(guó)際象棋有些相似性，實(shí)際上，以前的圍棋軟件所采用的方法與國(guó)際象棋程序所采用的相似——走法預(yù)測(cè)和基于規(guī)則的位置評(píng)估方法相結(jié)合，搜索出最好的下一步走法。但是在規(guī)模上不同。在國(guó)際象棋中，算出后面的四步走法——初學(xué)者很難做到，會(huì)產(chǎn)生大約一千多個(gè)位置。在圍棋中，算出后面的四步走法會(huì)產(chǎn)生大約三十億可能的位置。很顯然，即使是對(duì)后面的幾步走法進(jìn)行窮盡式搜索也是不可能的。

程序員采用了兩種策略嘗試解決這一問(wèn)題。最熟悉的是使用基于規(guī)則的系統(tǒng)，分析當(dāng)前位置中的模式，建議下一步的走法，而不會(huì)去嘗試預(yù)測(cè)結(jié)果。如果您下過(guò)圍棋，就會(huì)知道這種方法對(duì)于一名有前途的初學(xué)者而言并不難。

另一種策略是蒙特卡洛方法：既然您無(wú)法窮盡一個(gè)位置的后續(xù)所有走法序列，那么盡可能選擇一個(gè)大數(shù)，隨機(jī)的或者通過(guò)一種策略算法，運(yùn)行一定次數(shù)，選擇最有可能獲勝的一個(gè)。雖然這看起來(lái)是任意的——但是您不能保證不會(huì)錯(cuò)過(guò)最佳序列，對(duì)于很多類(lèi)型的游戲，實(shí)際上隨著采樣數(shù)的增加，蒙特卡洛方法能夠趨向于獲得最佳走法。在圍棋中，對(duì)于一般選手，這確是棋逢對(duì)手。

但DeepMind要的是冠軍，而不是一個(gè)陪練。設(shè)計(jì)人員決定把蒙特卡洛方法與兩種不同的CNN結(jié)合起來(lái)——一個(gè)確定策略，一個(gè)評(píng)估位置。大致上，使用策略CNN來(lái)指導(dǎo)后續(xù)走法，通過(guò)評(píng)估網(wǎng)絡(luò)為結(jié)果位置打分，DeepMind的系統(tǒng)的確擊敗了一名冠軍。

采用CNN立即帶來(lái)了一個(gè)問(wèn)題——怎樣訓(xùn)練它們。Intel的Dubey解釋說(shuō)，“有三種基本訓(xùn)練方法，監(jiān)管學(xué)習(xí)、加固學(xué)習(xí)和無(wú)監(jiān)管學(xué)習(xí)。DeepMind采用了前兩個(gè)。設(shè)計(jì)人員參考高手曾經(jīng)進(jìn)行過(guò)的大量的實(shí)際比賽數(shù)據(jù)，對(duì)其兩個(gè)網(wǎng)絡(luò)進(jìn)行監(jiān)管。結(jié)合多次進(jìn)行過(guò)的比賽，會(huì)呈現(xiàn)出棋盤(pán)位置以及人類(lèi)實(shí)際的下一步走法來(lái)訓(xùn)練網(wǎng)絡(luò)。

為拓展訓(xùn)練，會(huì)讓系統(tǒng)與隨機(jī)選出的自己以前的早期版本進(jìn)行比賽，通過(guò)比賽結(jié)果來(lái)進(jìn)行加固。這不僅拓展了CNN的經(jīng)驗(yàn)，而且將訓(xùn)練聚焦在最終結(jié)果上——贏或者輸，而不是模仿人類(lèi)參賽選手上。在訓(xùn)練過(guò)程中，設(shè)計(jì)人員使用常規(guī)的梯度遞增或者遞減函數(shù)來(lái)調(diào)整網(wǎng)絡(luò)的卷積系數(shù)和神經(jīng)元權(quán)重。

所有DeepMind的結(jié)構(gòu)都是常規(guī)的：很多卷積層，然后是很多全連接層。其唯一不同的特性來(lái)自學(xué)習(xí)過(guò)程，特別是加固學(xué)習(xí)，系統(tǒng)與自己以前的版本進(jìn)行比賽。

Dubey注意到，我們才剛剛開(kāi)始研究這么大的學(xué)習(xí)網(wǎng)絡(luò)。一種有前途的未來(lái)是在大規(guī)模并行系統(tǒng)上訓(xùn)練網(wǎng)絡(luò)，然后以更小的系統(tǒng)來(lái)替代訓(xùn)練后的網(wǎng)絡(luò)。他說(shuō)，“一旦訓(xùn)練后，模型會(huì)非常緊湊。”然后可以把這些緊湊模型裝入到智能電話(huà)或者可穿戴設(shè)備中，分布在數(shù)百萬(wàn)用戶(hù)中。然后，當(dāng)模型遇到意外結(jié)果時(shí)，會(huì)向云端報(bào)告，讓更大的、可訓(xùn)練的模型學(xué)習(xí)現(xiàn)場(chǎng)大量的、訓(xùn)練過(guò)的網(wǎng)絡(luò)所得出的經(jīng)驗(yàn)。

而實(shí)際目的是通過(guò)完全無(wú)監(jiān)管的連續(xù)學(xué)習(xí)來(lái)替代加固學(xué)習(xí)。在這種模式中，現(xiàn)場(chǎng)的設(shè)備會(huì)不斷學(xué)習(xí)——不是從給定的輸入中和所需的輸出中，也不是從正確的結(jié)果給出的獎(jiǎng)賞中，而是通過(guò)優(yōu)化網(wǎng)絡(luò)本身的復(fù)雜函數(shù)來(lái)實(shí)現(xiàn)。這在研究領(lǐng)域中是最前沿的，數(shù)據(jù)中心的大規(guī)模并行系統(tǒng)都進(jìn)行了這方面的研究。而Dubey主張不能總是把無(wú)監(jiān)管系統(tǒng)棄之不用。

Dubey注意到，“人們說(shuō)，我們已經(jīng)達(dá)到了這種層面——每個(gè)人所擁有的計(jì)算能力已經(jīng)超出了他們的使用需求。但是，無(wú)監(jiān)管學(xué)習(xí)遇到的難題改變了一切——不僅僅是斜率變化，還有高階變量，還要學(xué)習(xí)快速變化的函數(shù)。您無(wú)法在日常遇到的問(wèn)題和exaFLOPS之間實(shí)現(xiàn)兩全其美。”

可能最好是結(jié)合部分以前的工作。也許只有強(qiáng)大的計(jì)算能力才能為之一振。但是現(xiàn)在的AI充滿(mǎn)活力，還在不斷發(fā)展。它對(duì)計(jì)算能力有迫切的需求。