AI 領(lǐng)域的下一個(gè)大事件并不是教會 AI 完成某項(xiàng)任務(wù)，而是讓機(jī)器向人們解釋為什么它們做出了某項(xiàng)決策。比方說，一個(gè)機(jī)器人決定走一條特定路線去倉庫，又比如，一輛無人駕駛汽車決定向左或向右轉(zhuǎn)。我們怎么知道 AI 為什么做出這些決定？

卡內(nèi)基梅隆大學(xué)計(jì)算機(jī)科學(xué)教授 Manuela Veloso 是研究協(xié)作機(jī)器人的專家。他表示，能解釋自身行為的 AI 對贏得大眾對人工智能的信任至關(guān)重要。“我們需要質(zhì)疑為什么算法程序會做出這樣那樣的決定，如果我們不在 AI 動(dòng)機(jī)解釋上花功夫，就無法信任這個(gè)智能系統(tǒng)。”

為解決該問題， 創(chuàng)業(yè)公司 OpTImizingMind 發(fā)明了一項(xiàng)能觀察智能機(jī)器決策過程的技術(shù)。

這個(gè)算法的目的是創(chuàng)造 “透明訪問”系統(tǒng)，以呈現(xiàn)機(jī)器學(xué)習(xí)是如何做出預(yù)期（expectaTIons）的。OpTImizingMind 的負(fù)責(zé)人 Tsvi Achler 說：

“該系統(tǒng)以人腦的神經(jīng)模型為基礎(chǔ)，能把任何深度網(wǎng)絡(luò) （deep networks）轉(zhuǎn)化為該系統(tǒng)的模式。它的目的是探索 AI 行為的潛在預(yù)期 （underlying expectaTIons），并且找出 AI 思維模式的哪個(gè)方面對決策影響最大”。

有著神經(jīng)科學(xué)、醫(yī)藥和計(jì)算機(jī)科學(xué)多重學(xué)科背景的 Achler 認(rèn)為，我們能從人腦如何作出和解釋決策中學(xué)習(xí)到很多（應(yīng)用到 AI 的知識）。

“我感興趣的是，大腦和計(jì)算機(jī)的共同點(diǎn)在哪里？為什么人腦可以在學(xué)會任何模型之后把它解釋出來。如果我說 ‘章魚’，你是否能告訴我那是什么？如果我問章魚觸手長什么樣，你能告訴我嗎？”

人能做到，AI 為什么不行？

他說，當(dāng)人類觀察到一個(gè)新模式（或規(guī)律）的時(shí)候，會立刻學(xué)會那個(gè)模式。這對 AI 暫時(shí)還不可能。 AI 的學(xué)習(xí)方法被稱為批量學(xué)習(xí)。如果你想要對 AI 加入一個(gè)新模式或者新注解，你必須從頭開始把所有的新舊模式重新教一遍。

Achler 開發(fā)的算法呈現(xiàn)出神經(jīng)科學(xué)里的 “爆裂” 現(xiàn)象。當(dāng)人觀察到一個(gè)新模式時(shí)，多個(gè)神經(jīng)元被同時(shí)激發(fā)，然后它們沉寂下來。當(dāng)你向某人展示一個(gè)模式的時(shí)候，下一瞬間會發(fā)生神經(jīng)興奮，之后逐漸地平靜下來。在這個(gè)算法里你會看到同樣的事情。

實(shí)際上，這種研究方式是對傳統(tǒng)機(jī)器學(xué)習(xí)進(jìn)行了重新思考，Achler 認(rèn)為該過程就像深度學(xué)習(xí)、感知器、支持向量機(jī)（SVM） 、 卷積神經(jīng)網(wǎng)絡(luò)（CNN）、遞歸神經(jīng)網(wǎng)絡(luò)（RNN）、反向傳播等研究一樣。研究者們并沒有打算解決即時(shí)學(xué)習(xí)這一難題。 “這項(xiàng)技術(shù)的目的非常明確，那就是嘗試解釋 AI 是怎樣思考的。沒有人想過如何讓系統(tǒng)變得更靈活或是更具可信度，而它的整體目標(biāo)是讓 AI 決策更容易被訪問。”

OptimizingMind 是一種以人腦運(yùn)行方式為基礎(chǔ)的算法，旨在使開發(fā)者能“觀察到系統(tǒng)內(nèi)部，理解它們（AI 系統(tǒng)）在干什么，并且很方便地編輯它們，而無需從頭開始訓(xùn)練”。這能讓機(jī)器學(xué)習(xí)“一步到位”，而神經(jīng)網(wǎng)絡(luò)馬上就能學(xué)會。舉例來說，人們能告訴 Siri 某一個(gè)詞的定義，然后它會被存儲起來。今天神經(jīng)網(wǎng)絡(luò)還達(dá)不到這一點(diǎn)，它們需要用無數(shù)案例不斷訓(xùn)練學(xué)習(xí)。

所以 “透明訪問”系統(tǒng)是什么意思呢？根據(jù) Achler 的說法， 這個(gè)系統(tǒng)提供了一種實(shí)時(shí)觀察 AI 決策的方法。 它可以訪問權(quán)重、特點(diǎn)和節(jié)點(diǎn)，提供能讀取這些信息的靈活性，并且能改寫它們。最終，這個(gè)系統(tǒng)能讓我們理解神經(jīng)網(wǎng)絡(luò)是怎么做出一個(gè)決策的。這個(gè)工具能幫助工程師們大幅減少機(jī)器開發(fā)的時(shí)間，幫企業(yè)節(jié)省資源。

此外 Achler 還表示，在提供透明度之外，這個(gè)算法還可以被修改。不但預(yù)期（expectations）能被表達(dá)出來，每個(gè)單獨(dú)預(yù)期還能隨著新信息立刻改變。

今天，大多數(shù)機(jī)器學(xué)習(xí)的方法使用一個(gè)正反饋（feedforward）技術(shù)。風(fēng)險(xiǎn)投資公司 Naiss.io 的聯(lián)合創(chuàng)始人 Ed Fernandez 說，正反饋使用優(yōu)化過的權(quán)重執(zhí)行任務(wù)。在正反饋系統(tǒng)里，獨(dú)特性信息（ uniqueness information）依據(jù)訓(xùn)練中出現(xiàn)的頻率被錄入權(quán)重。這意味著整套訓(xùn)練中的權(quán)重必須經(jīng)過優(yōu)化。這又意味著 OptimizingMind 可以“根據(jù)正在被識別的模式執(zhí)行優(yōu)化”，這不是為了權(quán)重而優(yōu)化，而是為了模式識別去優(yōu)化。

當(dāng)機(jī)器學(xué)習(xí)與商業(yè)更緊密結(jié)合，并成為無人駕駛和其他極其重要科技的基石，理解機(jī)器學(xué)習(xí)中到底發(fā)生了什么就變得至關(guān)重要。事實(shí)上， DARPA 最近啟動(dòng)了一項(xiàng)對可解釋 AI （XAI，explainable artificial intelligence） 的投資。

正如 Veloso 教授說的：“我們不能假定 AI 系統(tǒng)完美無缺。”我們必須從 AI 的錯(cuò)誤中學(xué)習(xí)。Veloso 表示，“如果某天發(fā)生了一起 AI 事故，我們必須避免它再次發(fā)生。”