汽車制造商正在檢查神經(jīng)形態(tài)技術(shù)以實現(xiàn)人工智能驅(qū)動的功能，例如關(guān)鍵字定位、駕駛員注意力監(jiān)控和乘客行為監(jiān)控。

模仿生物大腦過程很有吸引力，因為它有望在車輛趨向于電池供電運(yùn)行的時候啟用高級功能而不會增加顯著的功耗。神經(jīng)形態(tài)計算和傳感還承諾極低的延遲，在某些情況下實現(xiàn)實時決策。

以下是有關(guān)該技術(shù)如何工作以及它如何出現(xiàn)在未來汽車中的內(nèi)幕。

尖峰網(wǎng)絡(luò)

盡管我們?nèi)匀徊煌耆私馊祟惔竽X的工作原理，但前沿研究表明，神經(jīng)元通過相互發(fā)送稱為尖峰的電信號進(jìn)行交流，而這些尖峰的序列和時間，而不是它們的大小，才是最重要的。關(guān)鍵因素。神經(jīng)元如何響應(yīng)這些尖峰的數(shù)學(xué)模型仍在制定中。但許多科學(xué)家一致認(rèn)為，如果多個尖峰同時（或非?？焖俚剡B續(xù)）從其鄰居到達(dá)神經(jīng)元，這意味著這些尖峰所代表的信息是相關(guān)的，因此導(dǎo)致神經(jīng)元向其發(fā)射一個尖峰。鄰居。

這與基于深度學(xué)習(xí)（今天的主流人工智能）的人工神經(jīng)網(wǎng)絡(luò)形成對比，其中信息以有規(guī)律的速度通過網(wǎng)絡(luò)傳播；也就是說，進(jìn)入每個神經(jīng)元的信息被表示為數(shù)值，而不是基于時間。

建立一個基于尖峰的人工系統(tǒng)并不容易。我們不僅不確切知道神經(jīng)元是如何工作的，而且對于訓(xùn)練尖峰網(wǎng)絡(luò)的最佳方法也沒有達(dá)成一致。反向傳播——使訓(xùn)練深度學(xué)習(xí)算法成為可能的算法——需要計算導(dǎo)數(shù)，而這對于尖峰是不可能的。

一些在該領(lǐng)域工作的人，例如 SynSense，近似尖峰的導(dǎo)數(shù)以使用反向傳播。其他人使用一種稱為尖峰定時依賴可塑性（STDP）的技術(shù)，它更接近生物大腦的功能。BrainChip 使用這種方法在邊緣進(jìn)行一次性學(xué)習(xí)。然而，STDP 是一種不太成熟的技術(shù)。還有可能采用以正常方式通過反向傳播訓(xùn)練的深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò) (CNN) 并將它們轉(zhuǎn)換為在尖峰域中運(yùn)行。BrainChip 也在追求這種技術(shù)。

SynSense 斑點(diǎn)

SynSense 和寶馬正在合作推進(jìn)神經(jīng)形態(tài)芯片與智能座艙的集成，并探索相關(guān)領(lǐng)域。寶馬將評估 SynSense 的 Speck 片上系統(tǒng)，它將 SynSense 的神經(jīng)形態(tài)視覺處理器與來自 iniVation 的 128 × 128 像素基于事件的相機(jī)相結(jié)合。SoC 可用于捕獲實時視覺信息、識別和檢測物體，以及執(zhí)行其他基于視覺的檢測和交互功能。

SynSense 全球研究運(yùn)營副總裁 Dylan Muir 表示：“當(dāng) BMW 用 Speck 模塊取代 RGB 攝像頭進(jìn)行視覺傳感時，它們不僅可以取代傳感器，還可以取代處理標(biāo)準(zhǔn) RGB 視覺流所需的大量 GPU 或 CPU 計算?！?

使用基于事件的攝像頭可提供比標(biāo)準(zhǔn)攝像頭更高的動態(tài)范圍，這有利于車內(nèi)和車外的極端照明條件范圍。

寶馬將探索用于汽車應(yīng)用的神經(jīng)形態(tài)技術(shù)，包括使用 Speck 模塊進(jìn)行駕駛員注意力和乘客行為監(jiān)控，合作伙伴將“在未來幾個月內(nèi)探索車輛內(nèi)外的其他應(yīng)用，”穆爾說。

SynSense 的神經(jīng)形態(tài)視覺處理器具有完全異步的數(shù)字架構(gòu)。每個神經(jīng)元都使用具有 8 位突觸權(quán)重、16 位神經(jīng)元狀態(tài)、16 位閾值以及單位輸入和輸出尖峰的整數(shù)邏輯。神經(jīng)元使用簡單的集成和觸發(fā)模型，將輸入尖峰與神經(jīng)元的突觸權(quán)重相結(jié)合，直到達(dá)到閾值，此時神經(jīng)元觸發(fā)一個簡單的 1 位尖峰。Muir 說，總體而言，該設(shè)計是復(fù)雜性和計算效率之間的平衡。

SynSense 的數(shù)字芯片設(shè)計用于處理基于事件的 CNN，每一層由不同的內(nèi)核處理。核心異步獨(dú)立運(yùn)行；整個處理管道是事件驅(qū)動的。

“我們的 Speck 模塊以低延遲實時運(yùn)行，”Muir 說?！拔覀兛梢栽?<5-mW 的功耗下管理 >20 Hz 的有效推理速率。這比標(biāo)準(zhǔn) RGB 視覺流上的傳統(tǒng)低功耗計算要快得多?！?

雖然 SynSense 和寶馬最初將在“智能駕駛艙”中探索神經(jīng)形態(tài)汽車用例，但其他汽車應(yīng)用也有潛力。

“首先，我們將探索非安全關(guān)鍵用例，”繆爾說?！拔覀冋谟媱澪磥戆姹镜母叻直媛实?Speck，以及與高分辨率傳感器接口的 DynapCNN 視覺處理器的修訂版。我們計劃這些未來技術(shù)將支持先進(jìn)的汽車應(yīng)用，例如自動駕駛、緊急制動等。”

腦芯片秋田

梅賽德斯 EQXX 概念車在 2022 年國際消費(fèi)電子展上首次亮相，配備了 BrainChip 的 Akida 神經(jīng)形態(tài)處理器，可在車內(nèi)進(jìn)行關(guān)鍵詞識別。這款車被譽(yù)為“有史以來最高效的梅賽德斯-奔馳”，它利用神經(jīng)形態(tài)技術(shù)比深度學(xué)習(xí)驅(qū)動的關(guān)鍵字識別系統(tǒng)消耗更少的能量。這對于應(yīng)該在一次電池充電后提供 620 英里范圍（約 1,000 公里）的汽車來說至關(guān)重要——比梅賽德斯旗艦電動汽車 EQS 遠(yuǎn) 167 英里。

梅賽德斯在 EQXX 公告中表示，當(dāng)發(fā)現(xiàn)喚醒詞“Hey Mercedes”時，BrainChip 的解決方案比傳統(tǒng)語音控制效率高 5 到 10 倍。

“雖然神經(jīng)形態(tài)計算仍處于起步階段，但像這樣的系統(tǒng)將在短短幾年內(nèi)投放市場，”梅賽德斯表示?！爱?dāng)在整個車輛中大規(guī)模應(yīng)用時，它們有可能從根本上減少運(yùn)行最新人工智能技術(shù)所需的能量。”

“[Mercedes] 正在研究電池管理和傳輸?shù)戎卮髥栴}，但每一毫瓦都很重要，[BrainChip] 納入的背景是，即使是最基本的推斷，如發(fā)現(xiàn)關(guān)鍵字，在考慮功率包絡(luò)時也很重要， ” BrainChip 的首席營銷官 Jerome Nadel說。

Nadel 表示，2022 年一輛典型的汽車可能有多達(dá) 70 個傳感器。在車廂中，這些傳感器可以實現(xiàn)面部檢測、注視估計、情緒分類等。

“從系統(tǒng)架構(gòu)的角度來看，我們可以以 1:1 的方式做到這一點(diǎn)；有一個傳感器可以進(jìn)行一定程度的預(yù)處理，然后數(shù)據(jù)將被轉(zhuǎn)發(fā)，”他說?！皞鞲衅鞲浇鼤?AI 推理，并且……它將向前傳遞推理元數(shù)據(jù)，而不是來自傳感器的完整數(shù)據(jù)陣列?！?

這個想法是為了最大限度地減少發(fā)送到汽車主機(jī)中的人工智能加速器的數(shù)據(jù)包的大小和復(fù)雜性，同時降低延遲并最大限度地減少能源需求。Nadel 說，每輛車都可能配備 70 個 Akida 芯片或支持 Akida 的傳感器，每一個都將是“一個不起眼的低成本部件”，并指出公司需要注意材料清單.

展望未來，Nadel 表示，神經(jīng)形態(tài)處理也將進(jìn)入 ADAS 和自動駕駛汽車系統(tǒng)。他說，有可能減少對其他類型的耗電人工智能加速器的需求。

“如果每個傳感器都有一個有限的，比如說，一個或兩個節(jié)點(diǎn)的 Akida 實現(xiàn)，它將進(jìn)行足夠的推理，并且將傳遞的數(shù)據(jù)將減少一個數(shù)量級，因為這將是推理元數(shù)據(jù)，”納德爾說?！斑@會對后備箱服務(wù)器所需的馬力產(chǎn)生影響?！?

Akida 加速了脈沖神經(jīng)網(wǎng)絡(luò) (SNN) 和卷積神經(jīng)網(wǎng)絡(luò)（通過轉(zhuǎn)換為 SNN）。它不是為任何特定用例或傳感器量身定制的，因此它可以與視覺傳感一起用于人臉識別或人員檢測，或者與揚(yáng)聲器 ID 等音頻應(yīng)用程序一起使用。BrainChip 還展示了 Akida 的氣味和味覺傳感器，盡管很難想象這些傳感器如何用于汽車（也許是空氣污染或燃料質(zhì)量的氣味和味道）。

Akida 設(shè)置為處理已轉(zhuǎn)換為尖峰域的 SNN 或深度學(xué)習(xí) CNN。與原生尖峰網(wǎng)絡(luò)不同，轉(zhuǎn)換后的 CNN 保留了尖峰幅度的一些信息，因此可能需要 2 位或 4 位計算。然而，這種方法允許利用 CNN 的特性，包括它們從大型數(shù)據(jù)集中提取特征的能力。兩種類型的網(wǎng)絡(luò)都可以使用 STDP 在邊緣進(jìn)行更新。在梅賽德斯的示例中，這可能意味著重新訓(xùn)練網(wǎng)絡(luò)以在部署后發(fā)現(xiàn)更多或不同的關(guān)鍵字。

據(jù) Autocar 報道，梅賽德斯已確認(rèn)“許多創(chuàng)新”，包括 EQXX 概念車的“特定組件和技術(shù)”，將使其成為量產(chǎn)車。目前還沒有關(guān)于梅賽德斯的新車型是否會配備人工大腦的消息。