盡管有眾多人工智能(AI)處理器競(jìng)相搶市──每一種都自稱是“突破”──今日的AI社群仍被無(wú)數(shù)問(wèn)題所困擾，包括能量、速度、AI硬件的尺寸與AI算法，這些都尚未證實(shí)在強(qiáng)韌度以及性能方面有所改善。

在計(jì)算機(jī)視覺(jué)方面，如IBM Research的計(jì)算機(jī)視覺(jué)與多媒體研究經(jīng)理Rogerio Feris所言，最大的挑戰(zhàn)在于如何“讓視覺(jué)分析更有效率”。要特別說(shuō)明的是，AI仍在早期發(fā)展階段，需要全新的想法、長(zhǎng)期性的眼光，以及學(xué)界與研究機(jī)構(gòu)在研發(fā)上的更多投入。

IBM Research會(huì)在本周于鹽湖城(Salt Lake City)舉行的2018年度計(jì)算機(jī)視覺(jué)與圖形識(shí)別研討會(huì)(Conference on Computer Vision and Pattern Recognition，CVPR)上，發(fā)表兩篇關(guān)于AI軟件與硬件技術(shù)的論文;CVPR是由計(jì)算機(jī)視覺(jué)基金會(huì)(Computer Vision Foundation)以及IEEE計(jì)算機(jī)學(xué)會(huì)贊助，號(hào)稱是最具競(jìng)爭(zhēng)力的計(jì)算機(jī)視覺(jué)技術(shù)研討會(huì)之一。

在AI硬件部分，IBM Research正在推廣一種立體視覺(jué)(stereo-vision)系統(tǒng)，是透過(guò)將以大腦啟發(fā)的棘波神經(jīng)網(wǎng)絡(luò)(spiking neural-network)技術(shù)應(yīng)用于數(shù)據(jù)擷取(傳感器)與數(shù)據(jù)處理所開(kāi)發(fā);該設(shè)計(jì)利用了IBM自家的TureNorth芯片──是一種非馮諾伊曼(non-von-Neumann)架構(gòu)處理器──以及一對(duì)瑞士業(yè)者iniLabs開(kāi)發(fā)的事件導(dǎo)向(event-driven)攝影機(jī)

在AI軟件部分，IBM Research的論文是關(guān)于“Blockdrop”，也就是被認(rèn)為可降低深度殘差網(wǎng)絡(luò)(deep residual networks)所需之總運(yùn)算量的關(guān)鍵步驟。Feris解釋，以上兩篇論文是從兩個(gè)不同角度解決一個(gè)相同的問(wèn)題──視覺(jué)分析效率。

Feris表示，當(dāng)有人要過(guò)馬路，自動(dòng)駕駛車輛會(huì)被預(yù)期要做出“實(shí)時(shí)推論”;雖然影像辨識(shí)準(zhǔn)確度很重要，不過(guò)自駕車要花多少時(shí)間產(chǎn)生結(jié)論、識(shí)別出那是什么東西，才是它在現(xiàn)實(shí)世界應(yīng)用的終極試驗(yàn)。

什么是“Blockdrop”?

在2015年ImageNet大會(huì)上成為贏家的殘差網(wǎng)絡(luò)，在計(jì)算機(jī)視覺(jué)技術(shù)社群掀起了一場(chǎng)風(fēng)暴;該技術(shù)已經(jīng)證明了它能提供優(yōu)異的識(shí)別結(jié)果，因?yàn)槟苡?xùn)練神經(jīng)網(wǎng)絡(luò)中的數(shù)百甚至數(shù)千層。不過(guò)Feris指出：“將殘差網(wǎng)絡(luò)需要的那些一體適用運(yùn)算應(yīng)用于所有成像，會(huì)太沒(méi)有效率;”他解釋，如果有一只狗在白色背景前，會(huì)比在忙碌都市街景中更容易被識(shí)別。

為此IBM Research開(kāi)發(fā)了BlockDrop，這是一種學(xué)習(xí)動(dòng)態(tài)選擇殘差網(wǎng)絡(luò)中哪些區(qū)塊(包括多個(gè)層)來(lái)執(zhí)行推論任務(wù)的方法;Feris指出：“該方法的目標(biāo)是妥善減少整體運(yùn)算輛，同時(shí)不損失預(yù)測(cè)準(zhǔn)確度。”

IBM聲稱，BlockDrop在測(cè)試中平均能將識(shí)別速度提升20%，有時(shí)甚至能加快36%，而且不犧牲殘差網(wǎng)絡(luò)在ImagNet數(shù)據(jù)集中達(dá)到的準(zhǔn)確度。Feris表示，IBM這項(xiàng)研究是在2017年夏天與美國(guó)德州大學(xué)(University of Texas)、馬里蘭大學(xué)(University of Maryland)合作展開(kāi)，該公司將會(huì)把BlockDrop釋出給開(kāi)放源碼社群。

立體視覺(jué)應(yīng)用的神經(jīng)形態(tài)技術(shù)

在硬件方面，IBM Research瞄準(zhǔn)了一種利用棘波神經(jīng)網(wǎng)絡(luò)的立體視覺(jué)系統(tǒng);該公司表示，目前產(chǎn)業(yè)界是使用兩個(gè)傳統(tǒng)(訊框)攝影機(jī)來(lái)產(chǎn)生立體視覺(jué)，但從未有人嘗試過(guò)神經(jīng)形態(tài)技術(shù)。雖然以傳統(tǒng)攝影機(jī)提供立體影像并非不可能，不過(guò)會(huì)需要高畫(huà)質(zhì)影像信號(hào)處理，例如高動(dòng)態(tài)范圍(HDR)成像、超高分辨率處理以及自動(dòng)校準(zhǔn)等。

根據(jù)IBM研究員Alexander Andreopoulos在論文中的描述，其系統(tǒng)是利用兩個(gè)iniLabs開(kāi)發(fā)的事件導(dǎo)向攝影機(jī)(又被稱為動(dòng)態(tài)視覺(jué)傳感器-DVSe)，擷取畫(huà)面之后以IBM TrueNorth芯片叢集來(lái)提取快速移動(dòng)物體之深度。

IBM的目標(biāo)是大幅降低取得立體影像所需的功耗與延遲，在接收直播的棘波輸入(這已經(jīng)大幅降低數(shù)據(jù)量)后，該系統(tǒng)是用IBM的神經(jīng)形態(tài)硬件重建3D影像，透過(guò)估算來(lái)自兩個(gè)DVSe之影像的差異，以及藉由三角測(cè)量定位3D空間中的物體。

數(shù)據(jù)擷取與處理

有一家法國(guó)新創(chuàng)公司Prophesee是利用神經(jīng)形態(tài)技術(shù)來(lái)擷取數(shù)據(jù)，并降低傳感器所收集的資料量;該公司的傳感器技術(shù)并非以訊框?yàn)榛A(chǔ)，而是以簡(jiǎn)化并打造適合機(jī)器使用的數(shù)據(jù)為設(shè)計(jì)目標(biāo)。Prophesee首席執(zhí)行官先前接受EE Times采訪時(shí)表示，這能大幅減輕數(shù)據(jù)量負(fù)擔(dān)，應(yīng)該也能因此讓車子能做出幾乎實(shí)時(shí)性的決策。

不過(guò)新一代的IBM立體視覺(jué)系統(tǒng)不只將類人腦技術(shù)用于數(shù)據(jù)擷取，也用在數(shù)據(jù)處理上，以重建立體影像;Andreopoulos表示，該系統(tǒng)還有一個(gè)最大的成就，是透過(guò)編程讓TrueNorth有效率地執(zhí)行「棘波神經(jīng)網(wǎng)絡(luò)立體視覺(jué)必備的各種常見(jiàn)子程序(sub-routines)」。IBM補(bǔ)充指出，TrueNorth芯片的架構(gòu)功耗比傳統(tǒng)系統(tǒng)低，這會(huì)有利于自動(dòng)駕駛系統(tǒng)的設(shè)計(jì)。

同樣的，利用一對(duì)DVS攝影機(jī)(非訊框式)也能降低數(shù)據(jù)量與功耗，并提升速度、減少延遲，提供更好的動(dòng)態(tài)范圍，而IBM表示這些都是實(shí)時(shí)系統(tǒng)設(shè)計(jì)的關(guān)鍵元素。在被問(wèn)到新的TrueNorth系統(tǒng)還有那些優(yōu)勢(shì)時(shí)，Andreopoulos表示，與采用傳統(tǒng)CPU/GPU處理器或FPGA的最先進(jìn)系統(tǒng)相較，其每像素視差圖功率(power per pixel disparity map)有兩百倍的改善。

利用以事件為基礎(chǔ)的輸入，饋入IBM系統(tǒng)的實(shí)時(shí)影像數(shù)據(jù)，是以9顆TrueNorth芯片進(jìn)行處理，每秒能計(jì)算400張視差圖，延遲僅11毫秒(ms)。IBM在論文中指出，藉由特定的權(quán)衡(trade-offs)，該系統(tǒng)能將速率進(jìn)一步提升到每秒2,000張視差圖。

采用TrueNorth芯片的立體視覺(jué)系統(tǒng)何時(shí)可以商業(yè)化?Andreopoulos表示：“我們還不能透露時(shí)間點(diǎn)，只能說(shuō)我們已經(jīng)進(jìn)行測(cè)試并且成功編程芯片有效處理視差圖，現(xiàn)階段是概念驗(yàn)證。”