盡管有眾多人工智能(AI)處理器競相搶市──每一種都自稱是“突破”──今日的AI社群仍被無數(shù)問題所困擾，包括能量、速度、AI硬件的尺寸與AI算法，這些都尚未證實在強韌度以及性能方面有所改善。

在計算機視覺方面，如IBM Research的計算機視覺與多媒體研究經理Rogerio Feris所言，最大的挑戰(zhàn)在于如何“讓視覺分析更有效率”。要特別說明的是，AI仍在早期發(fā)展階段，需要全新的想法、長期性的眼光，以及學界與研究機構在研發(fā)上的更多投入。

IBM Research會在本周于鹽湖城(Salt Lake City)舉行的2018年度計算機視覺與圖形識別研討會(Conference on Computer Vision and Pattern Recognition，CVPR)上，發(fā)表兩篇關于AI軟件與硬件技術的論文;CVPR是由計算機視覺基金會(Computer Vision Foundation)以及IEEE計算機學會贊助，號稱是最具競爭力的計算機視覺技術研討會之一。

在AI硬件部分，IBM Research正在推廣一種立體視覺(stereo-vision)系統(tǒng)，是透過將以大腦啟發(fā)的棘波神經網絡(spiking neural-network)技術應用于數(shù)據(jù)擷取(傳感器)與數(shù)據(jù)處理所開發(fā);該設計利用了IBM自家的TureNorth芯片──是一種非馮諾伊曼(non-von-Neumann)架構處理器──以及一對瑞士業(yè)者iniLabs開發(fā)的事件導向(event-driven)攝影機

在AI軟件部分，IBM Research的論文是關于“Blockdrop”，也就是被認為可降低深度殘差網絡(deep residual networks)所需之總運算量的關鍵步驟。Feris解釋，以上兩篇論文是從兩個不同角度解決一個相同的問題──視覺分析效率。

Feris表示，當有人要過馬路，自動駕駛車輛會被預期要做出“實時推論”;雖然影像辨識準確度很重要，不過自駕車要花多少時間產生結論、識別出那是什么東西，才是它在現(xiàn)實世界應用的終極試驗。

什么是“Blockdrop”?

在2015年ImageNet大會上成為贏家的殘差網絡，在計算機視覺技術社群掀起了一場風暴;該技術已經證明了它能提供優(yōu)異的識別結果，因為能訓練神經網絡中的數(shù)百甚至數(shù)千層。不過Feris指出：“將殘差網絡需要的那些一體適用運算應用于所有成像，會太沒有效率;”他解釋，如果有一只狗在白色背景前，會比在忙碌都市街景中更容易被識別。

為此IBM Research開發(fā)了BlockDrop，這是一種學習動態(tài)選擇殘差網絡中哪些區(qū)塊(包括多個層)來執(zhí)行推論任務的方法;Feris指出：“該方法的目標是妥善減少整體運算輛，同時不損失預測準確度。”

IBM聲稱，BlockDrop在測試中平均能將識別速度提升20%，有時甚至能加快36%，而且不犧牲殘差網絡在ImagNet數(shù)據(jù)集中達到的準確度。Feris表示，IBM這項研究是在2017年夏天與美國德州大學(University of Texas)、馬里蘭大學(University of Maryland)合作展開，該公司將會把BlockDrop釋出給開放源碼社群。

立體視覺應用的神經形態(tài)技術

在硬件方面，IBM Research瞄準了一種利用棘波神經網絡的立體視覺系統(tǒng);該公司表示，目前產業(yè)界是使用兩個傳統(tǒng)(訊框)攝影機來產生立體視覺，但從未有人嘗試過神經形態(tài)技術。雖然以傳統(tǒng)攝影機提供立體影像并非不可能，不過會需要高畫質影像信號處理，例如高動態(tài)范圍(HDR)成像、超高分辨率處理以及自動校準等。

根據(jù)IBM研究員Alexander Andreopoulos在論文中的描述，其系統(tǒng)是利用兩個iniLabs開發(fā)的事件導向攝影機(又被稱為動態(tài)視覺傳感器-DVSe)，擷取畫面之后以IBM TrueNorth芯片叢集來提取快速移動物體之深度。

IBM的目標是大幅降低取得立體影像所需的功耗與延遲，在接收直播的棘波輸入(這已經大幅降低數(shù)據(jù)量)后，該系統(tǒng)是用IBM的神經形態(tài)硬件重建3D影像，透過估算來自兩個DVSe之影像的差異，以及藉由三角測量定位3D空間中的物體。

數(shù)據(jù)擷取與處理

有一家法國新創(chuàng)公司Prophesee是利用神經形態(tài)技術來擷取數(shù)據(jù)，并降低傳感器所收集的資料量;該公司的傳感器技術并非以訊框為基礎，而是以簡化并打造適合機器使用的數(shù)據(jù)為設計目標。Prophesee首席執(zhí)行官先前接受EE Times采訪時表示，這能大幅減輕數(shù)據(jù)量負擔，應該也能因此讓車子能做出幾乎實時性的決策。

不過新一代的IBM立體視覺系統(tǒng)不只將類人腦技術用于數(shù)據(jù)擷取，也用在數(shù)據(jù)處理上，以重建立體影像;Andreopoulos表示，該系統(tǒng)還有一個最大的成就，是透過編程讓TrueNorth有效率地執(zhí)行「棘波神經網絡立體視覺必備的各種常見子程序(sub-routines)」。IBM補充指出，TrueNorth芯片的架構功耗比傳統(tǒng)系統(tǒng)低，這會有利于自動駕駛系統(tǒng)的設計。

同樣的，利用一對DVS攝影機(非訊框式)也能降低數(shù)據(jù)量與功耗，并提升速度、減少延遲，提供更好的動態(tài)范圍，而IBM表示這些都是實時系統(tǒng)設計的關鍵元素。在被問到新的TrueNorth系統(tǒng)還有那些優(yōu)勢時，Andreopoulos表示，與采用傳統(tǒng)CPU/GPU處理器或FPGA的最先進系統(tǒng)相較，其每像素視差圖功率(power per pixel disparity map)有兩百倍的改善。

利用以事件為基礎的輸入，饋入IBM系統(tǒng)的實時影像數(shù)據(jù)，是以9顆TrueNorth芯片進行處理，每秒能計算400張視差圖，延遲僅11毫秒(ms)。IBM在論文中指出，藉由特定的權衡(trade-offs)，該系統(tǒng)能將速率進一步提升到每秒2,000張視差圖。

采用TrueNorth芯片的立體視覺系統(tǒng)何時可以商業(yè)化?Andreopoulos表示：“我們還不能透露時間點，只能說我們已經進行測試并且成功編程芯片有效處理視差圖，現(xiàn)階段是概念驗證。”