一般來說，人類通過感知來作出相應(yīng)的決策，比如因?yàn)榭吹秸系K物而選擇避讓。

盡管這種“從感知到動(dòng)作”的邏輯已經(jīng)應(yīng)用到了傳感器和攝像頭領(lǐng)域，并成為了當(dāng)前一待機(jī)器人自主系統(tǒng)的核心。但是，目前機(jī)器的自治程度遠(yuǎn)遠(yuǎn)達(dá)不到人類根據(jù)視覺數(shù)據(jù)而作出決策的水平，尤其是在處理第一人稱視角（FPV）航空導(dǎo)航等開放世界感知控制任務(wù)時(shí)。

不過，微軟近日分享的新的機(jī)器學(xué)習(xí)系統(tǒng)這一領(lǐng)域帶來了新的希望：幫助無人機(jī)通過圖像推理出正確的決策。

微軟從第一人稱視角（FPV）無人機(jī)競賽中獲得啟發(fā)，競賽中的操作員可以通過單眼攝像頭來規(guī)劃和控制無人機(jī)的運(yùn)行路線，從而大大降低發(fā)生危險(xiǎn)的可能性。因此，微軟認(rèn)為，這一模式可以應(yīng)用到新的系統(tǒng)當(dāng)中，從而將視覺信息直接映射成實(shí)施正確決策的動(dòng)作。

具體來說，這個(gè)新系統(tǒng)明確地將感知組件（理解“看到的”內(nèi)容）與控制策略（決定“做什么”）分開，這樣便于研究人員調(diào)試深層神經(jīng)模型。模擬器方面，由于模型必須能夠分辨出模擬和真實(shí)環(huán)境之間細(xì)微的差異性，微軟使用了一種名為“AirSim”的高保真模擬器對系統(tǒng)進(jìn)行訓(xùn)練，然后不經(jīng)修改，直接將系統(tǒng)部署到真實(shí)場景里的無人機(jī)上。

雷鋒網(wǎng)注：上圖為微軟在測試中使用的無人機(jī)

他們還使用了一種稱為“CM-VAE”的自動(dòng)編碼器框架來緊密連接模擬與現(xiàn)實(shí)之間的差異，從而避免對合成數(shù)據(jù)進(jìn)行過度擬合。通過 CM-VAE 框架，感知模塊輸入的圖像從高維序列壓縮成低維的表示形式，比如從 2000 多個(gè)變量降至 10 個(gè)變量，壓縮后的像素大小為 128x72，只要能夠描述其最基本的狀態(tài)就行。盡管系統(tǒng)僅使用了 10 個(gè)變量對圖像進(jìn)行編碼，但解碼后的圖像為無人機(jī)提供了“所見場景”的豐富描述，包括物體的尺寸、位置，以及不同的背景信息。而且，這種維度壓縮技術(shù)是平滑且連續(xù)的。

為了更好地展示這一系統(tǒng)的功能，微軟使用帶有前置攝像頭的小型敏捷四旋翼無人機(jī)進(jìn)行了測試，試圖讓無人機(jī)根據(jù)來自 RGB 攝像機(jī)的圖像來進(jìn)行導(dǎo)航。

研究人員分別在由 8 個(gè)障礙框組成的長達(dá) 45 米的 S 型軌道上，以及長達(dá) 40 米的 O 型軌道上對裝載系統(tǒng)的無人機(jī)進(jìn)行了測試。實(shí)驗(yàn)證明，使用 CM-VAE 自動(dòng)編碼框架的表現(xiàn)比直接編碼的表現(xiàn)要好很多。即便是在具有強(qiáng)烈視覺干擾的情況下，這個(gè)系統(tǒng)也順利地完成了任務(wù)。

微軟方面聲稱：

在模擬訓(xùn)練階段，在無人機(jī)從未“見過”的視覺條件下對其進(jìn)行測試，我們將感知控制框架發(fā)揮到了極致。

在通過仿真訓(xùn)練后，這個(gè)系統(tǒng)能夠獨(dú)立在現(xiàn)實(shí)世界充滿挑戰(zhàn)的環(huán)境下進(jìn)行“自我導(dǎo)航”，非常適合部署在搜索和救援任務(wù)中。該項(xiàng)研究的參與者表示，該系統(tǒng)在實(shí)際應(yīng)用中將展現(xiàn)出巨大的潛力——盡管年齡，大小，性別，種族和其他因素有所不同，但自主搜索和救援機(jī)器人能夠更好地識別出人類，并幫助人類。