操控物體的機器人依靠攝像機來了解周圍的環(huán)境，但是這些攝像機通常需要經(jīng)過仔細的安裝以及持續(xù)的校準(zhǔn)和維護。

近日，由谷歌機器人技術(shù)部門和哥倫比亞大學(xué)的研究人員共同發(fā)表的一項新研究提出了一種解決方案，其中涉及一種技術(shù)，這種技術(shù)可以通過學(xué)習(xí)使用多臺彩色攝像機來完成任務(wù)而無需明確的3D表達。他們表示，與基線相比，機器人在進行困難的堆疊和插入任務(wù)上具有出色的任務(wù)性能。

這項最新工作是建立在谷歌大量的機器人技術(shù)研究的基礎(chǔ)之上。去年10月，谷歌的科學(xué)家發(fā)表了一篇論文，詳細介紹了一個名為Form2Fit的機器學(xué)習(xí)系統(tǒng)，其目的是教一個帶有吸力臂的拾取機器人將物體組裝成套件。谷歌Brain研究人員正在尋求一種新穎的機器人任務(wù)規(guī)劃技術(shù)（包括深度動力學(xué)模型或DDM），他們表示這種技術(shù)可以使機械手操控多個物體。最近，谷歌團隊又揭開了ClearGrasp的面紗，這是一種可以幫助機器人更好地識別透明物體的AI模型。

正如研究人員所指出的那樣，直到最近，大多數(shù)自動化解決方案仍都是為剛性設(shè)置而設(shè)計的，在這種剛性設(shè)置中，重復(fù)執(zhí)行腳本化的機器人動作來移動到預(yù)設(shè)定的位置。這種方法需要高度校準(zhǔn)的設(shè)置，但是這種設(shè)置可能既昂貴又耗時，并且缺乏處理環(huán)境變化所需的魯棒性。計算機視覺的進步已使機械手的抓握性能提高，但是諸如堆疊，插入和精密安裝等任務(wù)仍然具有挑戰(zhàn)性。這是因為他們需要對任務(wù)環(huán)境具有準(zhǔn)確的3D幾何知識，包括物體的形狀和姿勢，位置之間的相對距離和方向以及其他因素。

相比之下，這個團隊的方法利用了多攝像機視圖和強化學(xué)習(xí)框架，可以從不同的角度獲取圖像并以閉環(huán)方式產(chǎn)生機器人動作。他們表示，通過直接從攝像機視圖中進行組合和學(xué)習(xí)，而無需中間步驟，從而可以改善狀態(tài)估計，同時提高系統(tǒng)動作的魯棒性。

在實驗中，研究人員將他們的裝置部署到一個模擬環(huán)境中，這個環(huán)境包含一個配備有抓手的kuka機械手臂，兩個放置在機器人前面的垃圾箱，以及三個可以俯瞰這些垃圾箱的攝像機。這個機械手臂的第一個任務(wù)是將一個垃圾箱與一個單獨的方塊堆疊放在一個隨機的位置，從藍色或橙色的方塊開始。而在其他任務(wù)中，機械手臂的任務(wù)是將一個木塊牢固地插入中間的固定裝置，并將方塊堆疊在另一個之上。

研究人員在10張圖形卡片上運行了180個數(shù)據(jù)收集作業(yè)，以訓(xùn)練他們的強化學(xué)習(xí)模型，每次作業(yè)每小時可產(chǎn)生約5000次的插入任務(wù)。研究人員的報告稱他們?nèi)〉昧顺晒Γ⒋蟠蠼档土嘶诰鹊娜蝿?wù)的錯誤率，尤其是第一個堆疊任務(wù)的錯誤率為49.18％，第二個堆疊任務(wù)則為56.84％，插入任務(wù)則為64.1％。

論文的合著者寫道：“有效利用多種視圖可以更全面地觀察與任務(wù)相關(guān)的潛在狀態(tài)。我們的多視圖方法可使RGB攝像機完成3D任務(wù)，而無需明顯的3D表達，并且無需攝像機-攝像機和攝像機-機器人的校準(zhǔn)。在將來，通過學(xué)習(xí)（除任務(wù)方法之外的）攝像頭放置方法，單個移動攝像頭也可以實現(xiàn)類似的多視圖優(yōu)勢?！?/p>