當今，隨著傳感器技術的不斷發(fā)展，各種各樣的傳感器被研制出來，其中就包括光學 3D 傳感器。當前，據外媒報道，谷歌與來自 Synthesis AI 和哥倫比亞大學的研究人員共同開發(fā)了一種能夠估計透明物體準確 3D 數據的學習算法。

從自動駕駛汽車到自動機器人等領域，光學 3D 距離傳感器與 RGB-D 相機的應用一樣廣泛，它可以生成豐富而精確的 3D 環(huán)境地圖。

但它也有個「天敵」，透明的物體就可以讓一套常用的昂貴傳感器撓頭，哪怕只是一個普通的玻璃容器。

這是因為光學三維傳感器的算法都是基于一個前提——假設所有表面都是 Lambertian 的，也就是說這個表面反射的光線是均勻的，從而從各個角度看，表面的亮度都是一致的。然而，透明物體顯然不符合這個假設，因為它們的表面除了反射光線，還會折射光線。因此，大多數透明對象的深度數據是無效的，或者是包含不可預測的噪聲。

光學三維傳感器通常無法探測到透明物體。右上：例如，IntelRealSenseD415 RGB-D 攝像機拍到的 3D 深度圖像中沒有顯示玻璃瓶。底部：對深度圖像點云的三維可視化。

讓機器更好地感知透明的表面，不僅能提高安全性，還能在非結構化應用中開辟新的交互——比如處理廚房用具或對塑料進行回收分類的機器人，或是在室內環(huán)境中導航或在玻璃桌面上生成增強現實 (AR) 可視化效果。

為了解決這個問題，谷歌與來自 Synthesis AI 和哥倫比亞大學的研究人員合作開發(fā)了 ClearGrasp。ClearGrasp 是一種機器學習算法，它能夠從 RGB-D 圖像中估計透明物體的準確 3D 數據。

這種效果的實現主要得益于谷歌同時公開的一個大規(guī)模的合成數據集。ClearGrasp 的輸入可以來自任何標準的 RGB-D 攝像機，然后它會使用深度學習來精確地重建透明物體的深度，并將其泛化成一種全新的物體，這種物體在訓練過程中是看不到的。這與以前的方法不同，以前的方法需要事先了解透明物體(如它們的 3D 模型)，然后結合背景照明和攝像機位置圖來進行建模。在這項工作中，谷歌還證明了 ClearGrasp 可以通過將其整合到其 pick and place 機器人的控制系統(tǒng)中，來提高機器人的操作效率，在該系統(tǒng)中透明塑料物體的抓取成功率有了顯著的提高。

ClearGrasp 通過深度學習來重建透明表面的精確三維深度數據。

透明對象的可視化數據集

任何有效的深度學習模型都需要需要大量的數據來訓練(如視覺領域的 ImageNet 和 BERT 使用的 wikipedia)，ClearGrasp 也不例外。不幸的是，并沒有這種帶透明物體 3D 數據的數據集。現有的 3D 數據集(如 Matterport3D、ScanNet 等)都沒有透明表面的記錄，因為這種標記過程耗時耗力。

為了克服這個問題，谷歌創(chuàng)建了自己的大型透明對象數據集，其中包含 5 萬多個具有相應表面法線(表示表面曲率)、分割掩模、邊緣和深度的真實感渲染，這對于訓練各種 2D 和 3D 檢測任務非常有用。每個圖像包含的透明物體多達 5 個，有的在一個平面上，有的在一個手提袋里，而且包含了各種背景和照明的場景。

ClearGrasp 合成數據集的一些透明物體實例。

谷歌還在數據集中收集了 286 張實景圖的測試集，這些圖像都有深度標注。實景圖的拍攝過程是艱苦的，拍攝時需要在場景中的每個透明物體的位置上繪制一個跟其位置大小完全一致的圖像。這些圖像是在許多不同的室內照明條件下拍攝的，使用了各種不同的布和飾面背景，而且包含了散落在場景周圍的隨機不透明物體。它們既包含合成訓練集中已有的對象，也包含新對象。

左：實景圖拍攝設置;中：自定義用戶界面支持精確地用噴漆復制替換每個透明對象;右：捕獲數據的示例。

挑戰(zhàn)

雖然通過透明物體看到的扭曲的背景視圖混淆了典型的深度估計方法，但是也有一些線索暗示了物體的形狀。透明的表面也有鏡面反射，這種反射跟鏡子一樣，在光線充足的環(huán)境中就變成亮點了。由于這些視覺線索在 RGB 圖像中比較突出，并且主要受到物體形狀的影響，因此卷積神經網絡可以利用這些反射來推斷出準確的表面法線，然后再用于深度估計。

透明物體上的鏡面反射反映了不同的特征，這些特征根據物體的形狀而變化，并為估計表面法線提供了極其有用的視覺線索。

大多數機器學習算法試圖直接從單目 RGB 圖像中估計深度。然而，即便對人類來說，單目深度估計也是一個非適定(ill-posed)的任務。團隊觀察到，在估計平坦背景表面的深度時存在較大的誤差，這就增加了對位于其上的透明物體深度估計的誤差。因此，與直接估計所有幾何圖形的深度不同，糾正 RGB-D 3D 相機的初始深度估計值可能更實用——能夠使用非透明表面的深度來通知透明表面的深度。

ClearGrasp 算法

ClearGrasp 用了 3 種神經網絡：一種網絡用于估計表面法線，一種用于遮擋邊界(深度上不連續(xù))，另一種用于遮擋透明對象。遮擋會刪除跟透明對象有關的所有像素，以便填充其正確的深度。然后，使用一個全局優(yōu)化模塊，從已知的表面開始擴展深度，并使用預測的表面法線來指導重建的形狀，然后使用預測的遮擋邊界來保持不同對象之間的分離。

方法概述：點云首先根據輸出深度生成，然后根據其表面法線著色。

每個神經網絡都在透明的合成數據集上訓練，它們在實景圖中的透明物體上表現良好。然而，對于其他表面，如墻壁或水果，表面的法線估計是很差的。這個合成數據集還存在局限性，它只包含地面上的透明對象。為了減輕這個問題的影響，團隊在表面法線訓練循環(huán)中加入了一些來自 Matterport3D 和 ScanNet 數據集的真實室內場景。通過對域內的合成數據集和域外的實景數據集的訓練，該模型在測試集中表現良好。

在 a) Matterport3D 和 ScanNet (MP+SN)，b) 谷歌的合成數據集，c) MP+SN 以及谷歌的合成數據集訓練后的表面法線估計。注意，在 MP+SN 上訓練的模型沒有檢測到透明的物體。只訓練合成數據的模型能很好地識別真實的塑料瓶，但卻無法識別其他物體和物體表面。當模型同時在這兩中數據集上訓練時，就可以同時滿足這兩方面的需求。