概述

立體深度估計在機器人技術、AR/VR和工業(yè)檢測中至關重要，它為諸如箱體拾取、自動導航和質量控制等任務提供了精確的3D感知。Teledyne IIS的Bumblebee X立體相機既具備高精度，又能夠提供實時性能，能夠在1024×768分辨率下以38幀每秒(FPS)的速度生成詳細的視差圖。

Bumblebee X基于半全局塊匹配(SGBM)算法，在紋理豐富的場景中表現穩(wěn)定。然而，像許多傳統(tǒng)立體方法一樣，在低紋理或反射表面上，特別是沒有圖像投影儀的情況下，Bumblebee X可能會出現視差缺失或深度數據不完整的情況。

近期，深度學習(DL)技術的進展為提高視差精度、準確性和完整性提供了有力的解決方案。本文將通過實際測試，探討這些方法的優(yōu)勢、局限性，并分析它們在嵌入式系統(tǒng)中的適用性。

在評估這些方法之前，我們首先需要了解傳統(tǒng)立體技術所面臨的實際挑戰(zhàn)。

立體深度估計：挑戰(zhàn)與局限性

傳統(tǒng)的立體算法，如內置SGBM，提供了快速高效的視差估計，非常適合嵌入式和實時應用。這些方法在表面紋理良好的場景中表現穩(wěn)定，不需要GPU加速或訓練數據。

然而，在更復雜的環(huán)境中，尤其是具有反射或低紋理表面的場景中，它們可能會生成不完整或不準確的深度圖。

以下的倉庫場景說明了這些挑戰(zhàn)。長且重復的貨架減少了視差線索，而光滑的環(huán)氧地板反射了周圍光線，頂燈的鏡面高光則引入了匹配錯誤。

場景左右兩側出現空白區(qū)域是因為SGBM算法的MinDisparity被設置為0，并結合256級視差范圍，導致系統(tǒng)無法測量超出可測深度窗口的物體，特別是距離大約1.6米以內的物體。為了捕捉這些近場物體，用戶可以選擇增加最小視差值(Scan3D坐標偏移)或切換到四分之一分辨率模式。

如以上視差圖像所示，SGBM在內置視差引擎方面的缺陷十分明顯。

為了解決這些問題，在立體視覺應用中常用兩種互補的深度學習方法：

混合深度學習方法：

這種方法通過輕量化神經網絡模型增強SGBM生成的初始視差圖。CVLAB-Unibo的神經視差細化模型就是一個例子，通過利用空間和顏色線索來提高深度完整性，減少匹配偽影。作為一種混合方法，它在提高精度的同時保持了計算效率，特別適合實時或嵌入式系統(tǒng)。

端到端深度學習方法：

這種方法采用端到端的深度學習模型(如 Selective-Stereo 和 FoundationStereo)，直接從立體圖像對中計算視差，而不依賴傳統(tǒng)的SGBM算法。這些網絡從大規(guī)模數據集中學習語義和上下文特征，使其即使在復雜的場景中(如遮擋或反射表面)也能生成密集、準確的視差圖。這一方法的缺點是對GPU要求較高，因此可能限制其在實時或資源受限環(huán)境中的使用。

接下來的章節(jié)將深入分析每種方法，評估它們在實際場景中的精度、運行表現和覆蓋效果。

混合深度學習方法(神經視差細化模型)

方法描述

CVLAB-Unibo的神經視差細化方法通過傳統(tǒng)方法(如SGBM)提升生成的現有視差圖質量。該方法使用帶有VGG-13骨架的深度卷積神經網絡(CNN)，并采用U-Net架構，旨在：

?根據空間和色彩一致性填補視差空白

?通過學習的空間背景信息銳化邊緣

?減少常見的立體匹配偽影，如條紋

網絡架構

神經細化網絡處理兩個輸入：

?來自立體相機的左側RGB圖像

?Bumblebee X生成的原始視差圖

?U-Net架構利用跳躍連接有效地將粗略的視差估計與來自RGB輸入的細節(jié)融合，顯著提高深度圖的完整性。

性能

NVIDIA RTX 3060 GPU上神經視差細化的推理速度約為3FPS，適用于異步實時增強。

在同一個倉庫場景中，我們通過將從內置視差引擎獲得的輸出與左側校正圖像一起輸入到神經視差細化模型中，以優(yōu)化視差。結果如下所示：

從視差圖像中可以看出，應用該網絡后，倉庫場景中的空洞減少，地面匹配誤差也得到了修正。然而，由于細化依賴于SGBM的先驗數據，在SGBM沒有數據的區(qū)域(如場景的左右邊緣)，仍然可以觀察到一些空洞。

若要重現這些結果，請訪問GitHub上的深度學習示例。

端到端深度學習方法(Selective-Stereo)

方法描述

Selective-Stereo和Foundation-Stereo是兩種先進的深度學習框架，直接從立體圖像對計算視差圖，無需依賴傳統(tǒng)的匹配算法(如SGBM)。它們在架構中采用了自適應頻率選擇，將高頻邊緣與低頻平滑區(qū)域區(qū)分開，從而優(yōu)化了不同區(qū)域的處理。

網絡架構

Selective-Stereo基于IGEV-Stereo架構，并結合門控遞歸單元(GRU)進行迭代細化。該方法根據圖像頻率特征動態(tài)調整計算重點：

高頻分支增強邊緣和細節(jié)

低頻分支維持平滑區(qū)域輪廓并避免過擬合

性能

盡管這種方法具有高精度和完整性，但計算量大，基于NVIDIA RTX 3060 GPU的幀率約為0.5FPS。

基于以下所示結果，端到端深度學習方法提供了較為廣泛的視差覆蓋范圍，并且能保持精細的結構細節(jié)：例如，清晰渲染的天花板燈具，同時避免了由燈具反射引起的斑點偽影。

總體而言，完全端到端的視差估計網絡在視差覆蓋和結構細節(jié)保留方面優(yōu)于原始內置SGBM輸出和神經細化系統(tǒng)流程，盡管其運行時間較長，且對更強大的GPU有一定要求。

若要重現這些結果，請訪問GitHub上的深度學習示例。

其他考慮因素

與內置視差結果類似，距離小于1.6米的表面(超出0-256視差范圍)無法準確處理。右下角的儲物箱就展示了這一問題：由于它距離相機非常近，應該位于極紅范圍內，但網絡為其分配了較小的視差，導致其被置于比實際更遠的位置。這種局部誤差會破壞深度圖，在該區(qū)域生成不準確的點云。

某些深度學習模型提供了調整最小視差的選項，從而正確捕捉近距離物體，而其他模型則不支持此功能。如果所選的深度學習模型不允許調整最小視差，可以將右圖像向左平移所需的最小視差像素，再將該值加回每個輸出視差中。

另外，有些深度學習模型會限制其操作的視差范圍。在這種情況下，需要調整輸入的校正圖像大小，以適應相同的可測深度范圍，但這會犧牲一些深度精度。

許多深度學習模型還需要根據特定場景進行微調(盡管高級的“基礎”立體網絡可以實現零樣本泛化)，而SGBM和基于SGBM的混合模型則無需任何調優(yōu)，并能在各種場景中提供可靠的即用型性能。

比較實驗分析

我們使用已知距離為5米的隨機圖案進行了實驗基準測試。相機以1024×768分辨率(四分之一模式)運行。在精度測試中，定義了感興趣區(qū)域(ROI)，確保它完全位于紋理清晰的圖案部分，只有明確定義的特征才會影響深度統(tǒng)計。覆蓋評估分為兩個階段：首先評估紋理區(qū)域，然后評估相鄰的無紋理光滑白色表面。下圖展示了所得到的視差圖。

測試結果包括：

觀察結果：

?神經細化方法顯著提高了視差的完整性，略微增加了中間誤差。

?Selective-Stereo提供了出色的完整性和較小的偏差，表明其在精度要求較高的應用中表現良好。

實際應用指南

針對特定應用場景的建議：

?高速實時應用(≥30FPS)：使用Bumblebee X內置的SGBM算法，必要時結合圖案投影儀，以提高完整性。

?平衡覆蓋與延遲：將神經視差細化與內置SGBM異步結合，增強覆蓋范圍。

?出色精度與完整性：當低幀率可接受且高精度至關重要時，選擇Selective-Stereo。

結論

深度學習方法在復雜環(huán)境中顯著提升了Bumblebee X內置SGBM的表現。輕量級細化方法能夠在普通硬件上進行實時改善，而端到端網絡則在速度要求較低時提供更高的質量。與許多受限于固定系統(tǒng)流暢或缺乏內置處理的立體相機不同，Bumblebee X同時支持這兩種方法，賦予用戶在精度、速度和計算能力之間優(yōu)化的靈活性，適用于各種應用場景。