眼球追蹤、注視點渲染（Foveated rendering ）被許多VR硬件技術廠商視為下一代VR頭顯的突破口。眼球追蹤顧名思義，而注視點渲染可以根據人眼的注視過程，為用戶最佳視覺點（fovea）呈現清晰精準的畫面，而周邊視覺范圍則是更簡單、更模糊的畫面。日前，Facebook現實實驗室的工程師們提出了DeepFovea，一種人工智能輔助的替代方案，可以創(chuàng)建“半透明化的外圍視頻”，而不是實際呈現精確的外圍圖像。這個新過程被稱為“凹形重建”，Facebook表示，它可以將RGB視頻壓縮14多倍，且用戶感知到的畫面質量沒有顯著下降。

上圖：DeepFovea使用人工智能“重建”外圍像素，且不會出現保真度丟失的情況，節(jié)省了相當多的處理時間。

在捕捉視頻流時，DeepFovea只對每個視頻幀中10%的像素進行采樣，主要集中在（但不全是）用戶眼睛注視的區(qū)域，如上圖中的蜥蜴頭。相比之下，周邊區(qū)域僅由分散的點采樣，這些分散的點離眼睛的注視區(qū)域越遠，密度越小。然后，系統(tǒng)使用訓練有素的生成對抗神經網絡從這些小型樣本中重建每一幀畫面，同時依靠視頻流的時間和空間內容穩(wěn)定地填充視頻細節(jié)。

如上圖所示，未完全采樣的蜥蜴頭在幀與幀之間基本上無法區(qū)分，而“重建”圖像中相鄰的樹皮沒有“參考”像素那么清晰和詳細。但事實并非如此。傳統(tǒng)的注視點渲染系統(tǒng)將這些像素描繪成低分辨率的平面陰影塊，而DeepFovea保留了，或者說更準確地保留了更多的原始形狀和顏色。

與注視點渲染相比，DeepFovea的關鍵之處是更好地組合了電源效率和圖像質量。Facebook聲稱，渲染減少14倍，這意味著它將能夠向以依賴凝視檢測的顯示器提供實時、低延遲的視頻——這是構建輕量級VR和AR頭顯的必要步驟，顯示原來在云空間中呈現的高分辨率圖形。人們認為全天佩戴的Oculus AR頭顯不切實際，除非移動芯片在實時3D地圖上的功耗能大幅降低，像我們觀看流媒體視頻時的功耗一樣。

Facebook的Michael Abrash首次暗示了DeepFovea背后的概念：在未來五年內把以深度學習為基礎的注視點渲染和良好的眼球追蹤結合在一起，從而實現更高分辨率的VR頭顯，比如“Half Dome”原型。在今年的OC6大會上，Abrash表示，公司將在自己的辦公室里測試下一代的Half Dome硬件，然后再將其向公眾展示。