（文章來(lái)源：yivian）

DeepFovea是一種基于AI的注視點(diǎn)渲染系統(tǒng)，并主要用于虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)顯示器。據(jù)介紹，其采用了的像素?cái)?shù)目較之原來(lái)系統(tǒng)要少數(shù)個(gè)量級(jí)，同時(shí)能夠?qū)崿F(xiàn)逼真的注視點(diǎn)全畫質(zhì)體驗(yàn)。Facebook指出，這是第一個(gè)能夠根據(jù)非常稀疏的輸入來(lái)生成自然視頻片段的實(shí)用生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Network;GAN)。在測(cè)試中，DeepFovea可以將渲染所需的計(jì)算資源量減少多達(dá)10-14倍，而人眼依然無(wú)法注意到任何圖像差異。

在下面這個(gè)視頻中，灰色正方形是用戶注視的區(qū)域。系統(tǒng)能夠?qū)λ鰠^(qū)域的圖像進(jìn)行密集采樣，而其他地方則是稀疏采樣。DeepFovea可以實(shí)時(shí)有效地生成丟失的外圍像素，不會(huì)出現(xiàn)保真度丟失的情況。

1. 工作原理，當(dāng)人眼直接注視對(duì)象時(shí)，我們可以在注視區(qū)域看到非常清晰的細(xì)節(jié)，但外圍視場(chǎng)的清晰度則較低。然而，由于人腦能夠推斷缺失信息，所以我們不會(huì)注意到影像差異。利用生成對(duì)抗網(wǎng)絡(luò)的最新進(jìn)展，DeepFovea能夠通過生成感知一致的內(nèi)容來(lái)“半透明化”丟失的外圍細(xì)節(jié)。

研究人員通過饋送大量低像素密度的視頻片段來(lái)訓(xùn)練系統(tǒng)。輸入可以模擬外圍圖像的質(zhì)量下降，而目標(biāo)能夠幫助網(wǎng)絡(luò)根據(jù)所所見視頻的統(tǒng)計(jì)信息來(lái)學(xué)習(xí)如何填充缺失的細(xì)節(jié)。結(jié)果是一個(gè)能夠根據(jù)稀疏像素流生成自然視頻的系統(tǒng)。Facebook指出，60×40度視場(chǎng)的外圍像素密度最高降低了99%。所述系統(tǒng)同時(shí)可以管理外圍視場(chǎng)的閃爍，鋸齒和其他視頻偽影，將其控制在人眼無(wú)法注意到的閾值。

2. 有何意義?高質(zhì)量的AR和VR體驗(yàn)需要高圖像分辨率，高幀率和多視圖，而這需要耗費(fèi)大量的資源。為了優(yōu)化系統(tǒng)并把沉浸式體驗(yàn)帶給更多的設(shè)備(如搭載移動(dòng)芯片和小型電池的電子產(chǎn)品)，我們需要顯著提升渲染效能。

DeepFovea說明了深度學(xué)習(xí)是如何通過注視點(diǎn)重建來(lái)幫助完成這項(xiàng)任務(wù)。這種方法具備跨硬件功能，并有望在下一代頭戴式顯示技術(shù)中成為重要的輔助工具。隨著社區(qū)正不斷探索在AR和VR應(yīng)用眼動(dòng)追蹤系統(tǒng)，構(gòu)建諸如DeepFovea這樣的視線識(shí)別技術(shù)將能發(fā)揮重要的作用。Facebook表示：“這個(gè)系統(tǒng)是我們?yōu)閮?yōu)化AR/VR圖形而提出的數(shù)個(gè)研究項(xiàng)目之一。在它之前是旨在利用AI解決視覺輻輳沖突挑戰(zhàn)的DeepFocus?！?/p>