人們常說眼見為實，但在OC5大會上， Oculus 首席科學(xué)家邁克爾·亞伯拉什表示準(zhǔn)確的聲音渲染對創(chuàng)建可信VR體驗而言十分關(guān)鍵，而聲音渲染的關(guān)鍵地方是模擬環(huán)境及其聲學(xué)效果。

在題為“Oculus Quest的聲音設(shè)計”的OC5主題演講中，音頻設(shè)計總監(jiān)湯姆·斯默頓（Tom Smurdon）和軟件工程師彼得·斯特林（Pete Stirling）探討了如何為Oculus Quest和 Rift 創(chuàng)建高保真度的音頻體驗，并分享了一些即將登陸Audio SDK的未來技術(shù)。Oculus日前向我們分享了 Facebook Reality Labs的幕后工作，以幫助我們進(jìn)一步了解這些最新進(jìn)展。以下是小編的具體整理：‘

1. 深入問題

當(dāng)聲音在現(xiàn)實世界中產(chǎn)生時，它以復(fù)雜的方式與環(huán)境相互作用。物體的振動導(dǎo)致聲波在空氣中傳播，而墻壁，地板和天花板等表面會散射它們。所以聲音在到達(dá)我們耳朵之前就已經(jīng)發(fā)生了改變。我們聽到的聲音實際上是原始信號源在不同時間點(diǎn)傳來的一系列回聲總和。如果聲源可見，我們聽到的第一個聲音是直接聲，它沿著從聲源到聽者的最短路徑傳播。接下來，從附近表面反射的聲音將從各個方向到達(dá)聽者。我們將其稱之為早期反射聲。聲音的其余部分則是混響，它由一系列的延遲回聲（隨時間而平滑地衰減）組成。

在以前，大多數(shù)用于VR和游戲的音頻渲染系統(tǒng)只能準(zhǔn)確渲染直接聲。但令人驚訝的是，大多數(shù)房間的反射和混響聲遠(yuǎn)遠(yuǎn)超過直接聲。為了獲取更逼真的音頻，聲音設(shè)計師必須手動將混響區(qū)域添加到虛擬環(huán)境中的每個位置。這是一個耗時的過程，需要大量的參數(shù)調(diào)整，手動作業(yè)，以及專業(yè)知識才能實現(xiàn)好的結(jié)果。

Facebook Reality Labs（FRL）在17年一直在努力創(chuàng)造高質(zhì)量的聲學(xué)模擬技術(shù)，令其可以根據(jù)環(huán)境的幾何形狀自動生成反射和混響。今天，映維網(wǎng)想向大家分享FRL音頻團(tuán)隊的研究人員是如何解決這個問題。

2. 研究團(tuán)隊

Facebook Reality Labs音頻研究團(tuán)隊（從左右到）：菲利普·羅賓遜（Philip Robinson）， 塞巴斯蒂安·加里（SebasTIa V. Amengual Gari），卡爾·席斯勒（Carl Schissler）和拉維什·梅赫拉（Ravish Mehra）

四年前，當(dāng)研究團(tuán)隊經(jīng)理拉維什·梅赫拉在FRL創(chuàng)立音頻團(tuán)隊時，他設(shè)想過創(chuàng)建一個虛擬音頻在感知上與現(xiàn)實音頻無法區(qū)分的虛擬世界。他知道為了實現(xiàn)這個未來，他必須解決的第一階研究問題是高質(zhì)量的空間音頻和高效的房間聲學(xué)。在接下來的幾年里，他開始進(jìn)行大量的研究工作以解決空間音頻問題，同時尋找合適的人才加入以解決房間聲學(xué)問題。

梅赫拉表示：“解決房間聲學(xué)問題的計算成本非常高，我知道準(zhǔn)確模擬環(huán)境的聲學(xué)效果仍然不夠。我們提出的任何方法都需要滿足實時VR應(yīng)用程序提出的嚴(yán)格計算和內(nèi)存限制。”

2017年夏天出現(xiàn)了一個獨(dú)特的機(jī)會，當(dāng)時卡爾·席斯勒剛剛完成了他在北卡羅來納大學(xué)教堂山分校的博士學(xué)位。席斯勒曾在FRL音頻團(tuán)隊度過了兩次暑期實習(xí)（梅赫拉是他的實習(xí)導(dǎo)師），而他非常適合成為開放式房間聲學(xué)首席研究員。

席斯勒解釋道：“我是去年開始在Facebook Reality Labs工作，當(dāng)時我接受的任務(wù)是創(chuàng)建一個可以實時模擬所有這些復(fù)雜聲學(xué)的系統(tǒng)。從我很小的時候起，我就想為游戲創(chuàng)建更好的音頻。那時候，我會通過在聲音效果中添加混響來修改我最喜歡的游戲。多年后，我很高興現(xiàn)在終于有機(jī)會研究這種可能會對VR音頻質(zhì)量產(chǎn)生巨大影響的技術(shù)?！?/p>

由研究科學(xué)總監(jiān)菲利普·羅賓遜領(lǐng)導(dǎo)的心理聲學(xué)小組也在項目中發(fā)揮了關(guān)鍵作用。博士后研究科學(xué)家塞巴斯蒂安·加里進(jìn)行了一項實驗，以確定聲學(xué)模擬的什么方面對準(zhǔn)確模擬而言最為重要。憑借扎實的心理聲學(xué)基礎(chǔ)，F(xiàn)RL音頻團(tuán)隊能夠?qū)π乱纛l技術(shù)進(jìn)行感知評估，從而為未來的研發(fā)提供信息。

3. 計算資源挑戰(zhàn)

對于聲學(xué)的真實模擬而言，最大障礙是其所涉及的計算復(fù)雜性。行業(yè)存在一系列基于數(shù)值波解算器或幾何算法的現(xiàn)有模擬技術(shù)，但它們都不支持在當(dāng)前硬件上實時運(yùn)行。它們需要快速的多核CPU或GPU，但即使是這樣，它們一次也只能模擬少量聲音源。添加一個游戲引擎并執(zhí)行各種圖形，物理，AI和腳本，你可以看到獲取必要數(shù)量的資源是多么困難。

避免這個問題的典型方法是：進(jìn)行長時間預(yù)計算以模擬每對聽者與聲源位置的聲學(xué)響應(yīng)。在運(yùn)行時，可以向該數(shù)據(jù)插值每個聲源的響應(yīng)，并用于過濾聲源的音頻。實際上，這為復(fù)雜場景增加了大量數(shù)據(jù)。另一個缺點(diǎn)是，由于所有聲學(xué)響應(yīng)都是預(yù)先計算，因此不能出現(xiàn)改變聲音的任何動態(tài)場景元素。這意味著關(guān)上門都無法阻止你聽到聲音源，而可破壞的環(huán)境或用戶創(chuàng)建的環(huán)境則是完全不可能實現(xiàn)。

在FRL，我們面臨的挑戰(zhàn)是開發(fā)這樣一種方法：使用盡可能少的計算和內(nèi)存資源，并且同時能為復(fù)雜場景渲染高質(zhì)量音頻。標(biāo)準(zhǔn)很高，典型的游戲可能有數(shù)百個并發(fā)聲源需要模擬，所以計算預(yù)算非常緊張。另外，模擬需要是動態(tài)進(jìn)行，以便能夠?qū)崿F(xiàn)最廣泛的沉浸式音頻體驗，同時不受長預(yù)計算時間的影響。

4. 音頻創(chuàng)新

為了解決這一挑戰(zhàn)，席斯勒花了將近一年的時間來完善模擬引擎。他指出：“我必須利用我能想到的所有技巧和優(yōu)化方式來構(gòu)建具有所需功能的系統(tǒng)。”

為了有效計算聲音在3D環(huán)境中的傳播，研究人員利用了先進(jìn)的射線追蹤算法。傳統(tǒng)的聲線追蹤需要每秒追蹤數(shù)百萬條射線，而這需要大量的計算。

席斯勒開發(fā)的優(yōu)化功能可以在保持高質(zhì)量和動態(tài)場景元素的同時大幅減少射線數(shù)量。使用隨機(jī)射線追蹤時最大的問題是，存在可能導(dǎo)致偽音的噪聲。為了解決這個問題，研究人員開發(fā)了巧妙的降噪算法來濾除模擬結(jié)果中的噪聲。

當(dāng)場景中的聲源數(shù)量增大時又會出現(xiàn)另一個大問題。在一個簡單的實現(xiàn)中，計算時間將根據(jù)聲源數(shù)量成比例地增加。令新技術(shù)可行的關(guān)鍵進(jìn)步之一是，感知驅(qū)動的動態(tài)優(yōu)先級與聲源集群系統(tǒng)。通過開發(fā)能夠?qū)⒉恢匾蜻h(yuǎn)距離聲源集中在一起的智能啟發(fā)式算法，研究人員能夠在非常復(fù)雜的場景中顯著縮短計算時間。

5. 提升沉浸感

利用FRL開發(fā)的創(chuàng)新方案，研究人員能夠?qū)崿F(xiàn)項目的最初目標(biāo)，并且為由空間音頻技術(shù)（SpaTIal Audio Tech）負(fù)責(zé)人羅伯特·海特坎普（Robert Heitkamp）領(lǐng)銜的Oculus Audio SDK團(tuán)隊提供工作原型。在OC5大會上，音頻設(shè)計總監(jiān)湯姆·斯默頓和軟件工程師彼得·斯特林介紹了這個系統(tǒng)。在演講期間，浸淫游戲音頻行業(yè)多年的斯默頓談到了這一原型：“即便什么都看到，你都會知道自己什么時候站在墻邊。你可以感受到一切，這非常不可思議。我對他們現(xiàn)在所取得的進(jìn)展感到非常興奮和高興?！?/p>

席斯勒補(bǔ)充說：“當(dāng)你第一次在VR中聽到逼真的音頻模擬時，你將會為它對沉浸感的提升程度感到驚訝。真實的音頻渲染甚至可以發(fā)揮協(xié)同作用，令視覺效果看起來更好?！?/p>

6. 靈活創(chuàng)造性

團(tuán)隊在開發(fā)這項技術(shù)時的主要目標(biāo)之一是，為聲音設(shè)計人員提供支持，幫助他們能夠輕松地在VR中創(chuàng)建逼真的音頻體驗。 他們還希望為美術(shù)提供參數(shù)，幫助他們實現(xiàn)創(chuàng)作愿景。席斯勒指出：“有時候你不希望它聽起來100％真實。在對話過程中，你可能希望降低混響的數(shù)量，從而確?？梢岳斫饨巧囊馑?。這項新技術(shù)擁有如此靈活性?！?/p>

現(xiàn)在，設(shè)計師不必為每個房間設(shè)置復(fù)雜的參數(shù)集，只需要為幾何圖形指定材質(zhì)屬性即可。模擬的動態(tài)特性也有利于內(nèi)容創(chuàng)建者：美術(shù)可以在模擬運(yùn)行時調(diào)整參數(shù)，與預(yù)計算的聲學(xué)模擬相比，這大大減少了迭代次數(shù)。

7. 未來任務(wù)

隨著FRL音頻團(tuán)隊已經(jīng)實現(xiàn)了開發(fā)高效仿真引擎的目標(biāo)，現(xiàn)在他們正致力于改進(jìn)技術(shù)以模擬其他聲學(xué)現(xiàn)象。有一系列的聲學(xué)現(xiàn)象目前難以模擬，如衍射和透射。團(tuán)隊接下來的目標(biāo)是研究能有效計算這些效果的新方法。席斯勒表示：“我希望我們能夠繼續(xù)推進(jìn)發(fā)展音頻領(lǐng)域的先進(jìn)技術(shù)。我為所有游戲都能擁有這種級別音頻保真度的那一天感到興奮。”

在OC5的主題演講中，邁克爾·亞伯拉什描述了為VR和AR生成逼真音頻而必須解決的問題。除了房間聲學(xué)模擬之外，空間音頻的另一個挑戰(zhàn)是頭相關(guān)傳遞函數(shù)（HRTF）的個性化實現(xiàn)，以針對每位用戶定制3D空間線索的方式生成音頻。亞伯拉什解釋說，HRTF的個性化問題可能需要比預(yù)期更長的時間才能解決。從好的方面來說，在實際可用的HRTF個性化能夠?qū)崿F(xiàn)之前，納入對環(huán)境的聲學(xué)模擬可能有助于提升沉浸感。