越來越多的研究表明，只要有足夠多的語料庫，人類的面部動作和語音行為是能夠同步的。兩年前，卡內(nèi)基·梅隆大學(xué)的研究人員曾發(fā)表了一篇論文，敘述了一種將一個人的面部動作轉(zhuǎn)移至另一個人的方法。

而就在今年六月份的時(shí)候，三星的應(yīng)用科學(xué)家就介紹了一種端對端的模型，能夠?qū)⑷祟^部特寫中的眉毛、嘴巴、睫毛和臉頰生成動畫。僅僅幾周后，Udacity 展示了一個可以從音頻旁白中自動生成站立演講視頻的系統(tǒng)。

基于前面的研究和工作，微軟研究團(tuán)隊(duì)在本周提出了一項(xiàng)技術(shù)。他們宣稱，這一技術(shù)能夠提升傳聲頭像動畫的逼真度。在此之前，頭部動畫的生成需要清晰，相對無噪聲的音頻以及中性的音調(diào)。而現(xiàn)在，研究人員表示，他們的技術(shù)能夠?qū)⒁纛l序列分解成語音內(nèi)容和背景噪聲等因素，由此可以使用有噪聲和“有感情色彩”的數(shù)據(jù)樣本。

記者注：圖片來源于 Microsoft

眾所周知，語音是具有差異性的。不同的人在不同的環(huán)境下使用同一個詞，其持續(xù)性、振動幅度、語調(diào)等等都各不相同。除了語音內(nèi)容方面，語音自身還承載著豐富的信息，它能夠揭示人的情緒狀態(tài)，身份（性別、年齡、種族）和個性等。

事實(shí)上，微軟研究人員提出的技術(shù)是基于學(xué)習(xí)潛在顯示的變自編碼器（記者(公眾號：記者)按：variational autoencode，VAE）。VAE 能夠?qū)⑤斎氲囊纛l分解成不同的表現(xiàn)形式，包括編碼內(nèi)容、表情以及其它變化的因素，在輸入音頻的基礎(chǔ)上，從分布中采樣一些內(nèi)容表示序列，該序列連同輸入的人臉圖像一同被饋送到視頻生成器進(jìn)行面部動畫處理。

為了訓(xùn)練和測試 VAE，研究人員選取了三個數(shù)據(jù)集，分別如下：

GRID：這是一個視聽語料庫，每個語料庫包含了 34 位說話者的 1000 份錄音；

CREMA-D：包含了 7442 個影視片段，來自 91 位不同種族演員；

LRS3：包含了超過 10 萬個 TED 視頻中的口語句子的數(shù)據(jù)庫。

研究人員將 GRID 和 CREMA-D 的數(shù)據(jù)輸入到模型中，讓其識別語音和情感表征，然后使用一對定量指標(biāo)——峰值信噪比（PSNR）和結(jié)構(gòu)相似度指數(shù)（SSIM）——來評估視頻生成的質(zhì)量。

該研究團(tuán)隊(duì)表示，就表現(xiàn)而言，他們的方法和其它清晰的、中性的口語表達(dá)方法在所有指標(biāo)上都是一樣的。并且他們注意到，這種方法不僅能夠在整個情緒光譜上持續(xù)表現(xiàn)，還能夠兼容所有目前最先進(jìn)的傳聲頭像方法。

值得一提的是，其變種特異性的可學(xué)先驗(yàn)方法還能夠擴(kuò)展到其它語音因素，例如身份和性別，這些因素能夠作為未來工作的一部分探索。通過對噪音和情緒音頻樣本進(jìn)行測試，研究人員驗(yàn)證了其模型，表明了在音頻變化的情況下，該方法是優(yōu)于目前已有的技術(shù)水平的。

記者注：本文編譯自 KYLE WIGGERS 發(fā)表于 venturebeat 上的文章。

微軟研究成果：https://arxiv.org/pdf/1910.00726.pdf