12月初的世界互聯(lián)網(wǎng)大會(huì)上，搜狗發(fā)布了一項(xiàng)“唇語(yǔ)識(shí)別”技術(shù)。唇語(yǔ)識(shí)別，簡(jiǎn)單說(shuō)就是通過(guò)圖像識(shí)別你的口型，轉(zhuǎn)寫出你說(shuō)的內(nèi)容。

在國(guó)外的技術(shù)界，2016年谷歌和牛津大學(xué)的深度學(xué)習(xí)項(xiàng)目組曾經(jīng)共同研發(fā)唇語(yǔ)識(shí)別技術(shù)，在那一年的視頻節(jié)目測(cè)試中，機(jī)器唇語(yǔ)識(shí)別的準(zhǔn)確率達(dá)到46.8%，高于人類唇語(yǔ)專家12.4%的識(shí)別率。今年3月，數(shù)據(jù)可視化服務(wù)商海云數(shù)據(jù)也發(fā)布了類似的唇語(yǔ)識(shí)別技術(shù)。

放在以往，閱讀唇語(yǔ)這件事在人們印象中，多是小說(shuō)里武俠和特工的特異功能。但當(dāng)我們要用機(jī)器解決這個(gè)問(wèn)題，就意味著它有足夠的商業(yè)空間，讓公司樂(lè)于把它批量的大規(guī)模應(yīng)用，做成產(chǎn)品。那么機(jī)器讀唇究竟有什么應(yīng)用價(jià)值?

接受36氪采訪時(shí)搜狗語(yǔ)音交互中心技術(shù)總監(jiān)陳偉表示，目前唇語(yǔ)識(shí)別的落地場(chǎng)景主要有兩種：其一，在多數(shù)語(yǔ)言場(chǎng)景下，攝像頭的覆蓋率遠(yuǎn)遠(yuǎn)高于麥克風(fēng)，但通過(guò)攝像頭獲得的是圖像數(shù)據(jù)，目前主要用于監(jiān)控簡(jiǎn)單的行為，但很難知道例如安防這類場(chǎng)景中圖像中的人物在說(shuō)什么，使用唇語(yǔ)識(shí)別技術(shù)就可以通過(guò)嘴的動(dòng)作獲取大量?jī)?nèi)容信息。

其二，唇語(yǔ)識(shí)別可以作為輔助技術(shù)，提升語(yǔ)音識(shí)別技術(shù)現(xiàn)階段的準(zhǔn)確率。搜狗的唇語(yǔ)識(shí)別技術(shù)目前在開(kāi)放的口語(yǔ)測(cè)試級(jí)上可以達(dá)到50%-60%的準(zhǔn)確率，在限定場(chǎng)景中可以達(dá)到90%。這個(gè)數(shù)字對(duì)于現(xiàn)階段的唇語(yǔ)識(shí)別技術(shù)而言，是不錯(cuò)的水準(zhǔn)，但對(duì)于商用尚欠火候。畢竟各家大廠語(yǔ)音識(shí)別準(zhǔn)確率普遍達(dá)到97%后，依舊不能令消費(fèi)者完全滿意。不過(guò)唇語(yǔ)識(shí)別可以作為語(yǔ)音識(shí)別的輔助技術(shù)出現(xiàn)，比如去彌合97%的語(yǔ)音識(shí)別率剩余那3%的臺(tái)階。

“提升語(yǔ)音識(shí)別的準(zhǔn)確率需要降低噪音，行業(yè)內(nèi)有兩條路在走，一條是通過(guò)麥克風(fēng)陣列等硬件方式做音頻信號(hào)的增強(qiáng)，屏蔽噪音，另一條是加入‘多模態(tài)信息’，就比如唇語(yǔ)識(shí)別提供的視覺(jué)信息。”陳偉解釋稱。

以下是采訪內(nèi)容：

問(wèn)：相比麥克風(fēng)陣列提升語(yǔ)音識(shí)別準(zhǔn)確率，用唇語(yǔ)識(shí)別技術(shù)去解決，在技術(shù)上的提升空間是否更大?現(xiàn)實(shí)落地中是否面臨增加攝像頭會(huì)增加成本的問(wèn)題?

陳偉：我們做的事情不是說(shuō)馬上就要落地，對(duì)現(xiàn)階段來(lái)說(shuō)，我認(rèn)為麥克風(fēng)陣列依然比唇語(yǔ)更靠譜，解決噪聲的問(wèn)題，落地的速度上，麥克風(fēng)序列都已經(jīng)是落地的階段了，而唇語(yǔ)陣列剛剛研發(fā)完成了第一步，后面要跟音頻做一些結(jié)合做一些進(jìn)一步降噪的工作，所以這個(gè)事面向的時(shí)間段是不一樣的，就是可能可是當(dāng)前的，但是唇語(yǔ)可能是明年，我們計(jì)劃在一年內(nèi)有一些落地的項(xiàng)目在做。

在噪聲的環(huán)境下，語(yǔ)音識(shí)別的可能不準(zhǔn)確率不止3%，甚至在40%、50%或0。這種情況下“唇語(yǔ)識(shí)別”比麥克風(fēng)識(shí)別強(qiáng)，假如說(shuō)聲音非常的嘈雜，麥克風(fēng)陣列就算加了一些硬件也解決不了這個(gè)問(wèn)題，有它的一些局限性在，但是唇語(yǔ)相當(dāng)于繞過(guò)了噪聲，通過(guò)視覺(jué)的方式來(lái)解決。

問(wèn)：現(xiàn)在唇語(yǔ)識(shí)別最剛需的場(chǎng)景是什么?

陳偉：安防其實(shí)也很剛需，我們現(xiàn)在花很多的精力去解決噪聲問(wèn)題，關(guān)于成本，其實(shí)加一個(gè)攝像頭不及加一個(gè)麥克風(fēng)陣列的成本高。

問(wèn)：唇語(yǔ)識(shí)別會(huì)涉及到用戶隱私方面的限制嗎?

陳偉：目前的狀態(tài)還沒(méi)有到那個(gè)階段，我們還在探索這件事能和哪些剛需場(chǎng)景結(jié)合在一起。

問(wèn)：“唇語(yǔ)識(shí)別”未來(lái)的應(yīng)用前景會(huì)有哪些?

陳偉：未來(lái)唇語(yǔ)可以放在安防，還有助殘上面，甚至對(duì)一些早期陌生的電影，以前的電影里面，就像卓別林的很多的電影沒(méi)有聲音，能不能給它配字幕，有很多新的東西，就是能不能從一個(gè)人的唇動(dòng)把字讀出來(lái)，目前做的事很局限，我們限定在一些交互的剛需場(chǎng)景里面，所以在這些特定的剛需場(chǎng)景里面我們想把它放進(jìn)去，未來(lái)像我們車載、家居、機(jī)器人倒推唇語(yǔ)怎么跟它結(jié)合，但是并不是限定在這些場(chǎng)景。

問(wèn)：你提到在限定場(chǎng)景唇語(yǔ)識(shí)別的準(zhǔn)確率能達(dá)到90%?

陳偉：這個(gè)是沒(méi)有問(wèn)題的，因?yàn)樵谙薅▓?chǎng)景下，比如說(shuō)我們現(xiàn)在有一個(gè)集合，我們可以對(duì)語(yǔ)音做一些增強(qiáng)，這樣的話準(zhǔn)確率高很多，因?yàn)槲覀冇?0萬(wàn)詞，可能和垂直場(chǎng)景下幾千詞的交流這不是一個(gè)量級(jí)。

比如說(shuō)在車?yán)锩?，啟?dòng)音樂(lè)它的準(zhǔn)確率就很高，因?yàn)樵谔囟ǖ募侠锩?，我們?000多個(gè)命令詞，包括古詩(shī)和繞口令。這不是一個(gè)寫死的狀態(tài)，而是一個(gè)可以靈活操作的事情，而且這件事情其實(shí)是可以依賴任務(wù)去定制的，我們這個(gè)技術(shù)是通用的技術(shù)而不是限定的場(chǎng)景。

問(wèn)：你覺(jué)得做這個(gè)過(guò)程的中最大的難點(diǎn)是什么?

陳偉：其實(shí)是泛化性。因?yàn)槲覀冎暗臄?shù)據(jù)都是來(lái)自網(wǎng)上爬取的新聞?lì)惖墓?jié)目，篩訊的都是類似主持人這樣的，因?yàn)樗麄兪墙?jīng)過(guò)標(biāo)準(zhǔn)訓(xùn)練的人群，唇型的發(fā)音是標(biāo)準(zhǔn)的，但是很多普通人發(fā)音是不標(biāo)準(zhǔn)的。如果發(fā)音標(biāo)準(zhǔn)的主持人(識(shí)別準(zhǔn)確率)是60%，但是普通人的話像我們之前的那個(gè)階段可能就20%、30%，我們后來(lái)針對(duì)這個(gè)問(wèn)題去錄制了很多的普通人的一些數(shù)據(jù)，把這樣的數(shù)據(jù)加進(jìn)來(lái)之后，在普通人的泛化性上得到很大的提升。