語音識(shí)別已成為人與機(jī)器通過自然語言交互重要方式之一，本文將從語音識(shí)別的原理以及語音識(shí)別算法的角度出發(fā)為大家介紹語音識(shí)別的方案及詳細(xì)設(shè)計(jì)過程。

語言作為人類的一種基本交流方式，在數(shù)千年歷史中得到持續(xù)傳承。近年來，語音識(shí)別技術(shù)的不斷成熟，已廣泛應(yīng)用于我們的生活當(dāng)中。語音識(shí)別技術(shù)是如何讓機(jī)器“聽懂”人類語言?本文將為大家從語音前端處理、基于統(tǒng)計(jì)學(xué)語音識(shí)別和基于深度學(xué)習(xí)語音識(shí)別等方面闡述語音識(shí)別的原理。

隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展，人們對(duì)機(jī)器的依賴已經(jīng)達(dá)到一個(gè)極高的程度。語音識(shí)別技術(shù)使得人與機(jī)器通過自然語言交互成為可能。最常見的情形是通過語音控制房間燈光、空調(diào)溫度和電視的相關(guān)操作等。并且，移動(dòng)互聯(lián)網(wǎng)、智能家居、汽車、醫(yī)療和教育等領(lǐng)域的應(yīng)用帶動(dòng)智能語音產(chǎn)業(yè)規(guī)模持續(xù)快速增長(zhǎng)， 2018年全球智能語音市場(chǎng)規(guī)模將達(dá)到141.1億美元。

目前，在全球智能語音市場(chǎng)占比情況中，各巨頭市場(chǎng)占有率由大到小依次為：Nuance、谷歌、蘋果、微軟和科大訊飛等。

語音識(shí)別的本質(zhì)就是將語音序列轉(zhuǎn)換為文本序列，其常用的系統(tǒng)框架如下：

接下來對(duì)語音識(shí)別相關(guān)技術(shù)進(jìn)行介紹，為了便于整體理解，首先，介紹語音前端信號(hào)處理的相關(guān)技術(shù)，然后，解釋語音識(shí)別基本原理，并展開到聲學(xué)模型和語言模型的敘述，最后，展示我司當(dāng)前研發(fā)的離線語音識(shí)別demo。

1.前端信號(hào)處理

前端的信號(hào)處理是對(duì)原始語音信號(hào)進(jìn)行的相關(guān)處理，使得處理后的信號(hào)更能代表語音的本質(zhì)特征，相關(guān)技術(shù)點(diǎn)如下表所述：

1)語音活動(dòng)檢測(cè)

語音活動(dòng)檢測(cè)(Voice Activity Detection, VAD)用于檢測(cè)出語音信號(hào)的起始位置，分離出語音段和非語音(靜音或噪聲)段。VAD算法大致分為三類：基于閾值的VAD、基于分類器的VAD和基于模型的VAD。

基于閾值的VAD是通過提取時(shí)域(短時(shí)能量、短時(shí)過零率等)或頻域(MFCC、譜熵等)特征，通過合理的設(shè)置門限，達(dá)到區(qū)分語音和非語音的目的。

基于分類的VAD是將語音活動(dòng)檢測(cè)作為(語音和非語音)二分類，可以通過機(jī)器學(xué)習(xí)的方法訓(xùn)練分類器，達(dá)到語音活動(dòng)檢測(cè)的目的。

基于模型的VAD是構(gòu)建一套完整的語音識(shí)別模型用于區(qū)分語音段和非語音段，考慮到實(shí)時(shí)性的要求，并未得到實(shí)際的應(yīng)用。

2)降噪

在生活環(huán)境中通常會(huì)存在例如空調(diào)、風(fēng)扇等各種噪聲，降噪算法目的在于降低環(huán)境中存在的噪聲，提高信噪比，進(jìn)一步提升識(shí)別效果。

常用降噪算法包括自適應(yīng)LMS和維納濾波等。

3)回聲消除

回聲存在于雙工模式時(shí)，麥克風(fēng)收集到揚(yáng)聲器的信號(hào)，比如在設(shè)備播放音樂時(shí)，需要用語音控制該設(shè)備的場(chǎng)景。

回聲消除通常使用自適應(yīng)濾波器實(shí)現(xiàn)的，即設(shè)計(jì)一個(gè)參數(shù)可調(diào)的濾波器，通過自適應(yīng)算法(LMS、NLMS等)調(diào)整濾波器參數(shù)，模擬回聲產(chǎn)生的信道環(huán)境，進(jìn)而估計(jì)回聲信號(hào)進(jìn)行消除。

4)混響消除

語音信號(hào)在室內(nèi)經(jīng)過多次反射之后，被麥克風(fēng)采集，得到的混響信號(hào)容易產(chǎn)生掩蔽效應(yīng)，會(huì)導(dǎo)致識(shí)別率急劇惡化，需要在前端處理。

混響消除方法主要包括：基于逆濾波方法、基于波束形成方法和基于深度學(xué)習(xí)方法等。

5)聲源定位

麥克風(fēng)陣列已經(jīng)廣泛應(yīng)用于語音識(shí)別領(lǐng)域，聲源定位是陣列信號(hào)處理的主要任務(wù)之一，使用麥克風(fēng)陣列確定說話人位置，為識(shí)別階段的波束形成處理做準(zhǔn)備。

聲源定位常用算法包括：基于高分辨率譜估計(jì)算法(如MUSIC算法)，基于聲達(dá)時(shí)間差(TDOA)算法，基于波束形成的最小方差無失真響應(yīng)(MVDR)算法等。

6)波束形成

波束形成是指將一定幾何結(jié)構(gòu)排列的麥克風(fēng)陣列的各個(gè)麥克風(fēng)輸出信號(hào)，經(jīng)過處理(如加權(quán)、時(shí)延、求和等)形成空間指向性的方法，可用于聲源定位和混響消除等。

波束形成主要分為：固定波束形成、自適應(yīng)波束形成和后置濾波波束形成等。

2.語音識(shí)別的基本原理

3.聲學(xué)模型

傳統(tǒng)的語音識(shí)別系統(tǒng)普遍采用基于GMM-HMM的聲學(xué)模型，示意圖如下：

基于GMM-HMM的語音識(shí)別只能學(xué)習(xí)到語音的淺層特征，不能獲取到數(shù)據(jù)特征間的高階相關(guān)性，DNN-HMM利用DNN較強(qiáng)的學(xué)習(xí)能力，能夠提升識(shí)別性能，其聲學(xué)模型示意圖如下：

GMM-HMM和DNN-HMM的區(qū)別在于用DNN替換GMM來求解發(fā)射概率，GMM- HMM模型優(yōu)勢(shì)在于計(jì)算量較小且效果不俗。DNN-HMM模型提升了識(shí)別率，但對(duì)于硬件的計(jì)算能力要求較高。因此，模型的選擇可以結(jié)合實(shí)際的應(yīng)用調(diào)整。

5.語音識(shí)別效果展示

基于PC的語音識(shí)別展示demo如下視頻所示：

此處插入視頻zal_asr_demo_video.mp4

視頻包括使用“小致同學(xué)”喚醒設(shè)備，設(shè)備喚醒之后有12秒時(shí)間進(jìn)行語音識(shí)別控制，空閑時(shí)間超過了12秒將再次休眠。

我們的語音識(shí)別算法已經(jīng)部分移植到了基于AWorks的cortex-m7系列M1052-M16F12 8AWI -T平臺(tái)。語音識(shí)別的聲學(xué)模型和語言模型是我司訓(xùn)練的用于測(cè)試智能家居控制的相關(guān)模型demo，在支持65個(gè)常用命令詞的離線識(shí)別測(cè)試中(數(shù)量越大識(shí)別所需時(shí)間越長(zhǎng))，使用讀取本地音頻文件的方式進(jìn)行語音識(shí)別“打開空調(diào)”所需時(shí)間0.46s左右。下面是在M1052-M16F128AWI- T的實(shí)測(cè)效果：

最后附上M1052-M16F128AWI-T產(chǎn)品圖片：

6.關(guān)于算法庫(kù)獲取

目前語音識(shí)別系統(tǒng)處于研發(fā)階段，廣大客戶可將自身需求反饋給廣州立功科技股份有限公司與立功科技·致遠(yuǎn)電子相關(guān)市場(chǎng)人員，我們會(huì)以最快速度研發(fā)客戶需要的產(chǎn)品。