智能語音行業(yè)已經進入蓬勃發(fā)展的時代，隨著智能設備的逐漸增多，用戶對語音交互的需求越來越大。在AIoT時代，智能設備的自然語言交互能力成為與用戶溝通的重要一環(huán)。當用戶對智能設備產生需求并進行對話時，語音的喚醒和識別能力直接決定了用戶對設備的好感度。

依托于小愛同學、小米多款智能設備，小米持續(xù)深耕語音技術，希望在智能家庭、智能車載等豐富的使用場景之下，更進一步解放對用戶語音識別環(huán)境的條件限制，讓用戶體驗更自然、更自由、無壓力的語音交互方式，更好地理解用戶意圖，為用戶提供極致的智能語音交互體驗。

多通道端到端語音技術，讓用戶在“自由場景自由說”

目前，業(yè)內各家的近講語音喚醒和識別能力已經達到了較高的水平，在近距離、安靜的環(huán)境下，用戶與智能設備的語音交互已經基本無障礙。然而，在強噪聲干擾、強房間混響、說話距離遠、設備自身播放音源等條件下，智能設備與用戶進行連續(xù)地自然語音交互仍然具有挑戰(zhàn)性。

如何讓遠場語音性能達到和近講相近的水平，一直是困擾業(yè)界語音工程師的一大難題。鑒于此，小米語音團隊的“多通道端到端語音技術”自研能力，取得比“傳統(tǒng)多通道陣列增強模塊加單通道語音技術”更好的性能。

為了在遠場聲音中更準確的識別出目標語音，傳統(tǒng)多通道陣列增強技術會使用空間濾波或語音分離算法，但這些算法引入了較多先驗假設，在一些不符合假設的場景下，性能會明顯下降。另外，傳統(tǒng)多通道陣列處理技術是由多個技術模塊串聯(lián)組成，多個麥克風的數據會被送入回聲消除、降噪、去混響、尋向和波束形成等模塊，幾個模塊單獨進行優(yōu)化，優(yōu)化目標并不一致。

小米從2018年開始驗證端到端語音喚醒和識別的思路，目標即從充滿噪聲、混響和回聲的多個麥克風中直接學習語音特征，提升真實環(huán)境中的識別率和穩(wěn)定性。經過一系列的校驗，小米多通道端到端語音技術有三大明顯優(yōu)勢。第一，端上的計算量變小，較之前減少了50%，縮短了所有的計算路徑和時長；其次，端上的存儲量變小，在原有的基礎上大幅減少，減輕了存儲壓力；最后，“多通道端到端語音技術”直接用一個網絡中的不同級去替代之前的多個模塊，最后有一個一致的優(yōu)化目標，避免誤差的逐級傳播。整個模型用一套神經網絡表述，大幅減小系統(tǒng)設計復雜度，可以明顯降低運算負荷。從大規(guī)模訓練數據中習得的深度神經網絡，比基于傳統(tǒng)信號處理的方式，使用的先驗假設少，可以涵蓋更多的實際場景

從近講到遠場，小米自研技術拓寬了語音的想象力

據小米語音工程師介紹，盡管傳統(tǒng)信號處理具有一些方面的不足，但是其能夠較好地處理麥克風陣列信號的相位，利用物理學中樸素的法則“同向相加，異向相消”對不想要的信號分量進行抑制。因此，小米的多通道語音識別模型不僅采用了更先進的深度神經網絡，也同時繼承了傳統(tǒng)信號處理理論對相位處理的精髓，將傳統(tǒng)前端算法和深度神經網絡的優(yōu)勢進行互補，也即將傳統(tǒng)信號處理的概念進一步拓展，充分利用深度神經網絡的非線性處理能力，提出一種全神經網絡語音識別模型。

在語音識別大牛Daniel Povey加入小米后，小米的語音交互在原有的基礎上更進一步。終于讓多通道端到端語音方案性能超過了傳統(tǒng)方案。經過數據測試，多通道端到端語音技術讓遠場語音識別性能相對提升了10%，使用戶與智能設備的交互更加順暢。

從3G時代，到4G時代，再到5G時代，智能語音交互也發(fā)生著巨大的變革。多通道端到端的語音技術不僅讓用戶交互方式更加自由，同時也降低了硬件的產品功耗。從近講的喚醒識別到遠場的喚醒識別，從單通道到多通道，小米自研語音技術旨在幫助用戶在自由的場景下實現自由說的目標。未來，小米將智能語音技術落地至更多應用場景，不斷突破自研技術，為用戶提供更加極致的語音交互體驗。