研發(fā)出了一種簡(jiǎn)單的新型模型，該模型不僅完美地融合了聲學(xué)和語(yǔ)音線索，而且將說(shuō)話(huà)人分類(lèi)和語(yǔ)音識(shí)別任務(wù)融合在了同一個(gè)系統(tǒng)中。相較于相同環(huán)境下僅僅進(jìn)行語(yǔ)音識(shí)別的系統(tǒng)相比，這個(gè)集成模型并沒(méi)有顯著降低語(yǔ)音識(shí)別性能。

我們意識(shí)到，很關(guān)鍵的一點(diǎn)是：RNN-T 架構(gòu)非常適用于集成聲學(xué)和語(yǔ)言學(xué)線索。RNN-T 模型由三個(gè)不同的網(wǎng)絡(luò)組成：（1）轉(zhuǎn)錄網(wǎng)絡(luò)（或稱(chēng)編碼器），將聲幀映射到一個(gè)潛在表征上。（2）預(yù)測(cè)網(wǎng)絡(luò)，在給定先前的目標(biāo)標(biāo)簽的情況下，預(yù)測(cè)下一個(gè)目標(biāo)標(biāo)簽。（3）級(jí)聯(lián)網(wǎng)絡(luò)，融合上述兩個(gè)網(wǎng)絡(luò)的輸出，并在該時(shí)間步生成這組輸出標(biāo)簽的概率分布。

請(qǐng)注意，在下圖所示的架構(gòu)中存在一個(gè)反饋循環(huán)，其中先前識(shí)別出的單詞會(huì)被作為輸入返回給模型，這使得 RNN-T 模型能夠引入語(yǔ)言學(xué)線索（例如，問(wèn)題的結(jié)尾）。

集成的語(yǔ)音識(shí)別和說(shuō)話(huà)人分類(lèi)系統(tǒng)示意圖，該系統(tǒng)同時(shí)推斷「誰(shuí)，在何時(shí)，說(shuō)了什么」

在圖形處理單元（GPU）或張量處理單元（TPU）這樣的加速器上訓(xùn)練 RNN-T 并不是一件容易的事，這是因?yàn)閾p失函數(shù)的計(jì)算需要運(yùn)行「前向推導(dǎo)-反向傳播」算法，該過(guò)程涉及到所有可能的輸入和輸出序列的對(duì)齊。最近，該問(wèn)題在一種對(duì) TPU 友好的「前向-后向」算法中得到了解決，它將該問(wèn)題重新定義為一個(gè)矩陣乘法的序列。我們還利用了TensorFlow 平臺(tái)中的一個(gè)高效的 RNN-T 損失的實(shí)現(xiàn)，這使得模型開(kāi)發(fā)可以迅速地進(jìn)行迭代，從而訓(xùn)練了一個(gè)非常深的網(wǎng)絡(luò)。

這個(gè)集成模型可以直接像一個(gè)語(yǔ)音識(shí)別模型一樣訓(xùn)練。訓(xùn)練使用的參考譯文包含說(shuō)話(huà)人所說(shuō)的單詞，以及緊隨其后的指定說(shuō)話(huà)人角色的標(biāo)簽。例如，「作業(yè)的截止日期是什么時(shí)候？」，「我希望你們?cè)诿魈焐险n之前上交作業(yè)」。當(dāng)模型根據(jù)音頻和相應(yīng)的參考譯文樣本訓(xùn)練好之后，用戶(hù)可以輸入對(duì)話(huà)記錄，然后得到形式相似的輸出結(jié)果。我們的分析說(shuō)明，RNN-T 系統(tǒng)上的改進(jìn)會(huì)影響到所有類(lèi)型的誤差率（包括較快的說(shuō)話(huà)者轉(zhuǎn)換，單詞邊界的切分，在存在語(yǔ)音覆蓋的情況下錯(cuò)誤的說(shuō)話(huà)者對(duì)齊，以及較差的音頻質(zhì)量）。此外，相較于傳統(tǒng)的系統(tǒng)，RNN-T 系統(tǒng)展現(xiàn)出了一致的性能，以每段對(duì)話(huà)的平均誤差作為評(píng)價(jià)指標(biāo)時(shí)，方差有明顯的降低。

傳統(tǒng)系統(tǒng)和 RNN-T 系統(tǒng)錯(cuò)誤率的對(duì)比，由人類(lèi)標(biāo)注者進(jìn)行分類(lèi)。

此外，該集成模型還可以預(yù)測(cè)其它一些標(biāo)簽，這些標(biāo)簽對(duì)于生成對(duì)讀者更加友好的 ASR 譯文是必需的。例如，我們已經(jīng)可以使用匹配好的訓(xùn)練數(shù)據(jù)，通過(guò)標(biāo)點(diǎn)符號(hào)和大小寫(xiě)標(biāo)志，提升譯文質(zhì)量。相較于我們之前的模型（單獨(dú)訓(xùn)練，并作為一個(gè) ASR 的后處理步驟），我們的輸出在標(biāo)點(diǎn)符號(hào)和大小寫(xiě)上的誤差更小。