借助移動互聯(lián)網(wǎng)技術(shù)、機器學習領(lǐng)域深度學習技術(shù)的發(fā)展，以及大數(shù)據(jù)語料的積累，自然語言處理技術(shù)發(fā)生了突飛猛進的變化。越來越多的科技巨頭開始看到了這塊潛在的“大蛋糕”中蘊藏的價值，通過招兵買馬、合作、并購的方式、拓展自己在自然語言處理研究領(lǐng)域的業(yè)務范圍，進一步提升自然語言處理在整個公司中的主導地位。與此同時，也不斷有新興的科技公司涌現(xiàn)，提出自己的在智能交互、語音識別、機器翻譯等方面的解決方案，試圖在自然語言處理這片廣闊的藍海上劃分自己的領(lǐng)土、樹立自己的標桿。

人工智能已經(jīng)是大部分普通人都耳熟能詳?shù)脑~匯，而人們對自然語言處理技術(shù)的了解程度卻大部分還停留在表面階段。本文通過回顧自然語言處理的發(fā)展歷史，解讀2015年整個自然語言處理行業(yè)的重大變化，進而提出新的時代下自然語言處理技術(shù)的發(fā)展瓶頸、以及對于自然語言處理所提出的挑戰(zhàn)、自然語言處理未來的發(fā)展方向。

自人工智能在1956年達特茅斯會議上首次提出，讓機器完成更多的智力工作成為科學家努力的方向。其中一個重要的目標就是希望機器能夠與人類進行更加自然高效的交流，希望機器讀懂人類深奧的語言，同時以一種我們習慣的方式進行交互，而解決這個問題的關(guān)鍵技術(shù)就是自然語言處理。

尤其是近20年來，隨著互聯(lián)網(wǎng)的發(fā)展引發(fā)了對這一技術(shù)的強勁需求，這一技術(shù)在得到長足發(fā)展的同時，也在有力地促進互聯(lián)網(wǎng)核心能力的增強。比如，目前互聯(lián)網(wǎng)提供的一個基礎性能力是信息檢索。人們在搜索引擎中輸入關(guān)鍵詞，就可以獲得相關(guān)信息。在20年前，互聯(lián)網(wǎng)剛開始發(fā)展的初期，給搜索引擎輸入“和服”，返回的結(jié)果中很可能包含不少生產(chǎn)、銷售“鞋子和服裝”的公司的信息?，F(xiàn)在這種錯誤已經(jīng)比較少了，而促進其質(zhì)量不斷提升的一個核心就是采用了不斷改進的自然語言理解技術(shù)。“互聯(lián)網(wǎng)”自然語言理解已經(jīng)成為互聯(lián)網(wǎng)發(fā)展的一個共識，并在不斷深化。

最近幾年，眾多科技巨頭正在這方面進行布局。2013年谷歌以超過3000萬美元收購了新聞閱讀應用開發(fā)商Wavii。Wavii擅長自然語言處理技術(shù)，可以通過掃描互聯(lián)網(wǎng)發(fā)現(xiàn)新聞，并給出一句話摘要；微軟將自然語言處理技術(shù)應用在了智能助手小冰、Cortana上，取得了不錯的效果，通過機器翻譯使Skype具備了實時翻譯功能；自然語言處理技術(shù)是Facebook智能助手M背后的核心技術(shù)之一，其產(chǎn)品負責人稱“我們對M做的事情可以讓我們更好地理解自然語言處理。”國內(nèi)的科大訊飛在去年年底發(fā)布了自然語言處理云平臺，很早推出語音合成產(chǎn)品，在中文領(lǐng)域的自然語言處理和語音合成方面有著深厚積累?？梢?，早在前幾年，眾多科技巨頭和國內(nèi)IT廠商就已對自然語言處理這篇潛在的廣闊市場覬覦已久，紛紛開始摩拳擦掌，準備將自然語言處理技術(shù)向公司的核心業(yè)務方向進行轉(zhuǎn)移，針對業(yè)務線轉(zhuǎn)型、新產(chǎn)品提出來醞釀更大的動作。

2015年是自然語言處理技術(shù)進一步發(fā)展的一年。由于自然語言處理的主流技術(shù)主要是以統(tǒng)計機器學習為基礎的，因此這些技術(shù)的性能就依賴兩個因素：一是針對不同任務的統(tǒng)計模型和優(yōu)化算法，二是相應的大規(guī)模語料庫。2015年得益于深度學習算法的快速進展和大規(guī)模社交文本數(shù)據(jù)以及語料數(shù)據(jù)的不斷積累，自然語言處理技術(shù)有了飛躍式的發(fā)展。在這一年，各大廠商致力于解決語音識別、語義理解、智能交互、搜索優(yōu)化等領(lǐng)域更加復雜、困難的問題，持續(xù)不斷地對原有產(chǎn)品的算法、模型進行優(yōu)化與革新。

在新產(chǎn)品方面，2015年帶給了我們太多的驚喜。高考期間，百度推出了小度機器人，無獨有偶，十月底，Rokid團隊推出的Rokid機器人也與公眾見面。這些實體機器人不僅能用擬人的思維識別語義，嘗試與用戶建立起更深層、連續(xù)的溝通，還能模仿人的“思考”，先從海量互聯(lián)網(wǎng)內(nèi)容中提取信息，然后按人的思維邏輯對信息進行推理分析和篩選，再得到答案。不僅如此，優(yōu)秀的實體機器人還能與智能家居設備深度融合，并接入音樂、新聞等內(nèi)容，還能給予攝像頭進行手勢喚醒與遠場識別。

2015年，遠場語音識別技術(shù)突破了5米的瓶頸，大幅度改進了語音交互的自由度，再次刷新業(yè)界期待。利用麥克風陣列、回聲消除等技術(shù)將目標說話人的聲音增強，并抑制/消除噪聲和回聲，由此進行語音前端處理；在語音識別引擎，則針對麥克風陣列處理后的數(shù)據(jù)進行收集、訓練，以使遠場效果最優(yōu)化。目前國內(nèi)集成全新的4麥克風陣列方案，利用麥克風陣列的空域濾波特性——在目標說話人方向形成拾音波束（BeamForming），抑制波束之外的噪聲；結(jié)合獨特的去混響算法，最大程度的吸收反射聲，達到去除混響的目的。其中，漢語語音識別技術(shù)也取得了重大突破：識別相對錯誤率比現(xiàn)有技術(shù)降低15%以上，使?jié)h語安靜環(huán)境普通話語音識別的識別率接近97%。通過基于多層單向LSTM的漢語聲韻母整體建模技術(shù)，成功地把連接時序分類（CTC）訓練技術(shù)嵌入到傳統(tǒng)的語音識別建?？蚣苤校俳Y(jié)合語音識別領(lǐng)域的決策樹聚類、跨詞解碼和區(qū)分度訓練等技術(shù)，大幅度提升線上語音識別產(chǎn)品性能，是一次框架式的創(chuàng)新。2015年，“字根嵌入”的提出，將“字根作為中文語言處置懲罰的最小單位進行研究”，機器在處置懲罰中文分詞、短文本分類及網(wǎng)頁排序方面的效果大幅提升，可以有效促進機器對用戶中文表意進行深度學習，讓搜索引擎更加智慧、更“懂“用戶。隨著大數(shù)據(jù)技術(shù)和深度學習算法的不斷發(fā)展，2015年，基于數(shù)據(jù)驅(qū)動的自然語言對話系統(tǒng)也為我們打開了新的思路：通過提出Deep Match CNN和Deep Match Tree兩種匹配模型以及Neural Responding Machine（NRM）對話生成模型，并深入挖掘大規(guī)模對話數(shù)據(jù)，很容易地構(gòu)建一個自動生成對話系統(tǒng)，其準確率相比傳統(tǒng)的機器翻譯模型由26%提高到76%，而且對話十分自然流暢。

2015年，許多廠商也紛紛開源了自己用于自然語言處理、機器學習的工具包和技術(shù)專利。Facebook人工智能研究院（FAIR）宣布開源了一組深度學習工具，這些工具主要是針對Torch機器學習框架的插件，包括iTorch、fbcunn、fbnn、fbcuda和fblualib。這些插件能夠在很大程度上提升深度學習的速度，并可用于計算機視覺和自然語言處理等場景。Torch已被Google、Twitter、Intel、AMD、NVIDIA等公司采用。Google、Microsoft和IBM分別發(fā)布并開源了自己的機器學習工具包TensorFlow、DMTK和SystemML。Google已將TensorFlow用于GMail（SmartReply）、搜索（RankBrain）、圖片（生成圖像分類模型--IncepTIon Image ClassificaTIon Model）、翻譯器（字符識別）等產(chǎn)品。DMTK其功能特點以及定位更傾向于自然語言處理方面，例如文本分類與聚類、話題識別以及情感分析等。SystemML則是IBM研發(fā)了超過十年的機器學習技術(shù)，沃森（Watson）在幾年前的大型活動里就整合了很多SystemML的機器學習功能。語音識別知名廠商SoundHound.inc年底也開放了自己的“Houndify”平臺，通過與各大傳統(tǒng)行業(yè)廠商深入合作，集成各個方面的行業(yè)數(shù)據(jù)：如與Expedia.com合作，集成酒店、航班方面的語料數(shù)據(jù)；與Xignite合作，集成金融市場語料數(shù)據(jù)，意在通過語音“識別一切”，構(gòu)建更廣闊的識別平臺。