12月2日，達(dá)摩院深度語(yǔ)言模型體系A(chǔ)liceMind發(fā)布中文社區(qū)首個(gè)表格預(yù)訓(xùn)練模型SDCUP，該模型在全球權(quán)威表格數(shù)據(jù)集WikiSQL、SQuALL上取得了業(yè)界最優(yōu)效果，且模型和訓(xùn)練代碼均已對(duì)外開(kāi)源。

表格是應(yīng)用普遍的結(jié)構(gòu)化數(shù)據(jù)，也是智能對(duì)話(huà)系統(tǒng)和搜索引擎的重要答案來(lái)源。但傳統(tǒng)表格查詢(xún)需技術(shù)人員撰寫(xiě)專(zhuān)業(yè)查詢(xún)語(yǔ)句，阻礙了表格查詢(xún)的大規(guī)模應(yīng)用。新興的表格問(wèn)答技術(shù)，可將自然語(yǔ)言轉(zhuǎn)換為查詢(xún)語(yǔ)句，使用戶(hù)能通過(guò)簡(jiǎn)單問(wèn)句直接與表格數(shù)據(jù)庫(kù)交互，具有廣泛應(yīng)用前景。

不過(guò)，由于表格內(nèi)容復(fù)雜多樣、涉及各行業(yè)專(zhuān)業(yè)知識(shí)，表格問(wèn)答任務(wù)一直是自然語(yǔ)言處理領(lǐng)域的難題。此前，谷歌、微軟、亞馬遜等海外公司開(kāi)展了相關(guān)探索，但在中文場(chǎng)景，該方向處于空白。

本次，達(dá)摩院對(duì)話(huà)智能團(tuán)隊(duì)提出了首個(gè)中文表格預(yù)訓(xùn)練模型SDCUP，其基于“模式依存”方法，通過(guò)模型直接預(yù)測(cè)自然語(yǔ)言與表格結(jié)構(gòu)內(nèi)容的關(guān)鍵詞映射，提升了表格問(wèn)答的準(zhǔn)確率。具體而言，即參考語(yǔ)義依存分析方法對(duì)Schema Dependency任務(wù)建模，使用全連接網(wǎng)絡(luò)獲取每個(gè)節(jié)點(diǎn)作為父親節(jié)點(diǎn)和作為孩子節(jié)點(diǎn)的語(yǔ)義表示，然后使用雙仿射網(wǎng)絡(luò)預(yù)測(cè)每個(gè)邊存在的概率和該邊關(guān)系類(lèi)型的概率。同時(shí)，團(tuán)隊(duì)使用了模仿人類(lèi)的“課程學(xué)習(xí)”方法減少數(shù)據(jù)噪聲。

（SDCUP生成SQL示例）

在耶魯大學(xué)發(fā)布的業(yè)界最大規(guī)模的英文文本-表格數(shù)據(jù)集WikiSQL，以及微軟構(gòu)建的英文文本-表格高難度預(yù)測(cè)任務(wù)SQuALL數(shù)據(jù)集上，SDCUP模型均取得業(yè)界最優(yōu)效果。在達(dá)摩院構(gòu)建的表格問(wèn)答中文數(shù)據(jù)集TaBLUE上，SDCUP比同參數(shù)規(guī)模BERT模型效果提升約3個(gè)百分點(diǎn)。

（SDCUP在WikiSQL數(shù)據(jù)集上取得業(yè)界最優(yōu)效果）

（SDCUP在SQuALL數(shù)據(jù)集上取得業(yè)界最優(yōu)效果）

達(dá)摩院資深算法專(zhuān)家李永彬介紹，SDCUP模型是達(dá)摩院表格對(duì)話(huà)技術(shù)系列研發(fā)的一部分，后續(xù)將持續(xù)對(duì)外開(kāi)源。其相關(guān)技術(shù)先后在四大國(guó)際公開(kāi)數(shù)據(jù)集WikiSQL、Spider、SParC、CoSQL上取得第一。

據(jù)了解，該技術(shù)完成了產(chǎn)品化，已通過(guò)阿里云智能客服為政務(wù)、金融、零售等行業(yè)客戶(hù)提供表格問(wèn)答和數(shù)據(jù)庫(kù)自然交互服務(wù)。