電子健康記錄里存儲(chǔ)了關(guān)于醫(yī)院患者的有價(jià)值信息，但它們通常是分散的、非結(jié)構(gòu)化的，這使得難以使用AI系統(tǒng)來對其進(jìn)行省時(shí)、省力的解析。幸運(yùn)的是，紐約大學(xué)和普林斯頓大學(xué)的研究人員開發(fā)了一個(gè)框架，用于評估臨床記錄（即癥狀描述、診斷原因和放射學(xué)結(jié)果），并自動(dòng)打一個(gè)風(fēng)險(xiǎn)評分，來表明患者是否會(huì)在未來30天內(nèi)再次入院就診。他們聲稱，相關(guān)的代碼和模型參數(shù)已經(jīng)公開在了Github上，其表現(xiàn)已經(jīng)輕松超過基準(zhǔn)線。

“準(zhǔn)確預(yù)測再入院率具有很重要的臨床意義，表現(xiàn)在效率提升和減輕ICU醫(yī)生負(fù)擔(dān)兩個(gè)方面，”該論文的作者寫道。 “一項(xiàng)估計(jì)認(rèn)為，再次入院造成的經(jīng)濟(jì)負(fù)擔(dān)為179億美元，而其中可避免的入院比例為76％?！?/p>

正如研究人員在一篇在Arxiv.org上預(yù)發(fā)表的論文中所指出的那樣（“ClinicalBERT：臨床醫(yī)療記錄建模和再就診預(yù)測”），臨床醫(yī)療記錄通常使用縮寫和術(shù)語，并且一般很冗長，這對AI系統(tǒng)設(shè)計(jì)提出了不小的挑戰(zhàn)。為了克服它，他們使用了一種自然語言處理方法 - Google的“變換器雙向編碼器表示”，或簡稱BERT - 通過結(jié)合全局的、長跨度的信息來捕獲句子中相距較遠(yuǎn)單詞之間的相互聯(lián)系。

在預(yù)處理步驟中，每條臨床記錄會(huì)被表示成從文本中提取的“子單元”或“子詞單元”的集合。從這些單元組成的多個(gè)序列中，ClinicalBERT可識別出哪些單元與哪個(gè)序列相關(guān)聯(lián)。它還可以從與序列相對應(yīng)的變量中學(xué)習(xí)掌握子單元的位置，并在每個(gè)序列的前面插入用于分類任務(wù)的特殊單元。

為了訓(xùn)練ClinicalBERT，該團(tuán)隊(duì)采集了一些臨床記錄語料庫，并隱藏了15％的輸入單元，來迫使模型預(yù)測隱藏的單元以及任何兩個(gè)給定的兩個(gè)句子是否連續(xù)。然后，利用了“多重參數(shù)的智能監(jiān)護(hù)重癥監(jiān)護(hù)（MIMIC-III）”，這是一個(gè)電子健康記錄數(shù)據(jù)集，包括了來自38,597名患者58,976次醫(yī)院就診的200多萬條記錄，研究人員使用此數(shù)據(jù)對該系統(tǒng)進(jìn)行了微調(diào)，以適應(yīng)臨床預(yù)測的任務(wù)。

作者報(bào)告顯示，通過由30對醫(yī)學(xué)術(shù)語組成的、用于評估醫(yī)學(xué)術(shù)語相似性的測試樣本進(jìn)行測試，發(fā)現(xiàn)，ClinicalBERT達(dá)到了很高的相關(guān)性評分，表明它的標(biāo)記成功捕獲了醫(yī)學(xué)概念術(shù)語之間的相似性。他們說，與心臟相關(guān)的概念，如心肌梗塞、心房顫動(dòng)和心肌，靠得很近，腎功能衰竭和腎功能衰竭也很接近。

在一項(xiàng)單獨(dú)的實(shí)驗(yàn)中，該團(tuán)隊(duì)聲稱，在MIMIC-III語料中，從涉及34,560名患者的、且有連續(xù)48或72小時(shí)的醫(yī)療記錄的數(shù)據(jù)來看，與僅關(guān)注出院數(shù)據(jù)摘要的模型相比，ClinicalBERT顯示在未來30天再入院預(yù)測上效果有提升，相對增加了15％的召回。此外，他們表示，隨著入院時(shí)間的延長和臨床筆記數(shù)量的增加，系統(tǒng)開始在語言建模任務(wù)中的表現(xiàn)開始優(yōu)于原始BERT模型。

“ClinicalBERT可以幫助提供護(hù)理的人員做出明智的決定，并在必要時(shí)提前進(jìn)行干預(yù)，”研究人員寫道。 “它的輸出結(jié)果…是可以追溯的，可以理解哪些臨床記錄中的信息與當(dāng)前預(yù)測結(jié)果相關(guān)，（并且它）也很容易推廣到其他任務(wù)，如診斷預(yù)測、死亡風(fēng)險(xiǎn)評估或住院時(shí)間評估等?！?/p>