近期，國(guó)際著名的醫(yī)學(xué)圖像處理領(lǐng)域會(huì)議Miccai（Medical Image Computing and Computer-Assisted IntervenTIon）上發(fā)表了莫納什大學(xué)戈宗元教授團(tuán)隊(duì)與Airdoc人工智能團(tuán)隊(duì)合作的題為：“ReTInal AbnormaliTIes RecogniTIon Using Regional Multitask Learning”的研究論文。莫納什大學(xué)是澳大利亞規(guī)模最大的國(guó)立大學(xué)之一，其藥劑與藥理學(xué)專業(yè)位列全球第二位，僅次于哈佛大學(xué)。

研究團(tuán)隊(duì)提出了一種基于深度學(xué)習(xí)的新方法，使用一個(gè)區(qū)域特定的多任務(wù)識(shí)別模型，通過三個(gè)子網(wǎng)絡(luò)學(xué)習(xí)視網(wǎng)膜不同區(qū)域的疾病。這三個(gè)子網(wǎng)絡(luò)通過訓(xùn)練，分別識(shí)別影響視盤、黃斑和整個(gè)視網(wǎng)膜的疾病。以往基于深度學(xué)習(xí)自動(dòng)篩查的研究主要集中在特定類型的視網(wǎng)膜疾病，但患者通常會(huì)同時(shí)患有多種視網(wǎng)膜病變，單一的解決方案在臨床應(yīng)用上就顯得有些力不從心，而此次研究成果可通過一個(gè)模型識(shí)別出36種不同的視網(wǎng)膜疾病，并且能夠同時(shí)識(shí)別視網(wǎng)膜上的多種疾病，大大提升了人工智能識(shí)別視網(wǎng)膜疾病的可應(yīng)用性。

患有視網(wǎng)膜疾病的人數(shù)隨著人口老齡化和電子屏幕的普及而增加，許多視網(wǎng)膜疾病，例如年齡相關(guān)性黃斑變性（AMD）和糖尿病性視網(wǎng)膜病變（DR），會(huì)造成不可逆的嚴(yán)重健康問題。與此同時(shí)，在三四線城市中，能夠檢查和醫(yī)治視網(wǎng)膜疾病的醫(yī)生鳳毛麟角，醫(yī)療資源緊張，不少人因此錯(cuò)失了治療的最佳時(shí)機(jī)。本次研究成果可以不依賴醫(yī)生，直接使用人工智能算法識(shí)別，在確保同樣識(shí)別率的前提下，極大程度的提高了效率，同時(shí)也能幫助醫(yī)療資源緊缺的區(qū)域提高醫(yī)療質(zhì)量。

△ 多標(biāo)簽分類網(wǎng)絡(luò)

研究團(tuán)隊(duì)以多任務(wù)的方式設(shè)計(jì)網(wǎng)絡(luò)，框架包括兩個(gè)階段：

第一階段包括一個(gè)聯(lián)合檢測(cè)網(wǎng)絡(luò)，用于檢測(cè)視盤和黃斑區(qū)。

第二階段由一個(gè)語(yǔ)義多任務(wù)網(wǎng)絡(luò)組成，每個(gè)任務(wù)通過特定區(qū)域相關(guān)疾病標(biāo)注數(shù)據(jù)的訓(xùn)練，同時(shí)輸出整個(gè)眼底、視盤和黃斑的疾病類別，如圖1所示。

為了評(píng)估提出方法的性能，研究團(tuán)隊(duì)收集了36種在篩查過程中常見的視網(wǎng)膜疾病，包括影響整個(gè)視網(wǎng)膜的疾?。ㄈ缣悄虿⌒砸暰W(wǎng)膜病變等）、 影響黃斑區(qū)域的疾?。ㄈ缒挲g相關(guān)性黃斑病變等）及影響視盤區(qū)域的疾病（如青光眼等）。總共收集了36個(gè)類別的200817幅圖像，其中17385幅圖像包含多個(gè)標(biāo)簽，每幅圖像有三名有經(jīng)驗(yàn)的眼科醫(yī)師標(biāo)注，當(dāng)且僅當(dāng)不少于兩位眼科醫(yī)師同意的情況下，才能保留對(duì)應(yīng)視網(wǎng)膜圖像的標(biāo)簽。

在這項(xiàng)工作中，數(shù)據(jù)集被分為訓(xùn)練集（80%）、驗(yàn)證集（10%）和測(cè)試集（10%）。在所有這些圖像中，183432個(gè)圖像具有單個(gè)標(biāo)簽，16849個(gè)圖像具有兩個(gè)標(biāo)簽，536個(gè)圖像具有三個(gè)標(biāo)簽。

△ 輔助檢測(cè)框圖示

團(tuán)隊(duì)研究的方法包括兩部分：

（1）黃斑和視盤區(qū)聯(lián)合檢測(cè)；

（2）用于視網(wǎng)膜疾病語(yǔ)義分類的多任務(wù)學(xué)習(xí)。

首先訓(xùn)練一個(gè)基于YoloV3的聯(lián)合檢測(cè)模型來(lái)定位視盤和黃斑區(qū)域。將檢測(cè)到的視盤和黃斑區(qū)域圖像以及整個(gè)眼底圖像分別調(diào)整為300×300、600×600、800×800，然后輸入多標(biāo)簽疾病分類網(wǎng)絡(luò)。

分類網(wǎng)絡(luò)利用語(yǔ)義特征融合的思想對(duì)區(qū)域性疾病進(jìn)行分類。為了更好地理解所提出的模型，團(tuán)隊(duì)還為每個(gè)流繪制了與每個(gè)任務(wù)相關(guān)的類激活圖（CAM）。

△ 分類激活圖（CAM）

此次研究成功展示了多任務(wù)學(xué)習(xí)方法識(shí)別整個(gè)視網(wǎng)膜、黃斑和視盤疾病的有效性，而不是單任務(wù)分類，更適用于復(fù)雜的實(shí)際臨床應(yīng)用場(chǎng)景，高效、便捷、使用局限性小，可以幫助更多患者實(shí)現(xiàn)早發(fā)現(xiàn)，早干預(yù)，延緩基礎(chǔ)慢病的進(jìn)展，?的發(fā)生率。