（文章來源：人人都是產品經理）

通常的圖像分類任務動輒幾十萬、上百萬，甚至上千萬的數(shù)據(jù)量相比，醫(yī)療影像它的數(shù)據(jù)量是非常少的。同時，由于設備參數(shù)、醫(yī)生的拍照手法或拍攝角度、光照的明暗不同，食管的表觀變化非常復雜。那么，我們怎樣才能在這樣的條件下得到一個可靠穩(wěn)定的模型？

采用Feature map。Feature Map是卷積核卷出來的，你用各種情況下的卷積核去乘以原圖，會得到各種各樣的feature map。你可以理解為你從多個角度去分析圖片。而不同的特征提?。ê耍崛〔煌膄eature，模型想要達成的目的是解一個最優(yōu)化，來找到能解釋現(xiàn)象的最佳的一組卷積核。

在同一層，我們希望得到對于一張圖片多種角度的描述，具體來講就是用多種不同的卷積核對圖像進行卷，得到不同核（這里的核可以理解為描述）上的響應，作為圖像的特征。他們的聯(lián)系在于形成圖像在同一層次不同基上的描述。下層的核主要是一些簡單的邊緣檢測器（也可以理解為生理學上的simple cell）。

在拿到食管數(shù)據(jù)之后，如何判別這個食管屬于健康正常食管還是病變食管呢？當我們判斷一個食管是否異常食管時，只需要找到一個病變區(qū)域，就能夠說明這個食管是異常的。但是反過來，在正常圖像中，并不能說找到一個正常特征，就說明這個食管是正常的。只能說在這張圖像中我們沒有找到異常特征，它可能是見正常的。

因此，在正常特征和異常特征之間，我們更傾向于提取病變特征，抑制正常特征。病變和正常的case都會經過神經網絡，以得到特征向量。對于這個向量，我們希望盡可能凸顯異常特征，讓正常特征趨近于0。我們是如何把這種信息建模到模型中的呢？我們對模型進行了重新建模，最后準確率大概在97%左右。前面的模型相對來說比較簡單，第三個模型主要是區(qū)分炎癥和癌癥，它與前兩個問題不大一樣。

一般情況下，病變的食管圖像里都會伴隨著一些炎癥的特征。我們對癌癥的判斷往往是通過一個紋理特別小的區(qū)域得出的，因此需要提取出更加精細化的特征。比較好的做法就是讓很多專家把病灶區(qū)非常嚴謹?shù)貥俗⒊鰜?，這樣我們只需要對這個區(qū)域進行識別就好了。這個標注量非常大，因此數(shù)據(jù)異常匱乏。我們沒有癌癥區(qū)域的標注數(shù)據(jù)，但又希望得到非常精細化的特征，如何解決這個矛盾呢？

幸運的是，我們雖然無法獲取到非常精準的病變區(qū)域標注影像，卻能夠相對容易地知道一張圖像是否包含癌癥，因為只需要跟病例對應關聯(lián)起來就好了。這樣一來，我們可以更容易地得到圖像全局的標簽。

如果一張圖像包含了癌癥，必然會有一個或幾個區(qū)域包含了癌癥的特征。也就是說，如果我們把圖像切分成幾個patch，必然會有某個或某幾個patch包含癌癥特征。基于這樣一種思路，我們采取了多序列的學習方式。這個方法的內在思想很簡單，就是把圖像切分成若干個patch，然后對每個patch建模，判別這個patch發(fā)生癌癥的概率。我們最后把所有patch里面癌癥概率最高的那塊，作為圖像是否包含癌癥的標簽。

做的過程當中，我們會逐漸積累精準標注的數(shù)據(jù)，這些數(shù)據(jù)非常少，不足以虛擬一個模型。但圖像中的特征都是最精準的，是經過人為校驗和標注的。我們怎樣才能把這種少量的、精準的數(shù)據(jù)強化到癌癥識別中去呢？這是個非常有意思的問題，如果能解決這個問題，即使只有少量標準數(shù)據(jù)，我們也能不斷提升。這里主要采用了多任務學習的方法，這個方法需要完成兩個任務：

基于有病變區(qū)域標注的數(shù)據(jù)建立有監(jiān)督的學習任務；對于沒有病變區(qū)域標注的數(shù)據(jù)，建立前面提到的多序列學習任務。這兩個模型共享特征提取網絡，特征提取網絡必須同時滿足兩大任務，這樣才能把精準標注的特征強化到癌癥識別中去。

輔助診斷的目的是什么呢？我們希望機器最終能夠像臨床醫(yī)生一樣具備診斷疾病的能力。在介紹輔助診斷項目之前，我們先來看看一個醫(yī)生或者一個普通的學生是如何成長為一名專家的：一個學生從剛入學開始，學習了大量專業(yè)課程，閱讀了大量專業(yè)醫(yī)學文獻后，就可以積累一定程度的醫(yī)學知識。當醫(yī)學知識達到一定程度之后，就可以去醫(yī)院里面實習，由臨床醫(yī)生結合一些真實案例，指導他去學習診斷的技能。

醫(yī)學知識圖譜的構建，也就是機器學習知識的過程；有了知識之后學習診斷的能力，也就是建立疾病判別的一些模型；讓機器在與專家的博弈過程中，不斷提升診斷水平，逐漸逼近甚至超過專家。醫(yī)療知識圖譜的構建過程中，我們首先要對文本數(shù)據(jù)進行處理。文本數(shù)據(jù)分成兩類，一類是半結構化數(shù)據(jù)，一類是非結構化數(shù)據(jù)。

我們可以把病史分為幾個部分：疾病的情況、入院的治療經過、入院的依據(jù)等；把病史分為這樣幾部分信息后，再對每一類信息進行細化和提??；經過提取之后，非結構化的文本就變成了計算機能夠理解的結構化文本；我們會把這些信息轉化為醫(yī)學知識圖譜存在電腦里，于是計算機就把這個知識學會了。

診斷的過程是這樣的，首先把一段人類語言描述的病情轉化成計算機可以理解的結構化知識。有了結構化的知識以后，機器就能理解這個人的情況，把知識推送到疾病診斷模型當中，模型將給出一個疾病列表，診斷模型的流程大致就是這樣。