隨著深度學(xué)習(xí)的技術(shù)發(fā)展，越來越多的深度學(xué)習(xí)應(yīng)用也進(jìn)入到我們的世界。 其中最為普遍的就是人臉識(shí)別，包括微軟也推出了Cognitive Face API，可以透過人臉來識(shí)別身分，甚至可以用來判斷性別與年齡。

各位以為用人臉識(shí)別性別年齡就很厲害了嗎? 這篇文章要來讓各位瞧瞧深度學(xué)習(xí)的黑科技可以黑到甚么程度。 只要透過手的照片，就能夠知道性別與年齡，透過卷積神經(jīng)網(wǎng)絡(luò)就能做到這么神奇的效果。

本文將從數(shù)據(jù)到模型，透過微軟的深度學(xué)習(xí)框架CNTK以及臉書的深度學(xué)習(xí)框架Pytorch，來實(shí)作根據(jù)手的照片來判斷人的性別與年齡。 以下解說部分張貼的皆為CNTK代碼，并附上兩個(gè)框架代碼。

首先關(guān)于使用的數(shù)據(jù)來自Google，他提供了一組數(shù)據(jù)包含了11,000張手部的照片(圖1)，同時(shí)包含手的主人的性別年齡與種族。 我們將會(huì)擷取里面的性別(類別)與年齡(連續(xù))數(shù)據(jù)來作為輸出變量，手部圖片作為輸入特征。

圖1 Google提供了一組數(shù)據(jù)包含了11,000張手部的照片。

由于下載后還要自己整理圖片有些許麻煩，因此我也已做好圖片的懶人包，將圖片數(shù)據(jù)向量化，以及比對(duì)好卷標(biāo)檔的結(jié)果，并以Pickle文件格式儲(chǔ)存。

圖2為解析完的結(jié)果，列表內(nèi)的每個(gè)項(xiàng)目也是一個(gè)子列表，里面分別包含兩個(gè)Ndarray，第一個(gè)是形狀3×64×64的向量代表圖檔。 請(qǐng)注意，CNTK與Pytorch都是CHW格式：信道×高×寬。 另一個(gè)則是形狀為3的向量，里面三個(gè)數(shù)值分別為id(數(shù)值相同代表是同一個(gè)人的不同角度的手)、年齡(介于0~100)以及性別(0是表示女性，1是表示男性)。

圖2 Google手部圖片分析后的結(jié)果

CNTK與Pytorch的圖片格式要求是一樣的，在各家深度學(xué)習(xí)框架中，僅有Tensorflow的排列順序相反。 向量維度的排列是CHW(信道×高×寬)，顏色的排列順序是BGR(藍(lán)綠紅)，也就都是依照字母順序排列。

關(guān)于圖片與向量的轉(zhuǎn)換方法如下：

def img2array(img: Image):

arr=np.array(img).astype(np.float32)

arr=arr.transpose(2, 0, 1)#轉(zhuǎn)成CHW

arr=arr[::-1] #顏色排序?yàn)锽GR

return np.ascontiguousarray(arr)

def array2img(arr: np.ndarray):

sanitized_img=arr[::-1]#轉(zhuǎn)成RGB

sanitized_img=np.maximum(0, np.minimum(255, np.transpose(arr, (1, 2, 0))))#轉(zhuǎn)成HWC

img=Image.fromarray(sanitized_img.astype(np.uint8))

return img

為了供給建模使用的數(shù)據(jù)讀取器，同時(shí)也因?yàn)槲蚁胍吰涔τ谝灰?，讓兩種框架都可以一次適用，所以我寫了一個(gè)通用的讀取器來供應(yīng)每個(gè)Minibatch所需要的數(shù)據(jù)。 其中讀取圖片時(shí)，我將圖片向量除以255，而且讀取年齡時(shí)，我將數(shù)值除以100，都是為了確保數(shù)據(jù)可以介于0~1之間，以方便收斂。 在這個(gè)范例中因?yàn)槠P(guān)系暫時(shí)不放數(shù)據(jù)增強(qiáng)(Data Augmentation)。 利用函數(shù)，每次調(diào)用都可以回傳圖片以及所需要卷標(biāo)。 此外，要注意的是打亂圖片順序這個(gè)步驟很重要，Google的數(shù)據(jù)是有按照性別排序的。

在這里要示范的卷積神經(jīng)網(wǎng)絡(luò)骨干網(wǎng)絡(luò)用的是我最近很推崇的一篇文章所介紹的新架構(gòu)「DenseNet」，原始論文出處為「Densely Connected Convolutional Networks」。

傳統(tǒng)的卷積網(wǎng)絡(luò)都是線性的，但當(dāng)層數(shù)越多時(shí)，就有可能發(fā)生梯度彌散的問題，造成模型無(wú)法收斂。 正因如此，微軟亞洲院2015年發(fā)展出的殘差神經(jīng)網(wǎng)絡(luò)(ResNet)就使用了跳轉(zhuǎn)連接(Skip Connection)，以有效的將梯度挹注到后面神經(jīng)層，這樣模型就可以做出超深的架構(gòu)，也不用擔(dān)心難以收斂。

微軟2015年就以152層的ResNet獲得了當(dāng)年的imageNet冠軍。 但是深度學(xué)習(xí)在訓(xùn)練的過程中，當(dāng)卷積神經(jīng)網(wǎng)絡(luò)將梯度傳送到后層的時(shí)候，都會(huì)發(fā)生特征被隨機(jī)遺失，這樣這個(gè)特征就再也傳不下去而無(wú)用了。 為了解決這個(gè)問題，DenseNet的基本概念就是，每一層的特征都會(huì)傳送到后面的「每」一層，這樣就可以有效的確保訊號(hào)不被丟失。

圖3 ResNet架構(gòu)

DenseNet的基本結(jié)構(gòu)稱之為稠密單元(Dense Block)，它有幾個(gè)重要的超參數(shù)：

·k：稠密單元層數(shù)

·n_channel_start：初始信道數(shù)

·glowth_rate：信道成長(zhǎng)數(shù)

以圖4為例，假設(shè)下圖是一個(gè)k=4(向下傳遞4次，所以共5層)，初始信道數(shù)32，成長(zhǎng)數(shù)為16的Dense Block，分別計(jì)算每一層的輸入信道數(shù)(從前面?zhèn)鬟M(jìn)來)：

圖4 5層架構(gòu)的Dense Block

X1：32+16(來自于X0)=48

X2：48+16(來自于X1)=64

X3：64+16(來自于X0)+16(來自于X1)=96

X4：96+16(來自于X0)+16(來自于X1)+16(來自于X2)=144

Growth Rate有就是每次會(huì)傳遞多少信道到后面的層數(shù)，以上面說明案例固定數(shù)值為16，但該卷積層的信道數(shù)比這數(shù)字更大，因此等于是強(qiáng)迫每個(gè)卷積層要做一次特征選取，將特征精選之后傳至后方。 這種「Save the Best for Last」的精神，可以高度保全有效特征，以強(qiáng)化模型的收斂。 DenseNet就是利用多個(gè)DenseBlock構(gòu)成的網(wǎng)絡(luò)(圖5)。

另外，CNTK與Pytorch都沒有默認(rèn)的DenseNet，所以筆者用自定義網(wǎng)絡(luò)的方式實(shí)作了兩個(gè)框架下的DenseNet。 在該實(shí)作中，由于圖片只有64×64，經(jīng)不起太多次圖片縮小，因此使用了5層k=4的Dense Block。 同時(shí)，筆者也測(cè)試過3層，收斂速度快，但是結(jié)果測(cè)試集落差很大，顯著過擬合。 由于想要同時(shí)預(yù)測(cè)性別與年齡，CNTK一個(gè)很神奇的特性就是可以在一個(gè)主要骨架下，同時(shí)接兩個(gè)輸出，只需要使用Combine函數(shù)，就可以將兩個(gè)輸出合并。 未來更只要做一次預(yù)測(cè)，就能產(chǎn)出兩個(gè)預(yù)測(cè)結(jié)果，而且訓(xùn)練時(shí)也只要訓(xùn)練一次，而且骨干部分特征選取流程不需要做兩次，是不是很方便呢。 但如果你是使用其他框架就只好做兩個(gè)模型了。

預(yù)測(cè)性別部分，使用的是長(zhǎng)度為2的向量，最后一層全連接層活化函數(shù)使用Softmax已進(jìn)行分類。 預(yù)測(cè)年齡部分，由于讀取數(shù)據(jù)時(shí)已經(jīng)將年齡除以100，因此年齡分布為0~1之間的常態(tài)分布，因此使用Sigmoid函數(shù)效果較好。

最后的訓(xùn)練過程可以透過另一個(gè)函數(shù)來控制。 首先宣告輸入變量以及兩個(gè)輸出變量(性別與年齡)，然后宣告模型、損失函數(shù)以及正確率指針。 優(yōu)化器使用的是Adam，然后每50個(gè)Minibatch就用測(cè)試集測(cè)試一次。

筆者使用gtx-1080(minibatch size=64)跑完第3個(gè)epoch的結(jié)果如圖6，可以看出年齡誤差只有1.8%，性別目前仍有20.31%的錯(cuò)誤率，看來手真的藏不住年齡啊! 這個(gè)模型若是希望提升其泛化效果，應(yīng)該要在輸入數(shù)據(jù)加入數(shù)據(jù)增強(qiáng)。

圖6 使用gtx-1080(minibatch size=64)跑完第3個(gè)epoch的結(jié)果