確定最佳深度可以降低運(yùn)算成本，同時(shí)可以進(jìn)一步提高精度。針對(duì)深度置信網(wǎng)絡(luò)深度選擇的問(wèn)題，文章分析了通過(guò)設(shè)定閾值方法選擇最佳深度的不足之處。從信息論的角度，驗(yàn)證了信息熵在每層玻爾茲曼機(jī)（RBM）訓(xùn)練達(dá)到穩(wěn)態(tài)之后會(huì)達(dá)到收斂，以收斂之后的信息熵作為判斷最佳層數(shù)的標(biāo)準(zhǔn)。通過(guò)手寫(xiě)數(shù)字識(shí)別的實(shí)驗(yàn)發(fā)現(xiàn)該方法可以作為最佳層數(shù)的判斷標(biāo)準(zhǔn)。

*基金項(xiàng)目： 福建省自然科學(xué)基金資助項(xiàng)目(2014J01234)；福建省教育廳基金資助項(xiàng)目(JA15061)

人工神經(jīng)網(wǎng)絡(luò)是從信息處理角度對(duì)人腦神經(jīng)元網(wǎng)絡(luò)進(jìn)行抽象，建立某種簡(jiǎn)單模型，按不同的連接方式組成不同的網(wǎng)絡(luò)。2006年之前，多數(shù)的分類、回歸等學(xué)習(xí)方法通常都只是包含一層隱藏層的淺層學(xué)習(xí)模型，其局限性在于在有限樣本和計(jì)算單元情況下對(duì)復(fù)雜函數(shù)的表示能力有限。在2006年，多倫多大學(xué)的Hinton教授提出的深度信念網(wǎng)絡(luò)(Deep Belief Network，DBN)的深度學(xué)習(xí),使得人工神經(jīng)網(wǎng)絡(luò)又掀起了另一次浪潮。傳統(tǒng)的淺層神經(jīng)網(wǎng)絡(luò)隨機(jī)初始化網(wǎng)絡(luò)中的權(quán)值，容易出現(xiàn)收斂到局部最小值。針對(duì)這一問(wèn)題，Hinton教授提出使用無(wú)監(jiān)督訓(xùn)練的方法先初始化權(quán)值，再通過(guò)反向微調(diào)權(quán)值的方法來(lái)確定權(quán)值從而達(dá)到更好的效果。除此之外，Mikolov提出的基于時(shí)間的深度神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network，RNN)主要用于序列數(shù)據(jù)的預(yù)測(cè)，有一定的記憶效應(yīng)。而之后對(duì)于DBN的研究又?jǐn)U展了一些其他的變種，比如卷積深度置信網(wǎng)絡(luò)(ConvoluTIonal Deep Belief Networks，CDBN)等。

目前深度學(xué)習(xí)在語(yǔ)音識(shí)別、計(jì)算機(jī)視覺(jué)等領(lǐng)域已經(jīng)取得了巨大的成功。

但是對(duì)于深度學(xué)習(xí)的研究是近些年才開(kāi)始的，建模問(wèn)題是其中的關(guān)鍵問(wèn)題之一，如何針對(duì)不同的應(yīng)用構(gòu)建合適的深度模型是一個(gè)很有挑戰(zhàn)性的問(wèn)題。DBN目前在應(yīng)用中依然使用經(jīng)驗(yàn)值法來(lái)判斷DBN所選用的層數(shù)及其節(jié)點(diǎn)數(shù)，研究發(fā)現(xiàn)增加DBN的層數(shù)到一定的峰值之后，再次增加DBN的層數(shù)并不能提升系統(tǒng)性能，反而導(dǎo)致訓(xùn)練的時(shí)間過(guò)長(zhǎng)，從而增加了計(jì)算成本。

近年來(lái)針對(duì)DBN層數(shù)的確定已經(jīng)有了一些初步的進(jìn)展，其中高強(qiáng)利用中心極限定理證明了在受限玻爾茲曼機(jī)(Restricted Boltzmann Machine，RBM)訓(xùn)練達(dá)到穩(wěn)態(tài)后對(duì)應(yīng)的權(quán)值系數(shù)矩陣元素服從正態(tài)分布，隨著層數(shù)的增加，權(quán)值系數(shù)矩陣越來(lái)越趨于正態(tài)分布，以權(quán)值權(quán)重最趨近于正態(tài)分布的程度作為確定深度信念網(wǎng)絡(luò)層數(shù)的依據(jù)，通過(guò)求出正態(tài)分布滿足率來(lái)選擇合適的層數(shù)。潘廣源等人利用設(shè)定重構(gòu)誤差的閾值來(lái)確定層數(shù)，在重構(gòu)誤差未達(dá)到這個(gè)閾值時(shí)則增加一層，雖然重構(gòu)誤差能夠在一定程度上反映RBM對(duì)訓(xùn)練數(shù)據(jù)的似然度，不過(guò)并不完全可靠?？梢钥闯霈F(xiàn)在的方法基本上是設(shè)定一個(gè)閾值來(lái)進(jìn)行判斷，這樣的做法可能會(huì)導(dǎo)致雖然達(dá)到了閾值但是效果并不是很好的情況。綜合上述情況，本文提出利用在RBM訓(xùn)練達(dá)到穩(wěn)態(tài)后通過(guò)計(jì)算隱藏層的信息熵來(lái)判斷最佳層數(shù)，當(dāng)增加一層RBM后，信息熵也會(huì)增加，當(dāng)信息熵不再增加時(shí)則選取該層作為最佳層數(shù)。

2006年，Hinton等人提出了深度置信神經(jīng)網(wǎng)絡(luò)，該模型是通過(guò)若干個(gè)RBM疊加而成。RBM是一個(gè)兩層模型，分別為可見(jiàn)層和隱藏層，RBM的訓(xùn)練方法為首先隨機(jī)初始化可見(jiàn)層，然后在可見(jiàn)層和隱藏層之間進(jìn)行Gibbs采樣，通過(guò)可見(jiàn)層用條件概率分布P(h|v)來(lái)得到隱藏層，之后同樣利用P(v|h)來(lái)計(jì)算可見(jiàn)層，重復(fù)該過(guò)程使得可見(jiàn)層與隱藏層達(dá)到平衡，訓(xùn)練RBM網(wǎng)絡(luò)的目標(biāo)是使得計(jì)算后的可見(jiàn)層的分布最大可能地?cái)M合初始可見(jiàn)層的分布。而以訓(xùn)練數(shù)據(jù)為初始狀態(tài)，根據(jù)RBM的分布進(jìn)行一次Gibbs采樣后所獲得樣本與原數(shù)據(jù)的差異即為重構(gòu)誤差。

引入了RBM的訓(xùn)練精度隨著深度的增加而提高，并且證明了重構(gòu)誤差與網(wǎng)絡(luò)能量正相關(guān)，之后對(duì)重構(gòu)誤差的值設(shè)定一個(gè)閾值，如果沒(méi)有達(dá)到該閾值則增加一層；如果達(dá)到該閾值則取該層為最佳層數(shù)。通過(guò)最后的實(shí)驗(yàn)可以發(fā)現(xiàn)，雖然選取第4層為最佳層數(shù)，但重構(gòu)誤差在第5層和第6層依然在降低，如果閾值選取得不好，雖然重構(gòu)誤差能夠滿足閾值的條件，但是選擇的層數(shù)得出的結(jié)構(gòu)并不能取得很好的效果。

故本文提出利用穩(wěn)定后的隱藏層的信息熵來(lái)判斷最佳層數(shù)。通過(guò)信息論可知，信息熵的物理含義表示信源輸出后，信息所提供的平均信息量，以及信源輸出前，信源的平均不確定性，同時(shí)信息熵也可以說(shuō)是系統(tǒng)有序化程度的一個(gè)度量，一個(gè)系統(tǒng)越是有序，信息熵則越低，反之信息熵越高。而訓(xùn)練RBM的目標(biāo)是使得系統(tǒng)的能量函數(shù)越小，使系統(tǒng)越有序。所以在RBM訓(xùn)練完之后，信息熵將會(huì)收斂于一個(gè)較小值。

假設(shè)輸入的矩陣為V=(v1，v2，v3，…，vi)，經(jīng)過(guò)RBM訓(xùn)練之后的輸出矩陣為Y=(y1，y2，y3，…，yj)，經(jīng)過(guò)RBM的訓(xùn)練模型可以通過(guò)已知的可視節(jié)點(diǎn)得到隱藏節(jié)點(diǎn)的值，即：

P(Y)=S(WV+B)(1)

其中W為權(quán)重矩陣，B為偏置矩陣，S(x)為激活函數(shù)，一般選取Sigmoid函數(shù)，即：

信息熵的求解公式為：

根據(jù)Hinton提出的對(duì)比散度的算法［13］，權(quán)重和偏置會(huì)根據(jù)下式進(jìn)行更新:

wi,j=wi,j+［P(hi=1|V(0))v(0)j-P(hi=1|V(k))v(k)j］(4)

bi=bi+［P(hi=1|V(0))-P(hi=1|V(k))］(5)

當(dāng)RBM訓(xùn)練到達(dá)終態(tài)后，則權(quán)值wi,j和偏置bi會(huì)逐漸收斂，而v是輸入數(shù)據(jù)，是確定值，所以在訓(xùn)練達(dá)到終態(tài)后，p(yi)也會(huì)逐漸收斂，同樣信息熵H(Y)會(huì)收斂于一個(gè)較小值。

當(dāng)訓(xùn)練完一層之后，將隱藏層作為第2層的可見(jiàn)層輸入并開(kāi)始訓(xùn)練第2層RBM。根據(jù)信息熵的另一個(gè)物理含義平均信息量可知，在消除不確定性后，信息熵越大則表示所獲得的信息量越多，則隱藏層對(duì)于抽取的特征信息量也越大。所以當(dāng)信息熵不再增加時(shí)，所表示的信息量也不再增大，將每層的RBM看作為一個(gè)信源，則最后一層的RBM收斂之后信息熵應(yīng)該比其他層的大，這樣輸入到有監(jiān)督學(xué)習(xí)中的信息量才會(huì)最大。所以當(dāng)信息熵不再增加時(shí)，則選擇該層作為最佳層數(shù)。