先盜一圖，摘自ImageNet Classification with Deep Convolutional Neural Networks（Hinton）

由作者的原文可知，AlexNet模型在訓練時使用了兩個GPU，所以就出現(xiàn)了一些參數(shù)為兩個GPU共享，一些參數(shù)是GPU獨享。在建立此訓練模型前，先分析各層的參數(shù)關系。

AlexNet模型共有5個卷積層，3個全連接層，前兩個卷積層和第五個卷積層有pool池化層，其他兩個卷積層沒有池化。

第一卷積層：

由AlexNet架構圖，第一卷積層的卷積核有96個（兩個GPU各用48個），卷積核的尺度為11*11*3（3為RGB通道數(shù)），步長stride為4。生成的卷積特征圖單元數(shù)為55*55*48*2，每個特征圖尺度為55*55，由此可知輸入圖像尺度為227*227(55(單向尺度)*4(步長) + (11(卷積核尺度)-4(步長)) = 227)。因此輸入圖像單元數(shù)為227*227*3*1。

第一池化層：

輸入單個特征圖尺度為55*55，池化尺度3*3，步長為2，輸出池化特征圖尺度為27*27((55(單向尺度)-3(池化尺度))/2(步長)+1 = 27)。特征圖單元數(shù)為27*27*48*2.

第二卷積層：

由AlexNet架構圖，卷積核有256個（兩個GPU各128個，同時各作用于各GPU內的第一池化層的輸出），卷積核尺度5*5*3，步長為1，生成卷積特征圖單元數(shù)為27*27*128*2，每個特征圖尺度為27*27，由此計算輸入特征圖尺度為31*31(27(單向尺度)*1(步長)+(5(卷積核尺度)-1(步長))= 31)。因此輸入特征圖單元數(shù)為31*31*96。

第二池化層：

輸入單個特征圖尺度為27*27，池化尺度3*3，步長為2，輸出池化特征圖尺度為13*13((27(單向尺度)-3(池化尺度))/2(步長)+ 1 = 13)。特征圖單元數(shù)為13*13*128*2.

第三卷積層：

由AlexNet架構圖，卷積核有384個（兩個GPU各192個，同時需要共享各自GPU第二池化層的輸出），卷積核尺度為3*3*3，步長為1，生成卷積特征圖單元數(shù)為13*13*192*2，每個特征圖尺度為13*13，由此計算輸入特征圖尺度為15*15(13(單向尺度)*1(步長)+(3(卷積核尺度)-1(步長))=15)。因此輸入特征圖單元數(shù)為15*15*256。

第四卷積層：

由AlexNet架構圖，卷積核有384個（兩個GPU各192個，同時不共享各自GPU內的第三卷積層輸出），卷積核尺度為3*3*3，步長為1，生成卷積特征圖單元數(shù)為13*13*192*2，每個特征圖尺度為13*13，由此計算輸入特征圖尺度為15*15(13(單向尺度)*1(步長)+(3(卷積核尺度)-1(步長))=15)。因此輸入特征圖單元數(shù)為15*15*384。

第五卷積層：

由AlexNet架構圖，卷積核有256個（兩個GPU各128個，同時不共享各自GPU內的第四卷積層輸出），卷積核尺度為3*3*3，步長為1，生成卷積特征圖單元數(shù)為13*13*128*2，每個特征圖尺度為13*13，由此計算輸入特征圖尺度為15*15(13(單向尺度)*1(步長)+(3(卷積核尺度)-1(步長))=15)。因此輸入特征圖單元數(shù)為15*15*384。

第五池化層：

輸入單個特征圖尺度13*13，池化尺度3*3，步長為2，輸出池化特征圖尺度為6*6((13(單向尺度)-3(池化尺度))/2(步長)+1 = 6)。特征圖單元數(shù)為6*6*256.

第一全連接層：

輸入特征圖單元數(shù)為6*6*256，輸出特征圖單元數(shù)為4096，全連接參數(shù)個數(shù)為6*6*256*4096.

第二全連接層：

輸入特征圖單元數(shù)4096，輸出特征圖單元數(shù)為4096，全連接參數(shù)個數(shù)為4096*4096.

第三全連接層：

即輸出層，輸入特征圖單元數(shù)為4096，輸出特征圖單元數(shù)為1000，全連接參數(shù)個數(shù)為4096*1000.