自從AlexNet一舉奪得ILSVRC 2012 ImageNet圖像分類競賽的冠軍后，卷積神經網絡（CNN）的熱潮便席卷了整個計算機視覺領域。CNN模型火速替代了傳統(tǒng)人工設計（hand-crafted）特征和分類器，不僅提供了一種端到端的處理方法，還大幅度地刷新了各個圖像競賽任務的精度，更甚者超越了人眼的精度（LFW人臉識別任務）。CNN模型在不斷逼近計算機視覺任務的精度極限的同時，其深度和尺寸也在成倍增長。
 

表1 幾種經典模型的尺寸，計算量和參數數量對比

Model Model Size(MB) Million
Mult-Adds Million
Parameters
AlexNet[1] >200 720 60 
VGG16[2] >500 15300 138 
GoogleNet[3] ~50 1550 6.8 
IncepTIon-v3[4] 90-100 5000 23.2

隨之而來的是一個很尷尬的場景：如此巨大的模型只能在有限的平臺下使用，根本無法移植到移動端和嵌入式芯片當中。就算想通過網絡傳輸，但較高的帶寬占用也讓很多用戶望而生畏。另一方面，大尺寸的模型也對設備功耗和運行速度帶來了巨大的挑戰(zhàn)。因此這樣的模型距離實用還有一段距離。

在這樣的情形下，模型小型化與加速成了亟待解決的問題。其實早期就有學者提出了一系列CNN模型壓縮方法，包括權值剪值（prunning）和矩陣SVD分解等，但壓縮率和效率還遠不能令人滿意。

近年來，關于模型小型化的算法從壓縮角度上可以大致分為兩類：從模型權重數值角度壓縮和從網絡架構角度壓縮。另一方面，從兼顧計算速度方面，又可以劃分為：僅壓縮尺寸和壓縮尺寸的同時提升速度。

本文主要討論如下幾篇代表性的文章和方法，包括SqueezeNet[5]、Deep Compression[6]、XNorNet[7]、DisTIlling[8]、MobileNet[9]和ShuffleNet[10]，也可按照上述方法進行大致分類：

表2 幾種經典壓縮方法及對比

Method Compression Approach Speed ConsideraTIon
SqueezeNet architecture No 
Deep Compression weights No 
XNorNet weights Yes 
DisTIlling architecture No 
MobileNet architecture Yes 
ShuffleNet architecture Yes

1.1 設計思想

SqueezeNet是F. N. Iandola,S.Han等人于2016年的論文《SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and < 0.5MB model size》中提出的一個小型化的網絡模型結構，該網絡能在保證不損失精度的同時，將原始AlexNet壓縮至原來的510倍左右（< 0.5MB）。

SqueezeNet的核心指導思想是——在保證精度的同時使用最少的參數。

而這也是所有模型壓縮方法的一個終極目標。

基于這個思想，SqueezeNet提出了3點網絡結構設計策略：

策略 1.將3x3卷積核替換為1x1卷積核。

這一策略很好理解，因為1個1x1卷積核的參數是3x3卷積核參數的1/9，這一改動理論上可以將模型尺寸壓縮9倍。

策略 2.減小輸入到3x3卷積核的輸入通道數。

我們知道，對于一個采用3x3卷積核的卷積層，該層所有卷積參數的數量（不考慮偏置）為：

式中，N是卷積核的數量，也即輸出通道數，C是輸入通道數。

因此，為了保證減小網絡參數，不僅僅需要減少3x3卷積核的數量，還需減少輸入到3x3卷積核的輸入通道數量，即式中C的數量。

策略 3.盡可能的將降采樣放在網絡后面的層中。

在卷積神經網絡中，每層輸出的特征圖（feature map）是否下采樣是由卷積層的步長或者池化層決定的。而一個重要的觀點是：分辨率越大的特征圖（延遲降采樣）可以帶來更高的分類精度，而這一觀點從直覺上也可以很好理解，因為分辨率越大的輸入能夠提供的信息就越多。

上述三個策略中，前兩個策略都是針對如何降低參數數量而設計的，最后一個旨在最大化網絡精度。

1.2 網絡架構