最近為什么越來越多的研究開始利用FPGA作為CNN加速器？FPGA與CNN的相遇究竟能帶來什么神奇效果呢？原來，FPGA擁有大量的可編程邏輯資源，相對(duì)于GPU，它的可重構(gòu)性以及高功耗能效比的優(yōu)點(diǎn)，是GPU無法比擬的；同時(shí)，基于OpenCL的高層次綜合工具，可以為CNN在FPGA上的實(shí)現(xiàn)提供快速的驗(yàn)證和實(shí)現(xiàn)流程。

在眾多的該類研究里面，由北京交通大學(xué)王東老師帶領(lǐng)他的團(tuán)隊(duì)所設(shè)計(jì)的開源PipeCNN模型最為突出， 該模型是一種基于OpenCL的FPGA加速算法設(shè)計(jì)，是大規(guī)模卷積神經(jīng)網(wǎng)絡(luò)（CNN）模型。主要目標(biāo)是在FPGA上提供基于OpenCL的通用且高效的CNN加速器設(shè)計(jì)。這種設(shè)計(jì)模型被廣泛應(yīng)用于圖像分類、視頻分析和語音識(shí)別等領(lǐng)域。PipeCNN在性能和硬件資源方面都具有很好的可擴(kuò)展性，可以部署在各種FPGA平臺(tái)上。該設(shè)計(jì)可謂是給FPGA 用戶帶來強(qiáng)大的AI幫手。

王東老師團(tuán)隊(duì)提出的PipeCNN模型是一種具有流水線內(nèi)核的高效硬件架構(gòu), 在OpenCL的異構(gòu)并行計(jì)算框架下，設(shè)計(jì)了卷積(Convolution)，池化(Pooling)， 局部響應(yīng)歸一化(LRN)和Data Mover 等Kernel。此架構(gòu)在FPGA內(nèi)實(shí)現(xiàn)能有效的減少內(nèi)存占用和帶寬要求，從而提高效能。以下是來自王東老師 FPT 會(huì)議論文里面 PipeCNN 架構(gòu)框圖：

他們?cè)?/span>FPT 會(huì)議論文里面還對(duì)不同FPGA平臺(tái)的性能、成本和功耗進(jìn)行了總結(jié)：

在表中可以看到, 對(duì)于AlexNet 模型,  PipeCNN實(shí)現(xiàn)的最佳性能是在DE5a-net平臺(tái)上, 平均速度為200 fps（5ms / img）。而單純使用安裝Caffe工具的電腦上（Intel i5-4690K CPU， 64GB 存儲(chǔ)）執(zhí)行AlexNet和VGG-16的運(yùn)行時(shí)間則分別為189毫秒和1547毫秒。我們對(duì)比一下可以看到使用基于FPGA的加速器對(duì)AlexNet 模型相對(duì)于CPU可以實(shí)現(xiàn)高達(dá)37倍的性能。

王東老師團(tuán)隊(duì)帶著PipeCNN設(shè)計(jì)成果參加了2018 Innovate FPGA全球創(chuàng)新大賽，在大中華區(qū)決賽現(xiàn)場(chǎng)，該團(tuán)隊(duì)成功演示了如下這些應(yīng)用：
（1）ImageNet圖像分類：基于AlexNet網(wǎng)絡(luò)對(duì)ImageNet數(shù)據(jù)集進(jìn)行實(shí)時(shí)分類

（2）基于攝像頭的物體識(shí)別：通過攝像頭采集目標(biāo)物體圖像，并對(duì)其進(jìn)行識(shí)別

（3）人臉識(shí)別：基于VGG-16網(wǎng)絡(luò)對(duì)給定人臉進(jìn)行實(shí)時(shí)的識(shí)別

（4）目標(biāo)檢測(cè)：基于Faster R-CNN網(wǎng)絡(luò)在分類圖像的同時(shí)把物體用矩形框圈出來。

如下是來自區(qū)域賽當(dāng)時(shí)演示的照片，讓大家一起來感受下現(xiàn)場(chǎng)吧：

王東老師的 PipeCNN 項(xiàng)目已在github上開源，因此可以被研究人員用作探索新硬件架構(gòu)的通用框架，也可以被高校教師作為與FPGA相關(guān)的任何學(xué)術(shù)課程的自定義設(shè)計(jì)示例。在Innovate FPGA創(chuàng)新大賽的大中華區(qū)決賽現(xiàn)場(chǎng)上, 便同時(shí)有兩支決賽隊(duì)伍使用到開源PipeCNN模型進(jìn)行圖片辨識(shí)，參賽隊(duì)伍們表示，使用PipeCNN設(shè)計(jì)，大幅度減少他們關(guān)于深度學(xué)習(xí)這塊工作的開發(fā)時(shí)間，還能達(dá)到期望的目標(biāo)效能，特別感謝這個(gè)開源PipeCNN設(shè)計(jì)。目前PipeCNN這一研究成果的應(yīng)用已被全球很多用戶所采用并在各種友晶科技的開發(fā)板(例如DE1-Soc/DE5a-Net)上運(yùn)用起來。

最后該成果在Innovate FPGA全球創(chuàng)新大賽-大中華區(qū)決賽中榮獲特等獎(jiǎng)，將代表大中華區(qū)前往美國(guó)硅谷參加全球總決賽。該隊(duì)伍將與來自全球各賽區(qū)產(chǎn)生出的11支隊(duì)伍一較高下,期待他們?nèi)〉煤贸煽?jī)。

Innovate FPGA全球創(chuàng)新大賽全球總決賽將于8月15于英特爾美國(guó)硅谷總部盛大舉行，此次代表大中華區(qū)的隊(duì)伍由北京交通大學(xué)王東老師團(tuán)隊(duì)、武漢大學(xué)常勝老師團(tuán)隊(duì)以及重慶大學(xué)何偉、林英撐老師團(tuán)隊(duì)組成，讓我們一起為大中華區(qū)代表對(duì)打Call!