基于FPGA的通用CNN加速設(shè)計(jì)，可以大大縮短FPGA開發(fā)周期，支持業(yè)務(wù)深度學(xué)習(xí)算法快速迭代；提供與GPU相媲美的計(jì)算性能，但擁有相較于GPU數(shù)量級(jí)的延時(shí)優(yōu)勢(shì)，為業(yè)務(wù)構(gòu)建最強(qiáng)勁的實(shí)時(shí)AI服務(wù)能力。

隨著互聯(lián)網(wǎng)用戶的快速增長(zhǎng)，數(shù)據(jù)體量的急劇膨脹，數(shù)據(jù)中心對(duì)計(jì)算的需求也在迅猛上漲。同時(shí)，人工智能、高性能數(shù)據(jù)分析和金融分析等計(jì)算密集型領(lǐng)域的興起，對(duì)計(jì)算能力的需求已遠(yuǎn)遠(yuǎn)超出了傳統(tǒng)CPU處理器的能力所及。

異構(gòu)計(jì)算被認(rèn)為是現(xiàn)階段解決此計(jì)算溝壑的關(guān)鍵技術(shù)，目前 “CPU+GPU”以及“CPU+FPGA” 是最受業(yè)界關(guān)注的異構(gòu)計(jì)算平臺(tái)。它們具有比傳統(tǒng)CPU并行計(jì)算更高效率和更低延遲的計(jì)算性能優(yōu)勢(shì)。面對(duì)如此巨大的市場(chǎng)，科技行業(yè)大量企業(yè)投入了大量的資金和人力，異構(gòu)編程的開發(fā)標(biāo)準(zhǔn)也在逐漸成熟，而主流的云服務(wù)商更是在積極布局。

業(yè)界可以看到諸如微軟等巨頭公司已經(jīng)部署大批量的FPGA來(lái)做AI inference加速，F(xiàn)PGA相較于其他器件的優(yōu)勢(shì)是什么呢？

Flexibility：可編程性天然適配正在快速演進(jìn)的ML算法

DNN、CNN、LSTM、MLP、reinforcement learning以及決策樹等等

任意精度動(dòng)態(tài)支持

模型壓縮、稀疏網(wǎng)絡(luò)、更快更好的網(wǎng)絡(luò)

Performance：構(gòu)建實(shí)時(shí)性AI服務(wù)能力

相較于GPU/CPU數(shù)量級(jí)提升的低延時(shí)預(yù)測(cè)能力

相較于GPU/CPU數(shù)量級(jí)提升的單瓦特性能能力

Scale

板卡間高速互聯(lián)IO

Intel CPU-FPGA構(gòu)架

與此同時(shí)，F(xiàn)PGA的短板也非常的明顯，F(xiàn)PGA使用HDL硬件描述語(yǔ)言來(lái)進(jìn)行開發(fā)，開發(fā)周期長(zhǎng)，入門門檻高。以單獨(dú)的經(jīng)典模型如Alexnet以及Googlenet為例，針對(duì)一個(gè)模型進(jìn)行定制的加速開發(fā)，往往需要數(shù)月的時(shí)間。業(yè)務(wù)方以及FPGA加速團(tuán)隊(duì)需要兼顧算法迭代以及適配FPGA硬件加速，十分痛苦。

一方面需要FPGA提供相較于CPU/GPU有足夠競(jìng)爭(zhēng)力的低延時(shí)高性能服務(wù)，一方面需要FPGA的開發(fā)周期跟上深度學(xué)習(xí)算法的迭代周期，基于這兩點(diǎn)我們?cè)O(shè)計(jì)開發(fā)了一款通用的CNN加速器。兼顧主流模型算子的通用設(shè)計(jì)，以編譯器產(chǎn)生指令的方式來(lái)驅(qū)動(dòng)模型加速，可以短時(shí)間內(nèi)支持模型切換；同時(shí)，對(duì)于新興的深度學(xué)習(xí)算法，在此通用基礎(chǔ)版本上進(jìn)行相關(guān)算子的快速開發(fā)迭代，模型加速開發(fā)時(shí)間從之前的數(shù)月降低到現(xiàn)在的一到兩周之內(nèi)。

基于FPGA的通用CNN加速器整體框架如下，通過(guò)Caffe/Tensorflow/Mxnet等框架訓(xùn)練出來(lái)的CNN模型，通過(guò)編譯器的一系列優(yōu)化生成模型對(duì)應(yīng)的指令；同時(shí)，圖片數(shù)據(jù)和模型權(quán)重?cái)?shù)據(jù)按照優(yōu)化規(guī)則進(jìn)行預(yù)處理以及壓縮后通過(guò)PCIe下發(fā)到FPGA加速器中。FPGA加速器完全按照指令緩沖區(qū)中的指令集驅(qū)動(dòng)工作，加速器執(zhí)行一遍完整指令緩沖區(qū)中的指令則完成一張圖片深度模型的計(jì)算加速工作。每個(gè)功能模塊各自相對(duì)獨(dú)立，只對(duì)每一次單獨(dú)的模塊計(jì)算請(qǐng)求負(fù)責(zé)。加速器與深度學(xué)習(xí)模型相抽離，各個(gè)layer的數(shù)據(jù)依賴以及前后執(zhí)行關(guān)系均在指令集中進(jìn)行控制。

簡(jiǎn)單而言，編譯器的主要工作就是對(duì)模型結(jié)構(gòu)進(jìn)行分析優(yōu)化，然后生成FPGA高效執(zhí)行的指令集。編譯器優(yōu)化的指導(dǎo)思想是：更高的MAC dsp計(jì)算效率以及更少的內(nèi)存訪問(wèn)需求。

接下來(lái)我們以Googlenet V1模型為例，對(duì)加速器的設(shè)計(jì)優(yōu)化思路做簡(jiǎn)單的分析。IncepTIon v1的網(wǎng)絡(luò)，將1x1、3x3、5x5的conv和3x3的pooling stack在一起，一方面增加了網(wǎng)絡(luò)的width，另一方面增加了網(wǎng)絡(luò)對(duì)尺度的適應(yīng)性。下圖為模型中IncepTIon的基本結(jié)構(gòu)。

此部分主要分析挖掘模型中可流水化以及可并行化的計(jì)算。流水化的設(shè)計(jì)可以提高加速器中的計(jì)算單元利用率，并行化的計(jì)算可以在同一時(shí)刻利用盡量多的計(jì)算單元。

關(guān)于流水，分析部分包括數(shù)據(jù)從DDR加載到FPGA片上SRAM的操作與PE進(jìn)行計(jì)算的流水，通過(guò)此項(xiàng)優(yōu)化將內(nèi)存訪問(wèn)的時(shí)間overlap；DSP計(jì)算整列的計(jì)算控制過(guò)程，保證DSP利用率的提升。

關(guān)于并行，需要重點(diǎn)分析PE計(jì)算陣列與激活、pooling以及歸一化等“后處理”模塊之間的并行關(guān)系，如何確定好數(shù)據(jù)依賴關(guān)系以及防止沖突是此處設(shè)計(jì)關(guān)鍵。在IncepTIon中，可以從其網(wǎng)絡(luò)結(jié)構(gòu)中看到，branch a/b/c的1x1的卷積計(jì)算與branch d中的pooling是可以并行計(jì)算的，兩者之間并不存在數(shù)據(jù)依賴關(guān)系。通過(guò)此處優(yōu)化，3x3 max pooling layer的計(jì)算就可以被完全overlap。

在設(shè)計(jì)中主要考慮兩個(gè)方面：尋找模型結(jié)構(gòu)優(yōu)化以及支持動(dòng)態(tài)精度調(diào)整的定點(diǎn)化。