比現(xiàn)有解決方案高數(shù)倍的實(shí)際吞吐量，低數(shù)倍的功耗和成本

美國加州山景城，2019年4月10日 – Flex Logixa Technologies， Inc. 宣布，其在擁有數(shù)個專利的業(yè)界領(lǐng)先的eFPGA互連技術(shù)上，結(jié)合專為AI推理運(yùn)算而優(yōu)化的nnMAXtm乘加器（MAC）， 研發(fā)了 InferXtm X1邊緣推理芯片。今天在美國硅谷舉辦的Linley Processor Conference，F(xiàn)lex Logix介紹了 InferX X1芯片及其性能。作為一款針對于邊緣AI推理應(yīng)用的芯片，InferX X1有著極高的 MAC 利用率以及出眾的能效比 — 只需要一顆x32的DRAM， 就可以達(dá)到8TOPS的算力。這在邊緣推理這種只需 low batch size 的應(yīng)用場景中顯得極為重要。與現(xiàn)有的解決方案相比，InferX X1能以更低的功耗，更低的成本，提供更高的算力。

InferX X1可以支持語音，圖像，視頻等任何基于TensorFlow-Lite或ONNX的模型和算法，特別適用于大型的模型算法和實(shí)時識別。例如YOLOv3實(shí)時物體識別算法，InferX X1在batch=1的情況下，可以對1Megapixel圖像 達(dá)到25.4幀每秒（fps）的吞吐量。對2Megapixel高清圖像達(dá)到12.7幀每秒（fps）。而達(dá)到這樣的高吞吐量只需要用到一個x32的DRAM。

InferX 支持INT8，INT16，BF16并可以在不同的算法層混合使用，方便客戶根據(jù)自己的需求來優(yōu)化吞吐量和算法精度。InferX還內(nèi)置有Winograd變換來加速INT8計(jì)算卷積，芯片會自動對適用的矩陣乘法來實(shí)時轉(zhuǎn)換weights到Winograd模式，得到將近2.25倍的性能提升。由于InferX的Winograd是用12bits來計(jì)算的，所以精度不會有損失。

Flex Logix提供客戶完整的軟件開發(fā)環(huán)境?？蛻艨梢灾苯訉⒒赥ensorFlow-Lite或ONNX的算法直接用Flex Logix的nnMAX Compiler軟件來編譯。

Flex Logix將提供InferX X1芯片。芯片可以通過擴(kuò)展口來連接數(shù)個芯片以增加算力。Flex Logix同時還會提供搭載InferX X1的半高半長PCIe卡給Edge Server和gateway客戶。

“設(shè)計(jì)邊緣神經(jīng)網(wǎng)絡(luò)推理芯片的一個難題是如何降低大量的數(shù)據(jù)交換及降低功耗，而我們的可編程互連技術(shù)是接近完美的解決方案?！盕lex Logix CEO Geoff Tate說。”在運(yùn)算一層網(wǎng)絡(luò)的時候，我們利用可編程互連將InferX的MAC根據(jù)這一層網(wǎng)絡(luò)的dataflow來連接，等于是專為這一層運(yùn)算配置了一個ASIC。同時對下一層網(wǎng)進(jìn)行絡(luò)pre-load，以實(shí)現(xiàn)在這一層運(yùn)算完后可以最快速地配置下一層。同樣的可編程互連也與片上的SRAM連接，將這一層的輸出，快速配置成下一層的輸入，從而避免了大量的數(shù)據(jù)交換。所以InferX只需要一顆x32 DRAM就夠了。這讓我們可以將芯片設(shè)計(jì)得更小，大大降低了功耗和成本?！?/p>

Geoff Tate還說， “我們還在芯片里加上了Winograd來加速INT8的運(yùn)算，這讓客戶在選擇INT8時能得到更高的吞吐量。而同時我們也支持BF16，讓對精度更在意的客戶在需要時也能運(yùn)用?？蛻艨梢赃x擇根據(jù)自己的需求在不同的網(wǎng)絡(luò)層混合運(yùn)用來到達(dá)高精度，高吞吐量。”

一個創(chuàng)新的可編程互連技術(shù)，兩個高速成長的產(chǎn)品線

Flex Logix在其擁有十余個專利的創(chuàng)新可編程互連技術(shù)上研發(fā)了EFLX eFPGA IP. Flex Logix已經(jīng)成為eFPGA IP市場的領(lǐng)先者，已有包括大唐辰芯，美國波音，SiFive RISC-V等十余個客戶正在應(yīng)用Flex Logix的eFPGA IP。

最新研發(fā)的nnMAX AI IP，即InferX芯片中使用的新推理架構(gòu)，利用了同樣的可編程互連技術(shù)，并結(jié)合了專為AI推理而設(shè)計(jì)的乘加器（MAC）和存儲單元。這些乘加器能支持INT8， INT16， BF16等AI算法里常見的精度數(shù)字。每一顆nnMAX IP單元擁有1024個乘加器以及相應(yīng)的SRAM，在16nm制程上可以提供2 TOPS的算力。nnmAX IP單元可以根據(jù)需求拼接成NxN的陣列，最大可以提供超過100 TOPS的算力。

Flex Logix在InferX X1芯片里集成了4個nnMAX IP單元，提供8 TOPS的算力。

InferX X1推理芯片計(jì)劃于Q3 2019流片，樣片和PCIe板可于年底提供?；谂_積電16nm的nnMAX IP將于Q3 2019提供授權(quán)給客戶用于集成到客戶自己的ASIC或SoC.