目前，基于通用GPU的邊緣計算處理器無法滿足日益增長的人工智能處理需求。以搭載有圖像識別和分析功能的邊緣計算設備為例，其系統(tǒng)功耗和發(fā)熱量與通用GPU相比有明顯增加，不得不通過提升成本擴容設備等方式滿足AI處理需求。

量化DNN引擎

為提高AI處理性能并減少系統(tǒng)功耗，Socionext開發(fā)了一款采用“量化DNN技術”的專有體系架構，它減少了深度學習所需的參數(shù)和激活位。該體系架構將1-bit (binary)、2-bit (ternary) 低比特率技術、傳統(tǒng)8-bit技術及公司獨創(chuàng)的參數(shù)壓縮技術結合，以較少的計算資源執(zhí)行大量計算處理，并減少數(shù)據(jù)量。

除此以外，Socionext還開發(fā)了一種新穎的片上存儲技術，可提供高效的數(shù)據(jù)傳輸，從而減少深度學習通常所需的大容量片上或外部存儲器。

通過結合上述新技術，Socionext將AI芯片及“DNN引擎”原型化，并確認了其功能和性能。 原型化芯片通過“YOLO v3”以不到5W的低功耗及30fps的速度實現(xiàn)了目標檢測，其效率是通用GPU的10倍。 此外，該芯片還配備了高性能、低功耗的Arm Cortex-A系列CPU，無需外部處理器即可以單芯片執(zhí)行整個AI處理。

深度學習軟件開發(fā)環(huán)境

除硬件開發(fā)外，Socionext還構建了深度學習軟件開發(fā)環(huán)境，通過結合TensorFlow作為基本框架，允許開發(fā)人員用原始低bit位進行量化感知訓練(Quantization Aware Training)和訓練后量化(Post Training Quantization)。