全球領(lǐng)先的無(wú)線(xiàn)連接、智能感知技術(shù)及定制SoC解決方案的授權(quán)許可廠(chǎng)商CEVA, Inc. (納斯達(dá)克股票代碼： CEVA)宣布推出增強(qiáng)型NeuPro-M NPU系列，以業(yè)界領(lǐng)先的性能和能效滿(mǎn)足下一代生成式人工智能(Generative AI)的處理需求，適用于從云端到邊緣的各類(lèi)別的人工智能推理工作負(fù)載。NeuPro-M NPU架構(gòu)和工具經(jīng)過(guò)重新設(shè)計(jì)，除支持CNN和其他神經(jīng)網(wǎng)絡(luò)外，還支持transformer網(wǎng)絡(luò)，并支持未來(lái)的機(jī)器學(xué)習(xí)推理模型，因而能夠在通信網(wǎng)關(guān)、光連接網(wǎng)絡(luò)、汽車(chē)、筆記本電腦和平板電腦、AR/VR頭戴式設(shè)備、智能手機(jī)以及任何其他云端或邊緣使用案例中，基于NeuPro-M NPU進(jìn)行無(wú)縫開(kāi)發(fā)和運(yùn)行高度優(yōu)化的應(yīng)用，充分利用生成式人工智能和傳統(tǒng)人工智能的功能。

CEVA副總裁兼視覺(jué)業(yè)務(wù)部門(mén)總經(jīng)理Ran Snir 評(píng)論道：“基于transformer的網(wǎng)絡(luò)需要大量增加計(jì)算和內(nèi)存資源以推動(dòng)生成式人工智能，從而要求新的方法和優(yōu)化的處理架構(gòu)來(lái)滿(mǎn)足這股計(jì)算和內(nèi)存需求的增長(zhǎng)。我們的 NeuPro-M NPU IP經(jīng)過(guò)專(zhuān)門(mén)設(shè)計(jì)，高效、低成本地處理當(dāng)前和未來(lái)的傳統(tǒng)人工智能和生成式人工智能工作負(fù)載。這款I(lǐng)P具有可擴(kuò)展性，可處理從邊緣到云端的用例，并可以在未來(lái)支持新的推理模型。我們利用這款架構(gòu)實(shí)現(xiàn)了性能飛躍，為各種使用案例帶來(lái)了美好的生成式人工智能前景，涵蓋從成本敏感的邊緣設(shè)備到高效的云計(jì)算，以及兩者之間的所有應(yīng)用?！?

市場(chǎng)研究機(jī)構(gòu)ABI Research預(yù)測(cè)，邊緣人工智能出貨量將從2023年的24億臺(tái)增長(zhǎng)到2028年的65億臺(tái)，年均復(fù)合增長(zhǎng)率(CAGR)為22.4%*。生成式人工智能將是支撐增長(zhǎng)的重要力量，而日益復(fù)雜的智能邊緣應(yīng)用正在推動(dòng)對(duì)更強(qiáng)大、更高效的人工智能推理技術(shù)的需求。特別地，雖然生成式人工智能中使用的大型語(yǔ)言模型(LLM)以及視覺(jué)和音頻transformer能夠改變產(chǎn)品和行業(yè)，但在邊緣設(shè)備上運(yùn)行時(shí)，將會(huì)對(duì)性能、功耗、成本、延遲和內(nèi)存帶來(lái)新的挑戰(zhàn)。

ABI Research高級(jí)分析師Reece Hayden表示：“如今，生成式人工智能的硬件市場(chǎng)高度集中，少數(shù)幾家廠(chǎng)商占據(jù)主導(dǎo)地位。為了兌現(xiàn)技術(shù)承諾，在云端和邊緣領(lǐng)域都需要明確的路徑去實(shí)現(xiàn)更低功耗、更低成本推理處理，這將通過(guò)更小的模型尺寸和更高效的硬件來(lái)實(shí)現(xiàn)。CEVA的NeuPro-M NPU IP是別具吸引力的方案，能夠在設(shè)備上部署具有出色功耗預(yù)算的生成式人工智能，同時(shí)具有可擴(kuò)展性，使得NeuPro-M能夠滿(mǎn)足網(wǎng)絡(luò)設(shè)備及其他設(shè)備中更多的性能密集型用例。

受益于推理和建模技術(shù)的不斷發(fā)展，人們?cè)谠O(shè)備層面可以利用更小的特定領(lǐng)域LLM、視覺(jué)transformer和其他生成式人工智能模型的新功能，相應(yīng)地，這將改變基礎(chǔ)設(shè)施、工業(yè)、汽車(chē)、PC、消費(fèi)產(chǎn)品和移動(dòng)市場(chǎng)的應(yīng)用。最重要的是，由于集成了矢量處理單元(VPU)，增強(qiáng)型NeuPro-M 架構(gòu)具有高度通用性和面向未來(lái)的可擴(kuò)展性，可支持未來(lái)的任何網(wǎng)絡(luò)層。此外，這款架構(gòu)還支持任何激活函數(shù)和任何數(shù)據(jù)流，具有數(shù)據(jù)和權(quán)重的真正稀疏性，最高可將處理性能提升 4 倍，使得客戶(hù)能夠使用單一 NPU 系列滿(mǎn)足多種應(yīng)用和多個(gè)市場(chǎng)的需求。為了實(shí)現(xiàn)多樣化人工智能市場(chǎng)所需的更大可擴(kuò)展性，NeuPro-M增加了全新的 NPM12 和 NPM14 NPU 內(nèi)核，分別具有兩個(gè)和四個(gè)NeuPro-M引擎，可輕松提供更高性能人工智能工作負(fù)載。增強(qiáng)型 NeuPro-M 系列目前包括四款NPU，分別是NPM11、NPM12、NPM14和NPM18。NeuPro-M具有多功能性以及卓越的性能和能效，成為當(dāng)今業(yè)界領(lǐng)先的 NPU IP產(chǎn)品，在 3nm 工藝節(jié)點(diǎn)上可實(shí)現(xiàn) 350 TOPS/Watt 峰值性能，在基于transformer的LLM 推理中，每瓦每秒可處理超過(guò) 150 萬(wàn)個(gè)token。

CEVA為增強(qiáng)型NeuPro-M架構(gòu)提供經(jīng)過(guò)改進(jìn)的綜合開(kāi)發(fā)工具鏈，它基于CEVA屢獲殊榮的神經(jīng)網(wǎng)絡(luò)AI 編譯器CDNN，具有架構(gòu)感知功能，可充分利用NeuPro-M并行處理引擎，最大限度地提高客戶(hù)的AI應(yīng)用性能。CDNN軟件包括一個(gè)內(nèi)存管理器，用于降低內(nèi)存帶寬和優(yōu)化負(fù)載平衡算法，并兼容包括TVM和ONNX的常見(jiàn)開(kāi)源框架。