在中國(guó)很多IPC視覺(jué)系統(tǒng)已經(jīng)成為了紅海市場(chǎng)，競(jìng)爭(zhēng)非常激烈。同時(shí)伴隨著智能視覺(jué)對(duì)機(jī)器學(xué)習(xí)的要求、性能要求和模型支持的要求都在逐步提高，這也迫使著視覺(jué)系統(tǒng)所需的芯片變得更為復(fù)雜。除了簡(jiǎn)單CPU核外，智能視覺(jué)方案的開(kāi)發(fā)者還要考慮譬如NPU、ISP等多種不同IP的集成。如何能夠讓中國(guó)的這些客戶能夠聚集于實(shí)現(xiàn)差異化，而不是去做很多重復(fù)性的基礎(chǔ)IP整合、基礎(chǔ)軟件之類的開(kāi)發(fā)工作？基于這一市場(chǎng)需求，Arm和安謀科技攜手，將雙方的IP集合在一起，推出了專為中國(guó)市場(chǎng)提供的Arm全新智能視覺(jué)參考設(shè)計(jì)。

智能視覺(jué)無(wú)處不在，芯片架構(gòu)日益復(fù)雜

人類的智慧體現(xiàn)在可以通過(guò)感知、思考和行動(dòng)來(lái)改變世界。感知是思考和行動(dòng)的基礎(chǔ)，有了感官對(duì)于外界信息進(jìn)行準(zhǔn)確地捕捉，才能支持后續(xù)進(jìn)行思考，思考之后才有行動(dòng)。

而近年來(lái)隨著算力高速提升和模型演進(jìn)，原本專屬于人類的感知、思考和行動(dòng)能力逐漸在向機(jī)器的轉(zhuǎn)移。OpenAI 和大模型使模型產(chǎn)生的成本從邊際成本轉(zhuǎn)化為固定成本，而這一拐點(diǎn)必將引爆模型豐富度，并加速下一個(gè)拐點(diǎn)的到來(lái)——那就是以機(jī)器人和自動(dòng)駕駛等技術(shù)為代表的行動(dòng)無(wú)處不在時(shí)代。

而在模型和行動(dòng)無(wú)處不在的新時(shí)代，感知也將無(wú)處不在，也就意味著智能視覺(jué)將會(huì)無(wú)處不在。智能化提升對(duì)于算力的需求也在提高，而簡(jiǎn)單的提高CPU的算力已經(jīng)不夠，除了CPU外，更需要專門的硬件來(lái)進(jìn)行特定任務(wù)的加速處理。

據(jù)Arm物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁馬?。–hloe Ma）分享，智能視覺(jué)芯片架構(gòu)在過(guò)去幾年中經(jīng)歷了一系列的演進(jìn)：從功能固定難以編程的DSP和ASK，到通用性強(qiáng)易編程的CPU架構(gòu)，到現(xiàn)在最先進(jìn)的綜合了CPU、ISP圖像處理器、NPU AI加速器，VPU視頻編解碼器、GPU圖形處理器的異構(gòu)SoC片上系統(tǒng)，已經(jīng)逐步實(shí)現(xiàn)低功耗、高性能和高度集成的特點(diǎn)。新的智能視覺(jué)芯片更適用于資源受限的邊緣設(shè)備，比如智能手機(jī)、攝像頭、XR，機(jī)器人和物聯(lián)網(wǎng)設(shè)備等，為智能視覺(jué)成為一種普世的能力奠定基礎(chǔ)。

一方面是視覺(jué)系統(tǒng)SoC芯片架構(gòu)的復(fù)雜程度提高，另一方面中國(guó)的智能視覺(jué)市場(chǎng)競(jìng)爭(zhēng)激烈，大家對(duì)于產(chǎn)品從研發(fā)到面市的時(shí)間要求更嚴(yán)苛，對(duì)于方案的差異化要求也更高。面對(duì)這些迫切的中國(guó)客戶需求，Arm攜手安謀科技，集合了雙方的優(yōu)勢(shì)IP，專為中國(guó)市場(chǎng)推出了全新的智能視覺(jué)參考設(shè)計(jì)。

面向中國(guó)市場(chǎng)智能視覺(jué)參考設(shè)計(jì)，整合Arm和安謀科技的優(yōu)勢(shì)IP

此次專為中國(guó)市場(chǎng)推出的Arm智能視覺(jué)參考設(shè)計(jì)，整合了Arm和安謀科技雙方的優(yōu)勢(shì)IP。整個(gè)參考設(shè)計(jì)包括CPU、ISP、NPU 和 VPU 處理器選項(xiàng)以及將這些元件粘合在一起的子系統(tǒng) IP，并由安謀科技預(yù)先集成和預(yù)先驗(yàn)證。

在該智能視覺(jué)參考設(shè)計(jì)中，CPU采用的是Arm的IP，包括Corstone-1000 和 Corstone-300兩個(gè)子系統(tǒng)。Corstone-1000是首款為Cortex-A設(shè)計(jì)的子系統(tǒng)，該方案基本配置是經(jīng)過(guò)量產(chǎn)考驗(yàn)的 Cortex-A35或Cortex-A53，并取得Arm SystemReady IR認(rèn)證，確保Linux 等操作系統(tǒng)的開(kāi)機(jī)即用，并簡(jiǎn)化軟件開(kāi)發(fā)。Corstone-300 在智能視覺(jué)參考設(shè)計(jì)中，作為低功耗待機(jī)子系統(tǒng)，降低邊緣設(shè)備的功耗，提高系統(tǒng)效率。

在ISP方面，該智能視覺(jué)參考設(shè)計(jì)中選擇了Arm去年六月發(fā)布的Mali-C55，這也是Arm迄今為止面積最小、功耗最低、且可配置性最高的ISP產(chǎn)品。Mali-C55提供升級(jí)的圖像質(zhì)量功能，可以在各種不同的照片和天氣條件下工作。并且像其他Arm產(chǎn)品一樣，Mali-C55擁有全方位的軟件工具支持，包括軟件驅(qū)動(dòng)實(shí)現(xiàn)自動(dòng)曝光、自動(dòng)白平衡、自動(dòng)對(duì)焦的3A庫(kù)以及全套調(diào)校和校準(zhǔn)工具，并有 Arm 批準(zhǔn)的 ISP 調(diào)優(yōu)合作伙伴助力客戶達(dá)到最優(yōu)畫質(zhì)。

在VPU方面，該智能視覺(jué)參考設(shè)計(jì)選擇了安謀科技的“玲瓏” VPU。據(jù)安謀科技智能物聯(lián)及汽車業(yè)務(wù)線負(fù)責(zé)人趙永超介紹，“玲瓏”VPU作為編解碼融合、靈活可配、可編程的多核視頻處理器，不斷在編碼標(biāo)準(zhǔn)、編碼質(zhì)量、PPA（功耗、性能、面積）等各個(gè)方面進(jìn)行提升，并保持與 Arm 架構(gòu)以及多媒體生態(tài)的兼容。

面對(duì)多樣化的產(chǎn)品需求，“玲瓏”VPU 不斷增強(qiáng)圖像的前后處理能力，增加了按任意比例縮放優(yōu)化的后處理，以及OSD 的前處理和 YUV 到 RGB 的后處理等功能。由于 AFBC (Arm Frame Buffer Compression, Arm系統(tǒng)層面上的無(wú)損壓縮) 的支持，“玲瓏” VPU 可以降低 35% 的帶寬。

在NPU方面，該智能視覺(jué)參考設(shè)計(jì)選擇了安謀科技的“周易”NPU。這是一款靈活可配置的人工智能加速器，可以根據(jù)客戶和市場(chǎng)需求配置出1～30TOPS的處理性能。在4 TOPS的典型配置下，在16nm工藝上的實(shí)現(xiàn)面積只有3.3個(gè)平方毫米。此外，“周易” NPU 可以支持多種典型的深度學(xué)習(xí)框架，如 Tensorflow、Caffe、Pytorch等；并且目前已經(jīng)針對(duì) 100 多種算子算法進(jìn)行了優(yōu)化適配，完成了對(duì) ChatGPT等大模型的適配。

馬健表示，Arm智能視覺(jué)參加設(shè)計(jì)的與眾不同來(lái)自兩大方面，首先它采用成熟的Arm CPU IP作為基礎(chǔ)。而Arm CPU在智能攝像頭領(lǐng)域有已經(jīng)九成以上的份額，用于諸多智能視覺(jué)品牌設(shè)備；因此客戶可以對(duì)IP的質(zhì)量和強(qiáng)大的軟件生態(tài)系統(tǒng)充滿信心。

此外，該參考設(shè)計(jì)帶有低功耗待機(jī)子系統(tǒng)，可以支持電池供電的視覺(jué)設(shè)備。安謀科技為此設(shè)計(jì)貢獻(xiàn)的玲瓏VPU提供了緊湊、多格式和高效的視頻編解碼器，以及周易NPU的高達(dá)4個(gè)TOPS的ML加速器，使該參考設(shè)計(jì)可以支持機(jī)器視覺(jué)的用例。

智能視覺(jué)也需要強(qiáng)大生態(tài)，Arm組建智能視覺(jué)合作伙伴計(jì)劃

除了智能視覺(jué)參考設(shè)計(jì)外，Arm在此次發(fā)布會(huì)上還宣布將會(huì)攜手AI 視覺(jué)、芯片設(shè)計(jì)、軟件、算法、系統(tǒng)集成等伙伴，共同打造基于 Arm架構(gòu)智能視覺(jué)應(yīng)用的強(qiáng)大生態(tài)，組建Arm智能視覺(jué)合作伙伴計(jì)劃。

Arm IP的成功，很大程度上得益于其強(qiáng)大的生態(tài)。在授權(quán)商業(yè)模式的基礎(chǔ)上，生長(zhǎng)起來(lái)的強(qiáng)大生態(tài)使Arm的護(hù)城河。而在智能視覺(jué)應(yīng)用，Arm也希望能夠聯(lián)合生態(tài)伙伴一起，加速智能視覺(jué)軟件、硬件和系統(tǒng)的開(kāi)發(fā)。

據(jù)悉，智能視覺(jué)參考設(shè)計(jì)的目標(biāo)受眾通常是邊緣AI領(lǐng)域的初創(chuàng)公司、跨界創(chuàng)新公司或者是希望進(jìn)行垂直整合的系統(tǒng)公司。由于種種原因，這些公司并不擁有涵蓋所有芯片架構(gòu)前端、后端設(shè)計(jì)師的龐大團(tuán)隊(duì)，他們?cè)谝曈X(jué)領(lǐng)域的第一顆芯片通常要借力于芯片設(shè)計(jì)公司。通過(guò)智能視覺(jué)的生態(tài)計(jì)劃，這些芯片設(shè)計(jì)服務(wù)伙伴們能夠訪問(wèn)并熟悉Arm的智能視覺(jué)參考設(shè)計(jì)，并在參考設(shè)計(jì)的基礎(chǔ)上快速流片，助力客戶快速推出滿足SystemReady和PSA安全標(biāo)準(zhǔn)的芯片。

馬健表示，盡管Arm智能視覺(jué)合作伙伴計(jì)劃剛剛啟動(dòng)，但業(yè)界已經(jīng)表現(xiàn)出巨大的興趣。目前百度飛槳已經(jīng)實(shí)現(xiàn)了基于飛槳的視覺(jué)模型庫(kù)和Arm虛擬硬件的整合適配；誠(chéng)邁科技作為軟件設(shè)計(jì)合作伙伴加盟，成為中國(guó)第一個(gè)Arm批準(zhǔn)的ISP調(diào)優(yōu)伙伴；廈門星宸科技通過(guò)了PSA安全認(rèn)證，展示了智能視覺(jué)界領(lǐng)軍者對(duì)安全和隱私保護(hù)重視程度的提高。伴隨著更多視覺(jué)領(lǐng)域的伙伴的加入，相信智能視覺(jué)創(chuàng)新步伐將會(huì)進(jìn)一步加快。

推出參考設(shè)計(jì)目的不是封閉，第三方IP可以更靈活的集成

Arm此次面向中國(guó)客戶推出的智能視覺(jué)參考設(shè)計(jì)，雖然全部采用了Arm和安謀科技的IP，但并不意味著客戶只能選擇這些IP；一些第三方的IP，在這個(gè)平臺(tái)上其實(shí)是更容易集成的。

“這次Arm智能視覺(jué)參考設(shè)計(jì)不僅集成了Arm IP，也是我們?cè)谑沟谌絀P更容易集成在一個(gè)基礎(chǔ)的標(biāo)準(zhǔn)化平臺(tái)上做了一個(gè)最新范式。”馬健分享到，“我們希望給客戶和市場(chǎng)做一個(gè)展示，那就是Arm智能視覺(jué)參考設(shè)計(jì)可以非常靈活的支持客戶的差異化。如果客戶有圖像處理和ISP方面的自研 IP，也可以通過(guò)安謀科技或第三方的芯片設(shè)計(jì)公司來(lái)幫助他們很快地整合這種差異化的IP，并且在此參考設(shè)計(jì)基礎(chǔ)上進(jìn)行集成和驗(yàn)證，達(dá)到產(chǎn)品量產(chǎn)的階段。所以，整個(gè)設(shè)計(jì)的初衷和目的就是為了能夠使客戶比較靈活的把創(chuàng)新IP集成到參考設(shè)計(jì)里，并盡快的推向市場(chǎng)?！?