在中國很多IPC視覺系統(tǒng)已經(jīng)成為了紅海市場，競爭非常激烈。同時伴隨著智能視覺對機器學(xué)習(xí)的要求、性能要求和模型支持的要求都在逐步提高，這也迫使著視覺系統(tǒng)所需的芯片變得更為復(fù)雜。除了簡單CPU核外，智能視覺方案的開發(fā)者還要考慮譬如NPU、ISP等多種不同IP的集成。如何能夠讓中國的這些客戶能夠聚集于實現(xiàn)差異化，而不是去做很多重復(fù)性的基礎(chǔ)IP整合、基礎(chǔ)軟件之類的開發(fā)工作？基于這一市場需求，Arm和安謀科技攜手，將雙方的IP集合在一起，推出了專為中國市場提供的Arm全新智能視覺參考設(shè)計。

智能視覺無處不在，芯片架構(gòu)日益復(fù)雜

人類的智慧體現(xiàn)在可以通過感知、思考和行動來改變世界。感知是思考和行動的基礎(chǔ)，有了感官對于外界信息進行準(zhǔn)確地捕捉，才能支持后續(xù)進行思考，思考之后才有行動。

而近年來隨著算力高速提升和模型演進，原本專屬于人類的感知、思考和行動能力逐漸在向機器的轉(zhuǎn)移。OpenAI 和大模型使模型產(chǎn)生的成本從邊際成本轉(zhuǎn)化為固定成本，而這一拐點必將引爆模型豐富度，并加速下一個拐點的到來——那就是以機器人和自動駕駛等技術(shù)為代表的行動無處不在時代。

而在模型和行動無處不在的新時代，感知也將無處不在，也就意味著智能視覺將會無處不在。智能化提升對于算力的需求也在提高，而簡單的提高CPU的算力已經(jīng)不夠，除了CPU外，更需要專門的硬件來進行特定任務(wù)的加速處理。

據(jù)Arm物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁馬?。–hloe Ma）分享，智能視覺芯片架構(gòu)在過去幾年中經(jīng)歷了一系列的演進：從功能固定難以編程的DSP和ASK，到通用性強易編程的CPU架構(gòu)，到現(xiàn)在最先進的綜合了CPU、ISP圖像處理器、NPU AI加速器，VPU視頻編解碼器、GPU圖形處理器的異構(gòu)SoC片上系統(tǒng)，已經(jīng)逐步實現(xiàn)低功耗、高性能和高度集成的特點。新的智能視覺芯片更適用于資源受限的邊緣設(shè)備，比如智能手機、攝像頭、XR，機器人和物聯(lián)網(wǎng)設(shè)備等，為智能視覺成為一種普世的能力奠定基礎(chǔ)。

一方面是視覺系統(tǒng)SoC芯片架構(gòu)的復(fù)雜程度提高，另一方面中國的智能視覺市場競爭激烈，大家對于產(chǎn)品從研發(fā)到面市的時間要求更嚴(yán)苛，對于方案的差異化要求也更高。面對這些迫切的中國客戶需求，Arm攜手安謀科技，集合了雙方的優(yōu)勢IP，專為中國市場推出了全新的智能視覺參考設(shè)計。

面向中國市場智能視覺參考設(shè)計，整合Arm和安謀科技的優(yōu)勢IP

此次專為中國市場推出的Arm智能視覺參考設(shè)計，整合了Arm和安謀科技雙方的優(yōu)勢IP。整個參考設(shè)計包括CPU、ISP、NPU 和 VPU 處理器選項以及將這些元件粘合在一起的子系統(tǒng) IP，并由安謀科技預(yù)先集成和預(yù)先驗證。

在該智能視覺參考設(shè)計中，CPU采用的是Arm的IP，包括Corstone-1000 和 Corstone-300兩個子系統(tǒng)。Corstone-1000是首款為Cortex-A設(shè)計的子系統(tǒng)，該方案基本配置是經(jīng)過量產(chǎn)考驗的 Cortex-A35或Cortex-A53，并取得Arm SystemReady IR認(rèn)證，確保Linux 等操作系統(tǒng)的開機即用，并簡化軟件開發(fā)。Corstone-300 在智能視覺參考設(shè)計中，作為低功耗待機子系統(tǒng)，降低邊緣設(shè)備的功耗，提高系統(tǒng)效率。

在ISP方面，該智能視覺參考設(shè)計中選擇了Arm去年六月發(fā)布的Mali-C55，這也是Arm迄今為止面積最小、功耗最低、且可配置性最高的ISP產(chǎn)品。Mali-C55提供升級的圖像質(zhì)量功能，可以在各種不同的照片和天氣條件下工作。并且像其他Arm產(chǎn)品一樣，Mali-C55擁有全方位的軟件工具支持，包括軟件驅(qū)動實現(xiàn)自動曝光、自動白平衡、自動對焦的3A庫以及全套調(diào)校和校準(zhǔn)工具，并有 Arm 批準(zhǔn)的 ISP 調(diào)優(yōu)合作伙伴助力客戶達(dá)到最優(yōu)畫質(zhì)。

在VPU方面，該智能視覺參考設(shè)計選擇了安謀科技的“玲瓏” VPU。據(jù)安謀科技智能物聯(lián)及汽車業(yè)務(wù)線負(fù)責(zé)人趙永超介紹，“玲瓏”VPU作為編解碼融合、靈活可配、可編程的多核視頻處理器，不斷在編碼標(biāo)準(zhǔn)、編碼質(zhì)量、PPA（功耗、性能、面積）等各個方面進行提升，并保持與 Arm 架構(gòu)以及多媒體生態(tài)的兼容。

面對多樣化的產(chǎn)品需求，“玲瓏”VPU 不斷增強圖像的前后處理能力，增加了按任意比例縮放優(yōu)化的后處理，以及OSD 的前處理和 YUV 到 RGB 的后處理等功能。由于 AFBC (Arm Frame Buffer Compression, Arm系統(tǒng)層面上的無損壓縮) 的支持，“玲瓏” VPU 可以降低 35% 的帶寬。

在NPU方面，該智能視覺參考設(shè)計選擇了安謀科技的“周易”NPU。這是一款靈活可配置的人工智能加速器，可以根據(jù)客戶和市場需求配置出1～30TOPS的處理性能。在4 TOPS的典型配置下，在16nm工藝上的實現(xiàn)面積只有3.3個平方毫米。此外，“周易” NPU 可以支持多種典型的深度學(xué)習(xí)框架，如 Tensorflow、Caffe、Pytorch等；并且目前已經(jīng)針對 100 多種算子算法進行了優(yōu)化適配，完成了對 ChatGPT等大模型的適配。

馬健表示，Arm智能視覺參加設(shè)計的與眾不同來自兩大方面，首先它采用成熟的Arm CPU IP作為基礎(chǔ)。而Arm CPU在智能攝像頭領(lǐng)域有已經(jīng)九成以上的份額，用于諸多智能視覺品牌設(shè)備；因此客戶可以對IP的質(zhì)量和強大的軟件生態(tài)系統(tǒng)充滿信心。

此外，該參考設(shè)計帶有低功耗待機子系統(tǒng)，可以支持電池供電的視覺設(shè)備。安謀科技為此設(shè)計貢獻(xiàn)的玲瓏VPU提供了緊湊、多格式和高效的視頻編解碼器，以及周易NPU的高達(dá)4個TOPS的ML加速器，使該參考設(shè)計可以支持機器視覺的用例。

智能視覺也需要強大生態(tài)，Arm組建智能視覺合作伙伴計劃

除了智能視覺參考設(shè)計外，Arm在此次發(fā)布會上還宣布將會攜手AI 視覺、芯片設(shè)計、軟件、算法、系統(tǒng)集成等伙伴，共同打造基于 Arm架構(gòu)智能視覺應(yīng)用的強大生態(tài)，組建Arm智能視覺合作伙伴計劃。

Arm IP的成功，很大程度上得益于其強大的生態(tài)。在授權(quán)商業(yè)模式的基礎(chǔ)上，生長起來的強大生態(tài)使Arm的護城河。而在智能視覺應(yīng)用，Arm也希望能夠聯(lián)合生態(tài)伙伴一起，加速智能視覺軟件、硬件和系統(tǒng)的開發(fā)。

據(jù)悉，智能視覺參考設(shè)計的目標(biāo)受眾通常是邊緣AI領(lǐng)域的初創(chuàng)公司、跨界創(chuàng)新公司或者是希望進行垂直整合的系統(tǒng)公司。由于種種原因，這些公司并不擁有涵蓋所有芯片架構(gòu)前端、后端設(shè)計師的龐大團隊，他們在視覺領(lǐng)域的第一顆芯片通常要借力于芯片設(shè)計公司。通過智能視覺的生態(tài)計劃，這些芯片設(shè)計服務(wù)伙伴們能夠訪問并熟悉Arm的智能視覺參考設(shè)計，并在參考設(shè)計的基礎(chǔ)上快速流片，助力客戶快速推出滿足SystemReady和PSA安全標(biāo)準(zhǔn)的芯片。

馬健表示，盡管Arm智能視覺合作伙伴計劃剛剛啟動，但業(yè)界已經(jīng)表現(xiàn)出巨大的興趣。目前百度飛槳已經(jīng)實現(xiàn)了基于飛槳的視覺模型庫和Arm虛擬硬件的整合適配；誠邁科技作為軟件設(shè)計合作伙伴加盟，成為中國第一個Arm批準(zhǔn)的ISP調(diào)優(yōu)伙伴；廈門星宸科技通過了PSA安全認(rèn)證，展示了智能視覺界領(lǐng)軍者對安全和隱私保護重視程度的提高。伴隨著更多視覺領(lǐng)域的伙伴的加入，相信智能視覺創(chuàng)新步伐將會進一步加快。

推出參考設(shè)計目的不是封閉，第三方IP可以更靈活的集成

Arm此次面向中國客戶推出的智能視覺參考設(shè)計，雖然全部采用了Arm和安謀科技的IP，但并不意味著客戶只能選擇這些IP；一些第三方的IP，在這個平臺上其實是更容易集成的。

“這次Arm智能視覺參考設(shè)計不僅集成了Arm IP，也是我們在使第三方IP更容易集成在一個基礎(chǔ)的標(biāo)準(zhǔn)化平臺上做了一個最新范式?！瘪R健分享到，“我們希望給客戶和市場做一個展示，那就是Arm智能視覺參考設(shè)計可以非常靈活的支持客戶的差異化。如果客戶有圖像處理和ISP方面的自研 IP，也可以通過安謀科技或第三方的芯片設(shè)計公司來幫助他們很快地整合這種差異化的IP，并且在此參考設(shè)計基礎(chǔ)上進行集成和驗證，達(dá)到產(chǎn)品量產(chǎn)的階段。所以，整個設(shè)計的初衷和目的就是為了能夠使客戶比較靈活的把創(chuàng)新IP集成到參考設(shè)計里，并盡快的推向市場?！?