未來設(shè)備對圖像處理的需求繼續(xù)呈指數(shù)級增長。主要的例子是安全攝像頭和監(jiān)控市場，目前價值250億美元。預(yù)計到2025年，復(fù)合年增長率將達到13%，達到450億美元，其中約四分之一用于消費類智能家居相機。全球安裝了大約十億臺攝像機。據(jù)估計，下一個十億臺攝像機將在短短4年內(nèi)安裝完畢。Arm正在擴展其ISP產(chǎn)品組合，并宣布Arm Mali系列的最新Arm Mali-C55：迄今為止Arm最小，性能最高的圖像信號處理器（ISP）。

Arm Mali-C55是用于計算機視覺和智能顯示系統(tǒng)的多功能圖像信號處理器，它可以為各種物聯(lián)網(wǎng)、嵌入式和機器學(xué)習(xí) （ML） 應(yīng)用（包括用于消費和商業(yè)安全的智能攝像頭、業(yè)余愛好無人機和機器人、機頂盒和 AR 可穿戴設(shè)備）提供高分辨率圖像處理、能效和無與倫比的圖像質(zhì)量的最佳組合。該處理器是迄今為止最小的，但它提供了比其前身更高的圖像質(zhì)量和更高的性能，并且建立在多攝像頭和物聯(lián)網(wǎng)（IoT）計算機視覺系統(tǒng)的基礎(chǔ)上。

Arm物聯(lián)網(wǎng)和嵌入式副總裁Mohamed Awad聲稱“Mali-C55提供升級的圖像質(zhì)量功能，可在各種不同的照明和天氣條件下工作”，意思是在區(qū)域和功耗受限的應(yīng)用中它可以實現(xiàn)最大的性能和能力，使其成為智能相機和邊緣AI視覺用例的理想選擇。下圖為Arm MaliISP的比較表，通過數(shù)據(jù)可以看出Mali-C55與前代產(chǎn)品相比，提供升級的圖像質(zhì)量功能，具有更高的吞吐量、更低的功耗和顯著更小的硅片面積。Mali-C55 為電池供電設(shè)備提供高性能圖像信號處理，并為有線設(shè)備和已建立的攝像系統(tǒng)提供增強的性能。

Mali-C55 ISP是一個完整的解決方案，包括硬件IP、軟件驅(qū)動程序、3A庫（自動曝光、自動白平衡、自動對焦）以及全套調(diào)教和校準工具。在未來Mali-C55 ISP 將配備面向物聯(lián)網(wǎng)的 Arm 整體解決方案、。

在最小的芯片面積內(nèi)實現(xiàn)最高性能

Mali-C55 可在所有 Arm Mali ISP 中最小的硅片面積中以低功耗提供高達 1.2 千兆像素/秒的吞吐量，適用于電池供電設(shè)備和邊緣 AI 視覺用例。新型 Mali-C55 圖像信號處理器以同類領(lǐng)先的 Mali-C52 ISP 為基礎(chǔ)，通過提供以下功能的增強功能來支持需要高質(zhì)量圖像輸出的應(yīng)用：

Arm Iridix 局部音調(diào)映射

Arm Temper temporal降噪

Arm Sinter spatial降噪

支持高動態(tài)范圍 （HDR） 傳感器

Iridix 局部色調(diào)映射是將強度變換應(yīng)用于圖像的過程，通過使用從圖像中的局部區(qū)域收集的信息來實現(xiàn)更好的可視化。Iridix 將圖像中的這些局部區(qū)域定義為大小相等的網(wǎng)格。它從每個網(wǎng)格中提取統(tǒng)計信息，以將收集的統(tǒng)計信息應(yīng)用于映像中的相應(yīng)局部區(qū)域。與Mali-C52相比，Mali-C55通過平滑每個局部色調(diào)曲線來改進Iridex局部色調(diào)映射算法，從而實現(xiàn)明亮光源周圍更自然的衰減。

Temper 是一種時間降噪算法，通過組合連續(xù)幀來提高低光照條件下的圖像質(zhì)量。與Mali-C52相比，Mali-C55不僅通過更新的降噪算法提高了圖像質(zhì)量，而且內(nèi)存帶寬降低了50%。

Sinter 2.6是一種改進的空間降噪技術(shù)，可改善色彩通道中的細節(jié)和噪聲平衡。與Mali-C52相比，Mali-C55的Sinter礦通過為每個顏色通道使用特定的寄存器實現(xiàn)了更好的細節(jié)平衡。

Temper和Sinter功能模塊旨在通過在模塊之間共享信息，在各個區(qū)域應(yīng)用更強的降噪功能來協(xié)同工作，以獲得顯著更好的圖像質(zhì)量。與以前的ISP設(shè)計相比，Temper和Sinter塊順序在管道中切換。通過這種方式，Temper的輸入運動掩碼提高了整體運動自適應(yīng)降噪性能，同時提供了每個平面的噪聲分析。

對于需要高吞吐量和低延遲的計算機視覺應(yīng)用，可以通過啟用或禁用上述功能來配置Mali-C55 ISP。這種可配置性有助于在不同應(yīng)用內(nèi)提供最大的性能和功能，使其成為各種用例的理想選擇。

高動態(tài)范圍

與前代產(chǎn)品相比，增強了對高動態(tài)范圍 （HDR） 傳感器的支持，具有 2：1 HDR 拼接、數(shù)字疊加 （DOL） 和雙像素 HDR，可應(yīng)對具有挑戰(zhàn)性的照明和天氣條件。Mali-C55 具有多達 8 個輸入的多攝像頭處理功能，可支持高達 4800 萬像素/8K 的分辨率。上一代，maliC-52僅通過單個界面支持多達4個攝像頭，最大支持1600萬像素。Mali-C55 具有圖像質(zhì)量、吞吐量、功耗和硅片面積的最佳組合，可滿足各種消費類、商業(yè)和工業(yè)視覺系統(tǒng)應(yīng)用的要求。

高度靈活的配置

可配置硅片，可根據(jù)需要選擇處理模塊，包括顏色降噪、全分辨率輸出流水線中的降頻器以及單緩沖或雙緩沖配置。在現(xiàn)代SoC中，ISP的輸出越來越多地直接連接到機器學(xué)習(xí)加速器，以便通過神經(jīng)網(wǎng)絡(luò)或其他ML算法進行進一步處理。這通常意味著為ML模型提供縮小的圖像來檢測和識別對象，甚至嘗試更復(fù)雜的推理，如姿勢估計。Mali-C55提供了第二個輸出管道，可以輸出適合輸入到任何機器l增益加速器的縮小圖像。將ISP與機器學(xué)習(xí)加速器配對，能夠使用其他轉(zhuǎn)換器模型做為去噪技術(shù)，從而將ML功能添加到圖像處理管道中，從而進一步提高圖像質(zhì)量。

由于對更高分辨率的需求不斷增長，內(nèi)存帶寬預(yù)計將成為即將推出的面向視覺的SoC的關(guān)鍵瓶頸。在這樣的SoC中添加機器學(xué)習(xí)加速器可能會進一步增加帶寬要求，從而加劇問題。Mali-C55 支持與其他產(chǎn)品（如 Arm 幀緩沖壓縮 （AFBC））集成，這些產(chǎn)品可以解決此類帶寬問題，并在系統(tǒng)級別提供巨大優(yōu)勢。

Mali-C55可以與互補產(chǎn)品無縫集成，包括：

機器學(xué)習(xí)加速器

Arm緩沖壓縮 （AFBC）

Arm Mali-C10幾何畸變校正 （GDC）

這種技術(shù)組合可以在系統(tǒng)范圍內(nèi)實現(xiàn)最佳的成像解決方案。

支持 ML 的攝像機正在實現(xiàn)一種新的模式 - “軟件定義的攝像機” - 這為 OEM 和服務(wù)提供商在世界各地部署攝像機提供了新方法。關(guān)鍵硬件功能是預(yù)先提供的，但具有足夠的 ML 和通用處理功能，以便隨著時間的推移改進或啟用其他軟件功能。訂閱和其他收入模式正在圍繞這些動態(tài)功能進行開發(fā)。我們預(yù)計Mali-C55 ISP將成為靈活且功能強大的計算系統(tǒng)的關(guān)鍵組成部分，從而促進這一趨勢。

軟件和工具支持

與任何 Arm 解決方案一樣，軟件和工具是 Mali-C55 產(chǎn)品的重要組成部分。Mali-C55 被許可方可以使用完整的軟件包來控制以下功能：

互聯(lián)網(wǎng)服務(wù)提供商

傳感器

自動白平衡、自動對焦和自動曝光

裸機和 Linux（Video4Linux 框架 - V4L2）支持

ISP用戶還需要客觀和主觀調(diào)諧的能力，Arm提供了一整套調(diào)整和校準工具。Arm 工具可幫助開發(fā)人員實現(xiàn)所需的圖像質(zhì)量，這對于視覺設(shè)備至關(guān)重要。Arm 軟件和工具可實現(xiàn)最佳設(shè)計并縮短上市時間。

Arm 還提供專門的調(diào)整培訓(xùn)課程，并支持量身定制的調(diào)整，以滿足特定的傳感器和用例需要。

為了在硅片上市之前加快Mali-C55的SoC開發(fā)速度，Arm還提供了1個位精度仿真模型以及一個參考平臺，可以對Mali-C55圖像質(zhì)量進行預(yù)構(gòu)建和預(yù)調(diào)整的評估。

Arm繼續(xù)使生態(tài)系統(tǒng)中的更多合作伙伴能夠為所有Mali SP產(chǎn)品（包括Mali-C55）提供ISP調(diào)優(yōu)服務(wù)。

交付面向物聯(lián)網(wǎng)的 Arm 整體解決方案路線圖

在過去的一年里，Arm推出了面向物聯(lián)網(wǎng)的Arm整體解決方案，以加速物聯(lián)網(wǎng)的發(fā)展。作為路線圖的一部分，我們計劃將Mali-C55納入即將推出的物聯(lián)網(wǎng)整體解決方案中 - 從視覺系統(tǒng)的完整參考設(shè)計開始，Mali-C55圖像信號處理器將配備預(yù)先驗證的解決方案，該解決方案將支持特定的傳感器和雙輸出模式，該模式無縫連接到執(zhí)行各種功能的機器學(xué)習(xí)加速器。

解決各種圖像處理用例

Mali-C55 提供圖像質(zhì)量、高吞吐量、功耗和硅片面積的最有效組合。它可以實現(xiàn)廣泛的應(yīng)用，包括端點AI，智能家居攝像頭，AR / VR和智能顯示器。

它可以滿足視覺應(yīng)用對具有挑戰(zhàn)性照明和天氣條件下不同功率包絡(luò)的有線或電池供電設(shè)備的不斷增長的需求。Mali-C55 可以通過 Cortex-A 或 Cortex-M CPU 無縫集成到 SoC 設(shè)計中，因為它包括行業(yè)標(biāo)準 AXI 和 AHB 接口。

Mali-C55 提供廣泛的可配置性選項，提供最高效的實施以支持目標(biāo)用例。例如，僅計算機視覺應(yīng)用程序不需要與全彩色顯示輸出相同級別的圖像處理。使用Mali-C55，可以省略特定的圖像處理功能或以模塊化方式單獨簡化。

由于更新了色彩再現(xiàn)和降噪功能，Mali-C55還具有更高的圖像質(zhì)量，并且具有更高的性能，吞吐量高達1.2Gpix / sec。

Mali-C55 ISP是Arm成像產(chǎn)品發(fā)展的下一步。Arm能夠在不斷擴大的智能攝像頭領(lǐng)域提供市場領(lǐng)先的產(chǎn)品，與現(xiàn)有的物聯(lián)網(wǎng)攝像頭系統(tǒng)相比，性能和效率將顯著提升。

---

本文編譯整理自：

Mali-C55

https://developer.arm.com/Processors/Mali-C55

Documentation – Arm Developer

https://developer.arm.com/documentation/107603/0100/?lang=en

Arm Mali-C55: Image processing with smallest silicon area and highest performance - Internet of Things (IoT) blog - Arm Community blogs - Arm Community

https://community.arm.com/arm-community-blogs/b/internet-of-things-blog/posts/new-image-signal-processor-mali-c55

Arm Unveils High-Performance Mali-C55 Image Signal Processor with Machine Learning, IoT Focus - Hackster.io

https://www.hackster.io/news/arm-unveils-high-performance-mali-c55-image-signal-processor-with-machine-learning-iot-focus-97fc195695e1

Arm 發(fā)布全新圖像信號處理器 助推物聯(lián)網(wǎng)及嵌入式市場視覺系統(tǒng)發(fā)展 - 21ic電子網(wǎng)

http://www.bioacme.com.cn/a/929793.html