摘要

本文基于米爾 MYD-LR3576 開發(fā)板，詳細(xì)記錄了如何利用 500 萬像素 USB 攝像頭實現(xiàn) 640×640 分辨率的 YOLO5s 目標(biāo)檢測，并將結(jié)果實時輸出至 1080P 屏幕的全流程。通過系統(tǒng)級的軟硬件協(xié)同優(yōu)化，最終將端到端延遲控制在 40ms 以內(nèi)，實現(xiàn)了 20FPS 的穩(wěn)定實時檢測性能。文章重點剖析了攝像頭特性分析、顯示通路選擇、RGA 硬件加速、RKNN NPU 集成等關(guān)鍵技術(shù)環(huán)節(jié)，為嵌入式 AI 視覺系統(tǒng)的開發(fā)與調(diào)優(yōu)提供了一套完整的思路與實踐方案。

圖：米爾基于RK3576核心板開發(fā)板

一、 系統(tǒng)架構(gòu)與性能目標(biāo)

1.1 硬件平臺

? 主控芯片：Rockchip RK3576(四核A72+四核A53，6TOPS NPU，RGA,GPU,VPU)

? 攝像頭：500萬像素USB攝像頭(支持MJPEG/YUYV格式)

? 顯示器：4K HDMI顯示屏(通過Weston桌面環(huán)境顯示)

? 開發(fā)板：米爾MYD-LR3576

1.2 軟件平臺

使用米爾官方 V2.0.0 SDK 提供的 buildroot 鏡像，內(nèi)核版本為 6.1.118。

系統(tǒng)信息如下：

1.3 性能目標(biāo)

· 實時性：完成從攝像頭采集 → NPU推理 → 屏幕顯示的完整流程，耗時不超過攝像頭一幀的時間。

· 輸入/輸出：盡可能提高攝像頭采集幀率，并在顯示端支持更高的輸出分辨率。

· 功能：實現(xiàn) YOLO5s 目標(biāo)檢測，并在視頻畫面中實時繪制檢測框。

二、數(shù)據(jù)處理流程與優(yōu)化實踐

攝像頭數(shù)據(jù)需要經(jīng)歷哪些過程才能到顯示端輸出，參考下圖

2.1 CPU 處理方案及其瓶頸

如果把攝像頭數(shù)據(jù)直接顯示到屏幕上，先了解清楚它們輸入輸出關(guān)系。

攝像頭輸出可以用v4l2-ctl -D -d /dev/videoxx --list-formats-ext

Display輸出可用用cat /sys/kernel/debug/dri/0/state查看

根據(jù)實時性來說，需要選擇最高fps分辨率對應(yīng)輸出，這里選擇640x480 20fps，那么它需要把YUYV格式替換成RGBA8888才能顯示。

顯示大小不超過屏幕最大分辨率3840x2160即可。

CPU處理是如下過程

若要將攝像頭采集的 YUYV 格式數(shù)據(jù)直接顯示到屏幕，需先轉(zhuǎn)換為 RGBA8888 格式。在 CPU 上進(jìn)行格式轉(zhuǎn)換與縮放的性能如下(輸入為 640×480 YUYV)：

可見，CPU 在處理 1080P 分辨率時已接近能力上限，更高分辨率則無法滿足實時性要求。

2.2 引入 RGA 進(jìn)行硬件加速

RGA作為RK3576 2D處理芯片模塊，它的作用是對圖片做旋轉(zhuǎn)，縮放，旋轉(zhuǎn)，鏡像以及格式轉(zhuǎn)換。

根據(jù)手冊信息，它能處理數(shù)據(jù)的性能是 物理地址 > dma > 虛擬地址。那么用RGA來替換CPU的格式轉(zhuǎn)換和縮放。

RGA是一次進(jìn)行轉(zhuǎn)換和縮放，下面是對比CPU運算的對比圖

使用 RGA 替代 CPU 進(jìn)行格式轉(zhuǎn)換與縮放后，性能對比如下：

RGA 的引入帶來了數(shù)量級的性能提升，尤其是 DMA 模式，大幅降低了處理延遲。

2.3 GPU 直接顯示方案

調(diào)試階段常使用 OpenCV 的 imshow 顯示圖像，但其依賴 CPU 參與，無法滿足實時性要求。系統(tǒng)實際采用 DRM 顯示框架與 Weston 桌面環(huán)境，因此我們選用 Wayland-client 方案進(jìn)行直接顯示，實現(xiàn) GPU 直顯。

不同輸入模式下的顯示耗時對比：

2.4 NPU 推理流程與耗時分析

通用模型，通過rknn-toolkit2轉(zhuǎn)換成rknn后就可以通過RKNN API來調(diào)用和推導(dǎo)。

這里我們直接采用同事提供的rknn模型，yolov5s-640-640.rknn和coco_80_labels_list.txt，以及一些調(diào)用參考代碼。

它的輸入必須是640x640RGB格式

rknn推理虛擬地址關(guān)鍵步驟如下

實際測試后rknn_run 這個階段大概耗時 26~31ms之間

rknn_outputs_get 獲取數(shù)據(jù)后即可進(jìn)行內(nèi)部處理，檢測出目標(biāo)，坐標(biāo)，信心指數(shù)，根據(jù)實際需求繪制在屏幕上，這一步可以多進(jìn)程異步處理，不算在串行時間內(nèi)，筆者測試大概會多花8ms左右。

因此 總計一下攝像頭實時采集NPU推理到顯示整個過程耗時情況

結(jié)論：NPU 推理階段(T2)仍是系統(tǒng)的主要耗時環(huán)節(jié)。但通過 DMA + RGA + 直接顯示 的優(yōu)化組合，系統(tǒng)整體延遲大幅降低，且在高分辨率輸出下仍能保持穩(wěn)定的幀率。

2.5 多攝像頭系統(tǒng)資源占用分析

? 虛擬內(nèi)存方案

1個攝像頭

4個攝像頭

? Dma方案

1路攝像頭輸出

2路攝像頭輸入

三、總結(jié)

在嵌入式 AI 視覺系統(tǒng)中，NPU 的算力是決定性能上限的關(guān)鍵因素。然而，要達(dá)到這一上限，必須構(gòu)建高效的數(shù)據(jù)流水線。本文實踐表明，通過 RGA 硬件加速、DMA 零拷貝數(shù)據(jù)傳輸以及 GPU 直接顯示 的協(xié)同優(yōu)化，能夠徹底釋放 RK3576 平臺的異構(gòu)計算潛力，將端到端延遲控制在數(shù)十毫秒內(nèi)，實現(xiàn)高清、實時的目標(biāo)檢測應(yīng)用。這一優(yōu)化思路同樣適用于其他具備類似硬件加速單元的嵌入式 AI 平臺。