近年來，嵌入式平臺物體追蹤技術呈現(xiàn)出蓬勃發(fā)展的態(tài)勢，在諸多領域展現(xiàn)出了強大的應用價值，并隨著科技進步持續(xù)拓展其應用邊界與深度，不斷推動各行業(yè)朝著智能化方向邁進。

在安防領域，嵌入式平臺物體追蹤技術已然成為安全防范工作的得力助手。借助各類傳感器與高清攝像頭，能夠精準捕捉可疑人員、車輛等目標的實時動態(tài)，實現(xiàn)對其全方位、不間斷的追蹤。例如，在大型商場、機場等人流量密集且安全要求較高的場所，監(jiān)控系統(tǒng)中的嵌入式設備可以通過物體追蹤技術，迅速鎖定行為異常的人員，跟蹤其行動軌跡，一旦發(fā)現(xiàn)有違法或危險行為的跡象，便能及時通知安保人員進行干預，有效預防盜竊、恐怖襲擊等安全事件的發(fā)生，極大地提升了區(qū)域的整體安全性。

工業(yè)自動化領域同樣受益于嵌入式平臺物體追蹤技術。在現(xiàn)代化的生產(chǎn)線上，該技術可對產(chǎn)品從原材料加工到成品組裝的各個環(huán)節(jié)進行精確跟蹤。通過實時監(jiān)測產(chǎn)品的位置、狀態(tài)等信息，確保每一道工序都能準確無誤地執(zhí)行，不僅有助于提高生產(chǎn)效率，避免因人為疏忽或機器故障導致的生產(chǎn)延誤，還能在質量把控方面發(fā)揮關鍵作用，及時發(fā)現(xiàn)生產(chǎn)過程中的次品或缺陷產(chǎn)品，方便企業(yè)及時采取糾正措施，保障產(chǎn)品質量的穩(wěn)定性。

智能交通方面，嵌入式平臺物體追蹤技術更是不可或缺。它可以通過安裝在道路關鍵位置的攝像頭以及車載終端等設備，實時追蹤車輛的行駛軌跡、速度等信息。交通管理部門利用這些數(shù)據(jù)，能夠實現(xiàn)對交通流量的智能調控，比如根據(jù)實時路況動態(tài)調整信號燈時長，合理引導車輛分流，緩解交通擁堵狀況；同時，對于超速、違規(guī)變道等交通違法行為也能做到精準抓拍，維護良好的交通秩序，提升道路交通安全水平。

智能家居場景下，嵌入式平臺物體追蹤技術為人們的生活帶來了諸多便利與舒適體驗。例如，通過追蹤家庭成員在室內的活動情況，智能照明系統(tǒng)可以實現(xiàn)人來燈亮、人走燈滅的自動化控制；空調系統(tǒng)能依據(jù)人員所在位置及活動狀態(tài)，自動調節(jié)室內不同區(qū)域的溫度，達到節(jié)能且舒適的效果；智能電視等娛樂設備也可以根據(jù)用戶的觀看習慣和位置，自動調整畫面角度和音量大小等參數(shù)，為用戶打造個性化、智能化的家居環(huán)境[1]。

隨著MCU產(chǎn)品的迅猛發(fā)展與快速迭代，MCU早已突破傳統(tǒng)控制單元的局限。如今，它的計算能力與資源配置已得到極大提升，足以支撐更為繁雜的運算任務。MCU憑借著低成本、低功耗的顯著優(yōu)勢，以及與生俱來的卓越實時性，為實時控制系統(tǒng)注入了人工智能的強大活力，使其成功具備AI功能。

本文以一個能追蹤人臉位置的風扇為例，添加了物體檢測追蹤和電機控制模塊，使得風扇具備了實時的人臉追蹤功能。

2. 工程實現(xiàn)

人臉追蹤風扇作為嵌入式平臺物體追蹤技術的一個具體應用案例，有機地將多種先進技術整合在一起，實現(xiàn)了風扇對人臉的實時追蹤功能。

首先，主控芯片的選擇至關重要，本案例選用了恩智浦的MCXN947芯片，它搭載了雙核Cortex-M33作為主運算單元，主頻高達150 M，能夠滿足復雜運算對處理速度的要求。同時，內置了512 K的RAM和2 M的Flash，為數(shù)據(jù)的臨時存儲和程序的運行提供了必要的空間支持。尤為關鍵的是，芯片集成了一顆NPU (神經(jīng)網(wǎng)絡處理單元)，這一組件在加速運行神經(jīng)網(wǎng)絡模型方面發(fā)揮著不可替代的作用，使得物體追蹤算法能夠在嵌入式平臺有限的資源條件下得以高效執(zhí)行，為整個系統(tǒng)的穩(wěn)定運行和高效運算提供了堅實基礎。

在圖像采集環(huán)節(jié)，攝像頭負責采集外界的圖像信息，將其作為后續(xù)處理的原始數(shù)據(jù)輸入。采集到的圖像分辨率為640 × 480，數(shù)據(jù)格式為RGB565，不過一幀數(shù)據(jù)大小達到了600 KB，超出了MCXN947內部RAM的大小。為解決這一數(shù)據(jù)處理難題，系統(tǒng)運用了SmartDMA技術對圖像數(shù)據(jù)進行切片處理，每次中斷僅處理部分數(shù)據(jù)，并且把接收到的原始圖像經(jīng)過剪裁后顯示在LCD上，方便用戶直觀查看實時圖像；另一方面，我們把原始圖像經(jīng)過下采樣后，并且把下采樣后的切片數(shù)據(jù)增量緩存，直到接收完一幀圖像的所有切片，得到完整的下采樣后的圖像，再將其輸入到物體追蹤算法中進行進一步分析。

算法運算階段是實現(xiàn)人臉追蹤功能的核心環(huán)節(jié)。我們先是通過物體檢測算法對輸入的圖像數(shù)據(jù)進行分析，計算得出物體的位置信息，具體而言，就是能夠確定人臉的中心點坐標以及長、寬等關鍵參數(shù)。隨后，在LCD上繪制白色框，將其疊加顯示在實時圖像上，這樣使用者便可以直觀地看到算法的運算結果。接著，對獲取到的位置信息進行SORT (Simple Online and Realtime Track)運算，通過該運算可以得到穩(wěn)定的軌跡信息，為后續(xù)電機控制提供精準的數(shù)據(jù)依據(jù)。

最后是電機控制環(huán)節(jié)，基于前面算法運算所得到的軌跡信息，通過PWM (脈沖寬度調制)技術來控制水平和垂直兩個方向的舵機進行相應轉動，進而帶動風扇旋轉，使其能夠精準地追蹤攝像頭采集到的人臉位置，確保風扇始終朝著人臉所在方向送風，實現(xiàn)了人臉追蹤風扇這一智能化的功能應用。系統(tǒng)結構見圖1所示。

Figure 1. Block diagram of system

圖1. 系統(tǒng)框架圖

3. 物體追蹤算法

目前常用的物體追蹤算法主要有：傳統(tǒng)算法和基于深度學習的神經(jīng)網(wǎng)絡算法。

傳統(tǒng)算法常用幀差法和均值漂移法。幀差法[2]通過比較相鄰兩幀圖像之間的像素差異來判斷物體是否發(fā)生移動，進而實現(xiàn)對物體的追蹤。其核心在于，移動的物體在連續(xù)的視頻幀中會呈現(xiàn)出明顯的像素變化，而靜止的背景像素變化則相對較小。它的計算過程較為簡單，對硬件計算資源的要求相對不高，這使得其能夠很好地適配那些計算能力有限的嵌入式設備。同時它局限性也很明顯。它對光照條件的變化較為敏感，當光照出現(xiàn)明顯改變時，比如從白天到夜晚、或是有強光突然照射等情況，即使物體本身沒有移動，前后幀的像素差異也可能會很大，從而容易導致誤判，影響追蹤的準確性。同時，對于物體的陰影部分，幀差法可能會將其誤識別為移動物體，而且在面對快速移動的物體時，由于幀率的限制，可能出現(xiàn)漏檢的情況，像快速奔跑的小動物等在畫面中可能無法被準確追蹤。

均值漂移法[3]是一種基于密度估計的非參數(shù)算法，其算法流程大致如下：首先，在圖像中選擇一個初始窗口(通常為矩形)，這個窗口用于框定要追蹤的目標物體；接著，計算該窗口內像素的顏色直方圖，以此作為目標物體的模型特征表示；然后，根據(jù)目標模型的顏色分布情況，在后續(xù)的幀圖像中，通過不斷迭代計算窗口的平均漂移量，也就是計算當前窗口內像素的顏色直方圖與目標模型顏色直方圖之間的差異，進而更新窗口的位置和尺寸，最終實現(xiàn)目標的跟蹤。它的局限性是無法處理背景復雜，相對特征不明顯的物體檢測。

隨著深度學習的發(fā)展，由基于神經(jīng)網(wǎng)絡的物體檢測算法加上基于卡爾曼濾波實現(xiàn)的SORT [4]算法逐漸成為物體追蹤的主流實現(xiàn)方法，這也是我們采用的方法，接下來詳細介紹。

3.1. 物體檢測算法

目前在嵌入式平臺上比較成熟的基于深度學習的物體檢測算法主要由兩大類：SSD算法以及YOLO算法。

3.1.1. 模型選擇

SSD (Single Shot MultiBox Detector) [5]算法同樣是一種基于深度學習的目標檢測算法，它屬于單階段(one-stage)檢測方法，能夠在單次前向傳播中就完成目標檢測任務，兼具速度快和精度相對較高的特點。SSD 的一個顯著區(qū)別在于它提取了不同尺度的特征圖來做檢測，大尺度特征圖(較靠前的特征圖)可以用來檢測小物體，而小尺度特征圖(較靠后的特征圖)用來檢測大物體，這使得它在對不同大小目標的檢測上更加全面和準確。

YOLO (You Only Look Once) [6]系列算法在嵌入式設備上的物體追蹤應用中有著顯著的特點。其核心思想是將物體檢測問題轉換為回歸問題，采用單個神經(jīng)網(wǎng)絡直接在整個圖像上預測邊界框和類別概率，摒棄了傳統(tǒng)的基于區(qū)域建議的復雜流程，實現(xiàn)了端到端的檢測。在嵌入式設備這種對實時性要求較高、計算資源相對受限的環(huán)境下，YOLO算法的快速檢測和識別目標能力凸顯出極大優(yōu)勢。

YOLO與SSD相比，精度更高且小目標識別率更好，YOLO模型的網(wǎng)絡結構更加復雜，檢測頭網(wǎng)絡具備特征融合機制，可以更好的利用全局上下文信息提升檢測效果，在遮擋或復雜背景下表現(xiàn)更好。在嵌入式設備上選擇物體追蹤算法時，需要綜合考量多方面的因素。首先硬件資源是一個重要的考量因素，過大的模型無法適配到MCU平臺上。其次計算資源方面，不同的模型算子在NPU上的支持與否也很重要。YOLO V3版本算子簡單更適合部署在NPU上運行，而且其實現(xiàn)算法簡單，更適剪裁優(yōu)化。

3.1.2. 模型優(yōu)化

標準YOLO V3 Tiny版本模型經(jīng)過訓練后權重有8 M左右，運行內存需求6 M，遠遠超出了MCXN947的存儲大小。所以需要我們對模型的網(wǎng)絡結構進行剪裁。

原始網(wǎng)絡結構由骨干網(wǎng)絡Darknet53加檢測頭FPN組合而成，結構圖如下圖2所示。

Figure 2. YOLO network

圖2. YOLO網(wǎng)絡結構圖

優(yōu)化方向從兩個方面入手：首先縮減輸入分辨率，由416 × 416縮減至128 × 160。然后縮減骨干網(wǎng)絡，改用MobileNet網(wǎng)絡結構，見圖3。

Figure 3. Backbone network

圖3. 骨干網(wǎng)絡

從圖2可知Darknet-53作為骨干網(wǎng)絡共有52個卷積，并且大量使用了殘差鏈接。殘差鏈接對內存的需求量很大，不利于在MCU平臺上部署。改用MobileNet極大減少了內存的使用，同時支持預訓練權重，縮短了訓練時間。骨干網(wǎng)絡分別提取1/8大小的特征圖，1/16大小特征圖以及1/32大小特征圖。

檢測頭網(wǎng)絡FPN根據(jù)根據(jù)骨干網(wǎng)絡提取的特征值進行進一步提煉與融合，最終輸出3個尺度的目標預測，結構見圖4。

經(jīng)過優(yōu)化后，模型大小為280 KB，運行RAM需求是195 KB，量化后在NPU上運行時間為22 ms，可以滿足實時控制需求。

3.2. 追蹤算法

經(jīng)過模型運算后得到人臉的二維坐標信息，就可以控制電機根據(jù)人臉位置進行旋轉。接下來有兩個問題需要解決。第一個問題：模型結果會有誤差會導致物體中心點位置出現(xiàn)抖動，需要引入算法解決抖動問題。第二個問題：模型檢測到多個物體，怎么判斷當前該跟隨哪個目標移動。

Figure 4. FPN network

圖4. 檢測頭網(wǎng)絡

SORT物體追蹤算法可以解決以上兩個問題。SORT算法主要基于物體的運動模型進行追蹤，對于運動比較規(guī)律的目標能夠取得較好的追蹤效果，其計算復雜度較低，能夠滿足實時性要求。廣泛應用于視頻監(jiān)控，自動駕駛以及機器人視覺等領域。算法流程見圖5。

Figure 5. Algorithm workflow

圖5. 算法流程圖

從上圖所示，YOLO模型檢測得出多個目標位置信息，經(jīng)過匈牙利匹配算法，查找歷史記錄中是否有與當前目標匹配的記錄，發(fā)現(xiàn)匹配記錄則更新卡爾曼濾波器中軌跡信息及協(xié)方差矩陣。未發(fā)現(xiàn)匹配記錄表示出現(xiàn)新目標，根據(jù)新目標的位置信息新建卡爾曼濾波器實例。同時遍歷其它濾波器，如果沒有新的軌跡更新則表示目標脫離，刪除無效濾波器。當所有濾波器更新完畢后根據(jù)更新后的軌跡控制電機，追蹤目標。

4. 實驗驗證

基于WIDER-FACE [7]生成人臉檢測訓練集，原始數(shù)據(jù)集圖像尺寸過大，大部分圖片包含身體部分，不適用當前的應用場景，需要根據(jù)模型輸入大小優(yōu)化精簡數(shù)據(jù)集。使用YOLOV3訓練腳本訓練模型，在訓練開始階段加載MobileNetV1預訓練權重可以提高訓練效率的同時提高模型精度。經(jīng)過50輪訓練后，平均精度mAP = 89.78%。

將訓練后的模型進行量化，保存成INT8數(shù)據(jù)格式的tflite文件。使用恩智浦官網(wǎng)提供的eIQ Toolkit將模型轉換成NPU可以識別的數(shù)據(jù)類型，部署在硬件MCX-N947。系統(tǒng)運行時檢測結果實時顯示在LCD上，可以看到模型檢測人臉的消耗時間是24 ms，可以滿足實時性控制需求。

5. 更多討論

本文實現(xiàn)了一種能夠在資源有限的微控制器單元(MCU)上運行的物體追蹤算法。還有很多細節(jié)問題可以進一步討論，比如：

環(huán)境適應性挑戰(zhàn)。光照條件的變化對嵌入式設備上物體追蹤的準確性有著顯著影響，在強光直射的情況下，物體表面可能會出現(xiàn)過曝現(xiàn)象，原本的紋理、顏色等特征變得模糊不清，這使得基于特征識別的追蹤算法難以準確提取有效的特征信息，從而導致追蹤失敗或者追蹤位置出現(xiàn)較大偏差。而從白天到夜晚的光照變化過程中，光線逐漸變暗，物體的對比度降低，對于一些依靠顏色、灰度等特征來區(qū)分物體和背景的追蹤算法來說，其區(qū)分度下降，誤判的概率大幅增加?？梢砸牍δ芨鼜姷臄z像頭或引入補光設備降低光照對輸入圖像的影響。

再比如遮擋問題，在實際應用場景中，物體被遮擋是經(jīng)常出現(xiàn)的情況，這給物體追蹤帶來了很大的困難。當物體被部分遮擋時，其可見的特征信息減少，追蹤算法依據(jù)有限的特征進行匹配和定位的難度增大，容易出現(xiàn)誤跟或者跟丟的現(xiàn)象?？梢砸攵鄶z像頭不同角度采集圖像解決遮擋問題。

目前物體追蹤主要依賴視覺數(shù)據(jù)居多，未來結合其他模態(tài)數(shù)據(jù)如聲音、紅外熱成像、雷達信號等進行融合追蹤將是重要發(fā)展方向。不同模態(tài)的數(shù)據(jù)可以相互補充、驗證，在復雜環(huán)境下提高追蹤的準確性和魯棒性。例如，在低光照、煙霧等視覺受限的場景中，利用紅外熱成像和聲音信息輔助。

文中配合使用的代碼已經(jīng)開源，地址：https://github.com/nxp-appcodehub/dm-multiple-face-detection-on-mcxn947。

NOTES

*通訊作者。