該項目展示了一個自主的類人機器人，利用粒子速子和高通人工智能加速器來檢測和踢球，使用邊緣脈沖訓練的YOLO-Pro模型。機器人利用ROS 2實現(xiàn)感知、決策和運動控制的無縫集成。YOLO-Pro模型可實現(xiàn)高精度的實時球檢測，并針對高通AI加速器的邊緣部署進行了優(yōu)化。該系統(tǒng)處理視覺輸入，規(guī)劃軌跡，并自動執(zhí)行精確的踢腳動作。這種創(chuàng)新的設置展示了嵌入式人工智能、邊緣計算和機器人技術在動態(tài)、現(xiàn)實世界任務中的協(xié)同作用。

硬件

我們正在使用高通Dragonwing QCM6490 SoC的粒子速子。Dragonwing QCM6490采用八核高通Kryo CPU，高通Adreno 643 GPU和高通Hexagon 770 DSP，其中包含能夠提供12 TOPS的AI加速器。

我們選擇了一個HiWonder的AiNex雙足人形機器人，配有24個串行總線伺服器，頭部安裝了一個640x480分辨率的USB攝像頭。它帶有一個預裝的樹莓派4，我們將換掉粒子速子。

我們選擇使用帶有高通AI加速器的粒子速子進行快速推理，以便在需要快速響應時間的動態(tài)環(huán)境中檢測球。粒子速子與樹莓派4的外形相同，但用5G天線取代了USB和LAN連接器。用粒子速子交換現(xiàn)有的樹莓派4很簡單。我們可以把機器人的背板拆下來，把機器人控制器帽和樹莓派4擰下來。

安裝粒子速子使用4 x十六進制僵局。

將機器人控制器的帽子固定在粒子速子的40針頭上，用螺絲固定。

機器人控制器連接到24個串行總線伺服器，并從11.1 V， 3500 mAh的LiPo電池向粒子速子(通過40針頭上的5V電源引腳)和伺服器供電。我們在連接5G、USB網(wǎng)絡攝像頭和運行人工智能加速器的情況下，評估了粒子速子的用電量。功耗一般保持在800mA以下，偶爾峰值達到1.2A。

設置粒子速子

完成后，通過WiFi對設備的SSH訪問應該完全啟用并可操作。我們選擇Headless模式安裝是因為該設備將部署在行走的人形機器人上，不需要桌面界面。

Qualcomm AI Engine直接SDK安裝

要使用為Qualcomm AI Accelerator編譯的QNN模型執(zhí)行推理，請按照我在提供的鏈接中提供的其他項目中概述的所需軟件包的安裝說明進行操作。

人形機器人設置

HiWonder AiNex驅動程序和SDK依賴于ROS 1 Noetic，該公司已于2025年5月31日停產。它的Kinematics庫是在Ubuntu 20.04上為Python 3.8構建的，由于Ubuntu 22.04或24.04的Python版本更新，因此與Ubuntu 22.04或24.04不兼容。然而，粒子速子本身支持Ubuntu 20.04。雖然ROS 2 Humble和Jazzy不能在Ubuntu 20.04上通過APT安裝，但ROS 2 Humble可以從源代碼編譯。因此，運行Ubuntu 20.04的粒子速子是使用ROS 2 Humble和AiNex運動學庫的最佳選擇。此外，由于RPI。GPIO庫不支持Particle Tachyon，它可以用Adafruit Blinka代替，它使用libgpiod來實現(xiàn)GPIO功能，并且與Particle Tachyon兼容。我們完全重寫并將所有提供的代碼從ROS 1移植到ROS 2。

ROS 2簡易安裝

按照下面的說明安裝從源代碼構建ROS 2所需的基本包。

設置語言環(huán)境

設置ROS 2 Apt存儲庫

安裝開發(fā)工具和ROS工具

獲取ROS 2源代碼并安裝依賴項

從源代碼構建ROS 2 Humble

如果由于缺少Ubuntu軟件包而導致構建過程失敗，請檢查日志以識別丟失的軟件包，使用apt安裝它，然后使用以下命令恢復構建過程。

我們省略了RViz2和它的依賴，因為與高通圖形驅動程序沖突，我們不需要它在無頭模式。

數(shù)據(jù)采集

我們需要在Edge Impulse工作室注冊一個賬戶然后創(chuàng)建一個新項目。我們將使用安裝在機器人頭上的網(wǎng)絡攝像頭來捕捉球的圖像。

運行以下命令并按照屏幕上的說明將設備連接到Edge Impulse Studio進行數(shù)據(jù)收集。

我們捕獲了232張不同距離和照明設置的圖像，并使用Edge Impulse Studio的數(shù)據(jù)采集頁面中的標簽隊列選項卡標記它們。

我們收集了多個由相機運動、頭頂照明和反射表面引起的運動模糊和明亮照明條件的樣本，以提高模型的準確性并防止遺漏檢測。

脈沖設計

對于模型開發(fā)，我們需要創(chuàng)建一個脈沖，一個集成圖像處理和機器學習模型的定制管道。導航到“脈沖設計>創(chuàng)建脈沖”頁面，選擇“添加處理塊”，并選擇“圖像”對圖像數(shù)據(jù)進行預處理和歸一化。在同一頁面中選擇“添加學習塊”，選擇“目標檢測(圖像)”。我們使用320x320的圖像大小。然后，單擊Save Impulse按鈕。

特征提取

接下來，進入脈沖設計>圖像頁面，將顏色深度參數(shù)設置為RGB，然后點擊保存參數(shù)按鈕，這將重定向到另一個頁面，我們應該點擊生成功能按鈕。通常需要幾分鐘來完成特征生成。

我們可以在Feature Explorer中看到生成特征的2D可視化。

模型訓練

要訓練模型，請導航到Impulse Design > ObjectDetection頁面。我們選擇的對象檢測設置如下所示。

我們在高級訓練設置中選擇了基本的空間和色彩空間增強。

我們選擇了最新的YOLO-Pro型號，它非常適合檢測由于與相機距離不同而大小不同的球，并且能夠在高通AI加速器上高效運行。點擊Save & train按鈕開始訓練。

注：YOLO-Pro目前正在積極開發(fā)中。邊緣脈沖不保證準確性，也不鼓勵在生產中使用這種模式。

訓練結束后，訓練效果如下圖所示。該模型在訓練數(shù)據(jù)上獲得了98.7%的精度分數(shù)。

模型試驗

要評估模型在測試數(shù)據(jù)集上的性能，導航到模型測試頁面并單擊“分類所有”按鈕。該模型在未見過的數(shù)據(jù)集上顯示出更高的性能，準確率達到100%。

模型部署

由于模型將使用高通AI加速器在粒子速子上運行推斷，我們在部署頁面上選擇了Linux(帶有高通QNN的AARCH64)選項。

為模型優(yōu)化選擇Quantized (int8)選項，因為高通AI加速器與float32模型不兼容。

點擊Build按鈕編譯并下載EIM(邊緣脈沖模型)二進制文件。

應用程序開發(fā)

應用程序構建為分布式ROS 2節(jié)點，遵循關注點分離原則。它從相機捕獲圖像，處理它們以檢測球，并使用推理來跟蹤和接近球，并精確地控制步態(tài)。結果通過HTTP流傳輸以進行實時監(jiān)控。這種模塊化的設計保證了任務的清晰劃分，提高了效率和可維護性。每個節(jié)點處理一個特定的功能，從圖像捕獲到運動控制，同時無縫集成以實現(xiàn)應用程序的目標。

下面是object_detection節(jié)點的代碼。

下面是find_and_kick_ball節(jié)點的代碼。

find_and_kick_ball節(jié)點的功能可以通過下面所示的流程圖來理解。

完整的項目代碼可以在代碼部分列出的GitHub存儲庫中找到。將代碼復制或克隆到ws_ainex_robot目錄并構建它。

啟動應用程序

執(zhí)行以下命令設置ROS 2工作空間環(huán)境。

下面是啟動文件代碼。

執(zhí)行以下命令啟動應用程序。

我們可以在/edge_impulse/detections主題上監(jiān)視檢測結果。

ROS 2節(jié)點

以下是應用程序中使用的ROS 2節(jié)點的簡要說明：

?/camera/rectify_color：使用校準數(shù)據(jù)校正原始相機圖像。

?/find_and_kick_ball：訂閱檢測主題，決定是否接近，并啟動踢球動作。

?/controller_node：運行一個50 Hz的控制回路，通過低級串行伺服驅動器來管理機器人的運動和步態(tài)。

?/object_detection：使用邊緣脈沖模型檢測校正圖像流中的球。

?/image_bbox_node：訂閱校正后的圖像和檢測結果，繪制邊界框，并將注釋后的圖像流式傳輸。

節(jié)點圖的示意圖如下所示。

當web_video_server節(jié)點啟動時，可以通過web瀏覽器查看320x320像素圖像的第一人稱視圖(First-Person View， FPV)。

結論

該項目展示了將Edge Impulse的人工智能功能與Particle Tachyon的高效處理與高通芯片相結合的強大功能，以實現(xiàn)實時、自主的機器人任務。ROS 2提供了低延遲通信，增強了機器人平臺之間的互操作性，并通過可重用組件簡化了開發(fā)。未來的增強功能可能包括多球跟蹤或自適應學習，以提高在動態(tài)環(huán)境中的準確性。

本文編譯自hackster.io