手勢捕獲和“繪制模式”

我們的項(xiàng)目從一個基于網(wǎng)絡(luò)攝像頭的手跟蹤界面開始，它把一個簡單的手勢變成了一個繪圖工具。使用MediaPipe，我們跟蹤一只手，并根據(jù)相對于手掌大小的指尖距離計算標(biāo)準(zhǔn)化的“開放性”分?jǐn)?shù)。當(dāng)開放度低于拳頭閾值時，我們進(jìn)入拳頭狀態(tài)，并開始以像素坐標(biāo)記錄拳頭中心的二維路徑。當(dāng)拳頭保持關(guān)閉時，我們只在拳頭移動了至少一個小的最小步時附加點(diǎn)，以避免噪音和重復(fù)。我們還通過在畫布覆蓋上繪制線段來渲染跟蹤，因此用戶可以確切地看到正在記錄的路徑。當(dāng)用戶再次張開手(張開程度超過張開閾值)，退出繪制模式，完成繪制輪廓。

關(guān)鍵點(diǎn)提取和路徑排序

輪廓確定后，我們通過檢測路徑上的關(guān)鍵特征，將繪制的筆畫轉(zhuǎn)換為一組穩(wěn)定的路徑點(diǎn)。我們將折線光柵化為二進(jìn)制遮罩，并運(yùn)行g(shù)oodFeaturesToTrack (GFTT)來找到代表整體形狀的角和突出點(diǎn)，而無需傳輸每個原始痕跡樣本。由于GFTT可以返回聚類檢測，我們應(yīng)用簡單的基于半徑的非最大值抑制，因此最終的航點(diǎn)集在整個行程中分散。接下來，我們通過將每個檢測到的點(diǎn)投影到原始折線上，并根據(jù)它們沿路徑的距離參數(shù)對它們進(jìn)行排序，從而按照正確的行程順序?qū)@些關(guān)鍵點(diǎn)進(jìn)行排序。這一步很重要，因?yàn)樘綔y器本身并不知道哪個點(diǎn)是“第一個”還是“下一個”，發(fā)送無序的點(diǎn)會產(chǎn)生不穩(wěn)定的運(yùn)動。結(jié)果是一個路徑點(diǎn)的有序列表，它們遵循路徑繪制的相同方向。

標(biāo)準(zhǔn)化，縮放和網(wǎng)絡(luò)傳輸

在傳輸之前，我們將有序的像素路徑點(diǎn)轉(zhuǎn)換為機(jī)器人友好的坐標(biāo)(以米為單位)，并確保它們適合有界的工作空間。我們平移整個路徑，使路徑點(diǎn)0成為原點(diǎn)(0,0)，我們可以選擇翻轉(zhuǎn)y軸，因?yàn)橄鄼C(jī)坐標(biāo)向下增加，而機(jī)器人/世界坐標(biāo)通常向上增加。然后，我們統(tǒng)一縮放平移路徑，使最大絕對坐標(biāo)位于±1.25米內(nèi)，保證機(jī)器人不會被命令超出預(yù)定范圍。最后的輸出被打包成一個標(biāo)準(zhǔn)的64-float有效負(fù)載，代表最多32個(x,y)點(diǎn);如果生成的點(diǎn)較少，我們用零填充其余的點(diǎn)(用作嵌入側(cè)的“停止”哨兵)。我們通過TCP將有效負(fù)載傳輸為8個數(shù)據(jù)包，每個數(shù)據(jù)包有8個浮點(diǎn)數(shù)，由開始和結(jié)束字節(jié)組成，并且我們故意在數(shù)據(jù)包之間添加短延遲以保持嵌入式接收器的穩(wěn)定。這給了機(jī)器人一個完整的、一致的路點(diǎn)列表，它獨(dú)立于相機(jī)分辨率或繪圖比例。

嵌入式接收、路點(diǎn)存儲和后續(xù)控制器

在嵌入式系統(tǒng)上，每個傳入數(shù)據(jù)包更新八個接收浮點(diǎn)數(shù)，我們將這些浮點(diǎn)數(shù)視為每個數(shù)據(jù)包的四個(x,y)路點(diǎn)對。當(dāng)數(shù)據(jù)包到達(dá)時，我們填充一個全局robotdest[]數(shù)組并增加計數(shù)器，直到我們接收到所有64個路點(diǎn)，此時我們通過設(shè)置wp_rx_done = 1和重置statpos = 0從“等待”模式切換到“跟隨”模式。在等待完整的集合時，機(jī)器人只是保持位置在(0,0)，這樣它就不會過早地移動部分?jǐn)?shù)據(jù)。一旦跟隨開始，我們的控制循環(huán)就會反復(fù)調(diào)用xy_control(…)函數(shù)，該函數(shù)接受機(jī)器人的估計(x,y，偏航)狀態(tài)，并輸出指向當(dāng)前航路點(diǎn)的前進(jìn)速度參考和轉(zhuǎn)彎率命令。當(dāng)控制器報告到達(dá)當(dāng)前路徑點(diǎn)時，我們前進(jìn)到下一個索引，并在到達(dá)恰好為(0,0)的路徑點(diǎn)時停止，由于Python填充方案，它充當(dāng)了一個明確的路徑結(jié)束標(biāo)記。停止后，我們繼續(xù)指揮最后的航路點(diǎn)作為等待位置，這樣機(jī)器人就可以穩(wěn)定下來，而不是漂移。這種端到端管道讓繪制的手勢路徑成為機(jī)器人可以自主遵循的安全、有界、有序的路點(diǎn)計劃。

本文編譯自hackster.io