像《鋼鐵俠》這樣的電影讓我們夢想著智能助手和只需揮揮手就能控制設(shè)備等技術(shù)。當時，這一切聽起來都很科幻，但現(xiàn)在我們離實現(xiàn)它越來越近了。傳感器越來越智能，處理器幾乎可以適應(yīng)任何東西，機器學(xué)習(xí)也越來越智能。所有這些都激發(fā)了我的靈感，讓我設(shè)計了一種可穿戴的魔杖，它能讓我們用手做出手勢，控制設(shè)備。

隨著傳感器變得更小、更便宜、更節(jié)能，可穿戴設(shè)備正變得越來越受歡迎，而處理器也變得足夠強大，可以直接在設(shè)備上運行機器學(xué)習(xí)。這一進步使科技公司和開發(fā)人員能夠構(gòu)建能夠理解人類行為并立即做出反應(yīng)的系統(tǒng)。該項目展示了如何利用這些技術(shù)超越按下按鈕和開關(guān)，為創(chuàng)新免提、便攜式和情境感知解決方案提供了機會，例如家用電器的免提控制、行動不便的人的輔助輔助，甚至是簡單的工業(yè)智能手套控制。雖然手勢檢測已經(jīng)得到了很好的探索，但這個項目的重點是將人工智能和物聯(lián)網(wǎng)結(jié)合起來，構(gòu)建在現(xiàn)實場景中工作的智能解決方案。

隨著硬件和軟件生態(tài)系統(tǒng)的進步，在微控制器等受限設(shè)備上運行設(shè)備上的AI模型是一個已經(jīng)解決的挑戰(zhàn)，目前的挑戰(zhàn)是開發(fā)可以使用該技術(shù)的創(chuàng)新解決方案。隨著雙處理器、MB閃存和RAM的出現(xiàn)，微控制器變得更加先進，同時運行時仍然需要很少的能量。軟件庫和框架允許我們優(yōu)化機器學(xué)習(xí)模型，使它們能夠適應(yīng)KB的閃存，使我們能夠在微控制器的基礎(chǔ)上添加智能操作。

在機器學(xué)習(xí)管道中，我們需要獲取數(shù)據(jù)來訓(xùn)練模型。在這個項目中，數(shù)據(jù)是由IMU傳感器記錄的手部運動。復(fù)雜的任務(wù)包括從IMU獲取數(shù)據(jù)并使用它生成用于訓(xùn)練手勢分類模型的數(shù)據(jù)集，然后需要將該模型部署到微控制器上。Edge Impulse平臺簡化了這些任務(wù)，使我們能夠快速創(chuàng)建高效的人工智能解決方案。我也要對公司支持我開展這個研究項目表示衷心的感謝。

項目概述

該項目展示了我們?nèi)绾卫眠\動傳感和邊緣人工智能來使用手勢控制設(shè)備。開發(fā)了一種可穿戴設(shè)備，用于運行設(shè)備上的機器學(xué)習(xí)模型，該模型可以實時檢測和分類手勢。一旦識別出手勢，就會通過BLE將命令發(fā)送到Arduino Nano 33 BLE等驅(qū)動設(shè)備，該設(shè)備反過來控制繼電器和執(zhí)行器來打開或關(guān)閉電燈等電器。所有推理都在可穿戴設(shè)備上本地進行，從而實現(xiàn)低延遲、隱私和節(jié)能。在可穿戴設(shè)備上運行的人工智能模型已經(jīng)經(jīng)過訓(xùn)練，可以檢測手部的圓形和左右運動，并將這些手勢與隨機運動和無運動區(qū)分開來。

我使用了低成本的XIAO nRF52840 Sense，因為它具有板載6 DOF IMU (LSM6DS3TR-C)，藍牙LE 5.2，超低功耗，其小巧的外形使其非常適合可穿戴設(shè)備。板載IMU用于檢測手部運動，運行在MCU上的AI模型對運動進行分類。BLE連接用于向執(zhí)行設(shè)備Arduino Nano 33 BLE Sense發(fā)送命令，該設(shè)備有一個連接到GPIO的繼電器，用于為電燈等電器供電。XIAO nRF52840 Sense的規(guī)格/功能非常出色，因為它以緊湊、小尺寸和低成本的設(shè)備滿足了項目的要求。

XIAO nRF52840 Sense通過BLE發(fā)送“命令”作為字符，Arduino Nano 33 BLE使用接收到的數(shù)據(jù)打開和關(guān)閉燈，用于演示目的。

本文檔的下一部分描述了如何開發(fā)類似的可穿戴設(shè)備以及我所做的各種配置。想馬上測試一下可穿戴設(shè)備嗎?你可以跳到第03節(jié)。部署模型，開始構(gòu)建你的可穿戴設(shè)備。

您可以在此鏈接訪問公共項目Edge Impulse項目：手勢檢測。項目文件的所有源代碼都可以在GitHub存儲庫中找到：gesture-control-AI-wearable。

組件和硬件配置

軟件組件:

?Arduino IDE

?Edge Impulse Studio賬戶

硬件部分:

?XIAO nRF52840檢測

?Arduino Nano 33 BLE

?USB- c和micro USB連接線

?個人電腦(PC)

01. 裝配可穿戴設(shè)備

為了確保訓(xùn)練數(shù)據(jù)的真實性，在數(shù)據(jù)收集過程中，首先將XIAO nRF52840 Sense佩戴在手腕上，以匹配預(yù)期的可穿戴位置和手勢檢測條件。我設(shè)計了一個簡單的外殼，可以容納電路板和一個LiPo電池。外殼有一個USB-C插槽，允許我們將PC連接到XIAO nRF52840 Sense，并在項目的數(shù)據(jù)采集步驟中收集IMU數(shù)據(jù)。我還附上了我設(shè)計的腕帶，并把它們印在TPU材料上。在3D打印完外殼后，我將電線焊接到XIAO板上的電池墊上，允許板使用電池自供電。

02. 收集數(shù)據(jù)，訓(xùn)練模型

現(xiàn)在有了將XIAO nRF52840傳感器固定在手上的能力，我們現(xiàn)在可以收集數(shù)據(jù)并訓(xùn)練手勢分類模型。項目中使用的運動代表類是：

?圓

?左右

?隨機運動

?閑置

2.1. 收集數(shù)據(jù)

為了從XIAO nRF52840 Sense收集IMU數(shù)據(jù)并創(chuàng)建數(shù)據(jù)集，我們將利用Arduino草圖XIAO_nRF52840_Sense_print_IMU_data。從電路板上收集原始數(shù)據(jù)。草圖通過串行連續(xù)發(fā)送3軸傳感器數(shù)據(jù)，我們的計算機將數(shù)據(jù)轉(zhuǎn)發(fā)到邊緣脈沖項目。

在您的個人計算機(最好是筆記本電腦)上，確保您已經(jīng)安裝了Arduino IDE和Seeed Studio的Seeed nRF52 mbed-enabled Boards。接下來，安裝用于從IMU獲取數(shù)據(jù)的LSM6DS3庫。在上傳代碼打印原始IMU數(shù)據(jù)時，我遇到了一些兼容性問題，導(dǎo)致諸如“類arduino:: MbedSPI沒有名為‘setBitOrder’的成員”之類的錯誤，盡管如此，成功上傳代碼后，IMU數(shù)據(jù)為0。經(jīng)過調(diào)試，我設(shè)法通過使用2.7.2版本的Seeed板和2.7.2版本的LSM6DS3庫來工作。

將您的XIAO板連接到您的PC，選擇“Seeed XIAO BLE Sense - nRF52840”板，然后選擇相應(yīng)的端口并上傳草圖。在串行終端(如串行監(jiān)視器)上，您應(yīng)該看到來自板的原始IMU數(shù)據(jù)，并且當板移動時它們將發(fā)生變化?，F(xiàn)在我們準備將我們的XIAO板與Edge Impulse Studio連接起來。

連接到XIAO板并檢索數(shù)據(jù)的第一步是在PC上安裝Edge Impulse CLI。這是一款非常先進的軟件，用于控制本地設(shè)備，充當代理，為沒有互聯(lián)網(wǎng)連接的設(shè)備同步數(shù)據(jù)，并上傳和轉(zhuǎn)換本地文件。在本項目中，我們將利用CLI的邊緣脈沖數(shù)據(jù)轉(zhuǎn)發(fā)工具從XIAO板捕獲串行數(shù)據(jù)，并自動將其上傳到邊緣脈沖項目。您可以根據(jù)計算機的操作系統(tǒng)執(zhí)行安裝步驟。打開Edge Impulse Studio并使用您喜歡的名稱創(chuàng)建一個新項目。

將您的XIAO nRF52840 Sense連接到您的PC，并且沒有串行終端應(yīng)用程序訪問設(shè)備的COM端口。項目創(chuàng)建完成后，確保您的PC可以訪問互聯(lián)網(wǎng)，并在CLI中運行以下命令啟動數(shù)據(jù)轉(zhuǎn)發(fā)器：

您將被要求輸入您的Edge Impulse帳戶憑據(jù)并選擇新項目。如果一切正常，數(shù)據(jù)轉(zhuǎn)發(fā)器將自動檢測3個傳感器軸，我們可以將它們命名為Ax， Ay, Az。

現(xiàn)在，當我們進入邊緣脈沖項目中的“數(shù)據(jù)采集”時，我們會看到我們的XIAO板已經(jīng)連接，平臺已經(jīng)檢測到3個傳感器軸。

現(xiàn)在我們可以開始對手勢數(shù)據(jù)進行采樣。轉(zhuǎn)到“數(shù)據(jù)采集”，在“收集數(shù)據(jù)”部分，我們需要首先為我們收集的數(shù)據(jù)設(shè)置標簽/類別。我們還可以使用“樣本長度(ms.)”設(shè)置來配置采樣數(shù)據(jù)的持續(xù)時間。我將采樣長度設(shè)置為120秒。點擊“開始采樣”，Edge Impulse Studio將自動指示在您的PC上運行的數(shù)據(jù)轉(zhuǎn)發(fā)器通過串行開始采樣IMU數(shù)據(jù)并將其上傳到項目中。一旦設(shè)置的采樣持續(xù)時間完成，采樣數(shù)據(jù)將在“數(shù)據(jù)集”下可見。

在我的例子中，我一邊收集數(shù)據(jù)，一邊用手做圓周運動、左右運動和隨機運動，從而使生成的模型能夠更有效地識別這些運動。在可穿戴設(shè)備還能讓模型理解“動作”的時候，我也收集了數(shù)據(jù)。總的來說，我創(chuàng)建了一個大約6分鐘的數(shù)據(jù)集，在圓形，左右，隨機和無運動狀態(tài)下，手部運動的持續(xù)時間相等。

從IMU的加速度計數(shù)據(jù)中，我們可以觀察到，從運動數(shù)據(jù)的時間序列表示中，不同手勢之間存在數(shù)據(jù)“趨勢”。這告訴我們，人工智能模型能夠分析這些趨勢并學(xué)習(xí)手勢動作。

在繼續(xù)處理IMU數(shù)據(jù)之前，我們可以通過點擊每個樣本上的“3點”垂直菜單，然后選擇“拆分樣本”，將收集到的數(shù)據(jù)分成1秒樣本。點擊“+Add Segment”，然后點擊圖形來創(chuàng)建一個段。重復(fù)此操作，直到圖形上的所有運動樣本都被分割。最后，單擊“分割”，您將看到樣本為1秒(或通過“設(shè)置段長度(ms.)”配置)。

最后，創(chuàng)建數(shù)據(jù)集的最后一步是將其拆分以用于訓(xùn)練和測試。流行的規(guī)則是80/20分割，這表明80%的數(shù)據(jù)集用于模型訓(xùn)練目的，而20%用于模型測試。在Edge Impulse Studio項目中，我們可以點擊帶有感嘆號的紅色三角形(如下圖所示)，這將打開一個界面，建議拆分我們的數(shù)據(jù)集。然后，在打開的界面上單擊“執(zhí)行訓(xùn)練/測試分裂”按鈕。這將打開另一個界面，詢問我們是否確定重新平衡數(shù)據(jù)集。我們需要點擊按鈕“是執(zhí)行列車/測試分裂”，最后按提示在下一個窗口中輸入“執(zhí)行分裂”，然后點擊按鈕“執(zhí)行列車/測試分裂”。

2.2. 訓(xùn)練一個手勢分類模型

在為我們的項目收集數(shù)據(jù)之后，我們現(xiàn)在可以為所需的手勢分類任務(wù)訓(xùn)練機器學(xué)習(xí)模型。為了做到這一點，在Edge Impulse項目中，我們需要創(chuàng)建一個Impulse，這是一個定義輸入數(shù)據(jù)類型、數(shù)據(jù)預(yù)處理算法和機器學(xué)習(xí)模型訓(xùn)練的配置。

第一步是通過點擊“創(chuàng)建沖動”按鈕創(chuàng)建一個沖動。在我的例子中，我將輸入數(shù)據(jù)設(shè)置為窗口大小和窗口增加1000ms(1秒)。為了處理原始數(shù)據(jù)并提取有意義的特征，我使用了光譜分析。這個算法非常適合分析重復(fù)運動，比如加速度計的數(shù)據(jù)。它提取信號隨時間變化的頻率和功率特性。最后，在每個脈沖中處理的數(shù)據(jù)被饋送到一個分類器，分類學(xué)習(xí)塊，它被設(shè)計成從數(shù)據(jù)中學(xué)習(xí)模式，并可以將這些模式應(yīng)用到新數(shù)據(jù)中。它對運動分類或識別聲音非常有用。設(shè)置完脈沖的配置后，我們點擊“保存脈沖”按鈕。

下一步是配置處理塊并從訓(xùn)練集中生成特征。在脈沖設(shè)計下，點擊“光譜特征”。我們可以使用默認的DSP參數(shù)或利用“自動調(diào)諧參數(shù)”功能來自動優(yōu)化它們以獲得更好的性能。在我的例子中，我繼續(xù)使用默認參數(shù)。

在頁面上，單擊“保存參數(shù)”，然后單擊“生成功能”按鈕。根據(jù)數(shù)據(jù)的大小，特征生成過程將花費一些時間。當這個過程完成后，F(xiàn)eature explorer將繪制出這些特性。注意，特征是處理塊的輸出，而不是原始數(shù)據(jù)本身。

查看特征，我們可以觀察到，當使用譜分析時，4個類的聚類是分開的很好(有意義)，說明分類器可以學(xué)習(xí)差異。

最后一步是訓(xùn)練模型。我們點擊“分類器”，設(shè)置訓(xùn)練參數(shù)。我使用了100個訓(xùn)練周期(epoch)，學(xué)習(xí)率為0.001。對于像這樣一個相對較小的項目，我們可以使用CPU作為訓(xùn)練處理器，在這種情況下，訓(xùn)練過程需要不到10分鐘。點擊“Save & train”開始培訓(xùn)過程。

該分類器是一個簡單的全連接前饋神經(jīng)網(wǎng)絡(luò)，具有一個輸入層、兩個密集層和一個輸出層。在輸入層中，每個樣本被表示為來自頻譜分析數(shù)字信號處理塊的X數(shù)值(特征)的向量。接下來，密集層轉(zhuǎn)換特征并學(xué)習(xí)模式。最后，輸出層生成給定輸入在4個運動類上的概率分布(預(yù)測)。

訓(xùn)練過程完成后，在我的案例中，得到的模型準確率為96%，損失為0.08。我選擇這個作為可接受的實驗性能，并在未見過的數(shù)據(jù)上對模型進行測試。

2.3. 測試模型

在訓(xùn)練我們的模型時，我們使用了數(shù)據(jù)集中80%的數(shù)據(jù)。剩下的20%用于測試模型對未見數(shù)據(jù)分類的準確性。在部署模型之前，我們需要通過在新的/未見過的數(shù)據(jù)上測試它來驗證它沒有過擬合(擁擠的數(shù)據(jù))。為了測試我們的模型，我們首先點擊“模型測試”，然后點擊“全部分類”。該模型給出了96%的令人印象深刻的測試性能，我選擇了這個可接受的選擇，以進一步將模型部署到XIAO nRF52840 Sense上。

03. 部署模型

我們將把Impulse部署為Arduino庫-一個包含所有過程的單個包，用于采樣IMU數(shù)據(jù)1秒，處理數(shù)據(jù)并將特征饋送到分類器。我們可以將此包(Arduino庫)包含在我們自己的草圖中，以便在XIAO nRF52840 Sense等微控制器上本地運行脈沖。從技術(shù)上講，部署Impulse不需要編程，因為Edge Impulse平臺會生成所有所需的源代碼和示例草圖，這真是太棒了!

確保脈沖是活動的，然后單擊“部署”。在“搜索部署選項”中選擇Arduino庫。

由于內(nèi)存和CPU時鐘速率對于我們的部署是有限的，我們可以優(yōu)化模型，以便它可以利用nRF52840上的可用資源(或者簡單地說，這樣它就可以適應(yīng)并管理在SoC上運行)。模型優(yōu)化通常有一個權(quán)衡，即我們決定是否以模型準確性為代價來提高性能或減少模型的內(nèi)存(RAM)使用。Edge Impulse使模型優(yōu)化非常容易，只需點擊一下。目前我們可以得到兩個優(yōu)化：EON編譯器(提供相同的精度，但使用54%的RAM和61%的ROM)和TensorFlow Lite。為了啟用模型優(yōu)化，我選擇了EON Compiler and Quantized (int8)。

點擊“構(gòu)建”，這將啟動相應(yīng)的打包沖動的任務(wù)，最后一個壓縮文件將下載到您的計算機上。將庫添加到Arduino IDE并打開自定義推理草圖(在GitHub存儲庫中可用)。推理草圖連續(xù)采樣1秒的IMU數(shù)據(jù)，并對每一類運動進行分類。當檢測到圓周運動和左右運動時，XIAO板通過BLE發(fā)送一個字符(分別為1和0)。

04. 物聯(lián)網(wǎng)控制板編程

在訓(xùn)練模型并將其部署到XIAO板之后，剩下的任務(wù)是對BLE設(shè)備(如Arduino Nano 33 BLE)進行編程，以接收來自XIAO板的數(shù)據(jù)，并反過來控制GPIO引腳的邏輯電平。我們可以使用這種邏輯來控制繼電器等設(shè)備，這些設(shè)備依次連接到燈、風(fēng)扇、電機等電器。在我的例子中，我將一個單通道繼電器連接到Arduino Nano的GPIO，繼電器連接到開關(guān)燈(這個季節(jié)的圣誕燈)。這一步相當簡單。我們需要將繼電器連接到Arduino Nano的GPIO上，并將BLE外設(shè)代碼上傳到板上。在代碼中，變量RELAY_PIN用于控制設(shè)置GPIO，允許我們使用邏輯電平來控制繼電器。將代碼上傳到Arduino Nano 33 BLE后，我們可以通過與XIAO板做手勢來實驗是否一切正常，我們將看到Arduino Nano 33 BLE上的板載LED開關(guān)。

在節(jié)日的氣氛中，我接通了繼電器，將電源切換到圣誕燈，展示了我們?nèi)绾畏催^來使用邏輯來控制其他設(shè)備。

結(jié)果

從科幻小說到現(xiàn)實，我們現(xiàn)在可以用手勢控制設(shè)備和電器?？纱┐髟O(shè)備的成本相當?shù)?，看到我們?nèi)绾卫眯屡d的人工智能和物聯(lián)網(wǎng)技術(shù)輕松開發(fā)這樣的應(yīng)用程序，令人印象深刻。遠程驅(qū)動基礎(chǔ)設(shè)施已經(jīng)被廣泛部署，但將人工智能作為控制邏輯的集成正在為更智能的系統(tǒng)開辟新的可能性。下面是可穿戴控制圣誕燈的演示，使用圓形和左右手勢以及BLE驅(qū)動。

結(jié)論

這個項目展示了如何利用邊緣人工智能和低功耗物聯(lián)網(wǎng)通信來構(gòu)建一個在現(xiàn)實世界中實際工作的簡單手勢控制系統(tǒng)。這款可穿戴設(shè)備可以在設(shè)備上進行手勢識別，并使用BLE來控制附近的其他設(shè)備。這使一切都保持快速和成本效益。

目前，可穿戴設(shè)備只能識別少數(shù)幾種手勢，但我們可以通過收集更多數(shù)據(jù)、重新訓(xùn)練模型和連接更多設(shè)備來擴展可能的檢測。結(jié)果顯示了Edge-AI支持的可穿戴設(shè)備作為人機界面的潛力。

本文編譯自hackster.io