該項目旨在開發(fā)一種設(shè)備，以提高視障游泳者在不熟悉的室內(nèi)游泳池中的安全性。該設(shè)備將使用機器學(xué)習(xí)來繪制泳池環(huán)境地圖，實時檢測障礙物，并向游泳者提供音頻反饋。

為了解決視障游泳者在不熟悉的室內(nèi)游泳池中安全航行的問題，我將制作一個配備傳感器(如IMU和攝像頭)的設(shè)備，利用機器學(xué)習(xí)來繪制游泳池環(huán)境并檢測障礙物。它將在兩種模式下運行：學(xué)習(xí)模式(用于繪制地圖)和游泳模式(通過音頻反饋進行實時導(dǎo)航)。

該解決方案與現(xiàn)有的解決方案不同，它結(jié)合了池映射、實時障礙物檢測和個性化音頻反饋。它更能適應(yīng)不同的泳池環(huán)境和游泳者的喜好。

這個裝置很有用，因為它提高了視障游泳者的安全性和獨立性，使他們能夠自信地在不熟悉的游泳池中航行，享受充實的游泳體驗。

詳細的解決方案和PSoC?6 AI開發(fā)套件集成

我的解決方案采用了多方面的方法來指導(dǎo)視力受損的游泳者。我認為主要特點是：

泳池測繪(學(xué)習(xí)模式)：一名視力正常的助手，使用連接在沖浪板上的設(shè)備，將沿著泳池的周邊移動，允許攝像頭、IMU和雷達傳感器捕捉視覺和運動數(shù)據(jù)。這些數(shù)據(jù)將用于訓(xùn)練機器學(xué)習(xí)模型，創(chuàng)建游泳池布局的數(shù)字地圖，包括墻壁和車道線。

實時指導(dǎo)(游泳模式)：游泳者將握住設(shè)備(可能集成到可穿戴設(shè)備中)。相機將持續(xù)捕捉圖像，并將其輸入訓(xùn)練好的ML模型以進行對象檢測。IMU和雷達將跟蹤游泳者的動作和方向。

音頻反饋：基于ML模型的分析和攝像頭、IMU和雷達數(shù)據(jù)，該設(shè)備將向游泳者提供實時音頻反饋。這將包括關(guān)于靠近墻壁、車道邊界和潛在障礙物的提示。不同的音頻信號將指示所需行動的方向和緊迫性。

碰撞檢測：碰撞檢測功能將提供額外的安全層，如果設(shè)備(因此游泳者)與物體碰撞，將立即觸發(fā)警報。

PSoC?6 AI開發(fā)套件將有助于我的解決方案，因為它具有強大的功能和多功能性：

機器學(xué)習(xí)加速：該套件的專用AI功能將使訓(xùn)練有素的機器學(xué)習(xí)模型能夠在Swim模式下進行實時對象檢測和分類。

傳感器集成：該套件的眾多外設(shè)和接口將促進與相機，IMU和其他傳感器的無縫集成，確保準確的數(shù)據(jù)收集和處理。

低功耗運行：該套件的低功耗特性對于延長電池壽命至關(guān)重要，可以在不頻繁充電的情況下進行更長時間的游泳。

音頻處理：該套件的音頻處理能力可以用來生成和輸出游泳者指導(dǎo)所需的各種音頻線索。

可定制設(shè)計：該套件的靈活性將允許定制硬件和軟件，以滿足游泳輔助的特定要求，優(yōu)化性能和用戶體驗。

我正在探索使用PSoC?6 AI開發(fā)套件的潛力，以創(chuàng)建一個創(chuàng)新的解決方案，提高視障游泳者的安全性和獨立性。該設(shè)備可以利用先進的技術(shù)，如機器學(xué)習(xí)和傳感器融合，為游泳者提供實時反饋和指導(dǎo)，提醒他們潛在的危險，協(xié)助導(dǎo)航，并優(yōu)化他們的游泳技術(shù)。

開發(fā)的組件和工具

結(jié)合PSoC?6 AI Kit(包括板載傳感器)、Deepcraft Studio和ModusToolbox，我打算利用安富利的IoTConnect平臺。我對PSoC 6 AI評估套件與安富利IoTConnect平臺集成的潛力很感興趣。我渴望探索這種集成如何促進云連接、數(shù)據(jù)可視化和邊緣人工智能應(yīng)用程序的遠程監(jiān)控。

培訓(xùn)數(shù)據(jù)收集

訓(xùn)練數(shù)據(jù)將由在學(xué)習(xí)模式下捕獲的傳感器數(shù)據(jù)組成。這包括雷達數(shù)據(jù)：加速計和陀螺儀讀數(shù)捕捉設(shè)備的運動和方向，因為它被引導(dǎo)沿著池的周長。這些數(shù)據(jù)將用于訓(xùn)練機器學(xué)習(xí)模型，以便在游泳模式下識別和分類這些特征，從而為游泳者提供準確和實時的障礙物檢測和指導(dǎo)。

機器學(xué)習(xí)推理將如何使用

確定與障礙物的距離：通過分析檢測到的物體(墻壁、車道線)及其與游泳者的距離，該設(shè)備可以評估游泳者與潛在碰撞的距離。生成音頻反饋：根據(jù)障礙物的距離和類型，該設(shè)備將觸發(fā)特定的音頻提示，如蜂鳴聲、音調(diào)或語音提示，以指導(dǎo)游泳者。引導(dǎo)游泳者：音頻反饋將告知游泳者采取必要的行動，例如改變方向，減速或停止，以避開障礙物并安全航行。

開發(fā)的組件和工具

將使用到以下組件和工具：

?PSoC 6 AI評估套件(CY8CKIT-062S2-AI

?ModusToolbox軟件v3.2或更高版本

?DEEPCRAFT Studio -邊緣設(shè)備上的人工智能/機器學(xué)習(xí)開發(fā)平臺。注意：DEEPCRAFT工作室僅適用于Windows操作系統(tǒng)

?DEEPCRAFT就緒模型-生產(chǎn)就緒的AI /機器學(xué)習(xí)模型

?安富利iot連接英飛凌的模塊工具箱和框架。

?PSOC 6人工智能評估工具包

?PSoC?6 MCU - CY8C624ABZI-S2D44

?村田L(fēng)BEE5KL1YN模塊和基于AIROC CYW43439的藍牙®功能

?512 Mbit外部四路SPI NOR閃存，為數(shù)據(jù)和代碼提供快速、可擴展的內(nèi)存

?用于PSoC?6 MCU的兩個用戶led，一個用戶按鈕和一個復(fù)位按鈕

機載傳感器：

?6軸運動傳感器BMI270

?磁力儀(BMM350)

?高性能數(shù)字MEMS麥克風(fēng)(IM72D128)

?氣壓傳感器(DPS368)

?雷達傳感器(BGT60TR13C)

調(diào)試代碼:

KitProg3板載SWD編程器/調(diào)試器，具有USB-UART和USB-I2C橋功能。一個模式選擇按鈕和一個狀態(tài)LED為KitProg3

電源:

PSoC?6 MCU 1.8 V和3.3 V工作

使用ModusToolbox， DEEPCRAFT Studio和安富利的IoTConnect開發(fā)代碼

開發(fā)與PSoC 6 AI：資源和指導(dǎo)

本次網(wǎng)絡(luò)研討會將深入探討端到端機器學(xué)習(xí)(ML)模型的開發(fā)過程，采用業(yè)界領(lǐng)先的PSOC?6 AI套件和英飛凌的AI/ML軟件，并由英飛凌的Clark Jarvis介紹

探索可用的代碼示例(ML示例)

使用KitProg3板上調(diào)試器直接調(diào)試開發(fā)代碼

通過使用ModusToolbox中的IoTConnect庫，使用安富利的IoTConnect軟件

測試IoTConnect儀表板，以便輕松可視化DEEPCRAFT就緒模型，尚未在網(wǎng)絡(luò)研討會中演示。

通過回顧和跟蹤演示，從提供的網(wǎng)絡(luò)研討會的38分鐘開始，我獲得了開始實施AquaGuide項目的必要技能。這包括學(xué)習(xí)如何利用PSoC 6 AI評估工具包、ModusToolbox和DEEPCRAFT Studio為邊緣設(shè)備開發(fā)和部署機器學(xué)習(xí)模型，特別是在傳感器數(shù)據(jù)處理和實時推理的背景下。這種親身實踐的學(xué)習(xí)方法使我能夠理解開發(fā)工具的工作流程和功能，然后我將其應(yīng)用于為視力受損的游泳者創(chuàng)建導(dǎo)航輔助設(shè)備的特定需求。隨后的部分將詳細介紹具體的實現(xiàn)步驟，以及如何將這些學(xué)到的技能應(yīng)用于構(gòu)建AquaGuide設(shè)備。

本文編譯自hackster.io