通過這個動手項目,解鎖嵌入式AI的強大功能,將ESP32-S3微控制器變成能夠使用模型上下文協(xié)議(MCP)進行自然交互和硬件控制的智能語音助手。與依賴專有云服務(wù)的典型語音助手不同,這個DIY解決方案將本地捕獲的語音、真正的人工智能推理和智能設(shè)備控制融合到一個面向制造商和開發(fā)人員的有凝聚力的、可定制的系統(tǒng)中。
藍牙低功耗(BLE)設(shè)備廣泛用于環(huán)境監(jiān)測,但將其數(shù)據(jù)傳輸?shù)皆贫送ǔP枰獜?fù)雜的sdk、網(wǎng)關(guān)或?qū)S衅脚_。在本教程中,我們演示了一個簡單而靈活的替代方案:使用BleuIO作為USB BLE網(wǎng)關(guān)將BLE廣告數(shù)據(jù)直接發(fā)送到Arduino Cloud。
我在創(chuàng)客空間、學(xué)術(shù)實驗室和創(chuàng)新項目中指導(dǎo)了數(shù)千名學(xué)生,我反復(fù)看到了同樣的挑戰(zhàn)。學(xué)生們對機器人、電子和人工智能感到興奮,但他們的學(xué)習(xí)是分散的。他們在沒有硬件的情況下編碼,在不理解邏輯的情況下組裝工具包,在沒有現(xiàn)實環(huán)境的情況下學(xué)習(xí)理論。
超聲波模塊的共振頻率可以高于或低于標稱頻率。使用Arduino UNO,您可以在該范圍內(nèi)生成頻率并檢查接收器的電壓。使用“OLD”IDE的繪圖儀,您可以輕松找到最終繪圖的最大值。這是您需要的硬件連接:將引腳9和10 (OC1A和OC1B)連接到發(fā)送器,將接收器信號連接到整流二極管,并將直流值連接到模擬輸入A0。
像《鋼鐵俠》這樣的電影讓我們夢想著智能助手和只需揮揮手就能控制設(shè)備等技術(shù)。當時,這一切聽起來都很科幻,但現(xiàn)在我們離實現(xiàn)它越來越近了。傳感器越來越智能,處理器幾乎可以適應(yīng)任何東西,機器學(xué)習(xí)也越來越智能。所有這些都激發(fā)了我的靈感,讓我設(shè)計了一種可穿戴的魔杖,它能讓我們用手做出手勢,控制設(shè)備。
作為約翰布朗大學(xué)嵌入式系統(tǒng)課程的期末項目的一部分,這個項目的目標是創(chuàng)建一個基于德州儀器MSP430G2553的視頻游戲機,該游戲機使用多個外設(shè)來控制其中的三個游戲。這樣做是為了通過裸機方法(在C中,因為匯編需要更長的時間才能工作)最大化使用低端平臺,而不依賴于任何預(yù)先存在的庫。
這個項目構(gòu)成了伊利諾伊大學(xué)厄巴納-香檳分校ME461:機械系統(tǒng)計算機控制的最終產(chǎn)品。該項目的主要課題是一個多用途機器人,配備了機載傳感器,包括輪式編碼器、IMU距離傳感器等,以及德州儀器的F28379D發(fā)射臺板,更大的項目目標是使用機器人完成給定的任務(wù),或使用傳感器和控制器來設(shè)計新型機器人功能。
我們的團隊開發(fā)了一款自動尋光機器人汽車,旨在探測和導(dǎo)航光源。該系統(tǒng)采用四方向光敏傳感器陣列,通過內(nèi)置微控制器進行實時處理,以演示基于傳感器的決策和控制。
現(xiàn)代物聯(lián)網(wǎng)應(yīng)用需要可靠的實時圖像流功能,用于從安全監(jiān)控到遠程監(jiān)控的應(yīng)用。雖然基于wifi的解決方案很常見,但它們往往存在信號不穩(wěn)定和范圍有限的問題。該項目演示了如何使用內(nèi)置以太網(wǎng)功能的W6300-EVB-PICO2微控制器構(gòu)建強大的以太網(wǎng)供電攝像機系統(tǒng),使用HTTP和MQTT協(xié)議將實時圖像流式傳輸?shù)紸dafruit IO,以實現(xiàn)最大的靈活性和可靠性。
空氣、濕度、壓力等條件都可以通過TTN (TheThings Network)遠程觀察。它通常用于室內(nèi)空氣質(zhì)量監(jiān)測環(huán)境數(shù)據(jù)記錄RAK1906不能單獨工作,它必須連接到核心和基地,對于這個項目,我們將使用的核心將是RAK4630,基地RAK19003。當基座用USB C線連接到計算機上時,我們可以將代碼上傳到核心,核心將在監(jiān)控屏幕上顯示來自傳感器的數(shù)據(jù)。能夠?qū)崿F(xiàn)此功能的程序是Arduino和Visual Studio Code with the Platform。io插件。
本教程將主要使用AI Tool Stack與NeoEyes NE301相結(jié)合來完成從模型數(shù)據(jù)收集到部署的過程。AI Tool Stack是CamThink為NeoEyes NE301打造的端到端邊緣AI工具,涵蓋數(shù)據(jù)收集、標注、訓(xùn)練、量化和部署。它支持用戶自部署和管理。對AI Tool Stack的訓(xùn)練和量化的底層支持來自于ultralytics項目庫。感謝ultralytics團隊的出色貢獻。
ksheze