▌01 前言

各位車(chē)友好， 第十六屆全國(guó)大學(xué)生智能車(chē)競(jìng)賽競(jìng)速組規(guī)則 發(fā)布后，大家已經(jīng)注意到由恩智浦贊助的 AI視覺(jué)組 是最具有綜合性的一個(gè)組，感謝NXP繼續(xù)對(duì)大賽的支持，讓我們感覺(jué)了挑戰(zhàn)性。

• 第十六屆全國(guó)大學(xué)生智能車(chē)競(jìng)賽競(jìng)速組規(guī)則:
  https://zhuoqing.blog.csdn.net/article/details/110253008
• 
  ng.blog.csdn.net/article/details/111352093

關(guān)于“ 第十六屆全國(guó)大學(xué)生智能車(chē)競(jìng)賽競(jìng)速組-室內(nèi)視覺(jué)組補(bǔ)充說(shuō)明^[2] ”的初稿詳情大家可以通過(guò)卓老師的微信公眾號(hào)推文了解到，點(diǎn)擊此處查看。

• 第十六屆全國(guó)大學(xué)生智能車(chē)競(jìng)賽競(jìng)速組-室內(nèi)視覺(jué)組補(bǔ)充說(shuō)明:
  https://zhuoqing.blog.csdn.net/article/details/111352093

初稿發(fā)布后，很多同學(xué)都對(duì)AI視覺(jué)組產(chǎn)生了濃厚的興趣，同時(shí)也產(chǎn)生了很多疑問(wèn)。所以，我們今天對(duì)AI視覺(jué)組的賽題進(jìn)行一個(gè)簡(jiǎn)單分析，希望能給目前還在迷茫準(zhǔn)備階段的車(chē)友們打開(kāi)一些思路。

根據(jù)初稿我們知道：車(chē)模限定使用C型車(chē)、微控制器限定使用NXP公司的MCU，推薦使用i.MX RT系列高性能MCU、傳感器基本不限，可以使用OpenMV RT模塊，但需要提醒的是該模塊并不能完成這個(gè)賽題組的所有任務(wù)，下文有詳細(xì)解釋?zhuān)?qǐng)仔細(xì)閱讀。

▌02 賽題任務(wù)分解

1.循跡

與其他競(jìng)速組賽道兼容，依然需要循跡，依然包含120°三岔路口，循跡任務(wù)推薦采用普通攝像頭來(lái)完成，當(dāng)然，也不是太普通，畢竟是全局快門(mén)的總鉆風(fēng)，這個(gè)任務(wù)比較傳統(tǒng)，這里不再贅述，可以查看往期推文。

2.數(shù)字識(shí)別

在三岔路口需要對(duì)路口處的數(shù)字進(jìn)行識(shí)別，并根據(jù)數(shù)字的奇偶性，來(lái)決策應(yīng)該走左邊還是走右邊，數(shù)字識(shí)別可以使用OpenMV RT模塊，也可以使用OpenART（本文后面會(huì)有OpenART的相關(guān)介紹）來(lái)完成。

3.AprilTag識(shí)別

AprilTag是一個(gè)視覺(jué)基準(zhǔn)庫(kù)，在AR，機(jī)器人，相機(jī)校準(zhǔn)領(lǐng)域廣泛使用。設(shè)定為與二維碼相似但相對(duì)更簡(jiǎn)單的特定標(biāo)志，實(shí)現(xiàn)快速檢測(cè)。

在賽題中AprilTag碼也代表著數(shù)字，依然通過(guò)識(shí)別其所代表的數(shù)字，并判斷奇偶性來(lái)得知靶標(biāo)牌是在賽道的哪一側(cè)，AprilTag碼識(shí)別可以使用OpenMV RT模塊，也可以使用OpenART（本文后面會(huì)有OpenART的相關(guān)介紹）來(lái)完成。

4.物體識(shí)別

賽題中包含動(dòng)物圖案和水果圖案，這部分內(nèi)容也是該組別最能體現(xiàn)“AI”的一個(gè)環(huán)節(jié)。動(dòng)物類(lèi)包含狗、貓、馬、豬、牛五個(gè)子類(lèi)別，水果類(lèi)包含蘋(píng)果、橘子、葡萄、香蕉、榴蓮五個(gè)子類(lèi)別，圖案對(duì)象均為全身或整體照片。

關(guān)于動(dòng)物和水果的識(shí)別，需要采用第十五屆AI電磁組部署神經(jīng)網(wǎng)絡(luò)模型的方式，來(lái)實(shí)現(xiàn)對(duì)圖案的識(shí)別，區(qū)別是數(shù)據(jù)量大了許多，所以這個(gè)環(huán)節(jié)的任務(wù)采用OpenMV RT模塊就完成不了了，必定需要部署神經(jīng)網(wǎng)絡(luò)模型，當(dāng)然也可以在該模塊上自行部署，但該模塊上沒(méi)有SDRAM，無(wú)法部署較大的模型，所以推薦在獨(dú)立的高性能MCU上部署AI模型進(jìn)行訓(xùn)練。

這里又提到對(duì)MCU性能有要求，因此規(guī)則中推薦使用NXP的i.MX RT系列的高性能MCU。對(duì)應(yīng)的，我們推薦使用RT1064來(lái)作為部署AI模型的MCU，同時(shí)逐飛的RT1064核心板板載32M SDRAM，正好可以滿(mǎn)足模型數(shù)據(jù)量對(duì)空間的要求。

關(guān)于圖案識(shí)別的參考數(shù)據(jù)集及識(shí)別示例，NXP都會(huì)提供，屆時(shí)逐飛也會(huì)第一時(shí)間進(jìn)行驗(yàn)證。同時(shí)在這個(gè)賽題任務(wù)的討論時(shí)，基本意見(jiàn)是考慮預(yù)賽階段的數(shù)據(jù)集由組委會(huì)統(tǒng)一提供，也就是說(shuō)預(yù)賽中出現(xiàn)的水果和動(dòng)物圖案，都在預(yù)先提供的數(shù)據(jù)集里，決賽階段選擇預(yù)先告知的數(shù)據(jù)集之外的水果和動(dòng)物圖案，這樣可以保證大多數(shù)同學(xué)的完賽率，同時(shí)提高決賽階段的競(jìng)技水平，誰(shuí)的訓(xùn)練更充分，誰(shuí)就更有可能在決賽中的識(shí)別環(huán)節(jié)取勝，具體實(shí)施方案應(yīng)該會(huì)在正式版的規(guī)則中明確。

同時(shí)水果和動(dòng)物的圖案可能還需要一個(gè)外框，用于定位抓圖，通過(guò)對(duì)圖像中這個(gè)外框的識(shí)別來(lái)定位，將攝像頭中有效的動(dòng)物水果圖案抓取出來(lái)進(jìn)行識(shí)別，避免背景對(duì)識(shí)別的干擾，這一點(diǎn)也許需要加入到最終的規(guī)則中去，后面逐飛在做驗(yàn)證時(shí)也會(huì)更清楚這一點(diǎn)的需求，AprilTag碼的位置與靶標(biāo)牌的距離及相對(duì)位置也需要實(shí)際測(cè)試，規(guī)則中的距離要求可能需要調(diào)整，有待進(jìn)一步驗(yàn)證。

5.激光打靶

在識(shí)別到圖案為水果時(shí)，需要使用車(chē)載小型激光發(fā)射器對(duì)準(zhǔn)靶心發(fā)送一束激光，打中才算完成該項(xiàng)任務(wù)，激光發(fā)射的相關(guān)技術(shù)要求，會(huì)在后面的正式規(guī)則文檔中詳細(xì)寫(xiě)出，相對(duì)而言，這部分工作需要建立在圖案識(shí)別的基礎(chǔ)上，識(shí)別準(zhǔn)確了，打靶的控制才能準(zhǔn)確實(shí)現(xiàn)。激光發(fā)射部分的制作很簡(jiǎn)單，屆時(shí)會(huì)給出參考方案和技術(shù)指標(biāo)。激光瞄準(zhǔn)部分的機(jī)械結(jié)構(gòu)應(yīng)該需要用到舵機(jī)云臺(tái)，通過(guò)控制來(lái)實(shí)現(xiàn)瞄準(zhǔn)靶心。

▌02 OpenART

接下來(lái)給大家簡(jiǎn)單介紹一下上文中多次提到OpenART，這究竟是一個(gè)什么神器？

OpenART是由恩智浦研發(fā)的，最初的設(shè)計(jì)構(gòu)想是做一套基于NXP i.MX RT系列高性能MCU的通用AI教育套件.

⊙ 應(yīng)用場(chǎng)合:

• 人工智能教育，綜合創(chuàng)新，原型驗(yàn)證
• 非多媒體數(shù)據(jù)上的機(jī)器學(xué)習(xí)（異常檢測(cè)、姿態(tài)識(shí)別、智能控制策略）
• 語(yǔ)音觸發(fā)、聲源定位
• 人臉識(shí)別
• 智能可運(yùn)動(dòng)物體（模仿+強(qiáng)化學(xué)習(xí)）-機(jī)電聯(lián)動(dòng)：云臺(tái)載具
• 機(jī)器視覺(jué)（OpenMV，從這里可以看出，它可以替代OpenMV）
• MCU教育
• 傳統(tǒng)算法轉(zhuǎn)深度學(xué)習(xí)

⊙ 硬件設(shè)計(jì)特點(diǎn):

• 模塊化設(shè)計(jì)
• 兼容樹(shù)莓派通信接口
• 強(qiáng)化數(shù)據(jù)采集 –攝像頭、多麥克風(fēng)、多路AD、加速度、陀螺儀、地磁、壓力、溫度、濕度、照度等多傳感器融合
• 尺寸小巧

⊙ 軟件特點(diǎn)：

• RT-Thread內(nèi)核，驅(qū)動(dòng)，軟件組件及開(kāi)發(fā)環(huán)境
• Micropython環(huán)境，用于二次開(kāi)發(fā), AI教學(xué)
• OpenMV機(jī)器視覺(jué)庫(kù)，運(yùn)行OpenMV IDE自帶視覺(jué)處理腳本
• eIQ: NXP機(jī)器學(xué)習(xí)開(kāi)發(fā)包

OpenART套件的軟件部分采用RTOS為基礎(chǔ)，可以說(shuō)RTOS為這套系統(tǒng)提供了很便捷的開(kāi)發(fā)方式，對(duì)于大賽的AI視覺(jué)組來(lái)講，有RTOS的加持，可以為軟件設(shè)計(jì)提供更便捷的開(kāi)發(fā)環(huán)境。

尤其該賽題組涉及到多任務(wù)，及Python和C語(yǔ)言的兩種開(kāi)發(fā)語(yǔ)言，有了操作系統(tǒng)做多任務(wù)分配，就大大的提高了可操作性，同學(xué)們可以根據(jù)自己的需求和能力，來(lái)自由分配和設(shè)計(jì)自己的整體軟件結(jié)構(gòu)，Python腳本可實(shí)現(xiàn)基礎(chǔ)硬件控制，C語(yǔ)言可以完成主控邏輯的程序編寫(xiě)，同時(shí)解決了OpenMV只能用Python文件編寫(xiě)功能，不能用C語(yǔ)言來(lái)編寫(xiě)實(shí)時(shí)控制邏輯代碼的問(wèn)題。

所以O(shè)penART教育套件的軟件結(jié)構(gòu)設(shè)計(jì)初衷，幾乎完美契合AI視覺(jué)組的任務(wù)需求，引入RTOS也在這種復(fù)雜多任務(wù)嵌入式系統(tǒng)的設(shè)計(jì)中，體現(xiàn)出了巨大的優(yōu)勢(shì)。

上面也提到了OpenART本身就可以變身為一個(gè)OpenMV，通過(guò)Python腳本就可以完成人臉檢測(cè)、色塊檢測(cè)、邊緣檢測(cè)等視覺(jué)處理腳本。??同時(shí)，現(xiàn)在的OpenART支持3種神經(jīng)網(wǎng)絡(luò)引擎：分別是openMV的舊式nn模塊，tf模塊，以及nncu模塊。將來(lái)會(huì)支持GLOW。

接下來(lái)會(huì)制作基于nncu和tf模塊的模型，nncu模塊使用舊式CMSIS-NN API并且優(yōu)化了性能，而tf模塊使用新式CMSIS-NN的"_s8" API，性能有少量下降但8位精度更高。

▲ OpenART工具包架構(gòu)

按照OpenART的設(shè)計(jì)思路，基于與智能車(chē)大賽AI視覺(jué)組任務(wù)需求的完美契合，NXP與逐飛聯(lián)合設(shè)計(jì)了這套硬件，如下圖所示，整個(gè)開(kāi)發(fā)板依然圍繞逐飛RT1064核心板展開(kāi)，攝像頭可兼容OpenMV4接口的Camera模塊和逐飛的凌瞳彩色攝像頭。

受NXP委托，逐飛正在做基于OpenART的AI視覺(jué)組賽題任務(wù)驗(yàn)證，驗(yàn)證完成后將會(huì)給出一個(gè)入門(mén)參考方案給同學(xué)們(包含神經(jīng)網(wǎng)絡(luò)模型部署等)，但更多的工作仍需要同學(xué)們自己去完成，包括OpenART開(kāi)發(fā)套件也只能用于學(xué)習(xí)，只有RT1064核心板、OpenMV RT模塊、凌瞳彩色攝像頭等模塊可以直接用于比賽，參賽作品的拓展板需要同學(xué)們根據(jù)自己的需求自行設(shè)計(jì)和裁減。

因?yàn)镺penART開(kāi)發(fā)套件包含的功能較多，對(duì)于競(jìng)賽而言，有些功能是多余的，但如果您對(duì)其他部分也感興趣，可以在比賽之余通過(guò)開(kāi)發(fā)板學(xué)習(xí)到更多的應(yīng)用。

▲ OpenART 開(kāi)發(fā)板

好了，本次的AI視覺(jué)組賽題分析就先到這了，更多關(guān)于AI視覺(jué)組的硬件適配，軟件方案的介紹且聽(tīng)下回分解，歡迎留言或進(jìn)QQ群（946236488）討論。

本文來(lái)自微信公眾號(hào)文章：智能車(chē)競(jìng)賽，AI視覺(jué)組賽題淺析

免責(zé)聲明：本文內(nèi)容由21ic獲得授權(quán)后發(fā)布，版權(quán)歸原作者所有，本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。文章僅代表作者個(gè)人觀點(diǎn)，不代表本平臺(tái)立場(chǎng)，如有問(wèn)題，請(qǐng)聯(lián)系我們，謝謝！