（文章來源：VR陀螺網(wǎng)）

早在語言出現(xiàn)之前,人類就習(xí)慣使用肢體和手勢(shì),這種近乎本能的溝通方式,來互相交流。在機(jī)器被發(fā)明之后,手勢(shì)因具備鍵盤、鼠標(biāo)、觸屏等交互方式所無法替代的天然優(yōu)勢(shì),仍然有諸多應(yīng)用場(chǎng)景。在電影《鋼鐵俠》里面,主角一揮手,憑空推拉拖拽操控虛擬物體,簡(jiǎn)直不要太炫酷了。做到像電影中那樣高精度、穩(wěn)定性好的手勢(shì)識(shí)別,需要硬件和算法的加持,兩者缺一不可。

手勢(shì)識(shí)別都有哪些常見的硬件方案?工程師是如何用 AI 算法來優(yōu)化識(shí)別效果的?常見的手勢(shì)識(shí)別應(yīng)用場(chǎng)景都有哪些?接下來,就讓 Rokid R-Lab 算法工程師張兆輝為我們娓娓道來。手勢(shì)識(shí)別的原理并不復(fù)雜,它通過硬件捕獲自然信號(hào),就像相機(jī)捕獲圖片信息那樣,然后通過軟件算法計(jì)算得到手的位置、姿態(tài)、手勢(shì)等,處理成計(jì)算機(jī)可以理解的信息。

彩色攝像頭方案只需要一個(gè)普通攝像頭,捕捉拍攝一張彩色圖片,通過 AI 算法得到圖片中手的位置、姿態(tài)、手勢(shì)等信息。優(yōu)勢(shì)是設(shè)備成本低、數(shù)據(jù)容易獲取。目前這種基于單目 RGB 的手勢(shì)識(shí)別在學(xué)術(shù)界和工業(yè)界研究的比較多,商用的方案商有英梅吉、ManoMotion、虹軟等。

還有一些人工智能開放平臺(tái)同樣提供這種方案。比如騰訊 AI 開放平臺(tái)提供靜態(tài)手勢(shì)識(shí)別和手部關(guān)鍵點(diǎn),百度 AI 開放平臺(tái)和 Face++ 提供靜態(tài)手勢(shì)檢測(cè)。以及一些開源項(xiàng)目比如 openpose 和 Google Mediapipe 等。相比深度攝像頭方案,彩色攝像頭方案缺乏深度信息,受光照影響非常大,夜間無法使用,穩(wěn)定性和精度都沒有深度相機(jī)方案好。

這個(gè)方案是通過深度攝像頭來獲取帶有深度信息的圖片。優(yōu)勢(shì)是更容易獲取手部的 3D 信息,相對(duì)應(yīng)的通過 AI 算法得到的手部 3D 關(guān)鍵點(diǎn)也更加準(zhǔn)確和穩(wěn)定。但缺點(diǎn)是需要額外的設(shè)備、硬件成本比較高。深度相機(jī)又分三大類:ToF、結(jié)構(gòu)光和雙目成像。其中,ToF 和結(jié)構(gòu)光得到的深度圖比較準(zhǔn),但成本比較高,多用于手勢(shì)的科研領(lǐng)域,商用的比較少,比如微軟 HoloLens、極魚科技 ThisVR。

雙目成像因?yàn)橐晥?chǎng)角大,幀率高,很適合用來做手勢(shì)識(shí)別,唯一缺點(diǎn)就是因?yàn)槌上裨淼南拗?使得整個(gè)雙目相機(jī)模組的體積對(duì)比 ToF 和結(jié)構(gòu)光來說大很多。采用雙目成像的公司以目前最大的手勢(shì)識(shí)別公司 Leap MoTIon 為代表,該公司使用的是主動(dòng)雙目成像方案,除了雙目攝像頭外還有三個(gè)補(bǔ)光單元,可捕獲雙手 26DoF、靜態(tài)手勢(shì)、動(dòng)態(tài)手勢(shì)等。此外,Leap MoTIon 還提供了非常完整的 SDK,對(duì)各個(gè)平臺(tái)支持都不錯(cuò)(除手機(jī)平臺(tái))。

國(guó)內(nèi)也有在做雙目手勢(shì)的公司,比如 uSens Fingo 是基于主動(dòng)雙目的視覺方案, 提供雙手 26DoF、靜態(tài)手勢(shì)、動(dòng)態(tài)手勢(shì)識(shí)別等功能。相比于 Leap MoTIon,uSens 更專注于對(duì)手機(jī)以及其他低功耗嵌入式設(shè)備的支持。此外還有微動(dòng) Vidoo Primary 也有基于雙目的手勢(shì)解決方案。

毫米波雷達(dá)方案的代表有谷歌推出的一款特殊設(shè)計(jì)的雷達(dá)傳感器—— Project Soli ,它可以追蹤亞毫米精準(zhǔn)度的高速運(yùn)動(dòng),但目前尚處在實(shí)驗(yàn)室階段。從其公布的演示來看,目前可以識(shí)別個(gè)別指定的手勢(shì),并在小范圍內(nèi)識(shí)別微小精確的手勢(shì)操作,很適合發(fā)揮人類精準(zhǔn)的小肌肉運(yùn)動(dòng)技能(fine motor skills)。但缺點(diǎn)是有效范圍太小,無法得到手的所有自由度。

數(shù)據(jù)手套是指在手上帶一個(gè)內(nèi)置傳感器的特制手套,通過傳感器檢測(cè)手指的屈伸角度或位置,再根據(jù) Inverse kinemaTIcs(逆運(yùn)動(dòng)學(xué))來計(jì)算出手的位置。一般用到的傳感器有彎曲傳感器、角度傳感器、磁力傳感器等。彎曲傳感器和角度傳感器類似都是可檢測(cè)手指的彎曲程度,我們以 DEXMO 力反饋手套為例,該手套使用旋轉(zhuǎn)傳感器捕捉 11 個(gè)自由度的手部運(yùn)動(dòng),包括每根手指的伸展和彎曲,以及大拇指一個(gè)額外的旋轉(zhuǎn)自由度。

此方案對(duì)手的局部動(dòng)作檢測(cè)很準(zhǔn),而且不受視覺方案中視野范圍的限制。但缺點(diǎn)是手上必須戴手套不方便,且只能檢測(cè)局部的手指動(dòng)作,不能定位手部整體的位置角度。若想要檢測(cè)手的位置角度, DEXMO 需配合其他 6 自由度追蹤器使用。

當(dāng)然 DEXMO 的最大賣點(diǎn)其實(shí)不是手勢(shì)識(shí)別,而是逼真的觸覺反饋(haptics)+手勢(shì)識(shí)別。手勢(shì)識(shí)別+觸覺反饋的方案肯定會(huì)是以后人機(jī)交互的重要一環(huán)。最近收購(gòu) Leap Motion 的 UltraHaptics 就是一家做觸覺反饋的公司。還有一種用磁力傳感器的——trakSTAR 電磁式空間位置追蹤系統(tǒng)。通過在手上貼的磁力傳感器的磁場(chǎng)變化,來確定傳感器的位置角度,再根據(jù)反運(yùn)動(dòng)學(xué)確定手的具體位置。

此方案需在手部貼 6 個(gè)磁力傳感器(5個(gè)指尖+1個(gè)手背),并在面前放一個(gè)磁力發(fā)射器。磁力發(fā)射器會(huì)在一定范圍內(nèi)形成一個(gè)特殊的電磁場(chǎng),然后根據(jù)傳感器在電磁場(chǎng)中不同位置角度檢測(cè)到的電磁場(chǎng)強(qiáng)度的不同,來推斷出指尖及手掌的位置角度。再通過反運(yùn)動(dòng)學(xué),確定所有手部關(guān)節(jié)點(diǎn)的位置。

此方案的缺點(diǎn)是有效使用范圍太小,價(jià)格太貴,適用場(chǎng)景太少。優(yōu)點(diǎn)是精度很高,穩(wěn)定性很好,并且可獲得手部所有自由度。目前此方案還只有純科研在用,最近幾個(gè)學(xué)術(shù)界公開的手勢(shì)數(shù)據(jù)集 FHAB、 BigHand 都是用此設(shè)備采集的。
? ? ?