[導讀]物聯(lián)傳媒隨著智能硬件和移動計算的快速發(fā)展，物聯(lián)網(wǎng)在多個領域得到廣泛應用，例如車載自組織網(wǎng)絡（VANET）、邊緣計算、智能家居或智能設備交互和控制等。智能家居系統(tǒng)控制照明、室溫、娛樂設施和電器等，像智能空調、冰箱和電視機等。如何以自然的方式控制它們或與它們交互成為了一個懸而未決的問...
本文來源：物聯(lián)傳媒
隨著智能硬件和移動計算的快速發(fā)展，物聯(lián)網(wǎng)在多個領域得到廣泛應用，例如車載自組織網(wǎng)絡（VANET）、邊緣計算、智能家居或智能設備交互和控制等。智能家居系統(tǒng)控制照明、室溫、娛樂設施和電器等，像智能空調、冰箱和電視機等。如何以自然的方式控制它們或與它們交互成為了一個懸而未決的問題，關乎用戶體驗。
目前智能家居場景中的人機交互主要有三種解決方案。第一種是結合手機觸發(fā)控制，例如在手機上安裝相關APP控制家電。這種交互方式只是將手機作為一個遙控器，延長控制距離。第二種是利用語音識別，將人類語言轉化為機器指令，提供人機交互體驗。但是在一些特殊安靜的場景語音識別并不適用，或者有語言障礙的人無法使用這項功能。最后一種方法是使用基于相機或非基于相機的動作識別。基于攝像頭的動作識別是一種相對成熟的方式，但是隱私泄露的風險極大地限制了其應用。非基于相機的動作識別利用從商用MEMS傳感器（例如加速度計、陀螺儀和磁感應器）收集的多個傳感信號來幫助智能設備了解用戶的行為意圖。
近年來，隨著科技的發(fā)展，智能設備層出不窮。一系列智能設備開始進入人們的生活，比如智能手機、智能腕帶、智能手表和智能眼鏡等。
本文提到的智能手表預先嵌入了MEMS以外的多種傳感器，并使用了RFID相關技術。手腕的姿勢通過手表內置的傳感器進行識別，手指的識別主要通過柔性機械傳感器來實現(xiàn)，這些傳感器可用于檢測肌腱的運動和手腕形狀的變化。
智能手表是一種常見的可穿戴設備，通常配備陀螺儀、加速度計和磁力計等MEMS傳感器。這些傳感器可以收集與手腕和手臂運動相關的大量數(shù)據(jù)。這種交互方式具有成本低、使用方便、適用范圍廣等優(yōu)點。但是，該解決方案面臨許多困難。首先，低精度和高噪聲是智能手表內置MEMS傳感器的共同特點。這對動作識別的準確性非常不利。其次，智能手表內置的MEMS傳感器數(shù)量有限，通常不到3種，讓一個用戶佩戴多個智能手表顯然是不現(xiàn)實的。最后，手表佩戴者的手臂動作復雜多樣，即使采用各種方法對傳感器進行標定，采用各種算法對數(shù)據(jù)進行去噪，動作識別的解空間仍然很大。因此，僅使用有限數(shù)量、精度較差的內置 MEMS 傳感器很難在相對較大的空間內準確識別結果。
本文解決方案的主要思想是通過智能手表記錄用戶與設備的最新交互，然后猜測目標的位置和軌跡。該方法主要包括兩步：手臂姿態(tài)估計和軌跡識別。
基于攝像頭的交互動作識別
比較常用的基于相機的商業(yè)體感交互解決方案可能是 Kinect 系統(tǒng)，它利用紅外投影儀和探測器來避免光照變化或復雜背景的影響，并在 3D 空間中捕獲深度信息，例如體感游戲和智能控制。雖然基于攝像頭的解決方案可以精確捕捉動作和交互意圖，但它們面臨著光照變化、復雜背景和部分遮擋物體的挑戰(zhàn)，以及額外的紅外傳感器會導致成本過高。
研究人員使用射頻信號和內置 MEMS 傳感器來推斷用戶的動作和位置。Apple Inc 推出 Apple Watch，它利用肌肉活動的感應來實現(xiàn)人機交互。但是，由于他們沒有挖掘歷史信息軌跡和限制臂展，他們無法實現(xiàn)與多個智能家電的復雜交互。
隨著智能手表應用的增加，我們通過內置 MEMS 傳感器提出了一種基于可穿戴設備的智能家居人機交互解決方案。
使用智能手表進行動作識別
通過對人體手臂骨骼進行數(shù)學建模，將智能手表內置MEMS傳感器采集到的數(shù)據(jù)轉化為與手臂運動密切相關的自由度（DOF）數(shù)據(jù)，向量機（SVM）的分類模型通過手臂的自由度數(shù)據(jù)訓練，對特定人機交互場景中的動作進行分類識別。然后將識別結果應用于智能家居的交互控制。智能手表就是收集數(shù)據(jù)、運行識別算法并發(fā)出交互控制指令的主體。
雖然智能家居的人機交互控制需求有很多種，但最廣泛的類型可以分為三類。第一類是開啟和關閉。所有智能家居產(chǎn)品都需要這樣的交互。第二種是定量加減法。比如控制智能空調溫度的升降，控制智能電視音量的升降。第三類是方向控制。比如控制智能窗簾太靠近左邊，控制智能電視的菜單光標向右移動，控制智能空調向上吹等等。對于這三種人機交互，當智能手表識別到相應動作時，即可進行智能家居的交互控制。
首先，通過數(shù)學建模構建手腕姿勢與手臂自由度到手臂骨骼的映射關系。根據(jù)人類的生理結構，手臂的運動是由肩、肘、腕關節(jié)、下臂和上臂的兩個連接器決定的。三個關節(jié)和兩個連接器有一定的運動范圍（旋轉或位移）。為了描述手臂的運動范圍，我們需要使用自由度（DOF）的概念。智能手表通常佩戴在小臂上，因此我們可以忽略手的獨立運動。
借助人體手臂姿態(tài)估計模型，可以將智能手表內置的MEMS傳感器采集到的數(shù)據(jù)轉化為與手臂運動密切相關的自由度數(shù)據(jù)。
交互動作識別流程圖
一般情況下，只有當用戶在家時，才需要與智能家居產(chǎn)品進行交互。此時，智能手表和智能家居接入同一個Wi-Fi路由器。因此，當智能手表檢測到家庭Wi-Fi路由器的SSID時，則認為已經(jīng)進入動作識別場景，反之則認為已經(jīng)離開動作識別場景。
進入動作識別場景后，智能手表開始采集內置的MEMS傳感器數(shù)據(jù)。接下來，我們需要從自由度數(shù)據(jù)的動作段中提取特征。這種提取方法使得識別動作更加可行。
實例驗證
我們邀請五名志愿者將LG G手表戴在與手背同方向的左手腕上參加測試。
LG G Watch（型號W100，代號Dory）是LG和谷歌于2014年6月25日發(fā)布的一款基于Android Wear的智能手表，擁有512MB內存和高通12GHz CPU。手表配備 9 軸（陀螺儀/加速度計/羅盤）、氣壓計和 PPG 以感知位置、姿勢、高度和心率。
每個人獨立進行70組實驗，每組實驗包括2個觸發(fā)動作、4個歷史交互動作和1個隨機動作。然后通過 Kinect 估計的性能來分析手臂姿勢估計模型的可靠性和準確性。
選取幾個基本動作進行驗證，取一組畫圓測試數(shù)據(jù)進行展示，測試者用他的手表在空間中任意畫一個圓圈。下圖為肘部和腕部軌跡線對應的圖。左邊是模型估計的結果，右邊是Kinect的結果。可以發(fā)現(xiàn)，雖然左右圖形的形狀略有不同，但兩個圖形的軌跡具有相同的趨勢。
繪制圓形軌跡線的模型估計結果和Kinect觀測結果（單位：米）
一些相關的歷史交互，例如加載頂部，加載底部，穿上東西和扔東西，它們的識別準確度如下圖所示。
通過歷史交互結果可以看出，智能手表識別動作的準確度很高，小于0.3m。
結論
本文的智能家居人機交互解決方案，主要包括手臂姿態(tài)估計模型和軌跡估計模型。利用 MEMS 傳感器記錄的手臂約束和歷史信息，實現(xiàn)了基于細粒度動作識別的智能家居與粗粒度 MEMS 傳感器的交互。
此外，引入更高效和有效的 去噪濾波算法，以應對低成本內置傳感器的挑戰(zhàn)。此外，我們可以將輕量級深度學習網(wǎng)絡（例如 MobileNet）移植到可穿戴設備以推斷用戶的活動。
隨著智能手表和智能商品的普及，其計算能力和品類也將迅速增加。智能家電最終會走向智能家居，人機交互是未來既定趨勢。
來源：IEEE
~END~
搶先預登記，提前入群交流IOTE 2021展位#?深圳站2021年10月23-25日深圳會展中心（福田）
? ? ? #?參展聯(lián)系：? ? ??陳江漢先生 13360526899（微信同號）
今日份需求已上線1.DTU2.智能巡檢終端3.更多需求：https://www.iotku.com/Biz/
隨著智能硬件和移動計算的快速發(fā)展，物聯(lián)網(wǎng)在多個領域得到廣泛應用，例如車載自組織網(wǎng)絡（VANET）、邊緣計算、智能家居或智能設備交互和控制等。智能家居系統(tǒng)控制照明、室溫、娛樂設施和電器等，像智能空調、冰箱和電視機等。如何以自然的方式控制它們或與它們交互成為了一個懸而未決的問題，關乎用戶體驗。
目前智能家居場景中的人機交互主要有三種解決方案。第一種是結合手機觸發(fā)控制，例如在手機上安裝相關APP控制家電。這種交互方式只是將手機作為一個遙控器，延長控制距離。第二種是利用語音識別，將人類語言轉化為機器指令，提供人機交互體驗。但是在一些特殊安靜的場景語音識別并不適用，或者有語言障礙的人無法使用這項功能。最后一種方法是使用基于相機或非基于相機的動作識別。基于攝像頭的動作識別是一種相對成熟的方式，但是隱私泄露的風險極大地限制了其應用。非基于相機的動作識別利用從商用MEMS傳感器（例如加速度計、陀螺儀和磁感應器）收集的多個傳感信號來幫助智能設備了解用戶的行為意圖。
近年來，隨著科技的發(fā)展，智能設備層出不窮。一系列智能設備開始進入人們的生活，比如智能手機、智能腕帶、智能手表和智能眼鏡等。
本文提到的智能手表預先嵌入了MEMS以外的多種傳感器，并使用了RFID相關技術。手腕的姿勢通過手表內置的傳感器進行識別，手指的識別主要通過柔性機械傳感器來實現(xiàn)，這些傳感器可用于檢測肌腱的運動和手腕形狀的變化。
智能手表是一種常見的可穿戴設備，通常配備陀螺儀、加速度計和磁力計等MEMS傳感器。這些傳感器可以收集與手腕和手臂運動相關的大量數(shù)據(jù)。這種交互方式具有成本低、使用方便、適用范圍廣等優(yōu)點。但是，該解決方案面臨許多困難。首先，低精度和高噪聲是智能手表內置MEMS傳感器的共同特點。這對動作識別的準確性非常不利。其次，智能手表內置的MEMS傳感器數(shù)量有限，通常不到3種，讓一個用戶佩戴多個智能手表顯然是不現(xiàn)實的。最后，手表佩戴者的手臂動作復雜多樣，即使采用各種方法對傳感器進行標定，采用各種算法對數(shù)據(jù)進行去噪，動作識別的解空間仍然很大。因此，僅使用有限數(shù)量、精度較差的內置 MEMS 傳感器很難在相對較大的空間內準確識別結果。
本文解決方案的主要思想是通過智能手表記錄用戶與設備的最新交互，然后猜測目標的位置和軌跡。該方法主要包括兩步：手臂姿態(tài)估計和軌跡識別。
基于攝像頭的交互動作識別
比較常用的基于相機的商業(yè)體感交互解決方案可能是 Kinect 系統(tǒng)，它利用紅外投影儀和探測器來避免光照變化或復雜背景的影響，并在 3D 空間中捕獲深度信息，例如體感游戲和智能控制。雖然基于攝像頭的解決方案可以精確捕捉動作和交互意圖，但它們面臨著光照變化、復雜背景和部分遮擋物體的挑戰(zhàn)，以及額外的紅外傳感器會導致成本過高。
研究人員使用射頻信號和內置 MEMS 傳感器來推斷用戶的動作和位置。Apple Inc 推出 Apple Watch，它利用肌肉活動的感應來實現(xiàn)人機交互。但是，由于他們沒有挖掘歷史信息軌跡和限制臂展，他們無法實現(xiàn)與多個智能家電的復雜交互。
隨著智能手表應用的增加，我們通過內置 MEMS 傳感器提出了一種基于可穿戴設備的智能家居人機交互解決方案。
使用智能手表進行動作識別
通過對人體手臂骨骼進行數(shù)學建模，將智能手表內置MEMS傳感器采集到的數(shù)據(jù)轉化為與手臂運動密切相關的自由度（DOF）數(shù)據(jù)，向量機（SVM）的分類模型通過手臂的自由度數(shù)據(jù)訓練，對特定人機交互場景中的動作進行分類識別。然后將識別結果應用于智能家居的交互控制。智能手表就是收集數(shù)據(jù)、運行識別算法并發(fā)出交互控制指令的主體。
雖然智能家居的人機交互控制需求有很多種，但最廣泛的類型可以分為三類。第一類是開啟和關閉。所有智能家居產(chǎn)品都需要這樣的交互。第二種是定量加減法。比如控制智能空調溫度的升降，控制智能電視音量的升降。第三類是方向控制。比如控制智能窗簾太靠近左邊，控制智能電視的菜單光標向右移動，控制智能空調向上吹等等。對于這三種人機交互，當智能手表識別到相應動作時，即可進行智能家居的交互控制。
首先，通過數(shù)學建模構建手腕姿勢與手臂自由度到手臂骨骼的映射關系。根據(jù)人類的生理結構，手臂的運動是由肩、肘、腕關節(jié)、下臂和上臂的兩個連接器決定的。三個關節(jié)和兩個連接器有一定的運動范圍（旋轉或位移）。為了描述手臂的運動范圍，我們需要使用自由度（DOF）的概念。智能手表通常佩戴在小臂上，因此我們可以忽略手的獨立運動。
借助人體手臂姿態(tài)估計模型，可以將智能手表內置的MEMS傳感器采集到的數(shù)據(jù)轉化為與手臂運動密切相關的自由度數(shù)據(jù)。
交互動作識別流程圖
一般情況下，只有當用戶在家時，才需要與智能家居產(chǎn)品進行交互。此時，智能手表和智能家居接入同一個Wi-Fi路由器。因此，當智能手表檢測到家庭Wi-Fi路由器的SSID時，則認為已經(jīng)進入動作識別場景，反之則認為已經(jīng)離開動作識別場景。
進入動作識別場景后，智能手表開始采集內置的MEMS傳感器數(shù)據(jù)。接下來，我們需要從自由度數(shù)據(jù)的動作段中提取特征。這種提取方法使得識別動作更加可行。
實例驗證
我們邀請五名志愿者將LG G手表戴在與手背同方向的左手腕上參加測試。
LG G Watch（型號W100，代號Dory）是LG和谷歌于2014年6月25日發(fā)布的一款基于Android Wear的智能手表，擁有512MB內存和高通12GHz CPU。手表配備 9 軸（陀螺儀/加速度計/羅盤）、氣壓計和 PPG 以感知位置、姿勢、高度和心率。
每個人獨立進行70組實驗，每組實驗包括2個觸發(fā)動作、4個歷史交互動作和1個隨機動作。然后通過 Kinect 估計的性能來分析手臂姿勢估計模型的可靠性和準確性。
選取幾個基本動作進行驗證，取一組畫圓測試數(shù)據(jù)進行展示，測試者用他的手表在空間中任意畫一個圓圈。下圖為肘部和腕部軌跡線對應的圖。左邊是模型估計的結果，右邊是Kinect的結果。可以發(fā)現(xiàn)，雖然左右圖形的形狀略有不同，但兩個圖形的軌跡具有相同的趨勢。
繪制圓形軌跡線的模型估計結果和Kinect觀測結果（單位：米）
一些相關的歷史交互，例如加載頂部，加載底部，穿上東西和扔東西，它們的識別準確度如下圖所示。
通過歷史交互結果可以看出，智能手表識別動作的準確度很高，小于0.3m。
結論
本文的智能家居人機交互解決方案，主要包括手臂姿態(tài)估計模型和軌跡估計模型。利用 MEMS 傳感器記錄的手臂約束和歷史信息，實現(xiàn)了基于細粒度動作識別的智能家居與粗粒度 MEMS 傳感器的交互。
此外，引入更高效和有效
隨著智能手表和智能商品的普及，其計算能力和品類也將迅速增加。智能家電最終會走向智能家居，人機交互是未來既定趨勢。
來源：IEEE
~END~
搶先預登記，提前入群交流IOTE 2021展位#?深圳站2021年10月23-25日深圳會展中心（福田）
? ? ? #?參展聯(lián)系：? ? ??陳江漢先生 13360526899（微信同號）
今日份需求已上線1.DTU2.智能巡檢終端3.更多需求：https://www.iotku.com/Biz/
下載文檔
