貴州大學：具有正則化約束的脈沖神經網(wǎng)絡機器人觸覺物體識別方法 | 《電子與信息學報》佳文速遞
中圖分類 TP183：人工神經網(wǎng)絡與計算
貴州大學李少波等人在《電子與信息學報》發(fā)表最新論文：
具有正則化約束的脈沖神經網(wǎng)絡機器人觸覺物體識別方法 >>
文章提出了一種基于觸覺的機器人物體識別方法，針對脈沖神經網(wǎng)絡中神經元脈沖活動離散性導致網(wǎng)絡訓練過程反向傳播失效問題，引入脈沖活動近似函數(shù)；
針對過擬合問題，融合正則化方法加以緩解。實驗分析表明了正則化模型的觸覺物體識別率有顯著提升。
總體而言，該文工作具有較好的創(chuàng)新性和學術價值。
背 景
物體感知是智能機器人的基本技能，是執(zhí)行任務的基礎。隨著機器人智能化的快速發(fā)展，機器人具備了語言識別與理解、計算機視覺等功能。
此外，時下大部分機器人沒有觸覺感知能力，更沒有像人類一樣使用觸覺去感知不同物體的能力，而觸覺傳感器能夠提供溫度、粗糙度、壓力等視覺與聽覺無法提供的信息，能夠輔助智能機器人適應更多工作場景。
因此研究機器人觸覺感知方法對促進智能機器人擁有與人類相似的觸覺感知能力具有重要意義。
圖1 機器人觸覺系統(tǒng)
脈沖神經網(wǎng)絡（Spiking Neural Network，SNN）受人類神經元工作方式啟發(fā)，通過時空動力學模仿人類神經行為，并使用二進制脈沖信號在神經元之間進行通信，在生物學設計上也更加合理。并且脈沖神經網(wǎng)絡能夠應用于神經擬態(tài)芯片上，能夠更快地處理AI任務，帶來更高的能效。
然而，相較于傳統(tǒng)卷積神經網(wǎng)絡，SNN的神經元之間由于通過離散的二進制信號0或1傳遞信息，這導致了在采用反向傳播完成參數(shù)更新時，梯度下降法的失效。
此外，模型訓練需要大量的數(shù)據(jù)樣本支撐，以得到更優(yōu)的網(wǎng)絡參數(shù)。而現(xiàn)有機器人觸覺脈沖數(shù)據(jù)樣本較少，如何緩解數(shù)據(jù)量較少導致的過擬合問題得到更優(yōu)的網(wǎng)絡性能，也是挑戰(zhàn)之一。
為應對以上挑戰(zhàn)，貴州大學李少波、楊靜、吉曉陽等人及其合作團隊提出了一種具有正則化約束的脈沖神經網(wǎng)絡機器人觸覺物體識別方法：
首先，作者分析了SNN神經元與脈沖活動之間的關系，并通過脈沖活動的近似函數(shù)緩解梯度下降法在反向傳播中的失效問題。
進一步地，提出了一種具有正則化約束的脈沖神經網(wǎng)絡機器人觸覺物體識別方法，緩解模型的過擬合問題，提升SNN網(wǎng)絡模型的魯棒性。
實驗結果顯示，該文方法提出的SnnTd正則化方法觸覺物體識別率在EvTouch-Containers數(shù)據(jù)集上比最好方法TactileSGNet提升了5.00%，SnnTdlc正則化方法觸覺物體識別率在EvTouch-Objects數(shù)據(jù)集上則提升了3.16%。
研究方法
(1) SNN的反向傳播
根據(jù)SNN的預測結果，計算網(wǎng)絡輸出與標簽之間誤差平方和的均值，即網(wǎng)絡模型損失函數(shù)L在時間窗口T內平均投票結果的均方誤差
其中S為觸覺數(shù)據(jù)訓練樣本的總量，
是第s個觸覺數(shù)據(jù)樣本的標簽，
是輸出層的結果。對于標簽為
的訓練樣本，觸覺模型理想情況是代表第
類的神經元具有最高的輸出值。
圖2 脈沖神經網(wǎng)絡的空域和時域傳播過程
從圖2可以看出，神經元前向傳播中，第n層神經元膜電位
由空域中第n-1層神經元的輸出脈沖
，以及時域中第n層神經元t-1時刻的神經元膜電位
共同決定。
而在反向傳播過程中，第n層神經元膜電位
在空域上影響第n-1層神經元的輸出脈沖
，在時域上影響第n層神經元t-1時刻的神經元膜電位
。
綜上，通過復合函數(shù)的鏈式法則得到損失函數(shù)L與權重w、偏置b之間的關系：
其中，
表示t時刻第n層脈沖神經元的膜電位，
表示t時刻第n層是否產生脈沖，若產生脈沖，
，否則
。
采用連續(xù)函數(shù)模擬脈沖活動的反向傳播，使得梯度下降法有效，即
(2) 正則化約束
Dropout正則化方法通過隨機丟棄神經網(wǎng)絡中網(wǎng)絡層上的神經元，構建不同的訓練子網(wǎng)絡，使每次訓練時采用的網(wǎng)絡不相同，這類似于在模型中加入高斯噪聲，間接使得模型接收到不同的輸入數(shù)據(jù)，緩解數(shù)據(jù)量少的問題，進而使模型的過擬合問題得到緩解。將Dropout方法引入脈沖神經網(wǎng)絡，通過隨機丟棄LIF神經元，提升神經網(wǎng)絡的預測能力。圖3展示了LIF神經元的Dropout工作方式。
圖3 LIF神經元中的Dropout
L2權重衰減是通過限制權重的選擇范圍控制模型參數(shù)容量，在一定程度上緩解模型的過擬合問題，通過結合Adam優(yōu)化算法以及余弦退火算法，作者提出具有L2正則化約束的脈沖神經網(wǎng)絡機器人觸覺物體識別算法。
實驗分析
該文考慮了2個不同的觸覺脈沖數(shù)據(jù)集，并在每個數(shù)據(jù)集上進行了80次實驗，每組實驗重復10次。
（1）EvTouch-Containers數(shù)據(jù)集
包含4種容器在5種容量(0%, 25%, 50%, 75%, 100%)下的觸覺脈沖數(shù)據(jù)，即共有20種不同的觸覺脈沖數(shù)據(jù)，每個數(shù)據(jù)劃分為325個時間片段。每種物體采集15次，共300組數(shù)據(jù)。
根據(jù)圖4(a)，融合Dropout正則化方法的SnnTdc，SnnTdlc，SnnTd和SnnTdl模型的TrainingLoss收斂值大于其他模型，且引入余弦退火算法模型的收斂值相對更低。從圖4(b)中可以看出，沒有采用余弦退火算法的SnnTl，SnnT，SnnTd和SnnTdl模型在第40 Epoch處TestLoss變化較大。
圖4 EvTouch-Containers數(shù)據(jù)集Loss值變化情況
（2）EvTouch-Objects數(shù)據(jù)集
包含36種不同物體的觸覺脈沖數(shù)據(jù)，每個數(shù)據(jù)劃分為250個時間片段。每種物體采集20次，共720組數(shù)據(jù)。
圖5 Acc，TrainingLoss和TestLoss 10次實驗結果
根據(jù)圖5(a)，除SnnTc模型外，其它模型的箱體位置均高于SnnT模型，其中SnnTdlc和SnnTdl模型的位置最高且較小，這表明了這2種模型的Acc值相對穩(wěn)定且值更大。從圖5(b)中可以看出，融合了Dropout正則化方法的SnnTd，SnnTdl，SnnTdc和SnnTdlc的TrainingLoss值的箱體位置較高。
根據(jù)圖5(c)，SnnT，SnnTl，SnnTc和SnnTlc模型的TestLoss值的箱體位置處于圖中的下半部分，低于其它4種模型。
(3) 混淆矩陣
混淆矩陣展示了模型在EvTouch-Containers和EvTouch-Objects數(shù)據(jù)集上測試集的分類結果。根據(jù)圖6(a)，SnnTd模型在EvTouch-Containers觸覺脈沖數(shù)據(jù)集上出現(xiàn)預測錯誤類別主要是第1類到第6類，第16類到第19類。根據(jù)圖6(b)，SnnTdlc模型在EvTouch-Objects觸覺脈沖數(shù)據(jù)集上第20類到第36類上全部識別正確，但第16類到第19類出現(xiàn)了識別錯誤的情況。
圖6 正則化模型在不同數(shù)據(jù)集上的混淆矩陣
總結
面向智能機器人觸覺感知能力，本文針對機器人觸覺物體識別算法展開研究。通過脈沖神經網(wǎng)絡脈沖活動近似函數(shù)，緩解網(wǎng)絡訓練中反向傳播梯度下降法失效問題。通過融合正則化方法，緩解觸覺脈沖數(shù)據(jù)量少導致的過擬合問題。
實驗結果表明，SnnTd正則化方法在EvTouch-Containers數(shù)據(jù)集上的觸覺物體識別率比表現(xiàn)最好的TactileSGNet方法提升了5.00%，SnnTdlc正則化方法的觸覺物體識別率在EvTouch-Objects數(shù)據(jù)集上提升了3.16%。
在后續(xù)的研究中，將重點關注識別出現(xiàn)錯誤的數(shù)據(jù)，進一步完善機器人觸覺物體識別算法，提升模型的識別能力，為將來應用于工業(yè)智能機器人觸覺抓取感知以及幫助殘障人士的服務機器人觸覺感知等場景打下堅實基礎。
下載文檔
