基于深度強(qiáng)化學(xué)習(xí)的無人機(jī)可信地理位置路由協(xié)議>>

專家意見：該文提出了一種基于深度強(qiáng)化學(xué)習(xí)的可信無人機(jī)地理路由協(xié)議DTGR，為無人機(jī)自組網(wǎng)提供了高效可靠的網(wǎng)絡(luò)通信方案。

具體而言，使用新的信任度度量和更新方式，減少通信過程中的檢測開銷。然后結(jié)合下一跳的狀態(tài)特征構(gòu)建MDP模型，并根據(jù)信任度設(shè)計了獎勵函數(shù)，最后訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)最優(yōu)路由決策。DTGR能夠在包含異常節(jié)點(diǎn)的場景中降低端到端時延、提升包遞交率，優(yōu)化網(wǎng)絡(luò)性能。

總體而言，論文結(jié)構(gòu)合理，格式規(guī)范，闡述清楚，工作具有創(chuàng)新性。

研究背景與動機(jī)

隨著無人機(jī)硬件和通信技術(shù)的飛速發(fā)展，無人機(jī)變得更靈活、健壯和低成本。無人機(jī)的應(yīng)用也變越來越廣泛。多無人機(jī)通過自組網(wǎng)的方式協(xié)同通信可以高效的處理復(fù)雜的任務(wù)并且具有更高的可擴(kuò)展性。

路由協(xié)議作為無人機(jī)通信網(wǎng)絡(luò)的重要一環(huán)，存在高移動性、網(wǎng)絡(luò)拓?fù)渥兓l繁、異常節(jié)點(diǎn)的挑戰(zhàn)，從而造成的丟包和時延的增加，嚴(yán)重的影響了路由的性能。

傳統(tǒng)的和啟發(fā)式的無人機(jī)路由協(xié)議無法更好適應(yīng)復(fù)雜的飛行環(huán)境和多變的通信任務(wù)，因此基于深度強(qiáng)化學(xué)習(xí)的無人機(jī)路由協(xié)議成為目前熱門的路由研究方向。然而目前基于深度強(qiáng)化學(xué)習(xí)的無人機(jī)路由協(xié)議主要致力于根據(jù)不同的優(yōu)化指標(biāo)學(xué)習(xí)下一跳，從而來提升網(wǎng)絡(luò)性能，卻沒有考慮異常節(jié)點(diǎn)對網(wǎng)絡(luò)性能造成的潛在影響。

為了在非完全可信的網(wǎng)絡(luò)中感知異常節(jié)點(diǎn)，其中有一些主流研究方案采用節(jié)點(diǎn)信任度衡量節(jié)點(diǎn)的異常程度，然而這些方法在通信過程中檢測，引入了額外的檢測開銷，并且需要在決策前更新節(jié)點(diǎn)的信任度，降低了網(wǎng)絡(luò)性能。

為了解決上述的問題，本文提出了一種基于深度強(qiáng)化學(xué)習(xí)的無人機(jī)可信地理位置路由協(xié)議（DTGR）。每個節(jié)點(diǎn)通過可信第三方提供、更新節(jié)點(diǎn)的信任度，降低了評估開銷。結(jié)合目標(biāo)節(jié)點(diǎn)的地理位置、鄰居拓?fù)湫畔⒆鳛闋顟B(tài)特征，將路由選擇過程建模成馬爾可夫決策過程，然后使用DRL算法進(jìn)行更智能決策，從而提升網(wǎng)絡(luò)性能。

系統(tǒng)模型和提出路由協(xié)議

1.信任度模型

在存在異常節(jié)點(diǎn)的無人機(jī)網(wǎng)絡(luò)中，可以用節(jié)點(diǎn)信任度來反映了節(jié)點(diǎn)的服務(wù)能力，它是一個標(biāo)量。它用來評估鄰居在通信過程中出現(xiàn)積極或者消極行為的概率，引入可信第三方提供節(jié)點(diǎn)的信任度，使用理論與真實(shí)的時延偏差d和丟包率h作為信任度的評估因子,因此節(jié)點(diǎn)的信任度T定義為

2.該文提出的路由協(xié)議

該文提出的基于深度強(qiáng)化學(xué)習(xí)的可信地理路由協(xié)議(DTGR)，其主要架構(gòu)如圖1所示

圖1 DTGR協(xié)議架構(gòu)

首先無人機(jī)網(wǎng)絡(luò)中每個節(jié)點(diǎn)會通過信標(biāo)周期的廣播信標(biāo)，并維護(hù)自己的鄰居表。

鄰居表包含節(jié)點(diǎn)的鄰居的編號、信任度、地理位置和兩跳鄰居拓?fù)湫畔ⅰ?/span>

兩跳鄰居拓?fù)湫畔⒌哪康氖亲尞?dāng)前轉(zhuǎn)發(fā)節(jié)點(diǎn)能夠評估兩跳鄰居到終點(diǎn)的可達(dá)性，預(yù)測下一跳為空洞區(qū)域或孤立節(jié)點(diǎn)的概率。

同時在數(shù)據(jù)包轉(zhuǎn)發(fā)過程中，記錄以下額外信息：源節(jié)點(diǎn)，上一跳和終點(diǎn)的編號和位置。并且維護(hù)一個已訪問的節(jié)點(diǎn)集。從而避免環(huán)路。

然后借助上述構(gòu)建的鄰居表和數(shù)據(jù)包記錄的額外信息，將路由選擇過程(即源節(jié)點(diǎn)將數(shù)據(jù)包通過若干跳傳輸轉(zhuǎn)發(fā)到目的節(jié)點(diǎn)的過程)建模為馬爾可夫決策過程(MDP)，其中MDP包含四元組<S,A,P,R>，其描述如下：

(1) 狀態(tài)空間S：當(dāng)節(jié)點(diǎn)c需要轉(zhuǎn)發(fā)數(shù)據(jù)包時，它鄰居的信息決定了的最優(yōu)決策，因此節(jié)點(diǎn)c的狀態(tài)空間s_c包含c的所有鄰居節(jié)點(diǎn)的信任度、每個鄰居距離終點(diǎn)的距離、上一跳與c以及c與每個鄰居的向量余弦近似度、c的兩跳鄰居離終點(diǎn)最近的距離和兩跳鄰居的數(shù)量。

(2) 動作空間A： 當(dāng)節(jié)點(diǎn)c接收到數(shù)據(jù)包時，c的通信范圍內(nèi)所有鄰居組成了動作空間，其中可選c的一個鄰居進(jìn)行轉(zhuǎn)發(fā)，

(3) 轉(zhuǎn)移概率P： 由真實(shí)環(huán)境決定，在本文中P是隨機(jī)且未知的。

(4) 獎勵函數(shù)R： 為了讓節(jié)點(diǎn)能夠感知下一跳的異常程度從而輔助決策，在獎勵函數(shù)中引入信任度。當(dāng)節(jié)點(diǎn)c選擇鄰居節(jié)點(diǎn)i作為動作時，其獎勵值為

最后根據(jù)上述構(gòu)建馬爾科夫決策四元組，將狀態(tài)空間輸入到深度Q網(wǎng)絡(luò)(DQN)，然后輸出路由決策。其中DQN利用深度神經(jīng)網(wǎng)絡(luò)逼近Q值，Q值表示了當(dāng)前節(jié)點(diǎn)選擇下一跳節(jié)點(diǎn)獲得累積獎勵期望，然后根據(jù)Q值來選擇最優(yōu)的下一跳。在DQN的訓(xùn)練階段，選擇下一跳的策略為

其中，ε為神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)，在選擇下一跳的時候以1-ε的概率選擇神經(jīng)網(wǎng)絡(luò)輸出的最大Q值對應(yīng)的動作，為了避免陷入局部最優(yōu)，以ε的概率隨機(jī)的選擇下一跳。

在測試階段，根據(jù)已經(jīng)訓(xùn)練好的網(wǎng)絡(luò)直接選擇下一跳最大的Q值作為下一跳。

仿真結(jié)果

圖2顯示了總節(jié)點(diǎn)數(shù)為100、異常節(jié)點(diǎn)數(shù)比例為0.15時不同路由協(xié)議學(xué)習(xí)曲線（GPSR無法訓(xùn)練，故平均端到端時延隨訓(xùn)練回合恒定），從圖中可以看出所提的協(xié)議DTGR在訓(xùn)練了一至兩回合后即趨向收斂且時延最低。

圖2?不同協(xié)議的訓(xùn)練曲線

圖3展現(xiàn)了異常節(jié)點(diǎn)比例對協(xié)議性能的影響。從圖3(a)(b)可以看出當(dāng)異常節(jié)點(diǎn)比例升高時，所有協(xié)議的時延都在上升、包遞交率都在下降。

因?yàn)楫?dāng)總節(jié)點(diǎn)數(shù)量固定時，異常節(jié)點(diǎn)數(shù)量越多則傳輸鏈路包含異常節(jié)點(diǎn)的概率增大、轉(zhuǎn)發(fā)成功的概率減小、傳輸時延提升。

另一方面，所提的協(xié)議DTGR相比于其他協(xié)議擁有最低的時延、最高的包遞交率。其原因是DTGR能夠感知節(jié)點(diǎn)的信任度，利用神經(jīng)網(wǎng)絡(luò)評估每個節(jié)點(diǎn)潛在的路由能力，進(jìn)而選擇網(wǎng)絡(luò)性能最優(yōu)的下一跳。

實(shí)驗(yàn)結(jié)果說明了所提的協(xié)議DTGR在異常節(jié)點(diǎn)的密度發(fā)生改變時，相較其他協(xié)議能進(jìn)行更優(yōu)的路由決策，保障網(wǎng)絡(luò)性能。

圖4展示總節(jié)點(diǎn)數(shù)量對協(xié)議性能的影響，從圖4(a)(b)可以看出當(dāng)節(jié)點(diǎn)數(shù)量在60及以上時，所提的協(xié)議DTGR擁有最優(yōu)的平均端到端時延和包遞交率。這是因?yàn)槲覀兊膮f(xié)議能夠避免選擇信任度較低的節(jié)點(diǎn)進(jìn)行下一跳的轉(zhuǎn)發(fā)。

在圖4（b）中總節(jié)點(diǎn)數(shù)量為40時DTGR包遞交率略低于GPSR和QNGPSR，這是因?yàn)镈TGR不具備周邊轉(zhuǎn)發(fā)模式。

周邊轉(zhuǎn)發(fā)模式會在節(jié)點(diǎn)無可選下一跳時，嘗試重傳數(shù)據(jù)包給已轉(zhuǎn)發(fā)過的節(jié)點(diǎn)，在節(jié)點(diǎn)數(shù)量稀疏、可達(dá)鏈路很少時此模式能顯著增加包遞交率。

但重復(fù)選擇之前的異常節(jié)點(diǎn)會引入額外的時延增加通信開銷，故DTGR放棄使用周邊轉(zhuǎn)發(fā)模式。

此外，從圖4（a）可以看出DTGR和QNGPSR協(xié)議在節(jié)點(diǎn)數(shù)量為60和80時，平均端到端時延大幅低于GPSR，這是因?yàn)橥ㄐ胚^程中存在大量空洞區(qū)域, DTGR和QNGPSR評估兩跳節(jié)點(diǎn)的位置優(yōu)勢，減少進(jìn)入空洞區(qū)域的概率，最終降低時延。

圖4 總節(jié)點(diǎn)數(shù)量對協(xié)議性能的影響（(a) 總節(jié)點(diǎn)數(shù)量不同時對應(yīng)的平均端到端時延? ?(b) 總節(jié)點(diǎn)數(shù)量不同時對應(yīng)的包遞交率）

總結(jié)

所提的協(xié)議DTGR能夠在高移動性且存在異常節(jié)點(diǎn)的網(wǎng)絡(luò)中根據(jù)節(jié)點(diǎn)特征選擇最優(yōu)下一跳。DTGR優(yōu)化了網(wǎng)絡(luò)的端到端時延和包遞交率。此外DTGR能夠適應(yīng)異常節(jié)點(diǎn)數(shù)量和網(wǎng)絡(luò)節(jié)點(diǎn)密度的改變，自適應(yīng)做出有效且高效的路由決策，魯棒性好。DTGR為可信場景下的無人機(jī)自組網(wǎng)提供了高效可靠的網(wǎng)絡(luò)路由方案。

仇洪冰，男，教授，研究方向?yàn)橐苿油ㄐ?，超寬帶無線通信，寬帶通信網(wǎng)絡(luò)，通信信號處理。

張雅楠，女，博士生，研究方向?yàn)闊o人機(jī)智能化與網(wǎng)絡(luò)化，天地一體化網(wǎng)絡(luò)技術(shù)。

美 編 | 劉祎洋、劉艷玲

校 對 | 融媒體工作室

審 核 | 陳 倩