本發(fā)明屬于無人機搜索路徑規(guī)劃領(lǐng)域，尤其涉及一種基于d2d通信的無人機搜索路徑規(guī)劃方法及設(shè)備。

背景技術(shù)：

1、隨著無人機技術(shù)的快速發(fā)展，無人機在搜索、救援、偵察等領(lǐng)域的應(yīng)用越來越廣泛。特別是在復(fù)雜環(huán)境中，如山區(qū)、城市建筑群等，無人機的搜索效率和能力顯得尤為重要。傳統(tǒng)的無人機搜索路徑規(guī)劃方法大多依賴于預(yù)設(shè)的地圖和路徑，然而，在實際應(yīng)用中，由于環(huán)境復(fù)雜多變，預(yù)設(shè)路徑往往無法滿足實際需求，導(dǎo)致搜索效率低下，甚至可能遺漏目標(biāo)區(qū)域。

2、此外，當(dāng)使用多個無人機進行分布式協(xié)同搜索時，如何確保各個無人機之間的信息共享和協(xié)同決策，從而為無人機確定搜索路徑成為一個關(guān)鍵問題。傳統(tǒng)的無人機協(xié)同方法通常依賴于地面控制站進行集中控制，這不僅增加了通信延遲，還限制了無人機的自主性和靈活性。而分布式無人機協(xié)同決策方案在一定程度上提高了無人機的自主性和靈活性，但求解全局最優(yōu)解的算法往往非常復(fù)雜，受環(huán)境變化影響較大，甚至可能出現(xiàn)決策結(jié)果偏離全局最優(yōu)解的情況。

3、近年來，d2d（device-to-device，設(shè)備到設(shè)備）通信技術(shù)因其能夠減少延遲、提高能效和增加網(wǎng)絡(luò)容量等優(yōu)點，被廣泛應(yīng)用于無人機通信中。然而，無人機通過d2d通信進行信息共享時，存在頻譜沖突的問題，這成為制約其應(yīng)用的關(guān)鍵因素之一。具體來說，當(dāng)多個無人機在同一頻段進行d2d通信時，由于頻譜資源的有限性，可能導(dǎo)致嚴(yán)重的頻譜沖突，進而影響通信質(zhì)量和效率。這種沖突在無人機數(shù)量較多或通信環(huán)境復(fù)雜的情況下尤為顯著，可能導(dǎo)致信息傳輸?shù)闹袛嗷蜓舆t，從而影響無人機之間的信息共享和協(xié)同決策，無法實現(xiàn)無人機搜索路徑規(guī)劃。

4、因此，亟需一種新型的基于d2d通信的無人機搜索路徑規(guī)劃方法及設(shè)備，該方法和設(shè)備能夠?qū)崿F(xiàn)無人機之間的信息共享和分布式協(xié)同決策，提高無人機搜索路徑規(guī)劃的智能化水平，從而提高無人機搜索作業(yè)效率。

技術(shù)實現(xiàn)思路

1、針對上述現(xiàn)有技術(shù)中存在的缺陷，本發(fā)明提供一種基于d2d通信的無人機搜索路徑規(guī)劃方法，所述無人機的數(shù)量大于等于兩個，每個無人機均作為一個獨立的智能體，所述方法包括以下步驟：

2、s1：每個所述無人機均通過傳感器實時采集周圍環(huán)境信息，基于所述周圍環(huán)境信息構(gòu)建與自身對應(yīng)的三維環(huán)境模型，所述三維環(huán)境模型至少包括地形信息和障礙物位置信息，所述三維環(huán)境模型根據(jù)所述無人機采集的周圍環(huán)境信息動態(tài)更新；

3、s2：基于所述三維環(huán)境模型，每個所述無人機利用改進的深度確定性策略梯度模型進行初步路徑規(guī)劃，確定當(dāng)前三維環(huán)境模型中，所述無人機從當(dāng)前位置到目標(biāo)區(qū)域的初步最優(yōu)路徑；

4、s3：所述無人機通過d2d通信進行信息共享，所述信息包括所述初步最優(yōu)路徑、地形信息、障礙物信息以及所述無人機的電池狀態(tài)信息；所述無人機包括d2d通信單元，所述d2d通信單元包括頻譜感知模塊和頻譜分配模塊；

5、s4：基于所述共享的信息，所述無人機之間基于一致性算法進行分布式協(xié)同決策，確保多個無人機在搜索過程中保持一致的搜索方向和搜索速度，同時避免碰撞和重復(fù)搜索，根據(jù)所述分布式協(xié)同決策結(jié)果，確定每個無人機的搜索策略，其中，所述搜索策略包括最終搜索路徑；

6、s5：所述無人機按照所述搜索策略進行搜索，并對所述三維環(huán)境模型進行更新，返回步驟s2，重新進行搜索路徑規(guī)劃，直至多個所述無人機完成搜索任務(wù)。

7、所述步驟s2中，所述改進的深度確定性策略梯度模型通過預(yù)訓(xùn)練得到，所述訓(xùn)練包括以下步驟：

8、s21：定義所述無人機的狀態(tài)空間s和動作空間a，狀態(tài)空間s={p，v，g}，其中，p=（x，y，z），表示所述無人機在三維空間中的位置信息，x、y和z分別表示所述無人機在三個軸向上的位置；表示所述無人機在三維空間中的速度信息，，和分別表示所述無人機在三個軸向上的速度；?，表示所述無人機姿態(tài)信息，，和分別表示所述無人機的橫滾角、俯仰角和偏航角；動作空間a表示所述無人機在飛行過程中采取的所有可能動作，動作向量是動作空間a中的一個元素，，其中表示所述無人機在三維空間中的速度變化情況，，，分別表示所述無人機在三個軸向上的速度變化，，和分別表示所述無人機的橫滾角變化率、俯仰角變化率和偏航角變化率；

9、s22：初始化actor網(wǎng)絡(luò)和critic網(wǎng)絡(luò)，其中actor網(wǎng)絡(luò)為，critic網(wǎng)絡(luò)為，其中s表示所述無人機狀態(tài)，，和分別表示所述actor網(wǎng)絡(luò)和critic網(wǎng)絡(luò)的權(quán)重參數(shù)；經(jīng)驗回放池d，用于存儲狀態(tài)、動作、獎勵和下一狀態(tài)的元組；目標(biāo)網(wǎng)絡(luò)參數(shù)和，作為和的副本，用于穩(wěn)定訓(xùn)練過程；設(shè)置獎勵函數(shù)為，其中是狀態(tài)的即時獎勵；

10、s23：將元組存儲到經(jīng)驗回放池d中；

11、s234：從經(jīng)驗回放池d中采樣一批元組；

12、s235：計算目標(biāo)q值：

13、，；

14、其中，是該批元組對應(yīng)的目標(biāo)q值；是折扣因子，和是目標(biāo)網(wǎng)絡(luò)；

15、s236：使用均方誤差損失函數(shù)更新critic網(wǎng)絡(luò)：

16、；

17、使用策略梯度方法更新actor網(wǎng)絡(luò)：

18、；

19、其中，和均為學(xué)習(xí)率；

20、s237：在每個時間步后，使用軟更新規(guī)則更新目標(biāo)網(wǎng)絡(luò)的參數(shù)：

21、；

22、；

23、其中，是軟更新系數(shù)，；表示賦值；

24、重復(fù)上述步驟，直至actor網(wǎng)絡(luò)收斂。

25、所述步驟s234中，所述從經(jīng)驗回放池d中采樣一批元組，具體包括：

26、對于每個存儲的經(jīng)驗元組，計算其優(yōu)先級；

27、；；；

28、其中，為校正參數(shù)；

29、將優(yōu)先級與經(jīng)驗元組一并存儲在經(jīng)驗回放池；

30、根據(jù)優(yōu)先級概率分布從經(jīng)驗回放池中采樣一批元組，所述優(yōu)先級概率分布通過下式計算得到：

31、?；

32、其中，ext表示調(diào)節(jié)優(yōu)先級影響程度的參數(shù)，m和n表示第m和第n個經(jīng)驗元組。

33、所述頻譜感知模塊用于對所述無人機的無線通信環(huán)境進行監(jiān)測和分析，以確定頻譜感知結(jié)果，所述頻譜感知結(jié)果包括頻譜占用情況、信號強度和干擾水平；

34、所述頻譜分配模塊用于根據(jù)所述頻譜感知結(jié)果確定所述無人機的通信頻譜。

35、所述頻譜分配模塊用于根據(jù)所述頻譜感知結(jié)果確定所述無人機的通信頻譜，具體包括：

36、s31：所述頻譜分配模塊通過無線通信鏈路與其他無人機交換所述頻譜感知結(jié)果，從而獲得多個所述頻譜感知結(jié)果；

37、s32：基于所述多個頻譜感知結(jié)果構(gòu)建頻譜相似度矩陣，所述頻譜相似度矩陣中的每個元素表示兩個頻譜資源之間的相似度；

38、s33：根據(jù)譜聚類算法和所述頻譜相似度矩陣，對頻譜資源進行聚類，得到頻譜聚類結(jié)果；

39、s34：基于所述頻譜聚類結(jié)果，根據(jù)預(yù)先設(shè)置的通信優(yōu)先級，確定所述無人機自身的通信頻譜；

40、s35：將所述通信頻譜通過所述無線通信鏈路發(fā)送給其他無人機進行協(xié)商，在協(xié)商一致的情況下，所述頻譜分配模塊將所述通信頻譜確定為該無人機最終的可用通信頻譜；若協(xié)商不一致，根據(jù)所述通信頻譜對所述頻譜感知結(jié)果進行更新，返回步驟s31。

41、所述步驟s4中，所述一致性算法為raft算法，所述無人機之間基于一致性算法進行分布式協(xié)同決策，確保多個無人機在搜索過程中保持一致的搜索方向和搜索速度，同時避免碰撞和重復(fù)搜索，根據(jù)所述分布協(xié)同決策結(jié)果，確定每個無人機的搜索策略，包括：

42、所述領(lǐng)導(dǎo)者將接收到的所述初步最優(yōu)路徑、地形信息、障礙物信息以及所述無人機的電池狀態(tài)信息作為日志條目寫入本地日志；其中，所述領(lǐng)導(dǎo)者由所述多個無人機進行投票確定；

43、在所述日志被提交后，所述領(lǐng)導(dǎo)者整合各個所述無人機的所述初步最優(yōu)路徑、地形信息、障礙物信息以及所述無人機的電池狀態(tài)信息，判斷各個無人機的所述初步最優(yōu)路徑是否發(fā)生沖突；

44、在發(fā)生沖突的情況下，根據(jù)所述地形信息、障礙物信息以及所述無人機的電池狀態(tài)信息對所述初步最優(yōu)路徑進行優(yōu)化，并將優(yōu)化后的所述初步最優(yōu)路徑作為該無人機的最終搜索路徑；

45、在未發(fā)生沖突的情況下，將所述無人機的所述初步最優(yōu)路徑確定該無人機的最終搜索路徑；

46、所述領(lǐng)導(dǎo)者將所述最終搜索路徑作為協(xié)商后的搜索策略，發(fā)送給對應(yīng)的所述無人機。

47、所述步驟s3中，所述信息還包括所述無人機的速度信息；所述領(lǐng)導(dǎo)者將接收到的所述初步最優(yōu)路徑、地形信息、障礙物信息以及所述無人機的電池狀態(tài)信息、速度信息作為日志條目寫入本地日志，在所述日志被提交后，所述領(lǐng)導(dǎo)者對所述初步最優(yōu)路徑、地形信息、障礙物信息以及所述無人機的電池狀態(tài)信息、速度信息進行整合。

48、在所述領(lǐng)導(dǎo)者將所述最終搜索路徑作為協(xié)商后的搜索策略后，所述領(lǐng)導(dǎo)者對各個所述最終搜索路徑進行微調(diào)，以確保每個所述無人機的搜索方向一致，并根據(jù)整合后的所述速度信息、所述地形信息、障礙物信息以及所述無人機的電池狀態(tài)信息為多個所述無人機設(shè)定統(tǒng)一的搜索速度；所述領(lǐng)導(dǎo)者將微調(diào)后的所述最終搜索路徑和所述統(tǒng)一的搜索速度作為協(xié)商后的所述搜索策略，發(fā)送給對應(yīng)的所述無人機。

49、本發(fā)明還公開了一種電子設(shè)備，包括存儲器、處理器以及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執(zhí)行所述計算機程序時實現(xiàn)上述任一所述的方法的步驟。

50、本發(fā)明中每個無人機均作為一個獨立的智能體，根據(jù)強化學(xué)習(xí)算法確定自身所處三維環(huán)境模型的初步最優(yōu)搜索路徑，并將初步最優(yōu)搜索路徑、三維環(huán)境信息和自身狀態(tài)信息通過d2d通信共享給其他無人機，多個無人機之間基于上述信息通過一致性算法進行分布式協(xié)同決策。即本發(fā)明實現(xiàn)了在無人機作為智能體基于強化學(xué)習(xí)算法進行一次路徑規(guī)劃決策的基礎(chǔ)上，多個無人機之間通過一致性算法進行二次分布式協(xié)同決策，在二次分布式協(xié)同決策時僅需判斷初步最優(yōu)搜索路徑是否發(fā)生沖突，避免了現(xiàn)有方案中無人機分布式協(xié)同決策時求取全局最優(yōu)解算法復(fù)雜度較高的問題，同時提高了無人機路徑規(guī)劃決策的效率和準(zhǔn)確性。在強化學(xué)習(xí)時采用優(yōu)先經(jīng)驗回放機制來提高采樣效率，減小參數(shù)更新的方差，加速算法收斂，使得算法更加適用于無人機計算資源受限的場景。本發(fā)明在無人機中設(shè)置頻譜感知模塊和頻譜分配模塊，通過協(xié)商確定無人機最終的可用通信頻譜，保障無人機初步最優(yōu)搜索路徑等信息的準(zhǔn)確傳輸，避免通信沖突等錯誤造成無人機協(xié)同決策參數(shù)和條件頻繁調(diào)整，提高了分布式協(xié)同決策的魯棒性。