衛(wèi)星通信路由方法、系統(tǒng)、存儲介質(zhì)及衛(wèi)星

本發(fā)明涉及無線通信的，特別是涉及一種衛(wèi)星通信路由方法、系統(tǒng)、存儲介質(zhì)及衛(wèi)星。

背景技術(shù)：

1、地面通信系統(tǒng)和衛(wèi)星通信系統(tǒng)融合是下一代6g通信系統(tǒng)的重要技術(shù)特征。其中，衛(wèi)星通信系統(tǒng)主要由低軌衛(wèi)星、中軌衛(wèi)星和高軌衛(wèi)星組成，衛(wèi)星之間通過星間鏈路連接。相較于地面通信系統(tǒng)，衛(wèi)星通信系統(tǒng)具有覆蓋范圍廣、傳輸容量大、不受地理地形限制等優(yōu)勢，是實(shí)現(xiàn)6g全球無縫覆蓋的重要手段。

2、在衛(wèi)星通信系統(tǒng)中，路由是實(shí)現(xiàn)用戶數(shù)據(jù)端到端傳輸?shù)闹匾夹g(shù)手段。然而，衛(wèi)星的高速移動和星間鏈路的頻繁通斷將導(dǎo)致網(wǎng)絡(luò)拓?fù)涓邉討B(tài)變化，這給路由算法設(shè)計(jì)帶來了嚴(yán)峻的技術(shù)挑戰(zhàn)。在傳統(tǒng)的集中式路由中，衛(wèi)星節(jié)點(diǎn)和星間鏈路的狀態(tài)變化需要及時(shí)發(fā)送到網(wǎng)絡(luò)控制中心，以保證路由決策的有效性。狀態(tài)變化更新一方面帶來較大的信令開銷、消耗鏈路帶寬資源；另一方面，相鄰衛(wèi)星之間通常距離較遠(yuǎn)，導(dǎo)致較大的鏈路傳播時(shí)延。此外，目前低軌衛(wèi)星系統(tǒng)正在朝著大規(guī)模巨型星座演進(jìn)，網(wǎng)絡(luò)中衛(wèi)星數(shù)量的大幅增加進(jìn)一步加劇了上述問題的影響。

技術(shù)實(shí)現(xiàn)思路

1、鑒于以上所述現(xiàn)有技術(shù)的缺點(diǎn)，本發(fā)明的目的在于提供一種衛(wèi)星通信路由方法、系統(tǒng)、存儲介質(zhì)及衛(wèi)星，基于深度強(qiáng)化學(xué)習(xí)進(jìn)行本地路由決策，實(shí)現(xiàn)了衛(wèi)星網(wǎng)絡(luò)的分布式路由，有效降低了信令開銷和鏈路時(shí)延。

2、第一方面，本發(fā)明提供一種衛(wèi)星通信路由方法，應(yīng)用于衛(wèi)星，所述方法包括以下步驟：獲取網(wǎng)絡(luò)控制中心廣播的擁塞區(qū)域的衛(wèi)星集合；更新衛(wèi)星網(wǎng)絡(luò)拓?fù)湫畔?；?dāng)獲取用戶數(shù)據(jù)包后，采用基于深度強(qiáng)化學(xué)習(xí)的路由算法模型計(jì)算所述用戶數(shù)據(jù)包的下一跳衛(wèi)星。

3、在第一方面的一種實(shí)現(xiàn)方式中，所述擁塞區(qū)域的衛(wèi)星是指衛(wèi)星待轉(zhuǎn)發(fā)的用戶數(shù)據(jù)隊(duì)列長度超過預(yù)設(shè)值，所述擁塞區(qū)域的衛(wèi)星采用控制信令將擁塞狀態(tài)發(fā)送至所述網(wǎng)絡(luò)控制中心以使所述網(wǎng)絡(luò)控制中心生成并廣播所述擁塞區(qū)域的衛(wèi)星集合。

4、在第一方面的一種實(shí)現(xiàn)方式中，更新衛(wèi)星網(wǎng)絡(luò)拓?fù)湫畔ㄒ韵虏襟E：

5、獲取衛(wèi)星星歷信息；

6、獲取星間鏈路建立準(zhǔn)則；

7、基于所述衛(wèi)星星歷信息和所述星間鏈路建立準(zhǔn)則更新所述衛(wèi)星網(wǎng)絡(luò)拓?fù)湫畔ⅰ?/p>

8、在第一方面的一種實(shí)現(xiàn)方式中，所述基于深度強(qiáng)化學(xué)習(xí)的路由算法模型包括狀態(tài)、動作和獎勵；所述狀態(tài)s由與衛(wèi)星存在星間鏈路的全部相鄰衛(wèi)星的節(jié)點(diǎn)狀態(tài)以及對應(yīng)的星間鏈路的鏈路狀態(tài)組成；所述動作其中，an∈{0,1}，1≤n≤nmax，nmax表示單顆衛(wèi)星支持的最大相鄰衛(wèi)星數(shù)目，an＝1表示衛(wèi)星的第n顆相鄰衛(wèi)星為下一跳衛(wèi)星，an＝0表示衛(wèi)星的第n顆相鄰衛(wèi)星不是下一跳衛(wèi)星；所述獎勵用于評價(jià)在狀態(tài)s時(shí)選取動作a的優(yōu)劣；

9、當(dāng)所述全部相鄰衛(wèi)星均不是所述用戶數(shù)據(jù)包的目的衛(wèi)星時(shí)，所述衛(wèi)星根據(jù)所述狀態(tài)s獲取滿足預(yù)定準(zhǔn)則的最優(yōu)動作；所述最優(yōu)動作中的非零元素對應(yīng)的相鄰衛(wèi)星被選擇為下一跳衛(wèi)星；

10、當(dāng)某一相鄰衛(wèi)星是所述目的衛(wèi)星時(shí)，直接將所述用戶數(shù)據(jù)包轉(zhuǎn)發(fā)至所述某一相連衛(wèi)星。

11、在第一方面的一種實(shí)現(xiàn)方式中，所述節(jié)點(diǎn)狀態(tài)包括所述衛(wèi)星的可用隊(duì)列長度、所述衛(wèi)星的可用計(jì)算資源、所述衛(wèi)星的可用能量、從所述衛(wèi)星出發(fā)到達(dá)目的衛(wèi)星的最短路徑時(shí)延；所述鏈路狀態(tài)包括星間鏈路的可用通信帶寬和最短路徑時(shí)延。

12、在第一方面的一種實(shí)現(xiàn)方式中，所述預(yù)定準(zhǔn)則為最小化最大化統(tǒng)計(jì)長期累計(jì)折扣獎勵或最小化損失函數(shù)；所述最大化統(tǒng)計(jì)長期累計(jì)折扣獎勵是指包含當(dāng)前獎勵和未來預(yù)期獎勵的統(tǒng)計(jì)函數(shù)；所述最小損失函數(shù)是指包含所述獎勵在內(nèi)的損失函數(shù)；

13、所述獎勵其中wj表示加權(quán)系數(shù)，0≤wj≤1，表示衛(wèi)星s到第n顆相鄰衛(wèi)星之間的最短路徑時(shí)延，第n顆相鄰衛(wèi)星到目的衛(wèi)星sd的最短路徑時(shí)延，表示第n顆相鄰衛(wèi)星的可用隊(duì)列長度，表示衛(wèi)星s和第n顆相鄰衛(wèi)星之間星間鏈路的可用通信帶寬，表示第n顆相鄰衛(wèi)星的可用計(jì)算資源，表示第n顆相鄰衛(wèi)星的可用能量。

14、在第一方面的一種實(shí)現(xiàn)方式中，采用以下任一方式計(jì)算：

15、1)基于所述衛(wèi)星網(wǎng)絡(luò)拓?fù)湫畔⒑妥疃搪窂剿惴ǐ@取第n顆相鄰衛(wèi)星到目的衛(wèi)星sd的最短路徑，將所述最短路徑中包含的全部星間鏈路的長度之和除以光速的計(jì)算結(jié)果作為

16、2)在所述衛(wèi)星網(wǎng)絡(luò)拓?fù)湫畔⒅腥コ鰮砣麉^(qū)域的衛(wèi)星集合和與實(shí)施擁塞區(qū)域的衛(wèi)星集合相連接的星間鏈路集合，獲取更新網(wǎng)絡(luò)拓?fù)湫畔?；基于所述更新網(wǎng)絡(luò)拓?fù)湫畔⒑妥疃搪窂剿惴ǐ@取第n顆相鄰衛(wèi)星到目的衛(wèi)星sd的最短路徑，將所述最短路徑中包含的全部星間鏈路的長度之和除以光速的計(jì)算結(jié)果作為

17、第二方面，本發(fā)明提供一種衛(wèi)星通信路由系統(tǒng)，應(yīng)用于衛(wèi)星，所述系統(tǒng)包括獲取模塊、更新模塊和路由模塊；

18、所述獲取模塊用于獲取網(wǎng)絡(luò)控制中心廣播的擁塞區(qū)域的衛(wèi)星集合；

19、所述更新模塊用于更新衛(wèi)星網(wǎng)絡(luò)拓?fù)湫畔ⅲ?/p>

20、所述路由模塊用于當(dāng)獲取用戶數(shù)據(jù)包后，采用基于深度強(qiáng)化學(xué)習(xí)的路由算法模型計(jì)算所述用戶數(shù)據(jù)包的下一跳衛(wèi)星。

21、第三方面，本發(fā)明提供一種存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述的衛(wèi)星通信路由方法。

22、第四方面，本發(fā)明提供一種衛(wèi)星，包括：處理器及存儲器；

23、所述存儲器用于存儲計(jì)算機(jī)程序；

24、所述處理器用于執(zhí)行所述存儲器存儲的計(jì)算機(jī)程序，以使所述衛(wèi)星執(zhí)行上述的衛(wèi)星通信路由方法。

25、如上所述，本發(fā)明所述的衛(wèi)星通信路由方法、系統(tǒng)、存儲介質(zhì)及衛(wèi)星，具有以下有益效果：

26、(1)衛(wèi)星根據(jù)獲取的擁塞區(qū)域衛(wèi)星信息和相鄰衛(wèi)星與星間鏈路的狀態(tài)信息，基于深度強(qiáng)化學(xué)習(xí)進(jìn)行本地路由決策，實(shí)現(xiàn)了衛(wèi)星網(wǎng)絡(luò)的分布式路由；

27、(2)相比集中式路由，有效降低了信令開銷和星間長距離傳輸時(shí)延。

技術(shù)特征：

1.一種衛(wèi)星通信路由方法，應(yīng)用于衛(wèi)星，其特征在于，所述方法包括以下步驟：

2.根據(jù)權(quán)利要求1所述的衛(wèi)星通信路由方法，其特征在于，所述擁塞區(qū)域的衛(wèi)星是指衛(wèi)星待轉(zhuǎn)發(fā)的用戶數(shù)據(jù)隊(duì)列長度超過預(yù)設(shè)值，所述擁塞區(qū)域的衛(wèi)星采用控制信令將擁塞狀態(tài)發(fā)送至所述網(wǎng)絡(luò)控制中心以使所述網(wǎng)絡(luò)控制中心生成并廣播所述擁塞區(qū)域的衛(wèi)星集合。

3.根據(jù)權(quán)利要求1所述的衛(wèi)星通信路由方法，其特征在于，更新衛(wèi)星網(wǎng)絡(luò)拓?fù)湫畔ㄒ韵虏襟E：

4.根據(jù)權(quán)利要求1所述的衛(wèi)星通信路由方法，其特征在于，所述基于深度強(qiáng)化學(xué)習(xí)的路由算法模型包括狀態(tài)、動作和獎勵；所述狀態(tài)s由與衛(wèi)星存在星間鏈路的全部相鄰衛(wèi)星的節(jié)點(diǎn)狀態(tài)以及對應(yīng)的星間鏈路的鏈路狀態(tài)組成；所述動作其中，an∈{0,1}，1≤n≤nmax，nmax表示單顆衛(wèi)星支持的最大相鄰衛(wèi)星數(shù)目，an＝1表示衛(wèi)星的第n顆相鄰衛(wèi)星為下一跳衛(wèi)星，an＝0表示衛(wèi)星的第n顆相鄰衛(wèi)星不是下一跳衛(wèi)星；所述獎勵用于評價(jià)在狀態(tài)s時(shí)選取動作a的優(yōu)劣；

5.根據(jù)權(quán)利要求4所述的衛(wèi)星通信路由方法，其特征在于，所述節(jié)點(diǎn)狀態(tài)包括所述衛(wèi)星的可用隊(duì)列長度、所述衛(wèi)星的可用計(jì)算資源、所述衛(wèi)星的可用能量、從所述衛(wèi)星出發(fā)到達(dá)目的衛(wèi)星的最短路徑時(shí)延；所述鏈路狀態(tài)包括星間鏈路的可用通信帶寬和最短路徑時(shí)延。

6.根據(jù)權(quán)利要求4所述的衛(wèi)星通信路由方法，其特征在于，所述預(yù)定準(zhǔn)則為最大化統(tǒng)計(jì)長期累計(jì)折扣獎勵或最小化損失函數(shù)；所述最大化統(tǒng)計(jì)長期累計(jì)折扣獎勵是指包含當(dāng)前獎勵和未來預(yù)期獎勵的統(tǒng)計(jì)函數(shù)；所述最小損失函數(shù)是指包含所述獎勵在內(nèi)的損失函數(shù)；

7.根據(jù)權(quán)利要求6所述的衛(wèi)星通信路由方法，其特征在于，采用以下任一方式計(jì)算：

8.一種衛(wèi)星通信路由系統(tǒng)，應(yīng)用于衛(wèi)星，其特征在于，所述系統(tǒng)包括獲取模塊、更新模塊和路由模塊；

9.一種存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序，其特征在于，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至7中任一項(xiàng)所述的衛(wèi)星通信路由方法。

10.一種衛(wèi)星，其特征在于，包括：處理器及存儲器；

技術(shù)總結(jié)
本發(fā)明提供一種衛(wèi)星通信路由方法、系統(tǒng)、存儲介質(zhì)及衛(wèi)星，所述方法包括以下步驟：獲取網(wǎng)絡(luò)控制中心廣播的擁塞區(qū)域的衛(wèi)星集合；更新衛(wèi)星網(wǎng)絡(luò)拓?fù)湫畔ⅲ划?dāng)獲取用戶數(shù)據(jù)包后，采用基于深度強(qiáng)化學(xué)習(xí)的路由算法模型計(jì)算所述用戶數(shù)據(jù)包的下一跳衛(wèi)星。本發(fā)明的衛(wèi)星通信路由方法、系統(tǒng)、存儲介質(zhì)及衛(wèi)星基于深度強(qiáng)化學(xué)習(xí)進(jìn)行本地路由決策，實(shí)現(xiàn)了衛(wèi)星網(wǎng)絡(luò)的分布式路由，有效降低了信令開銷和鏈路時(shí)延。

技術(shù)研發(fā)人員：楊秀梅,趙宇,卜智勇
受保護(hù)的技術(shù)使用者：中國科學(xué)院上海微系統(tǒng)與信息技術(shù)研究所
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/30