本說明書實施例涉及智能變電站,尤其涉及一種基于信息新鮮度保障的終端任務卸載方法、裝置及設備。
背景技術:
1、智能電網的快速建設、全球能源結構的轉型以及可再生能源的發展為智能變電站提供了廣闊的發展空間。智能變電站將通過智能化技術和設備的應用,實現對新能源的高效接入、優化調度和高效管理,推動能源結構的綠色轉型和可持續發展。先進的信息通信技術是提高智能變電站感知能力和精準控制水平、實現運行控制的自動化和協同化的關鍵因素。智能變電站中的無線通信設備在數據傳輸、遠程監控、故障定位與排除以及應急通信等方面發揮著重要作用,存在節點多、覆蓋廣、業務通信需求互異性大等特點,終端對接入服務質量需求、通信時延、可靠性、速率等方面提出了更高的要求,現有的信息通信技術并不能完全滿足多樣化業務傳輸的經濟性、有效性需求,因此亟需可靠、高效、靈活的通信技術支撐。信息新鮮度是衡量終端任務卸載及時性、有效性的重要指標,然而由于無線資源和計算資源的限制,智能變電站中大規模終端的并發接入極大程度上增加了接入網的承載壓力,導致網絡擁塞、過載等問題,任務卸載的有效性難以滿足,嚴重威脅電網的安全穩定運行。
2、如何提高任務卸載的有效性,提高任務卸載信息新鮮度是目前亟待解決的技術問題。
技術實現思路
1、為解決現有技術中任務卸載的有效性難以滿足要求的問題,本說明書實施例提供了一種基于信息新鮮度保障的終端任務卸載方法、裝置及設備,應用于智能變電站終端的有序接入控制和任務卸載,該方法由構建系統模型、長期約束、優化目標、問題轉化和算法設計三個步驟構成,該方法基于強化學習技術,動態優化基站上行傳輸授權策略,在接入服務質量和排隊時延的長期約束下,最小化所有終端的任務年齡,以保障任務傳輸的及時性,提高任務卸載信息新鮮度。
2、本說明書實施例的具體技術方案如下:
3、一方面,本說明書實施例提供了一種基于信息新鮮度保障的終端任務卸載方法,包括:
4、獲取各智能變電站終端在當前時隙產生的任務數據的大小;
5、針對每個智能變電站終端,根據該智能變電站終端設定的接入服務質量約束、上一個時隙的接入服務質量需求赤字以及上一個時隙的授權指示變量計算當前時隙的接入服務質量需求赤字,所述接入服務質量約束表示所述智能變電站終端要求的被授權任務數據卸載的時隙比例,所述授權指示變量表示是否授權任務卸載;
6、針對每個智能變電站終端,根據該智能變電站終端設定的排隊時延約束、上一個時隙的終端任務卸載排隊時延赤字、上一時隙的本地任務緩存區中的隊列積壓以及上一時隙產生的任務數據大小計算當前時隙的終端任務卸載排隊時延赤字,所述排隊時延約束表示所述智能變電站終端要求的未被授權任務數據卸載的最大的連續時隙數量;
7、將各智能變電站終端的當前時隙的任務數據的大小、接入服務質量需求赤字、終端任務卸載排隊時延赤字以及接入服務質量約束作為當前時隙的狀態變量,將當前時隙的狀態變量輸入到深度q網絡中進行計算,得到當前時隙的動作變量,所述動作變量包括各智能變電站終端的當前時隙的授權指示變量;
8、根據當前時隙的動作變量授權相應的智能變電站終端對當前時隙產生的任務數據進行卸載。
9、進一步地,各智能變電站終端在初始時隙的接入服務質量需求赤字以及終端任務卸載排隊時延赤字均為預定值。
10、進一步地,根據該智能變電站終端設定的接入服務質量約束、上一個時隙的接入服務質量需求赤字以及上一個時隙的授權指示變量計算當前時隙的接入服務質量需求赤字的公式為:
11、f(i,t+1)=max{f(i,t)-x(i,t)+κ(i),0};
12、其中,f(i,t+1)表示第i個智能變電站終端在t+1時隙的接入服務質量需求赤字,f(i,t)表示第i個智能變電站終端在t時隙的接入服務質量需求赤字,x(i,t)表示第i個智能變電站終端在t時隙的授權指示變量。
13、進一步地,根據該智能變電站終端設定的排隊時延約束、上一個時隙的終端任務卸載排隊時延赤字、上一時隙的本地任務緩存區中的隊列積壓以及上一時隙產生的任務數據大小計算當前時隙的終端任務卸載排隊時延赤字的公式為:
14、
15、其中,h(i,t+1)表示第i個智能變電站終端在t+1時隙的終端任務卸載排隊時延赤字,h(i,t)表示第i個智能變電站終端在t時隙的終端任務卸載排隊時延赤字,d(i)表示第i個智能變電站終端設定的排隊時延約束,n(i,t)表示第i個智能變電站終端在t時隙的任務數據的大小。
16、進一步地,將當前時隙的狀態變量輸入到深度q網絡中進行計算,得到當前時隙的動作變量進一步包括:
17、對當前時隙的狀態變量以及當前時隙對應的所述深度q網絡的參數進行計算,得到當前時隙的動作變量。
18、進一步地,得到當前時隙的動作變量之后,所述方法還包括:
19、針對每個智能變電站終端,根據該智能變電站終端的服務質量約束、當前時隙的動作變量中該智能變電站終端對應的授權指示變量以及當前時隙該智能變電站終端的接入服務質量需求赤字計算下一個時隙的接入服務質量需求赤字;
20、針對每個智能變電站終端,根據該智能變電站終端設定的排隊時延約束、當前時隙的終端任務卸載排隊時延赤字、當前時隙的本地任務緩存區中的隊列積壓當前時隙產生的任務數據的大小計算下一個時隙的終端任務卸載排隊時延赤字;
21、獲取各智能變電站終端在下一個時隙產生的任務數據的大小;
22、將各智能變電站終端的下一個時隙的任務數據的大小、接入服務質量需求赤字、終端任務卸載排隊時延赤字以及接入服務質量約束作為下一個時隙的狀態變量,根據下一個時隙的狀態變量、當前時隙的狀態變量、當前時隙的動作變量計算損失值;
23、根據損失值對當前時隙對應的所述深度q網絡的參數進行更新,得到下一個時隙的所述深度q網絡的參數。
24、進一步地,根據下一個時隙的狀態變量、當前時隙的狀態變量、當前時隙的動作變量計算損失值的公式為:
25、
26、其中,表示損失值,β表示折扣因子,q(s(t+1),a(t),ω(t))表示根據t+1時隙的狀態變量s(t+1)、t時隙的動作空間a(t)、t時隙對應的所述深度q網絡的參數ω(t)計算的q值,q(s(t),a(t),ω(t))表示根據t時隙的狀態變量s(t)、t時隙的動作空間a(t)、t時隙對應的所述深度q網絡的參數ω(t)計算的q值;
27、表示當前時隙對應的成本,其公式為:
28、
29、其中,i表示智能變電站終端的總數,f(i,t)表示第i個智能變電站終端在t時隙的接入服務質量需求赤字,x(i,t)表示第i個智能變電站終端在t時隙的授權指示變量,κ(i)表示第i個智能變電站終端的接入服務質量約束,h(i,t)表示第i個智能變電站終端在t時隙的終端任務卸載排隊時延赤字,d(i)表示第i個智能變電站終端設定的排隊時延約束,q(i,t)表示第i個智能變電站終端在t時隙的本地任務緩存區中的隊列積壓,n(i,t)表示第i個智能變電站終端在t時隙的任務數據的大小,v表示非負權重參數,ρ(i,t′,t)表示第i個智能變電站終端在第t'(t'<t)個時隙所產生任務的年齡,c1和c2表示最多可以同時調度m個智能變電站終端進行任務數據的卸載,ui表示第i個智能變電站終端,u={u1,u2,…,ui,…,ui}為智能變電站終端集合,t={1,2,…,t,…,t}為總時隙集合。
30、進一步地,根據損失值對當前時隙對應的所述深度q網絡的參數進行更新,得到下一個時隙的所述深度q網絡的參數的公式為:
31、
32、其中,ω(t+1)表示t+1時隙的深度q網絡的參數,η為深度q網絡學習速率,▽ω(t)表示梯度。
33、另一方面,本說明書實施例還提供了一種基于信息新鮮度保障的終端任務卸載裝置,所述裝置包括:
34、任務數據大小獲取單元,用于獲取各智能變電站終端在當前時隙產生的任務數據的大小;
35、接入服務質量需求赤字計算單元,用于針對每個智能變電站終端,根據該智能變電站終端設定的接入服務質量約束、上一個時隙的接入服務質量需求赤字以及上一個時隙的授權指示變量計算當前時隙的接入服務質量需求赤字,所述接入服務質量約束表示所述智能變電站終端要求的被授權任務數據卸載的時隙比例,所述授權指示變量表示是否授權任務卸載;
36、終端任務卸載排隊時延赤字計算單元,用于針對每個智能變電站終端,根據該智能變電站終端設定的排隊時延約束、上一個時隙的終端任務卸載排隊時延赤字、上一時隙的本地任務緩存區中的隊列積壓以及上一時隙產生的任務數據大小計算當前時隙的終端任務卸載排隊時延赤字,所述排隊時延約束表示所述智能變電站終端要求的未被授權任務數據卸載的最大的連續時隙數量;
37、動作變量計算單元,用于將各智能變電站終端的當前時隙的任務數據的大小、接入服務質量需求赤字、終端任務卸載排隊時延赤字以及接入服務質量約束作為當前時隙的狀態變量,將當前時隙的狀態變量輸入到深度q網絡中進行計算,得到當前時隙的動作變量,所述動作變量包括各智能變電站終端的當前時隙的授權指示變量;
38、任務數據卸載控制單元,用于根據當前時隙的動作變量授權相應的智能變電站終端對當前時隙產生的任務數據進行卸載。
39、另一方面,本說明書實施例還提供了一種計算機設備,包括存儲器、處理器、以及存儲在存儲器上的計算機程序,處理器執行所述計算機程序時實現上述的方法。
40、利用本說明書實施例,基于強化學習技術,將當前時隙的任務數據的大小、接入服務質量需求赤字、終端任務卸載排隊時延赤字以及接入服務質量約束作為當前時隙的狀態變量,將當前時隙的狀態變量輸入到深度q網絡中進行計算,得到當前時隙的動作變量,根據當前時隙的動作變量授權相應的智能變電站終端對當前時隙產生的任務數據進行卸載,從而在接入服務質量和排隊時延的長期約束下,最小化所有終端的任務年齡,以保障任務傳輸的及時性,提高任務卸載信息新鮮度。