面向大規模電網節點的海量高并發數據接入方法及系統與流程

本發明涉及一種面向大規模電網節點的海量高并發數據接入方法及系統，屬于電通信。

背景技術：

1、目前，隨著電力系統的數字化轉型，來自各種傳感器、監控設備、計量設備等的海量高并發數據廣泛接入，對于電網運行狀態的監測、故障診斷以及預測提出了更高的要求。海量高并發數據接入具有范圍廣、擴展性強等巨大優勢，為電力系統的數字化轉型提供了重要支持。然而，由于電力系統終端數據接入量的快速增長，所產生的海量數據運行給電力系統帶來了巨大壓力，當前的數據接入方法和系統忽略了未來時刻數據接入情況，導致在峰值時刻服務器資源無法得到合理分配，數據積壓量大，時延激增，同時，由于樣本分布不均，部分區域樣本數量較少，即具有樣本稀疏性，會導致參數更新學習效率低，嚴重影響了系統的整體性能，制約了電網的安全穩定運行。因此，迫切需要設計一種面向大規模電網節點的海量高并發數據接入方法及系統，通過考慮歷史數據接入潮汐情況構建數據接入潮汐模型，并根據時間窗內數據接入情況以及歷史數據對比分析，動態更新資源分配相關參數，實現電力系統海量高并發數據接入，降低電網數據傳輸與處理壓力，提高電力系統的運行效率、穩定性和安全性。但是現有技術：(1)未考慮數據潮汐對計算負載均衡的影響，忽略了未來時刻數據接入情況，導致在峰值時刻服務器資源無法得到合理分配，數據積壓量大，時延激增。(2)忽略了樣本稀疏性與容器實際性能偏差對數據接入潮汐經驗模型與資源分配模型的影響，導致模型精確度較差，資源利用率較低。

2、有鑒于上述的缺陷，本發明以期創設一種面向大規模電網節點的海量高并發數據接入方法及系統，使其更具有產業上的利用價值。

技術實現思路

1、為解決上述技術問題，本發明的目的是提供一種面向大規模電網節點的海量高并發數據接入方法及系統。

2、本發明的一種面向大規模電網節點的海量高并發數據接入方法，具體接入步驟為：

3、首先，基于歷史數據接入情況，構建數據接入潮汐經驗模型；其次，將觀察時間窗內數據的接入情況輸入到數據接入潮汐經驗模型中，判斷數據量的潮汐情況，得到數據接入量峰值及峰值到達的時間；最后，基于數據潮汐情況，進行計算資源分配，得到資源分配模型；

4、基于數據接入潮汐經驗模型近幾個時隙的數據潮汐預測結果構建誤差函數，進而更新數據接入潮汐經驗模型的權重和偏置參數矩陣；最后，基于服務器當前性能偏差更新計算資源分配方法中的相關參數，實現面向大規模電網節點的海量高并發數據接入。

5、進一步的，所述構建數據接入潮汐經驗模型的步驟如下：

6、定義t個時隙，集合為定義m個服務器，集合為其中，gm為第m個服務器；定義觀察時間窗長度為l，服務器gm的數據接入潮汐經驗模型如下：

7、

8、式中：為一個觀察時間窗內實際數據接入量向量，包含時隙t-l到時隙t服務器gm的實際數據接入量，其中，為時隙t服務器gm的實際數據接入量；為預測數據接入量向量，包含時隙t到時隙tpro服務器gm的預測數據接入量，其中，為時隙t+1服務器gm的預測數據接入量；fm()為基于歷史潮汐數據訓練得到的服務器gm的數據接入潮汐網絡，可以通過觀察時間窗內l個接入數據量對未來tpro個時隙的接入數據量進行預測。

9、進一步的，所述將觀察時間窗內數據的接入情況輸入到數據接入潮汐經驗模型中，判斷數據量的潮汐情況，得到數據接入量峰值及峰值到達的時間的具體步驟為：

10、使用歷史數據接入量訓練數據接入潮汐網絡后，將觀察時間窗內的數據接入量輸入數據接入潮汐經驗模型得到未來tpro個時隙的預測接入數據量；并進一步計算得到未來數據接入量峰值和峰值到達時間tm(t)；

11、

12、進一步的，所述基于數據潮汐情況，進行計算資源分配的具體步驟為：

13、基于服務器當前時隙的接入量、預測接入量峰值及峰值到達時間進行計算資源分配；服務器gm分配得到的計算資源ψm(t)為：

14、

15、式中，ψ(t)為時隙t可分配計算資源的總量，ωm(t)為服務器gm的權重；服務器當前時隙的接入量越大、預測接入量峰值越高、峰值到達時間越近，分配得到的計算資源越多。

16、進一步的，所述基于數據接入潮汐經驗模型近幾個時隙的數據潮汐預測結果構建誤差函數，進而更新數據接入潮汐經驗模型的權重和偏置參數矩陣的具體步驟為：

17、基于數據接入潮汐經驗模型，定義服務器gm的數據接入潮汐經驗模型的權重和偏置參數矩陣分別為wm和bm，對于時隙t的數據接入潮汐網絡訓練，利用時隙t及之前共l個時隙的數據潮汐預測結果構建誤差函數，對數據接入潮汐經驗模型的權重和偏置參數矩陣進行更新，時隙t服務器gm的數據接入潮汐經驗模型的誤差函數為：

18、

19、其中，a0δt-l+1為時隙t-l+1數據潮汐預測的誤差權重，a0為單位誤差權重，δ＞1為折扣系數，代表越接近時隙t，數據潮汐預測的誤差權重越大，為時隙t-l+1服務器gm的預測數據接入量，為時隙t-l+1服務器gm的實際數據接入量；

20、則數據接入潮汐經驗模型的權重和偏置參數矩陣的更新如下式所示：

21、

22、其中，μm為服務器gm的數據接入潮汐經驗模型的學習率參數，δwm和δbm分別為服務器gm的數據接入潮汐經驗模型的權重更新量和偏置參數更新量。

23、進一步的，所述基于服務器當前性能偏差更新計算資源分配方法中的相關參數的具體步驟為：

24、基于資源分配模型，定義時隙t服務器gm的時延為τm(t)，并假設服務器時延最低要求為τ0，若服務器gm的時延滿足服務器時延最低要求，即τm(t)≤τ0，則資源分配模型參數無需更新，否則，按下式更新服務器gm的權重ωm：

25、

26、該式意為，對于無法滿足時延要求的容器，應通過增大服務的權重來適當增大其計算資源分配比例，提高資源分配模型的有效性與魯棒性。

27、一種面向大規模電網節點的海量高并發數據接入系統，包括：

28、端側的采集終端；

29、邊緣側的服務器；

30、云層的電網調控中心；

31、所述端側的采集終端負責采集電網運行狀態監測數據，并傳輸到邊緣側服務器進行處理；

32、所述電網調控中心負責對各服務器計算資源的分配進行決策，實現負載均衡。

33、進一步的，所述電網調控中心部署軟件模塊，具體包括數據潮汐模型構建子模塊、數據潮汐計算子模塊、計算資源分配子模塊、潮汐經驗模型參數更新子模塊、資源分配模型更新子模塊以及數據存儲子模塊；其中：

34、數據存儲子模塊：用于存儲歷史數據接入量，用于訓練數據接入潮汐網絡以及網絡參數更新；

35、數據潮汐模型構建子模塊：用于基于歷史數據接入情況，訓練數據接入潮汐網絡，構建數據接入潮汐經驗模型；

36、數據潮汐計算子模塊：用于基于觀察時間窗內數據，判斷數據量的潮汐情況，計算數據接入量的峰值及峰值到達的時刻；

37、計算資源分配子模塊：用于基于數據潮汐情況，為各服務器分配計算資源；

38、潮汐經驗模型參數更新子模塊：基于當前時隙數據潮汐情況，更新數據接入潮汐經驗模型的相關參數；

39、資源分配模型更新子模塊：用于基于服務器當前性能偏差更新，計算資源分配方法中的相關參數。

40、一種面向大規模電網節點的海量高并發數據接入裝置，包括：

41、建模模塊：用于基于歷史數據接入情況，構建數據接入潮汐經驗模型；將觀察時間窗內數據的接入情況輸入到數據接入潮汐經驗模型中，判斷數據量的潮汐情況，得到數據接入量峰值及峰值到達的時間；最后，基于數據潮汐情況，進行計算資源分配，得到資源分配模型；

42、更新模塊：用于基于數據接入潮汐經驗模型近幾個時隙的數據潮汐預測結果構建誤差函數，進而更新數據接入潮汐經驗模型的權重和偏置參數矩陣；最后，基于服務器當前性能偏差更新計算資源分配方法中的相關參數，實現面向大規模電網節點的海量高并發數據接入。

43、進一步的，所述建模模塊中構建數據接入潮汐經驗模型的步驟如下：

44、定義t個時隙，集合為定義m個服務器，集合為其中，gm為第m個服務器；定義觀察時間窗長度為l，服務器gm的數據接入潮汐經驗模型如下：

45、

46、式中：為一個觀察時間窗內實際數據接入量向量，包含時隙t-l到時隙t服務器gm的實際數據接入量，其中，為時隙t服務器gm的實際數據接入量；為預測數據接入量向量，包含時隙t到時隙tpro服務器gm的預測數據接入量，其中，為時隙t+1服務器gm的預測數據接入量；fm()為基于歷史潮汐數據訓練得到的服務器gm的數據接入潮汐網絡，可以通過觀察時間窗內l個接入數據量對未來tpro個時隙的接入數據量進行預測。

47、進一步的，所述更新模塊中，基于數據接入潮汐經驗模型近幾個時隙的數據潮汐預測結果構建誤差函數，進而更新數據接入潮汐經驗模型的權重和偏置參數矩陣的具體步驟為：

48、基于數據接入潮汐經驗模型，定義服務器gm的數據接入潮汐經驗模型的權重和偏置參數矩陣分別為wm和bm，對于時隙t的數據接入潮汐網絡訓練，利用時隙t及之前共l個時隙的數據潮汐預測結果構建誤差函數，對數據接入潮汐經驗模型的權重和偏置參數矩陣進行更新，時隙t服務器gm的數據接入潮汐經驗模型的誤差函數為：

49、

50、其中，a0δt-l+1為時隙t-l+1數據潮汐預測的誤差權重，a0為單位誤差權重，δ＞1為折扣系數，代表越接近時隙t，數據潮汐預測的誤差權重越大，為時隙t-l+1服務器gm的預測數據接入量，為時隙t-l+1服務器gm的實際數據接入量；

51、則數據接入潮汐經驗模型的權重和偏置參數矩陣的更新如下式所示：

52、

53、

54、其中，μm為服務器gm的數據接入潮汐經驗模型的學習率參數，δwm和δbm分別為服務器gm的數據接入潮汐經驗模型的權重更新量和偏置參數更新量。

55、借由上述方案，本發明至少具有以下優點：

56、1.本發明提出一種計及數據潮汐的計算負載均衡方法。首先，基于歷史數據接入情況，構建數據接入潮汐經驗模型；其次，將觀察時間窗內數據的接入情況輸入到數據接入潮汐經驗模型中，判斷數據量的潮汐情況，即數據接入量峰值及峰值到達的時間；最后，基于數據潮汐情況，進行計算資源分配，提高電網計算負載在不同節點間資源分配的均衡，減少數據積壓，實現對大規模電網節點海量高并發數據接入的高效處理。

57、2.本發明提出一種計及樣本稀疏性的潮汐經驗模型與資源分配模型更新方法。首先，基于近幾個時隙的數據潮汐預測結果構建誤差函數，進而更新數據接入潮汐經驗模型的相關參數。接著，基于服務器當前性能偏差更新計算資源分配方法中的相關參數。提高模型準確度與資源利用率，確保電網數據的準確、及時和可靠接入，為電網的安全穩定運行提供強有力的支持。

58、上述說明僅是本發明技術方案的概述，為了能夠更清楚了解本發明的技術手段，并可依照說明書的內容予以實施，以下以本發明的較佳實施例并配合附圖詳細說明如后。