本發明屬于網絡領域,特別是關于一種ai(artificial?intelligence,人工智能)算力網絡負載的智能預測方法、裝置及相關介質、設備。
背景技術:
1、云計算需要大量的計算資源即算力,如服務器、存儲設備和網絡設備等。通常使用大數據處理技術如hadoop、spark來收集、處理和分析算力網絡中的大量數據,包括實時性能指標、歷史工作負載數據、應用程序日志等,為算力網絡的負載預測模型提供輸入,而負載預測模型能幫助管理員理解、預測未來的資源需求,從而做出更有效的計劃、決策,例如,通過預測特定時間段內的負載,可事先調整資源分配,避免過載或資源浪費。
2、現有技術中預測算力網絡的負載時,通常使用基于transformer的fedformer模型或者自適應水平pod自動縮放系統(advanced?horizontal?pod?autoscaler,ahpa)。但在實際使用中發現,上述兩種預測方法均存在一些缺點。
3、基于transformer的fedformer模型的不足在于:首先,該模型基于頻域分析,面對非常復雜或高頻變化的時序數據時其表現不如時域方法穩定,對缺乏明顯周期性的數據其預測準確性也會下降;其次,處理長序列數據時需要更多的計算資源、計算時間,限制了其在資源受限環境下的應用;最后,其內部機制復雜,可解釋性和透明度較低,且復雜的頻域轉換增加了訓練時間、推理時間。
4、ahpa的缺陷包括:首先,其不僅要運行arima(autoregressive?integratedmoving?average?model,自回歸移動平均)模型進行時間序列分析,還需實施量化回歸森林來估計殘差分布,增加了訓練、預測的計算負擔,計算復雜度較高;其次,其性能很大程度上依賴于適當的參數設置,如arima模型的階數和qrf的樹的數量,需要大量調試和驗證,調優難度大;最后,在極端事件或非典型數據模式下仍難以捕獲到數據的真實分布,難以保證最終的預測精度。
技術實現思路
1、為解決前述技術問題,本發明提供一種ai算力網絡負載的智能預測方法,包括以下步驟:
2、s1、對算力網絡數據中心的底層網絡設備部署采集程序;
3、s2、通過采集程序采集算力網絡關鍵性能指標的歷史負載數據;
4、s3、根據關鍵性能指標的歷史負載數據,通過rdmaformer算法進行負載預測。
5、進一步地,關鍵性能指標包括:
6、算力網絡的遠程內存直接讀取的流量優先控制、顯示擁塞控制、擁塞控制包。
7、進一步地,步驟s3包括:
8、s3.1、將歷史負載數據輸入所述rdmaformer算法,形成資源時序負載序列;
9、s3.2、設置rdmaformer算法的參數;
10、s3.3、將資源時序負載序列分解為趨勢部分和季節部分;
11、s3.4、通過dual-conet網絡架構對趨勢部分進行預測,獲取趨勢部分的預測值;
12、s3.5、通過rdmaformer算法獲取季節部分的預測值;
13、s3.6、通過趨勢部分的預測值、季節部分的預測值,獲取最終預測結果。
14、進一步地,rdmaformer算法的參數包括:
15、enc_in,表示編碼器的輸入尺寸;
16、dec_in,表示解碼器的輸入尺寸;
17、c_out,表示所述rdmaformer算法的輸出尺寸;
18、d_model,表示rdmaformer算法模型的維度;
19、n_head,表示多頭注意力的數量;
20、e_layers,表示編碼器的層數量,
21、d_layers,表示解碼器的層數量;
22、d_ff,表示全卷積網絡的維度;
23、moving_avg,表示移動平均的窗口尺寸;
24、factor,表示注意力塊的數量;
25、dropout,表示在深度學習過程中對神經元丟棄的概率;
26、lr_decay_factor,表示學習率衰減因子;
27、seq_len,表示mlp預測模型的輸入長度;
28、label_len,表示標簽序列長度;
29、pred_len,表示預測長度。
30、進一步地,設置rdmaformer算法的參數包括:
31、enc_in=5,dec_in=5,c_out=5,d_model-512,n_head=2,e_layers=1,d_layers=2,d_ff=2048,moving_avg=25,factor=1,dropout=0.05,lr_decay_factor=0.5,seq_len=96,label_len=48,pred_len=[96,192,384,768]。
32、進一步地,編碼器包括頻率增強模塊(frequency?enhanced?block,feb);
33、編碼器采用多層結構:表示第l層編碼器的輸出,n為編碼器的層數、設定為1;
34、編碼器形式化為:
35、
36、其中,分別表示第l層第i個頻率增強模塊得到的季節分量,feedforward為編碼器的前饋層,norm為編碼器的標準化層。
37、進一步地,解碼器包括頻率增強模塊、頻率增強注意力模塊(frequency?enhancedattention?block,fea);
38、解碼器采用多層結構:表示第l層解碼器的輸出,m為解碼器的層數、設定為2;
39、解碼器形式化為:
40、
41、其中,分別表示第l層第i個序列分解后得到的季節分量,feedforward為解碼器的前饋層,norm為解碼器的標準化層。
42、本發明還提供一種ai算力網絡負載的智能預測裝置,包括:
43、部署模塊,用于對算力網絡數據中心的底層網絡設備部署采集程序;
44、采集模塊,用于通過采集程序采集算力網絡關鍵性能指標的歷史負載數據;
45、負載預測模塊,用于根據關鍵性能指標的歷史負載數據,通過rdmaformer算法進行負載預測。
46、本發明又提供一種計算機可讀存儲介質,存儲有計算機程序,計算機程序被處理器執行時實現前述的ai算力網絡負載的智能預測方法。
47、本發明還提供一種計算機設備,包括存儲器、處理器和存儲在存儲器中的計算機程序,計算機程序被所述處理器執行時實現前述的ai算力網絡負載的智能預測方法。
48、與現有技術相比,本發明提供的ai算力網絡負載的智能預測方法,能對算力網絡進行高精度的單資源負載指標或者多資源負載指標預測,減少維護時延和人工干預,提高資源利用率、保證服務質量。
1.ai算力網絡負載的智能預測方法,其特征在于,包括以下步驟:
2.根據權利要求1所述的ai算力網絡負載的智能預測方法,其特征在于,所述關鍵性能指標包括:
3.根據權利要求2所述的ai算力網絡負載的智能預測方法,其特征在于,所述步驟s3包括:
4.根據權利要求3所述的ai算力網絡負載的智能預測方法,其特征在于,所述rdmaformer算法的參數包括:
5.根據權利要求4所述的ai算力網絡負載的智能預測方法,其特征在于,所述設置rdmaformer算法的參數包括:
6.根據權利要求5所述的ai算力網絡負載的智能預測方法,其特征在于,所述編碼器包括頻率增強模塊(frequency?enhanced?block,feb);
7.根據權利要求5所述的ai算力網絡負載的智能預測方法,其特征在于,所述解碼器包括頻率增強模塊、頻率增強注意力模塊(frequency?enhanced?attention?block,fea);
8.ai算力網絡負載的智能預測裝置,其特征在于,包括:
9.計算機可讀存儲介質,其特征在于,所述計算機可讀存儲介質存儲有計算機程序,所述計算機程序被處理器執行時實現權利要求1—7中任一項所述的ai算力網絡負載的智能預測方法。
10.計算機設備,其特征在于,所述計算機設備包括存儲器、處理器和存儲在所述存儲器中的計算機程序,所述計算機程序被所述處理器執行時實現權利要求1—7中任一項所述的ai算力網絡負載的智能預測方法。