本發明涉及人工智能,尤其涉及一種基于ac-mcts算法的面向集群系統災后修復性維修的方法。
背景技術:
1、隨著現代社會的快速發展,集群系統在電力系統、通信網絡、交通網絡等大規模分布式基礎設施中得到了廣泛應用。這些集群系統通常由多個關鍵節點和鏈接組成,以確保系統的穩定運行和高效服務。然而,如地震、臺風等自然災害的發生,可能導致集群系統中部分節點和鏈接的嚴重損壞,從而顯著降低系統的整體性能,甚至導致系統的局部或完全失效。
2、災后修復性維修是集群系統運維中的一個關鍵問題,尤其在災后后如何快速恢復系統的正常運行。傳統的災后修復策略往往依賴于人工經驗或簡單的規則算法,這些方法在應對現代集群系統的復雜性和大規模分布式特性時表現出明顯的不足。具體而言,現有方法難以在有限的時間內處理大量的受損節點和鏈接,同時缺乏有效的優化手段來協調多個維修團隊的協同作業,導致修復過程耗時長、效率低下,系統的恢復速度和效果難以令人滿意。
3、隨著集群系統的廣泛應用,集群系統的可靠性和可維護性問題愈發引起了人們的關注。集群系統通常由多個節點組成,這些節點可能在長期運行中因各種因素導致硬件故障或軟件錯誤,從而影響整個系統的穩定性和性能。為了保障系統的正常運行,需要對集群系統進行及時、有效的修復性維修。
4、傳統的集群系統維修方法主要依賴人工經驗和預設的維修策略,這種方式存在較大的局限性:首先,人工經驗容易受到個人知識和判斷能力的限制,難以全面、精準地處理復雜系統中的各類故障;其次,預設的維修策略通常基于固定的規則,缺乏靈活性和適應性,難以應對系統中不斷變化的故障狀態。
5、近年來,隨著人工智能技術的發展,基于深度學習和強化學習的維修策略逐漸成為研究熱點。其中,蒙特卡洛樹搜索(mcts)算法因其在復雜決策問題中的優異表現,成為解決集群系統維修問題的潛在工具。mcts算法通過模擬未來可能的狀態并選擇最優行動路徑,有效提高了決策的質量和效率。然而,傳統的mcts算法在面對復雜、動態的集群系統時,仍然存在搜索效率低、適應性差的問題。
技術實現思路
1、為了解決上述的技術問題,本發明提出了一種基于ac-mcts算法的面向集群系統災后修復性維修的方法,旨在結合深度學習與mcts算法的優勢,通過對系統狀態的實時預測和最優維修策略的動態選擇,提高集群系統的可靠性和可維護性。該系統不僅能夠有效解決集群系統中的多種故障,還能夠通過不斷學習和優化,提高維修策略的智能化水平,減少系統停機時間,提升系統整體運行效率。
2、為了實現上述的目的,本發明采用了以下的技術方案:
3、一種基于ac-mcts算法的面向集群系統災后修復性維修的方法,該方法包括以下步驟:
4、a)構建多維修團隊的災后修復性維修(cmdp)過程,并在任意時間點t生成集群系統的決策特征張量 x t;
5、b)利用actor-critic神經網絡(ac-net)對 x t進行評估,輸出先驗參數,并將該參數作為蒙特卡洛樹搜索(mcts)算法的輸入;
6、c)基于mcts算法在 x t的條件下執行維修動作的搜索操作,具體包括:
7、i)選擇:將 x t作為mcts的根節點,并基于上限置信區間(ucb)算法選擇具有最佳行動價值的維修動作;
8、ii)擴展和評估:將搜索樹中的葉節點加入隊列中,并利用resnet神經網絡對其進行策略價值的評估,更新搜索樹中相關節點的統計數據;
9、iii)回溯:根據評估結果,沿搜索路徑回溯,更新搜索路徑上每個樹枝的訪問次數和行動價值;
10、iv)執行:通過迭代上述步驟得到改進的維修狀態轉移概率π,并選擇全局最佳維修動作 a t *,將集群系統從時間點t轉移至t+1;
11、d)重復步驟a)至c),直至完成集群系統的修復性維修任務。
12、作為優選,在cmdp執行至 t時刻,對于決策特征張量 x t,以ac-net預測模型獲得的先驗參數( pt, vt)作為輸入,基于mcts方法執行維修動作搜索操作,最終可得到改進的維修狀態轉移概率 π和最佳維修動作 a t *,其表達式為:
13、
14、mcts?搜索樹每一個樹節點 x的所有樹枝( x, a),對應該樹節點下一步所有的維修動作 a∈ action( x),每條樹枝( x, a)存儲一組統計數據,如下所示:
15、
16、其中 n( x, a)表示被訪問的次數; w( x, a)表示總行動價值的總和; q( x, a)表示平均行動價值; p( x, a)表示選擇樹枝( x, a)的先驗概率。
17、作為優選,基于mcts算法在 x t的條件下執行維修動作的搜索操作,具體包括以下的步驟:
18、i)選擇:
19、首先,將 t時刻集群系統的決策特征張量xt作為蒙特卡洛樹的根節點x0,即每一時刻的集群系統狀態,并從根節點x0開始搜索,直到在 l時刻到達搜索樹末端的葉節點xl時截止;在第 l時刻, l< l,擬基于上限置信區間樹搜索算法(uct)和最大化上限置信區間(ucb)算法,根據搜索樹每條樹枝存儲的統計數據選擇當次迭代條件下的最佳動作al,其表達式為:
20、;
21、其中cpuct是一個由mcts搜索程度決定的常數;a∈action(x),action(x)表示動作空間;
22、ii)擴展和評估
23、將葉節點xl加入到隊列中作為resnet的輸入,然后葉子節點xl進行擴展,葉子節點擴展的每一條邊(xl,a)初始化存儲數據:
24、
25、隊列中的所有位置由神經網絡進行評估,得到葉節點xl的策略價值 v,在策略評估完成之前搜索線程一直處于鎖死狀態;
26、iii)回溯
27、經過擴展和評估后,葉節點xl的策略價值 v沿原路徑回溯至父節點;回溯過程中,該搜索路徑的每一條樹枝(xl,al)存儲的訪問次數參數更新一次,其表達式為:
28、
29、同時,搜索該樹枝(xl,al)的維修動作al的總行動價值和平均行動價值參數也更新一次,其表達式為:
30、;
31、iv)執行
32、通過將上述三個步驟迭代1000次,得到維修狀態概率 π,并選擇當前時刻集群系統的特征張量 x t條件下的全局最優維修動作 a t *;其中,改進的集群系統維修狀態概率 π與訪問次數成冪指數相關,其表達式為:
33、
34、其中τ是一個控制搜索進程的經驗參數;
35、執行最優維修動作 a t *之后,集群系統維修狀態的特征張量從 t時刻xt轉移至 t+1時刻xt+1,搜索樹將以xt+1為新的根節點x0,并且保留原搜索樹中節點xt+1以下的所有子節點及其統計數據,同時丟棄與該節點同級的其余節點的樹枝。
36、作為優選,所述的actor-critic神經網絡(ac-net)為一個雙輸出的殘差神經網絡,包括策略模塊和價值模塊;其中:
37、a)策略模塊通過多層卷積層和全連接層輸出先驗維修概率矩陣 pt,該矩陣的元素表示選擇修復動作的概率;
38、b)價值模塊通過殘差網絡結構輸出一個標量值vt,用于評估當前修復性維修動作的選擇獎勵。
39、作為優選,所述的actor-critic神經網絡(ac-net) f θ( s,a)?=?( p, v)是一個雙輸出的殘差神經網絡?(resnet),作為維修策略預測模型,隨機初始化網絡參數 θ0;
40、在每個時刻 t,ac-net f θ的輸入是損壞前的當前修復狀態?st=[?sft,?sctc]和鄰接矩陣 a;sft可以寫成如下:
41、
42、其中aft是mcrp的時間步長 t處的鄰接矩陣,如果,則aft=?af1=adamage損壞;同時,sctc寫成如下:
43、
44、其中actc是維修團隊 c修復過程的時間步長tc的鄰接矩陣,如果,則actc=?a1c=ad;
45、actor模塊和critic模塊的輸出是先驗修復概率矩陣pt和值vt;矩陣pt是一個 n× n鄰接矩陣,其元素pij是選擇修復動作 a=?( i, j)的概率;值vt是一個標準化參數,用于評估當前修復性維修動作選擇的獎勵;
46、修復性維修agent中的這個ac-net使用由具有relu函數的卷積層的殘差塊組成的殘差模塊來處理輸入特征st,而輸入特征 a是一個常數矩陣,由完全連接層組成的多層模塊來處理;剩余模塊和多層模塊包括共享層,并合并為兩個獨立的模塊,即政策和價值;此外,策略和值模塊從共享層獲取它們的輸入,并使用全連接層和sigmoid函數輸出先驗修復概率pt和值vt。
47、作為優選,所述的上限置信區間(ucb)算法的選擇依據包括:
48、a)最大化的上限置信區間;
49、b)選擇訪問次數較低且具有較高先驗概率的維修動作。
50、作為優選,所述的resnet神經網絡結構包括:
51、a)一個由256個3×3濾波器組成的卷積模塊;
52、b)深度堆疊的殘差模塊,所述殘差模塊包括多個由卷積層、批量歸一化層、relu函數層和add模塊組成的結構;
53、c)策略模塊和價值模塊,分別用于輸出先驗維修概率矩陣p和標準化值v。
54、作為優選,resnet預測模型的表達式為 f θ( x)?=?( p, v), θ是resnet的網絡參數,初始網絡參數 θ0通過隨機初始化得到,并隨著算法的迭代進行優化更新。
55、進一步,本發明還公開了實現所述方法的系統,該系統包括:
56、a)集群系統特征提取模塊,用于在任意時間點t生成集群系統的決策特征張量 x t;
57、b)actor-critic神經網絡模塊,與所述集群系統特征提取模塊通信,用于對 x t進行評估,輸出先驗參數;
58、c)蒙特卡洛樹搜索模塊,與所述actor-critic神經網絡模塊通信,用于基于mcts算法在 x t的條件下執行維修動作的搜索操作,蒙特卡洛樹搜索模塊包括:
59、i)選擇模塊,用于將 x t作為mcts的根節點,并基于上限置信區間(ucb)算法選擇具有最佳行動價值的維修動作;
60、ii)擴展和評估模塊,用于將搜索樹中的葉節點加入隊列中,并利用resnet神經網絡對其進行策略價值的評估,更新搜索樹中相關節點的統計數據;
61、iii)回溯模塊,用于根據評估結果沿搜索路徑回溯,更新搜索路徑上每個樹枝的訪問次數和行動價值;
62、iv)執行模塊,用于通過迭代上述步驟得到改進的維修狀態轉移概率π,并選擇全局最佳維修動作 a t *,將集群系統從時間點t轉移至t+1。
63、進一步,本發明還公開了一種計算機可讀存儲介質,其上存儲有計算機程序或指令,該計算機程序或指令被處理器執行時實現所述方法。
64、本發明由于采用了上述的技術方案,提供了面向集群系統修復性維修的ac-mcts算法系統,結合了深度學習和蒙特卡洛樹搜索(mcts)算法的優勢,顯著提高了集群系統維修的智能化和效率,具體體現為以下技術效果:
65、1、提升維修決策的精準性和動態適應性:通過引入actor-critic神經網絡(ac-net),系統能夠在每個時刻對集群系統的特征張量xt進行精確評估,預測系統當前的狀態和最優維修動作。與傳統依賴固定規則或人工經驗的維修方法相比,本系統能夠動態適應集群系統的復雜和多變的運行環境,確保維修決策的精準性。
66、2、優化維修動作的搜索效率:本系統利用mcts算法在ac-net輸出的先驗參數基礎上執行維修動作的搜索操作,結合上限置信區間(ucb)算法,兼顧搜索的廣度和深度。通過迭代優化和擴展節點的選擇策略,系統能夠高效地找到全局最優維修動作,顯著減少了維修動作選擇過程中的計算復雜度和時間成本。
67、3、增強系統的學習能力和維修策略的智能化:系統通過深度殘差網絡(resnet)對維修策略和價值進行評估,不斷學習和優化維修策略。隨著系統的運行和數據積累,ac-net會逐漸優化其網絡參數,進一步提升預測準確性和維修策略的有效性,實現維修策略的智能化和自適應優化。
68、4、減少系統停機時間,提升整體運行效率:通過高效、精準的維修決策,本系統能夠迅速修復集群系統中的故障,減少因故障導致的系統停機時間。同時,通過優化維修動作的選擇,本系統能夠在不增加硬件資源的情況下,最大限度地提高系統的整體運行效率,保障集群系統的穩定性和持續性運行。
69、綜上所述,本發明通過將深度學習與蒙特卡洛樹搜索相結合,提供了一種智能化、高效的集群系統修復性維修方案,不僅提高了維修決策的精準性和效率,還顯著提升了集群系統的整體運行性能和可靠性。