一種監測告警方法及系統與流程

本發明涉及大數據分析領域，特別涉及一種監測告警方法及系統。

背景技術：

隨之科技的進步，大數據分析被應用到各個領域，大規模的監測系統也適用于大數據分析領域。

spark是由加州伯克利大學amp實驗室開發的分布式并行計算框架，主要特點是彈性分布式數據集，中間輸出結果可以保存在內存中，節省了大量的磁盤i/o操作。除此之外還支持多次迭代計算，特別適合流計算和圖計算。

傳統的監控告警方案一般是使用ganglia+nagios，收集系統和網絡的各種數據日志，加以分析，上報故障警告。但是此種傳統的監控告警方式有許多弊端。首先監控日志數據量非常大，但是能被運維人員利用到的只有一小部分，大部分數據占據存儲空間但沒有被利用。其次告警準確度和效率低下，通常告警需要工程師設置告警條件，但是條件的粒度很難把握，這樣的告警機制很死板，尤其是針對復雜的業務監控，告警經常漏報和誤報。最后傳統的運監系統只能被動的提示故障，卻不能主動的規避故障，這往往讓用戶處在很被動的狀態。

因此，如何能夠在故障發生前進行告警，規避故障，成為了研究難點。

技術實現要素：

有鑒于此，本發明的目的在于提供一種監測告警方法及系統，在故障發生前提前告警，從而提醒用戶進行維護和關注，進而避免故障的發生或擴大。其具體方案如下：

一種監測告警方法，包括：

獲取監測數據；

利用監測模型分析所述監測數據，得到分析結果；

判斷所述分析結果是否滿足預設條件；

如果滿足，則進行告警；

其中，所述監測模型為基于spark框架，利用歷史監測數據，得到故障發生概率與所述歷史監測數據的第一對應關系，利用所述第一對應關系，得到所述監測模型。

可選的，所述監測數據包括監測日志和運維人員的操作日志。

可選的，所述監測模型創建過程，包括：

對所述歷史監測數據逐條進行sql統計分析，并將具有聯系的數據建立關聯，得到故障發生概率與所述歷史監測數據的第一對應關系，利用所述第一對應關系，得到所述監測模型。

可選的，所述監測模型訓練過程，還包括：

對所述歷史監測數據逐條進行sql統計分析，并將具有聯系的數據建立關聯，得到故障與所述歷史監測數據的第二對應關系，利用所述第二對應關系，得到所述監測模型。

可選的，還包括：

接收用戶輸入的過濾列表；

停止對所述過濾列表中記錄的故障告警。

可選的，還包括：

利用歷史告警信息，分析出高頻告警列表；

按照預設頻率獲取與所述高頻告警列表中記錄的故障相應的目標監測數據。

可選的，所述利用歷史告警信息，分析出高頻告警列表的過程，包括：

利用所述歷史告警信息的告警次數、告警位置和告警時間，分析出高頻告警信息；

接收用戶輸入的確定信息，并利用所述高頻告警信息，得到所述高頻告警列表。

本發明還公開了一種監測告警系統，包括：

獲取模塊，用于獲取監測數據；

分析模塊，用于利用監測模型分析所述監測數據，得到分析結果；

判斷模塊，用于判斷所述分析結果是否滿足預設條件；

告警模塊，用于如果滿足，則進行告警；

其中，所述監測模型為基于spark框架，利用歷史監測數據，得到故障發生概率與所述歷史監測數據的第一對應關系，利用所述第一對應關系，得到所述監測模型。

可選的，所述分析模塊，包括：

監測模型創建單元，用于對所述歷史監測數據逐條進行sql統計分析，并將具有聯系的數據建立關聯，得到故障發生概率與所述歷史監測數據的第一對應關系，利用所述第一對應關系，得到所述監測模型。

可選的，還包括：

告警分析模塊，用于利用歷史告警信息，分析出高頻告警列表；

高頻數據獲取模塊，用于按照預設頻率獲取與所述高頻告警列表中記錄的故障相應的目標監測數據。

本發明中，監測告警方法，包括：獲取監測數據；利用監測模型分析監測數據，得到分析結果；判斷分析結果是否滿足預設條件；如果滿足，則進行告警；其中，監測模型為基于spark框架，利用歷史監測數據，得到故障發生概率與歷史監測數據的第一對應關系，利用第一對應關系，得到監測模型。本發明獲取監測對象的監測數據，利用基于spark框架，利用歷史監測數據，得到故障發生概率與歷史監測數據的對應關系，利用對應關系，制作而成的監測模型對監測數據進行分析，得到分析結果，在判斷分析結果是否滿足預設條件，決定是否告警，如果滿足預設條件，則告警，綜上所述，實現主動告警，即，在故障發生前，依據當前數據分析出可能發生的故障提前告警，從而提醒用戶進行維護和關注，進而避免故障的發生或擴大。

附圖說明

為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據提供的附圖獲得其他的附圖。

圖1為本發明實施例公開的一種監測告警方法流程示意圖；

圖2為本發明實施例公開的一種監測告警系統結構示意圖。

具體實施方式

下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基于本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬于本發明保護的范圍。

本發明實施例公開了一種監測告警方法，參見圖1所示，該方法包括：

步驟s11：獲取監測數據。

可以理解的是，為能對監測對象進行主動告警分析，可以詳細的獲取監測對象的各種基礎數據，并根據監測對象的變更獲取相應的監測數據，例如，監測對象可以為服務器，相應的獲取監測數據也可以根據實際應用需求定時獲取監測數據，例如，每隔10分鐘獲取一次監測對象的監測數據，當然，也可以實時獲取監測對象的監測數據。

步驟s12：利用監測模型分析監測數據，得到分析結果。

具體的，監測模型為預先建立好的模型，在監測過程中可以直接調用，利用監測模型分析監測數據，得到分析結果以用于后續告警操作。

其中，監測模型為基于spark框架制作而成的，利用歷史監測數據，基于spark框架進行多次迭代計算，得到故障發生概率與歷史監測數據的第一對應關系，利用第一對應關系，得到監測模型。

可以理解的是，監測模型在分析當前監測數據時的過程與訓練時的過程相同，對監測模型進行何種訓練，在分析過程中便進行何種分析；可以利用gnglia獲取監測數據。

需要說明的是，監測模型可以不斷地利用接收到的監測數據進行學習和更新，從而不斷地增加告警的效率和準確度。

步驟s13：判斷分析結果是否滿足預設條件。

具體的，可以利用分析結果中利用監測數據分析出的故障發生概率判斷是否滿足預設概率，如果一項故障發生概率超過預設概率，則判定滿足預設條件，例如，故障發生概率為50％，預設概率即預設條件為40％，則當前故障發生概率超過預設條件，判定滿足預設條件，當然，如果故障發生概率不滿足預設條件則不進行操作。

可以理解的是，由于分析結果中包括多種故障的故障發生概率，因此相應的預設條件也可以與故障一一對應，即，用戶可以對每個故障判斷是否告警的預設條件分別設定，例如，共有第一故障、第二故障和第三故障，用戶可以分別對第一故障、第二故障和第三故障設定第一預設條件、第二預設條件和第三預設條件，其中，第一預設條件、第二預設條件和第三預設條件的設置可以不同。

步驟s14：如果滿足，則進行告警。

具體的，當分析結果中的故障發生概率滿足預設條件，則進行告警；其中，告警方式可以為蜂鳴告警或提示燈告警，也可以像用戶的移動終端發送提示信息進行告警，在此不對告警的形式做限定；可以利用nagios進行告警。

可見，本發明實施例中通過獲取監測對象的監測數據，利用歷史監測數據，得到故障發生概率與歷史監測數據的對應關系，利用對應關系并基于spark框架制作而成的監測模型對監測數據進行分析，得到分析結果，再判斷分析結果是否滿足預設條件，決定是否告警，如果滿足預設條件，則告警，綜上所述，實現了主動告警，即，在故障發生前，依據當前數據分析出可能發生的故障并提前告警，從而提醒用戶進行維護和關注，避免了故障的發生或擴大。

本發明實施例公開了一種具體的監測告警方法，相對于上一實施例，本實施例對技術方案作了進一步的說明和優化。具體的：

步驟s21：獲取監測日志和運維人員的操作日志。

具體的，監測數據可以為監測日志和運維人員的操作日志，監測日志中包括監測對象的各種監測數據，操作日志中記載有運維人員進行的各種操作記錄，例如，維護記錄等。

步驟s22：利用監測模型分析監測數據，得到分析結果。

其中，監測模型可以通過對歷史監測日志和歷史操作日志中的數據逐條進行sql(structuredquerylanguage，結構化查詢語言)統計分析，并將具有聯系的數據建立關聯，得到故障發生概率與歷史監測數據的對應關系，利用對應關系得到。

具體的，利用sql將歷史監測日志和歷史操作日志進行數據庫化，按照數據的屬性進行分類，并且從中分析出關鍵數據，建立具有聯系的數據之間的關聯，結合歷史操作日志和歷史監測日志可以分析出故障與監測日志中的那些數據相關，以使根據一個引發故障的數據的變化，可以推算出另一個引發故障的數據的變化，從而實現對故障的預測。

例如，將歷史操作日志中的運維人員對故障的維護記錄中進行的操作，在同一時段和地點引起的歷史監測日志中變化的監測數據相關聯，可以得知那些數據與故障相關，從而根據分析這些與故障相關的關鍵數據，根據部分關鍵數據的變化可以推算出故障發生概率，得到故障發生概率與歷史監測數據的對應關系。

可以理解的是，監測模型在分析當前監測日志和操作日志的過程，與訓練時進行的分析過程相同。

步驟s23：判斷分析結果是否滿足預設條件。

步驟s24：如果滿足，則進行告警。

本發明實施例中，上述監測模型訓練過程，還可以包括對歷史監測數據逐條進行sql統計分析，并將具有聯系的數據建立關聯，得到故障與歷史監測數據的第二對應關系，利用第二對應關系，得到監測模型，通過訓練出監測數據與故障的直接關系，為被動告警作出前提保證，被動告警即當故障發生時告警。

進一步的，可以對告警進行分類，將通過監測數據可以直接分析出的告警劃分為基本告警，將需要通過多種監測數據組合推算出的告警劃分為業務告警，因此，業務告警與基本告警存在一定的關系，即業務告警由一個或多個基本告警引起，業務告警與基本告警存在一定的繼承關系，這樣在告警時，通過區分基本告警和業務告警，可以使用戶更能直觀的分析出當前故障所在和故障的嚴重性。

在實際應用中，一些告警可能影響不大，例如，一些基本告警，且一些較大的故障可能會突然出現大量的告警，例如，一個業務告警級別的故障同時會引起大量基本告警級，過多的告警可能會影響用戶的判斷，因此，還可以接收用戶輸入的過濾列表；停止對過濾列表中記錄的故障告警，實現對告警的篩選。

需要說明的是，過濾列表可以只是不對表中的故障不進行告警，而監測模型仍對過濾列表中的故障相應的監測數據進行監測和分析，當出現在過濾列表中的故障基礎上引發的故障發生概率過高或發生故障，需要告警時則仍然告警，確保能夠及時提醒用戶保證安全，提高用戶體驗。

例如，一個業務告警，包括3個基本告警，過濾列表屏蔽了該業務告警的3個基本告警，當3個基本告警對應的任一故障出現，則不會產生與該故障對應的基本告警，但當3個基本告警對應的故障出現，導致業務告警的發生幾率超過預設條件，則仍進行與業務告警相應的告警。

可以理解的是，一些故障可能常常頻繁出現，通常的監測數據獲取頻率可能無法及時監測到此類故障，因此，可以對此類故障進行重點關注和監控，具體可以包括步驟s25和步驟s26；

s25：利用歷史告警信息，分析出高頻告警列表。

具體的，可以利用歷史告警信息的告警次數、告警位置和告警時間，分析出高頻告警信息，再接收用戶輸入的確定信息，可以由用戶做出最終決定，判斷分析出的高頻告警信息，是否需要關注，并利用高頻告警信息，得到高頻告警列表。

s26：按照預設頻率獲取與高頻告警列表中記錄的故障相應的目標監測數據。

具體的，在分析出高頻告警列表后，用戶可以單獨設定獲取高頻告警列表中記錄的故障相應的目標監測數據的預設頻率，例如，通用監測數據獲取頻率為每12小時獲取一次，預設頻率可以設定為每1小時獲取一次，也可以設定為實時獲取。

相應的，本發明實施例還公開了一種監測告警系統，參見圖2所示，該系統包括：

獲取模塊11，用于獲取監測數據。

具體的，監測數據可以包括監測日志和運維人員的操作日志。

分析模塊12，用于利用監測模型分析監測數據，得到分析結果。

其中，監測模型為基于spark框架，利用歷史監測數據，得到故障發生概率與歷史監測數據的第一對應關系，利用第一對應關系，得到監測模型。

判斷模塊13，用于判斷分析結果是否滿足預設條件。

告警模塊14，用于如果滿足，則進行告警。

本發明實施例中，上述分析模塊12，具體可以包括監測模型創建單元，其中，

監測模型創建單元，用于對歷史監測數據逐條進行sql統計分析，并將具有聯系的數據建立關聯，得到故障發生概率與歷史監測數據的第一對應關系，利用第一對應關系，得到監測模型。

監測模型創建單元，還可以具體用于對歷史監測數據逐條進行sql統計分析，并將具有聯系的數據建立關聯，得到故障與歷史監測數據的第二對應關系，利用第二對應關系，得到監測模型。

本發明實施例中，還包括：

接收模塊，用于接收用戶輸入的過濾列表；

過濾模塊，用于停止對過濾列表中記錄的故障告警。

告警分析模塊12，用于利用歷史告警信息，分析出高頻告警列表；

高頻數據獲取模塊11，用于按照預設頻率獲取與高頻告警列表中記錄的故障相應的目標監測數據。

上述告警分析模塊12，具體可以包括分析單元和創建單元；其中，

分析單元，用于利用歷史告警信息的告警次數、告警位置和告警時間，分析出高頻告警信息；

創建單元，用于接收用戶輸入的確定信息，并利用高頻告警信息，得到高頻告警列表。

可見，本發明實施例中通過獲取監測對象的監測數據，利用歷史監測數據，得到故障發生概率與歷史監測數據的對應關系，利用對應關系并基于spark框架制作而成的監測模型對監測數據進行分析，得到分析結果，再判斷分析結果是否滿足預設條件，決定是否告警，如果滿足預設條件，則告警，綜上所述，實現了主動告警，即，在故障發生前，依據當前數據分析出可能發生的故障并提前告警，從而提醒用戶進行維護和關注，避免了故障的發生或擴大。

最后，還需要說明的是，在本文中，諸如第一和第二等之類的關系術語僅僅用來將一個實體或者操作與另一個實體或操作區分開來，而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關系或者順序。而且，術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設備所固有的要素。在沒有更多限制的情況下，由語句“包括一個……”限定的要素，并不排除在包括所述要素的過程、方法、物品或者設備中還存在另外的相同要素。

以上對本發明所提供的一種監測告警方法及系統進行了詳細介紹，本文中應用了具體個例對本發明的原理及實施方式進行了闡述，以上實施例的說明只是用于幫助理解本發明的方法及其核心思想；同時，對于本領域的一般技術人員，依據本發明的思想，在具體實施方式及應用范圍上均會有改變之處，綜上所述，本說明書內容不應理解為對本發明的限制。