本發明涉及大數據處理領域,尤其涉及一種網絡告警關聯分析的方法及裝置。
背景技術:
隨著網絡規模的不斷擴展、多業務網絡的逐漸融合和新業務的加速引入給電信網絡管理及維護工作帶來了極大的挑戰。在故障管理領域,一個重要而迫切的管理需求是對網絡中產生的大量告警進行關聯分析。
現有的關聯分析主要分成兩類,一類是通過傳統的關聯分析算法實現,如經典的Apriori(關聯規則算法),FP-growth(Frequent Pattern growth,頻繁模式迭代)算法,典型的關聯分析平臺為weka(Waikato Environment for Knowledge Analysis,懷卡托智能分析環境);另一類是通過單純的大數據處理平臺Hadoop實現關聯分析挖掘技術,如Hadoop(Hadoop Distributed File System,分布式文件系統)的Apriori算法、Web服務器軟件Apache(阿帕奇)的機器學習算法Mahout等。
傳統的關聯分析平臺如Weka是基于單機實現的關聯的分析算法,主要是針對小數據量的關聯分析,不適宜大數據的關聯分析挖掘;通過Hadoop大數據處理平臺實現的關聯分析,迭代計算性能欠佳;基于Mahout的Apriori算法主要是針對離散型的數據處理,不支持連續數據的分析挖掘。
綜上所述,在大數據處理場景下,現有的網絡告警關聯分析方法無法支持連續的數據分析挖掘。
技術實現要素:
本發明提供一種網絡告警關聯分析的方法及裝置,用以解決在大數據處理場景下,現有技術中的網絡告警關聯分析方法無法支持連續的數據分析挖掘的問題。
本發明實施例提供一種網絡告警關聯分析的方法,包括:
根據預設的時間窗口長度和預設的窗口移動步長,確定N條告警信息中每一條告警信息落入的時間窗口,其中,所述窗口移動步長小于所述時間窗口長度,N為正整數;
根據告警信息與告警標識的映射關系,確定告警信息對應的告警標識,根據同一個所述時間窗口中的所有告警信息對應的告警標識,確定所述時間窗口對應的至少一個告警事務;
根據預設的關聯規則,對所有告警事務進行關聯分析,確定包含告警標識的關聯分析結果。
可選的,所述根據預設的時間窗口長度和預設的窗口移動步長,確定N條告警信息中每一條告警信息落入的時間窗口之前,還包括:
確定所述N條告警信息中每一條告警信息對應的告警標簽;
根據告警標簽與告警標識的映射關系,確定每一條告警標簽對應的告警標識,其中每條告警標簽對應一個告警標識;
所述根據預設的關聯規則,對所有告警事務進行關聯分析,確定包含告警標識的關聯的分析結果之后,還包括:
根據所述告警標簽與告警標識的映射關系,將所述包含告警標識的關聯分析結果轉換成包含告警標簽的關聯分析結果。
可選的,所述確定所述N條告警信息中每一條告警信息對應的告警標簽,包括:
根據預設的告警維度,確定每一條告警信息對應的告警標簽;
其中,所述告警維度包括下列維度信息中的部分或全部:告警標題、告警網元、告警專業、告警地區。
可選的,所述預設的告警維度包括一種維度信息;
根據同一個所述時間窗口中的所有告警信息對應的告警標識,確定所述時間窗口對應的至少一個告警事務,包括:
根據同一個所述時間窗口中的所有告警信息對應的告警標識,確定所述時間窗口對應的一個告警事務;
根據預設的關聯規則,對所有告警事務進行關聯分析,確定包含告警標識的關聯分析結果,包括:
根據所述維度信息對應的預設的關聯規則,對所有告警事務進行關聯分析,確定所述維度信息對應的包含告警標識的關聯分析結果。
可選的,所述預設的告警維度包括多種維度信息;
所述根據同一個所述時間窗口中的所有告警信息對應的告警標識,確定所述時間窗口對應的至少一個告警事務,包括:
若所述告警信息對應的一個告警標簽包括多種維度信息,根據同一個所述時間窗口中的所有告警信息對應的告警標識,確定所述時間窗口對應的一個告警事務;
若所述告警信息對應的一個告警標簽包括一種維度信息,將同一個時間窗口中同一個維度信息對應的所有告警標識作為一個告警事務;
根據預設的關聯規則,對所有告警事務進行關聯分析,確定包含告警標識的關聯分析結果,包括:
若所述告警信息對應的一個告警標簽包括多種維度信息,根據所述多種維度信息對應的預設的關聯規則,對所有告警事務進行關聯分析,確定多種所述維度信息對應的包含告警標識的關聯分析結果;
若所述告警信息對應的一個告警標簽包括一種維度信息,根據所述每一種維度信息對應的預設的關聯規則,對所有告警事務進行關聯分析,分別確定每一種所述維度信息對應的包含告警標識的關聯分析結果。
可選的,所述確定N條告警信息中每一條告警信息落入的時間窗口,包括:
根據所述每一條告警信息中的告警時間,確定所述每一條告警信息落入的時間窗口。
可選的,所述關聯規則為確定多個告警標識落入同一個時間窗口的次數;
所述根據預設的關聯規則,對所有告警事務進行關聯分析,確定包含告警標識的關聯分析結果,包括:
通過分布式內存計算框架Spark平臺,關聯規則算法Apriori算法確定所述多個告警標識落入同一個時間窗口的次數;
根據確定的次數生成包含所述多個告警標識的關聯分析結果。
本發明實施例還提供一種網絡告警關聯分析的裝置,包括:
窗口確定模塊,用于根據預設的時間窗口長度和預設的窗口移動步長,確定N條告警信息中每一條告警信息落入的時間窗口,其中,所述窗口移動步長小于所述時間窗口長度,N為正整數;
事務確定模塊,用于根據告警信息與告警標識的映射關系,確定告警信息對應的告警標識,根據同一個所述時間窗口中的所有告警信息對應的告警標識,確定所述時間窗口對應的至少一個告警事務;
結果確定模塊,用于根據預設的關聯規則,對所有告警事務進行關聯分析,確定包含告警標識的關聯分析結果。
可選的,所述窗口確定模塊,還用于:
確定所述N條告警信息中每一條告警信息對應的告警標簽;
根據告警標簽與告警標識的映射關系,確定每一條告警標簽對應的告警標識,其中每條告警標簽對應一個告警標識;
所述結果確定模塊,還用于:
根據所述告警標簽與告警標識的映射關系,將所述包含告警標識的關聯分析結果轉換成包含告警標簽的關聯分析結果。
可選的,所述窗口確定模塊,還用于:
根據預設的告警維度,確定每一條告警信息對應的告警標簽;
其中,所述告警維度包括下列維度信息中的部分或全部:告警標題、告警網元、告警專業、告警地區。
可選的,所述預設的告警維度包括一種維度信息;
所述事務確定模塊,還用于:
根據同一個所述時間窗口中的所有告警信息對應的告警標識,確定所述時間窗口對應的一個告警事務;
所述結果確定模塊,還用于:
根據所述維度信息對應的預設的關聯規則,對所有告警事務進行關聯分析,確定所述維度信息對應的包含告警標識的關聯分析結果。
可選的,所述預設的告警維度包括多種維度信息;
所述事務確定模塊,還用于:
若所述告警信息對應的一個告警標簽包括多種維度信息,根據同一個所述時間窗口中的所有告警信息對應的告警標識,確定所述時間窗口對應的一個告警事務;
若所述告警信息對應的一個告警標簽包括一種維度信息,將同一個時間窗口中同一個維度信息對應的所有告警標識作為一個告警事務;
所述結果確定模塊,還用于:
若所述告警信息對應的一個告警標簽包括多種維度信息,根據所述多種維度信息對應的預設的關聯規則,對所有告警事務進行關聯分析,確定多種所述維度信息對應的包含告警標識的關聯分析結果;
若所述告警信息對應的一個告警標簽包括一種維度信息,根據所述每一種維度信息對應的預設的關聯規則,對所有告警事務進行關聯分析,分別確定每一種所述維度信息對應的包含告警標識的關聯分析結果。
可選的,所述窗口確定模塊,還用于:
根據所述每一條告警信息中的告警時間,確定所述每一條告警信息落入的時間窗口。
可選的,所述關聯規則為確定多個告警標識落入同一個時間窗口的次數,所述結果確定模塊,還用于:
通過分布式內存計算框架Spark平臺,采用關聯規則算法Apriori確定所述多個告警標識落入同一個時間窗口的次數;
根據確定的次數生成包含所述多個告警標識的關聯分析結果。
本發明實施例提供一種網絡告警關聯分析的方法及裝置,根據預設的時間窗口長度和預設的窗口移動步長,確定N條告警信息中每一條告警信息落入的時間窗口;根據告警信息與告警標識的映射關系,確定告警信息對應的告警標識,根據同一個所述時間窗口中的所有告警信息對應的告警標識,確定所述時間窗口對應的至少一個告警事務;根據預設的關聯規則,對所有告警事務進行關聯分析,確定包含告警標識的關聯分析結果。本發明提供一種網絡告警關聯分析的方法及裝置,通過告警標識的轉換降低了關聯分析的復雜度,并且能夠支持連續的數據分析挖掘。
附圖說明
為了更清楚地說明本發明實施例中的技術方案,下面將對實施例描述中所需要使用的附圖作簡要介紹,顯而易見地,下面描述中的附圖僅僅是本發明的一些實施例,對于本領域的普通技術人員來講,在不付出創造性勞動性的前提下,還可以根據這些附圖獲得其他的附圖。
圖1為本發明實施例提供的一種網絡告警關聯分析的方法流程示意圖;
圖2為本發明實施例提供的一種時間窗口長度和窗口移動步長結構示意圖;
圖3為本發明實施例提供的告警維度包括一種維度信息的一種告警關聯分析的方法流程示意圖;
圖4為本發明實施例提供的告警維度包括多種維度信息的一種告警關聯分析的方法流程示意圖;
圖5為本發明實施例提供的告警維度包括多種維度信息的另一種告警關聯分析的方法流程示意圖;
圖6為本發明實施例提供的一種網絡告警關聯分析的裝置結構示意圖。
具體實施方式
為了使本發明的目的、技術方案和優點更加清楚,下面將結合附圖對本發明作進一步地詳細描述,顯然,所描述的實施例僅僅是本發明一部份實施例,而不是全部的實施例。基于本發明中的實施例,本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其它實施例,都屬于本發明保護的范圍。
圖1例性的示出了本發明實施例提供的一種網絡告警關聯分析的方法流程示意圖,包括:
步驟101:根據預設的時間窗口長度和預設的窗口移動步長,確定N條告警信息中每一條告警信息落入的時間窗口。
其中,窗口移動步長小于時間窗口長度,N為正整數。圖2為本發明實施例提供的一種時間窗口長度和窗口移動步長結構示意圖,如圖2所示:
設置時間窗口長度為T,設置窗口移動步長為λ,起始時間窗口從時間t1開始至時間t2結束,第二個時間窗口從時間t3開始至時間t4結束,其中,t3=t1+λ,t4=t2+λ;第n個時間窗口從時間t(2n-1)開始至時間t2n結束,t(2n-1)=t1+(n-1)λ,t2n=t2+(n-1)λ。
例如,可設置時間窗口長度為5分鐘,窗口移動步長為1分鐘,則一天中的前三個時間窗口劃分為(按時:分:秒表示):00:00:00~00:04:59、00:01:00~00:05:59、00:02:00~00:06:59,最后三個時間窗口可以為(按時:分:秒表示):23:53:00~23:57:59、23:54:00~23:58:59、23:55:00~23:59:59。
告警信息但不限于下列信息中的部分或全部:告警時間、告警標題、告警網元、告警專業、告警地區。
其中,告警時間為告警事件發生的時間,如00:07:13;告警標題為表明 告警事件的簡短語句,如S1接口故障;告警網元為告警事件對應的網絡單元,例如PDH(Plesiochronous Digital Hierarchy,準同步數字系列)設備;告警專業為告警網元的分類,例如傳輸網絡;告警地區為告警所在地區,例如桂林市。
在實施中,可以根據每一條告警信息中的告警時間,確定每一條告警信息落入的時間窗口。
例如,一條告警信息為中的時間信息為00:02:00~00:03:20,根據上述時間窗口的劃分,可知該告警信息落入了一天中的第一個時間窗口。
可選的,本發明實施例的步驟101之前還可以包括:
確定N條告警信息中每一條告警信息對應的告警標簽;根據告警標簽與告警標識的映射關系,確定每一條告警標簽對應的告警標識,其中每條告警標簽對應一個告警標識。
具體地,可以根據預設的告警維度,確定每一條告警信息對應的告警標簽。其中,預設的告警維度可以包括以下維度信息中的部分或全部:告警標題、告警網元、告警專業、告警地區。例如,可以根據告警標題確定每一條告警信息對應的告警標簽。若某一告警信息的告警標題為“S1接口故障”,則可以將“S1接口故障”作為該告警信息對應的告警標簽,又根據“S1接口故障”對應的告警標識為ID1,則得到該告警信息對應的告警標識為ID1。
步驟102:根據告警信息與告警標識的映射關系,確定告警信息對應的告警標識,根據同一個時間窗口中的所有告警信息對應的告警標識,確定時間窗口對應的至少一個告警事務。
具體地,由于維度信息選取的種類數不同,一條告警信息可以對應一個告警標識,也可以對應多個告警標識。例如,告警維度包括一種維度信息,則告警信息1可對應告警標識為ID1;若告警維度包括多種維度信息,則告警信息1可對應告警標識為ID11和ID21和ID31。
進一步地,為了后續分析的準確性,還需要對出現在每個時間窗口內相同的告警標識做去重操作。即若同一個告警事務中包括相同的告警標識,則只 保留一個告警標識。
步驟103:根據預設的關聯規則,對所有告警事務進行關聯分析,確定包含告警標識的關聯分析結果。
本發明實施例中,可以通過分布式內存計算框架Spark平臺,采用關聯規則算法Apriori確定多個告警標識落入同一個時間窗口的次數。由于關聯規則算法Apriori需要輸入離散的數據,而告警信息在時間上是連續的,通過時間窗口長度和窗口移動步長的設置將告警信息劃分為多個時間窗口,從而獲得了離散數據集合,因而可以關聯規則算法Apriori進行關聯分析,加快了迭代計算的速度。
進一步地,通過Spark平臺輸出告警信息關聯出現的概率,關聯項數可以是兩項,也可以是多項。在Spark運行算法的參數設置過程中輸入關聯的項數,則可以輸出小于等于該關聯項數的關聯結果。
例如,輸入關聯項數為3,則得出所有兩兩關聯和三項關聯的告警標識。若分析得出100個總時間窗口數里面有10個時間窗口同時出現“ID1”、“ID2”、“ID3”,20個時間窗口同時出現“ID1”、“ID2”,則輸出“ID1”、“ID2”、“ID3”的三項關聯概率為10%,“ID1”、“ID2”的兩項關聯概率為20%。
此外,在得出確定包含告警標識的關聯分析結果后,還可以根據告警標簽與告警標識的映射關系,將包含告警標識的關聯分析結果轉換成包含告警標簽的關聯分析結果。
本發明實施例提供一種網絡告警關聯分析的方法,根據預設的時間窗口長度和預設的窗口移動步長,確定N條告警信息中每一條告警信息落入的時間窗口;根據告警信息與告警標識的映射關系,確定告警信息對應的告警標識,根據同一個時間窗口中的所有告警信息對應的告警標識,確定時間窗口對應的至少一個告警事務;根據預設的關聯規則,對所有告警事務進行關聯分析,確定包含告警標識的關聯分析結果。本發明提供一種網絡告警關聯分析的方法,通過告警標識的轉換降低了關聯分析的復雜度,并且能夠支持連續的數據分析挖 掘。
下面根據維度信息選取的種類數不同,分三種情況對本發明實施例的網絡告警關聯分析的方法進行詳細闡述。
情況一:告警維度包括一種維度信息。
圖3為本發明實施例提供的告警維度包括一種維度信息的一種告警關聯分析的方法流程示意圖,如圖3所示:
步驟301:確定N條告警信息中每一條告警信息對應的告警標簽,根據告警標簽與告警標識的映射關系,確定每一條告警標簽對應的告警標識。
其中,N為正整數。具體地,每條告警標簽對應一個告警標識,并且可以根據預設的告警維度,確定每一條告警信息對應的告警標簽。其中,預設的告警維度可以包括以下維度信息中的部分或全部:告警標題、告警網元、告警專業、告警地區。
由于本發明實施例中告警維度包括一種維度信息,例如可以選取告警標題作為告警標簽。例如,從某天的告警數據庫獲取200萬條告警信息,告警信息1的告警標題為“ONU電源掉電”,則可以將“ONU電源掉電”作為該告警信息對應的告警標簽,又根據“ONU電源掉電”對應的告警標識為ID1,則得到該告警標簽對應的告警標識為ID1,同樣地,得到告警標簽“S1接口故障”對應的告警標識為ID2;得到告警標簽“B相電壓過低告警”對應的告警標識為ID3。
步驟302:根據預設的時間窗口長度和預設的窗口移動步長,確定N條告警信息中每一條告警信息落入的時間窗口。
其中,窗口移動步長小于時間窗口長度。具體地,告警信息為包括告警時間、告警標題、告警網元等多個數據信息,則可以根據每一條告警信息中的告警時間,確定每一條告警信息落入的時間窗口。
具體地,可將200萬條告警信息按照時間窗口劃分,例如劃分成100個時間窗口。確定時間窗口長度和窗口移動步長的過程在此不再贅述。
步驟303:根據告警信息與告警標識的映射關系,確定告警信息對應的告警標識,根據同一個時間窗口中的所有告警信息對應的告警標識,確定時間窗口對應的一個告警事務。
具體地,根據告警信息與告警標識的映射關系,得到告警信息1對應的告警標識為ID1,告警時間為00:00:00~00:01:00;告警信息2對應的告警標識為ID2,告警時間為00:00:00~00:02:00;告警信息3對應的告警標識為ID3,告警時間為00:00:00~00:03:00;告警信息4對應的告警標識為ID4,告警時間為00:00:00~00:04:00。得到第一個時間窗口的告警標識為集合U1={ID1,ID2,ID3,ID4},則將U1作為一個告警事務。
步驟304:根據維度信息對應的預設的關聯規則,對所有告警事務進行關聯分析,確定維度信息對應的包含告警標識的關聯分析結果。
具體地,根據所有的告警事務U中多個告警標識落入同一個時間窗口的次數,通過分布式內存計算框架Spark平臺,采用關聯規則算法Apriori確定多個告警標識落入同一個時間窗口的次數。由于關聯規則算法Apriori需要輸入離散的數據,而告警信息在時間上是連續的,通過時間窗口長度和窗口移動步長的設置將告警信息劃分為多個時間窗口,從而獲得了離散數據集合,因而可以關聯規則算法Apriori進行關聯分析,加快了迭代計算的速度。
進一步地,通過Spark平臺輸出告警信息關聯出現的概率,關聯項數可以是兩項,也可以是多項。在Spark運行算法的參數設置過程中輸入關聯的項數,則可以輸出小于等于該關聯項數的關聯結果。
例如,輸入關聯項數為3,則得出所有兩兩關聯和三項關聯的告警標識。若分析得出100個總時間窗口數里面有10個時間窗口同時出現“ID1”、“ID2”、“ID3”,20個時間窗口同時出現“ID1”、“ID2”,則輸出“ID1”、“ID2”、“ID3”三項關聯概率為10%,“ID1”、“ID2”兩項關聯概率為20%。
此外,在得出確定包含告警標識的關聯分析結果后,還可以根據告警標簽與告警標識的映射關系,將包含告警標識的關聯分析結果轉換成包含告警標簽 的關聯分析結果。根據上述結果,可還原得到“ONU電源掉電”、“S1接口故障”、“B相電壓過低告警”三項關聯概率為10%,“ONU電源掉電”、“S1接口故障”兩項關聯概率為20%。
情況二:告警維度包括多種維度信息,告警信息對應的一個告警標簽包括多種維度信息。
圖4為本發明實施例提供的告警維度包括多種維度信息的一種告警關聯分析的方法流程示意圖,如圖4所示:
步驟401:確定N條告警信息中每一條告警信息對應的告警標簽,根據告警標簽與告警標識的映射關系,確定每一條告警標簽對應的告警標識。
其中,N為正整數。具體地,每條告警標簽對應一個告警標識,并且可以根據預設的告警維度,確定每一條告警信息對應的告警標簽。其中,預設的告警維度可以包括以下維度信息中的部分或全部:告警標題、告警網元、告警專業、告警地區。
由于本發明實施例中告警維度包括多種維度信息,告警信息對應的一個告警標簽包括多種維度信息,例如可以同時選取告警標題、告警網元和告警專業作為告警標簽。例如,從某天的告警數據庫獲取200萬條告警信息,告警信息1的告警標題為“ONU電源掉電”、告警網元為“網元1”、告警專業為“專業1”,則可以將“ONU電源掉電,網元1,專業1”作為該告警信息對應的告警標簽,又根據“ONU電源掉電,網元1,專業1”對應的告警標識為ID1,則得到該告警標簽對應的告警標識為ID1;同樣地,根據告警信息2對應的告警標簽“S1接口故障,網元2,專業2”,得到對應的告警標識為ID2;同樣地,根據告警信息2對應的告警標簽“B相電壓過低告警,網元3,專業3”,得到對應的告警標識為ID3。
步驟402:根據預設的時間窗口長度和預設的窗口移動步長,確定N條告警信息中每一條告警信息落入的時間窗口。
其中,窗口移動步長小于時間窗口長度。具體地,告警信息為包括告警時 間、告警標題、告警網元等多個數據信息,則可以根據每一條告警信息中的告警時間,確定每一條告警信息落入的時間窗口。
具體地,可將200萬條告警信息按照時間窗口劃分,例如劃分成100個時間窗口。確定時間窗口長度和窗口移動步長的過程在此不再贅述。
步驟403:根據告警信息與告警標識的映射關系,確定告警信息對應的告警標識,根據同一個時間窗口中的所有告警信息對應的告警標識,確定時間窗口對應的一個告警事務。
具體地,根據告警信息與告警標識的映射關系,得到告警信息1對應的告警標識為ID1,告警時間為00:00:00~00:01:00;告警信息2對應的告警標識為ID2,告警時間為00:00:00~00:02:00;告警信息3對應的告警標識為ID3,告警時間為00:00:00~00:03:00;告警信息4對應的告警標識為ID4,告警時間為00:00:00~00:04:00。得到第一個時間窗口的告警標識為集合U1={ID1,ID2,ID3,ID4,……},則將U1作為一個告警事務。
步驟404:根據多種維度信息對應的預設的關聯規則,對所有告警事務進行關聯分析,確定多種維度信息對應的包含告警標識的關聯分析結果。
具體地,根據所有的告警事務U中多個告警標識落入同一個時間窗口的次數,通過分布式內存計算框架Spark平臺,采用關聯規則算法Apriori確定多個告警標識落入同一個時間窗口的次數。由于關聯規則算法Apriori需要輸入離散的數據,而告警信息在時間上是連續的,通過時間窗口長度和窗口移動步長的設置將告警信息劃分為多個時間窗口,從而獲得了離散數據集合,因而可以關聯規則算法Apriori進行關聯分析,加快了迭代計算的速度。
進一步地,通過Spark平臺輸出告警信息關聯出現的概率,關聯項數可以是兩項,也可以是多項。在Spark運行算法的參數設置過程中輸入關聯的項數,則可以輸出小于等于該關聯項數的關聯結果。
例如,輸入關聯項數為3,則得出所有兩兩關聯和三項關聯的告警標識。若分析得出100個總時間窗口數里面有10個時間窗口同時出現“ID1”、“ID2”、 “ID3”,20個時間窗口同時出現“ID1”、“ID2”,則輸出“ID1”、“ID2”、“ID3”三項關聯概率為10%,“ID1”、“ID2”兩項關聯概率為20%。
此外,在得出確定包含告警標識的關聯分析結果后,還可以根據告警標簽與告警標識的映射關系,將包含告警標識的關聯分析結果轉換成包含告警標簽的關聯分析結果。根據上述結果,可還原得到“ONU電源掉電,網元1,專業1”、“S1接口故障,網元2,專業2”、“B相電壓過低告警,網元3,專業3”三項關聯概率為10%,“ONU電源掉電,網元1,專業1”、“S1接口故障,網元2,專業2”兩項關聯概率為20%。
情況三:告警維度包括多種維度信息,告警信息對應的一個告警標簽包括一種維度信息。
圖5為本發明實施例提供的告警維度包括多種維度信息的另一種告警關聯分析的方法流程示意圖,如圖5所示:
步驟501:確定N條告警信息中每一條告警信息對應的告警標簽,根據告警標簽與告警標識的映射關系,確定每一條告警標簽對應的告警標識。
其中,N為正整數。具體地,每條告警標簽對應一個告警標識,并且可以根據預設的告警維度,確定每一條告警信息對應的告警標簽。其中,預設的告警維度可以包括以下維度信息中的部分或全部:告警標題、告警網元、告警專業、告警地區。
由于本發明實施例中告警維度包括多種維度信息,告警信息對應的一個告警標簽包括一種維度信息,例如可以同時選取告警標題、告警網元和告警專業作為告警標簽。
例如,從某天的告警數據庫獲取200萬條告警信息,告警信息1的告警標題為“ONU電源掉電”,則告警信息1對應的第一個告警標簽為“ONU電源掉電”,告警信息1對應的第一個告警標識為ID11;告警信息1的告警網元為“網元1”,則告警信息1對應的第二個告警標簽為“網元1”,告警信息1對應的第二個告警標識為ID21;告警信息1的告警專業為“專業1”,則告警信 息1對應的第三個告警標簽為“專業1”,告警信息1對應的第三個告警標識ID31;同樣的,根據告警信息2的告警標題“S1接口故障”、告警網元“網元2”、告警專業“專業2”,分別得到三個告警標識ID12、ID22、ID32;同樣的,根據告警信息3的告警標題“B相電壓過低告警”、告警網元“網元3”、告警專業“專業3”,分別得到三個告警標識ID13、ID23、ID33。
步驟502:根據預設的時間窗口長度和預設的窗口移動步長,確定N條告警信息中每一條告警信息落入的時間窗口。
其中,窗口移動步長小于時間窗口長度。具體地,告警信息為包括告警時間、告警標題、告警網元等多個數據信息,則可以根據每一條告警信息中的告警時間,確定每一條告警信息落入的時間窗口。
具體地,可將200萬條告警信息按照時間窗口劃分,例如劃分成100個時間窗口。確定時間窗口長度和窗口移動步長的過程在此不再贅述。
步驟503:將同一個時間窗口中同一個維度信息對應的所有告警標識作為一個告警事務。
具體地,根據告警信息對應的告警時間,若同一個維度信息“告警標題”對應的ID11、ID12、ID13在同一個時間窗口,則得到該時間窗口的告警標識為集合U11={ID11,ID12,ID13,……}作為該時間窗口的第一種維度的告警事務,將第n種維度信息對應的該窗口的告警標識的集合作為該時間窗口的第n種維度的告警事務。
步驟504:根據每一種維度信息對應的預設的關聯規則,對所有告警事務進行關聯分析,分別確定每一種維度信息對應的包含告警標識的關聯分析結果。
具體地,針對一種維度信息“告警標題”,將告警事務U中同一個維度信息的多個告警標識落入同一個時間窗口的次數,通過分布式內存計算框架Spark平臺,采用關聯規則算法Apriori確定多個告警標識落入同一個時間窗口的次數。
需要說明的是,本發明實施例中針對多種維度信息的關聯分析重復上述過程,即重復計算告警事務U中每一個維度信息的多個告警標識落入同一個時間窗口的次數。
由于關聯規則算法Apriori需要輸入離散的數據,而告警信息在時間上是連續的,通過時間窗口長度和窗口移動步長的設置將告警信息劃分為多個時間窗口,從而獲得了離散數據集合,因而可以關聯規則算法Apriori進行關聯分析,加快了迭代計算的速度。
進一步地,通過Spark平臺輸出告警信息關聯出現的概率,關聯項數可以是兩項,也可以是多項。在Spark運行算法的參數設置過程中輸入關聯的項數,則可以輸出小于等于該關聯項數的關聯結果。
例如,輸入關聯項數為3,則得出所有兩兩關聯和三項關聯的告警標識。若分析得出100個總時間窗口數里面有10個時間窗口同時出現“ID11”、“ID12”、“ID13”,20個時間窗口同時出現“ID21”、“ID22”,則輸出“ID11”、“ID12”、“ID13”三項關聯概率為10%,“ID21”、“ID22”兩項關聯概率為20%。
此外,在得出確定包含告警標識的關聯分析結果后,還可以根據告警標簽與告警標識的映射關系,將包含告警標識的關聯分析結果轉換成包含告警標簽的關聯分析結果。根據上述結果,可還原得到“ONU電源掉電”、“S1接口故障”、“B相電壓過低告警”三項關聯概率為10%,“網元1”、“網元2”兩項關聯概率為20%。
基于同樣的發明構思,本發明實施例還提供一種告警關聯分析的裝置,如圖6所示,為本發明實施例提供發的一種告警關聯分析的裝置結構示意圖,包括:
窗口確定模塊601,用于根據預設的時間窗口長度和預設的窗口移動步長,確定N條告警信息中每一條告警信息落入的時間窗口,其中,窗口移動步長小于時間窗口長度,N為正整數;
事務確定模塊602,用于根據告警信息與告警標識的映射關系,確定告警 信息對應的告警標識,根據同一個時間窗口中的所有告警信息對應的告警標識,確定時間窗口對應的至少一個告警事務;
結果確定模塊603,用于根據預設的關聯規則,對所有告警事務進行關聯分析,確定包含告警標識的關聯分析結果。
可選的,窗口確定模塊601,還用于:
確定N條告警信息中每一條告警信息對應的告警標簽;
根據告警標簽與告警標識的映射關系,確定每一條告警標簽對應的告警標識,其中每條告警標簽對應一個告警標識;
結果確定模塊603,還用于:
根據告警標簽與告警標識的映射關系,將包含告警標識的關聯分析結果轉換成包含告警標簽的關聯分析結果。
可選的,窗口確定模塊601,還用于:
根據預設的告警維度,確定每一條告警信息對應的告警標簽;
其中,告警維度包括下列維度信息中的部分或全部:告警標題、告警網元、告警專業、告警地區。
可選的,預設的告警維度包括一種維度信息;
事務確定模塊602,還用于:
根據同一個時間窗口中的所有告警信息對應的告警標識,確定時間窗口對應的一個告警事務;
結果確定模塊603,還用于:
根據維度信息對應的預設的關聯規則,對所有告警事務進行關聯分析,確定維度信息對應的包含告警標識的關聯分析結果。
可選的,預設的告警維度包括多種維度信息;
事務確定模塊602,還用于:
若告警信息對應的一個告警標簽包括多種維度信息,根據同一個時間窗口中的所有告警信息對應的告警標識,確定時間窗口對應的一個告警事務;
若告警信息對應的一個告警標簽包括一種維度信息,將同一個時間窗口中同一個維度信息對應的所有告警標識作為一個告警事務;
結果確定模塊603,還用于:
若告警信息對應的一個告警標簽包括多種維度信息,根據多種維度信息對應的預設的關聯規則,對所有告警事務進行關聯分析,確定多種維度信息對應的包含告警標識的關聯分析結果;
若告警信息對應的一個告警標簽包括一種維度信息,根據每一種維度信息對應的預設的關聯規則,對所有告警事務進行關聯分析,分別確定每一種維度信息對應的包含告警標識的關聯分析結果。
可選的,窗口確定模塊601,還用于:
根據每一條告警信息中的告警時間,確定每一條告警信息落入的時間窗口。
可選的,關聯規則為確定多個告警標識落入同一個時間窗口的次數,結果確定模塊603,還用于:
通過分布式內存計算框架Spark平臺,采用關聯規則算法Apriori確定多個告警標識落入同一個時間窗口的次數;
根據確定的次數生成包含多個告警標識的關聯分析結果。
本發明實施例提供一種網絡告警關聯分析的裝置,根據預設的時間窗口長度和預設的窗口移動步長,確定N條告警信息中每一條告警信息落入的時間窗口;根據告警信息與告警標識的映射關系,確定告警信息對應的告警標識,根據同一個時間窗口中的所有告警信息對應的告警標識,確定時間窗口對應的至少一個告警事務;根據預設的關聯規則,對所有告警事務進行關聯分析,確定包含告警標識的關聯分析結果。本發明提供一種網絡告警關聯分析的裝置,通過告警標識的轉換降低了關聯分析的復雜度,并且能夠支持連續的數據分析挖掘。
本發明是參照根據本發明實施例的方法、設備(系統)、和計算機程序產 品的流程圖和/或方框圖來描述的。應理解可由計算機程序指令實現流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結合。可提供這些計算機程序指令到通用計算機、專用計算機、嵌入式處理機或其他可編程數據處理設備的處理器以產生一個機器,使得通過計算機或其他可編程數據處理設備的處理器執行的指令產生用于實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的系統。
這些計算機程序指令也可存儲在能引導計算機或其他可編程數據處理設備以特定方式工作的計算機可讀存儲器中,使得存儲在該計算機可讀存儲器中的指令產生包括指令系統的制造品,該指令系統實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。
這些計算機程序指令也可裝載到計算機或其他可編程數據處理設備上,使得在計算機或其他可編程設備上執行一系列操作步驟以產生計算機實現的處理,從而在計算機或其他可編程設備上執行的指令提供用于實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。
盡管已描述了本發明的優選實施例,但本領域內的技術人員一旦得知了基本創造性概念,則可對這些實施例作出另外的變更和修改。所以,所附權利要求意欲解釋為包括優選實施例以及落入本發明范圍的所有變更和修改。
顯然,本領域的技術人員可以對本發明進行各種改動和變型而不脫離本發明的精神和范圍。這樣,倘若本發明的這些修改和變型屬于本發明權利要求及其等同技術的范圍之內,則本發明也意圖包含這些改動和變型在內。