一種網絡故障時間定位方法和分析設備的制造方法
【技術領域】
[0001] 本發明設及數據挖掘和網絡管理領域,尤其設及一種網絡故障時間定位方法和分 析設備。
【背景技術】
[0002] 隨著網絡技術的發展,寬帶路由器在網絡中的應用變得越來越廣泛,且在網絡中 占據重要地位。然后,寬帶路由器在運行過程中難免會出現故障,當寬帶路由器出現故障 時,若不及時解決,則會導致網絡出現暫時性的中斷,給企業帶來諸多不便及損失,因此,及 時檢測并解決寬帶路由器的故障是很有必要的。
[0003] 由于,寬帶路由器產生的網絡日志中包含了大部分和寬帶路由器運行相關的信 息,因此,現有技術人員多通過分析網絡日志來定位寬帶路由器的故障。但是,在實現本發 明的過程中,技術人員發現:在現有日志分析過程中人為參與的部分較多,投入了大量的人 力和時間,同時,又需要結合大量的專業知識定位網絡故障發生的時間,導致故障定位的效 率較低。
【發明內容】
[0004] 為解決上述問題,本發明實施例提供一種網絡故障時間定位方法和分析設備,W 解決現有在定位網絡故障的過程中,需要采用大量的人力和時間來分析網絡日志,導致的 故障定位效率較低的問題。
[0005] 為達到上述目的,本發明的實施例采用如下技術方案:
[0006] 第一方面,本發明實施例提供一種網絡故障時間定位方法,可W包括:
[0007] 獲取網絡設備的至少一條日志信息;
[000引對所述至少一條日志信息進行處理,形成包含M個日志行為向量的日志行為矩陣; 其中,每個日志行為向量占用一個時間間隔,每個日志行為向量包含N個元素;所述N為日志 類型的個數,所述日志行為向量中的第i個元素表示:在所述日志行為向量的時間間隔內且 屬于第i類的日志信息的個數;
[0009] 根據預設模型對所述日志行為矩陣中的日志行為向量進行計算,確定所述網絡設 備的故障發生時間;其中,所述預設模型用于:篩選出符合網絡設備發生故障時的行為特征 的日志行為向量。
[0010] 如此,對原始日志進行了壓縮處理,將每個時間間隔內各種日志的分布作為一行, W行為單位用對日志進行分析,大大減少了日志處理的代理,進而提升了網絡故障時間定 位的效率。
[0011] 由于,不同廠家不同設備和不同模塊產生的日志信息間存在一定的差別,給日志 內容的識別帶來了不便,因此,在對其進行統一分析處理之前,可W先對各條日志的不同信 息字段進行規范化處理,將日志信息轉換成為統一的易識別的日志格式,然后,將統一格式 后的日志信息中內容比較相似的日志W同一類信息對待,最后,將歸類后的至少一條日志 信息按照預定的時間間隔構建成日志行為矩陣,即在第一方面的第一種可實現方式中,可 選的,可W采用下述方法對所述至少一條日志信息進行處理,形成包含M個日志行為向量的 日志行為矩陣:
[0012] 將每條日志信息的內容格式轉換為預設的日志格式;
[0013] 對格式轉換后的日志信息進行歸類,并用日志信息所屬的類別標識代替所述日志 信息,形成一個由類別標識組成的時間序列;
[0014] 按照預設時間間隔對所述時間序列進行劃分;
[0015] 對于每個時間間隔,將所述時間間隔內相同的類別標識進行計數統計,并將統計 個數排列成一個腺隹日志行為向量;
[0016] 將所有日志行為向量按照時間順序組成所述日志行為矩陣。
[0017] 進一步的,由于網絡設備在故障發生時經常會伴隨比較明顯的特征,為此,本發明 技術人員結合大量的故障分析報告,對大量故障時間附近產生的日志信息進行分析,挖掘 日志行為特征與故障發生的關聯性,最終,經過大量計算得到如下結論:(1)單位時間內產 生的日志信息的頻數和種類數與網絡設備故障的發生具有較強的關聯性,具體表現為:當 網絡設備發生故障時,單位時間內產生的日志信息的頻數和種類數會發生突變;(2)相鄰時 間間隔的日志行為模式的變化與網絡設備故障的發生具有較強的關聯性,具體表現為:當 網絡設備發生故障時,相鄰時間間隔對應的日志行為模式間的差異值會突然增大。
[0018] 即日志在頻率和種類數、或者行為模式上的變化通常為網絡設備發生故障時伴隨 的獨有特征,基于此理念,本發明技術人員提出了能夠篩選出符合網絡設備發生故障時的 行為特征的日志行為向量的預設模型,根據該模型對構建的日志行為矩陣進行計算,確定 出在頻率和種類數、或者行為模式上突變的日志信息,即網絡設備發生故障時產生的日志 信息,進而根據該日志信息所處的時間確定定界網絡故障時間;所W,在第一方面的另一種 可實現方式中,可選的,可W采用(1)(2)兩種方式進行故障定位:
[0019] (1)分別計算所述日志行為矩陣中每個日志行為向量的日志頻率和日志種類;
[0020] 對于所述日志行為矩陣中的任一日志行為向量,計算所述日志行為向量和與所述 日志行為向量相鄰的至少一個日志行為向量間的日志頻率方差W及日志種類方差;
[0021 ]若所述日志頻率方差和日志種類方差的均值大于預設闊值,則將所述日志行為向 量對應的時間間隔確定為所述網絡設備故障發生時間。
[0022] 其中,由于周期性日志中,單位時間內的發生的日志信息個數是不會發生改變,即 日志頻率是固定不變的,所W,對于周期性日志而言,在上述方式的故障檢測中頻數突變并 沒有意義,影響故障檢測結果,為了解決運個問題,在分別計算所述日志行為矩陣中每個日 志行為向量的日志頻率和日志種類之前,所述故障定位單元203,還用于:
[0023] 根據公式
對每個日志行為向量中的第j個元素進 行加權賦值;
[0024] 其中,所述第j個元素為所述日志行為向量中的任一元素;nj為:第j類日志信息出 現的時間間隔的個數;StcK j)為:第j類日志信息的分布方差。
[0025] (2)遍歷所述M個日志行為向量中的每個日志行為向量,比較所述日志行為向量和 在所述日志行為向量時間之后與所述日志行為向量相鄰的日志行為向量之間的相似性,得 到與所述日志行為向量對應的比較值;
[0026] 將遍歷所述M個日志行為向量中的每個日志行為向量,得到的與所述M個日志行為 向量中的每個日志行為向量一一對應的比較值從大到小進行排列;
[0027] 將排列后的前k個值對應的日志行為向量的時間間隔確定為所述網絡設備故障發 生時間;其中,k為大于等于1的整數。
[0028] 具體的,可W根據公式
比較所述日志行為向量和在所述日志行為向 量時間之后與所述日志行為向量相鄰的日志行為向量之間的相似性,得到與所述日志行為 向量對應的比較值;其中,t為日志行為向量所處的時間間隔,Xt,1代表第t行日志行為向量 的第i個元素。
[0029] 其中,在本發明實施例中,k為大于等于1的整數,且個數k可W經驗進行選取,還可 W設定一闊值,將比較值中大于該闊值的k個日志行為向量確定為發生異常的日志行為向 量,為網絡設備故障發生點。
[0030] 需要說明的是,上述兩種方式可W單獨執行,也可W結合在一起執行,W更加準確 的定位網絡故障發生的確切時間,例如:可W先通過方式(1)確定第1行、第5行日志行為向 量的頻率和種類發生突變,為故障發生點,然后,再根據方式(2)僅對第1行、第5行的相似性 進行計算,確定出第1行或第5行為故障發生點,加快了網絡故障原因分析的效率。
[0031] 第二方面,本發明實施例提供一種分析設備,用于執行上述方法,可W包括:
[0032] 獲取單元,用于獲取網絡設備的至少一條日志信息。
[0033] 矩陣構建單元,用于對所述獲取單元獲取到的至少一條日志信息進行處理,形成 日志行為矩陣;其中,所述日志行為矩陣包含M個日志行為向量,每個日志行為向量占用一 個時間間隔,每個日志行為向量包含N個元素;所述N為日志類型的個數,所述日志行為向量 中的第i個元素表示:在所述日志行為向量的時間間隔內且屬于第i類的日志信息的個數。
[0034] 故障定位單元,用于根據預設模型對所述矩陣構建單元形成的日志行為矩陣中的 日志行為向量進行計算,確定所述網絡設備的故障發生時間;其中,所述預設模型用于:篩 選出符合網絡設備發生故障時的行為特征的日志行為向量。
[0035] 由于,不同廠家不同設備和不同模塊產生的日志信息間存在一定的差別,給日志 內容的識別帶來了不便,因此,在對其進行統一分析處理之前,可W先對各條日志的不同信 息字段進行規范化處理,將日志信息轉換成為統一的易識別的日志格式,然后,將統一格式 后的日志信息中內容比較相似的日志W同一類信息對待,最后,將歸類后的至少一條日志 信息按照預定的時間間隔構建成日志行為矩陣,即在第二方面的一種可實現方式中,可選 的,所述矩陣構建單元,具體可W用于:
[0036] 將每條日志信息的內容格式轉換為預設的日志格式;
[0037] 對格式轉換后的日志信息進行歸類,并用日志信息所屬的類別標識代替所述日志 信息,形成一個由類別標識組成的時間序列;
[0038] 按照預設時間間隔對所述時間序列進行劃分;
[0039] 對于每個時間間隔,將所述時間間隔內相同的類別標識進行計數統計,并將統計 個數排列成一個腺隹日志行為向量;
[0040] 將所有日志行為向量按照時間順序組成所述日志行為矩陣。
[0041] 在第二方面的又一種可實現方式中,由于網絡設備在故障發生時經常會伴隨比較 明顯的特征,為此,本發明技術人員結合大量的故障分析報告,對大量故障時間附近產生的 日志信息進行分析,挖掘日志行為特征與故障發生的關聯性,最終,經過大量計算得到如下 結論:(1)單位時間內產生的日志信息的頻數和種類數與網絡設備故障的發生具有較強的 關聯性,具體表現為:當網絡設備發生故障時,單位時間內產生的日志信息的頻數和種類數 會發生突變;(2)相鄰時間間隔的日志行為模式的變化與網絡設備故障的發生具有較強的 關聯性,具體表現為:當網絡設備發生故障時,相鄰時間間隔對應的日志行為模式間的差異 值會突然增大。
[0042] 即日志在頻率和種類數、或者行為模式上的變化通常為網絡設備發生故障時伴隨 的獨有特征,基于此理念,本發明技術人員提出了能夠篩選出符合網絡設備發生故障時的 行為特征的日志行為向量的預設模型,根據該模型對構建的日志行為矩陣進行計算,確定 出在頻率和種類數、或者行為模式上突變的日志信息,即網絡設備發生故障時產生的日志 信息,進而根據該日志信息所處的時間確定定界網絡故障時間;所W,在第二方面的另一種 實現方式中,可選的,所述故障定位單元,具體可W用于:
[0043] 分別計算所述日志行為矩陣中每個日志行為向量的日志頻率和日志種類;
[0044] 對于所述日志行為矩陣中的任一日志行為向量,計算所述日志行為向量和與所述