一種面向大數據互聯網的多業務流量估計方法
【技術領域】
[0001] 本發明屬于通信網絡技術領域，特別涉及一種面向大數據互聯網的多業務流量估 計方法。
【背景技術】
[0002] 隨著信息和通信技術的不斷發展，互聯網技術已經深入到當今社會生活、工業生 產中。特別是"互聯網+"的提出，進一步推進了互聯網技術在工業、農業等領域的推廣，促 進了社會產業信息化進程。互聯網技術逐漸深入到社會各個領域的同時，海量數據處理、信 息安全等方面的問題日益突出，這些問題給網絡管理提出了更高的要求。
[0003] 近些年，互聯網為不同的終端用戶提供了多種多樣的網絡服務，在此背景下互聯 網已經成為一個復雜的異構網絡。網絡管理功能被引入到網絡中以保證每一個用戶的服務 質量。對于一個網絡管理者，其在執行一個有效的網絡管理功能時首先需要了解端到端網 絡流量的狀態信息。在實際當中，端到端網絡流量信息可以通過流量矩陣進行描述，流量矩 陣是網絡管理過程一個重要的輸入參數。
[0004] 雖然流量矩陣具有極其重要的作用，但是對于一個大尺度骨干網來說，獲取流量 矩陣并不簡單。這個原因是多重的，首先，對于一個大尺度骨干網，直接采集網絡流量信息 是不可實現的。在這種情況下，研究人員更傾向于間接地估計網絡流量而非直接采集網絡 流量信息。在眾多的網絡流量估計方法中，通常是通過其他有效的網絡信息去推斷網絡流 量，例如網絡層析成像技術通過鏈路負載和路由信息去估計網絡流量。然而網絡層析成像 模型具有高度的病態特性，因此估計網絡流量的研究任然面臨諸多挑戰。
【發明內容】
[0005] 針對現有方法存在的不足，本發明提出一種面向大數據互聯網的多業務流量估計 方法，以此獲取準確的骨干網流量估計值，為實現有效的網絡管理和網絡規劃奠定堅實的 基礎。
[0006] -種面向大數據互聯網的多業務流量估計方法，包括以下步驟： 步驟1 :網絡管理站采用簡單網絡管理協議獲取骨干網鏈路負載； 步驟2 :網絡管理站根據網絡拓撲結構以及路由器中路由表信息獲取路由矩陣； 步驟3 :網絡管理站生成一個隨機的伯努利矩陣，并根據該矩陣確定部分直接測量的 端到端網絡流量； 步驟4 :利用主成分分析方法近似地描述流量矩陣； 步驟5 :根據步驟1、2和4構建網絡層析成像模型； 步驟6 :根據步驟3和4構建線性測量模型； 步驟7 :根據步驟5和6中的模型，網絡管理站通過構建最優化模型的方法估計流量矩 陣。
[0007] 步驟1所述的網絡管理站采用簡單網絡管理協議獲取骨干網鏈路負載，方法為： 當用矩陣z表示鏈路負載時，對于一個具有#節點和戶條鏈路的骨干網，截取r個時槽的 鏈路負載數據，則z為一個矩陣。
[0008] 步驟2所述的網絡管理站根據網絡拓撲結構以及路由器中路由表信息獲取路由 矩陣，方法為：當用#示路由矩陣時，對于一個具有#節點和Z3條鏈路的骨干網，路由矩 陣^/一個fXi的矩陣。
[0009] 步驟3所述的網絡管理站生成一個隨機的伯努利矩陣，并根據該矩陣確定部分直 接測量的端到端網絡流量，具體步驟如下： 步驟3-1 :用矩陣示一個流量矩陣，則流量矩陣為一個#X肅矩陣，每一個端到端 網絡流量獲得一個標識，分別為1至#; 步驟3-2 :網絡管理站生成一個的隨機伯努利矩陣，用符號i?表示，其元素之分 別為1或0。矩陣萬中每一個元素獨立同分布，并且其中fl，2，"*，ft /?=1，2,…，見z為當之"=1時的概率； 步驟3-3 :對伯努利矩陣雄]每一個列上的元素取并集，即
其中，『"為W中每一個列的元素并集的計算結果； 步驟3-4 :當％的值等于1時，則網絡管理站通過控制路由器端口的方法，利用路由器NetFlow功能測量編號為的端到端網絡流量； 步驟3-5 :將直接測量的端到端網絡流量放入流量矩陣_，則流量矩陣_包含了通 過直接測量而已知的端到端網絡流量和未被測量的未知流量； 步驟3-6 :根據步驟3-5獲得了一個線性系統，SP F二撕， 其中，矩陣玲爾為測量值，由上面的線性關系可知，/只與流量矩陣_已知的端到端 網絡流量有關，而與未知流量無關，因此測量值役t于我們來說是已知的，可通過直接測量 的端到端網絡流量和伯努利矩陣辨目乘計算得到。
[0010] 步驟4所述的利用主成分分析方法近似地描述流量矩陣，具體步驟如下： 步驟4-1:網絡管理站搜集歷史流量矩陣，并表示為if; 步驟4-2:利用奇異值分解的方法分解歷史流量矩陣，的轉置，即
其中，2$為對角矩陣，其對角元素上的值為矩陣的奇異值。0為一個正交矩陣，矩 陣"描述了歷史流量矩陣動態變化信息； 步驟4-3:利用主成分近似地描述矩陣M%即
其中，對角矩陣為提取尤個主成分后的奇異值矩陣，該步驟相當于保留尤個最大的 奇異值，并將其余小的奇異值設置為〇 ; 步驟4-4 :用歷史流量矩陣，的主成分近似地描述流量矩陣私即
其中，矩陣"描述了流量矩陣滅勺動態變化特性。
[0011] 步驟5所述的根據步驟1、2和4構建網絡層析成像模型，方法為：網絡層析成像模 型表示為
[0012] 步驟6所述的根據步驟3和4構建線性測量模型，方法為：該構建的模型表示為：
[0013] 步驟7所述的根據步驟5和6中的模型，網絡管理站通過構建最優化模型的方法 估計流量矩陣，具體步驟如下： 步驟7-1 :步驟5和6中的模型構建優化模型，如下
步驟7-2 :通過求解步驟7-1中的最優化模型的方法獲得矩陣的的估計值，表示為Es{的，則流量矩陣估計值Es{對=P2 %Es{的。
[0014] 本發明的優點：本發明一種面向大數據互聯網的多業務流量估計方法，采用壓縮 感知技術和網絡層析成像技術，一方面，克服了網絡層析成像技術的欠定特性；另一方面， 避免了直接測量所有端到端網絡流量的巨大開銷問題。本發明方法獲得了較好的流量矩陣 估計值，在估計誤差方面有了明顯的改進，估計誤差降低了 16%。
【附圖說明】
[0015] 圖1為本發明一種面向大數據互聯網的多業務流量估計方法具體實施例的網絡 拓撲結構； 圖2為本發明一種面向大數據互聯網的多業務流量估計方法結構示意圖； 圖3為本發明一種面向大數據互聯網的多業務流量估計方法流程圖； 圖4為本發明一種面向大數據互聯網的多業務流量估計方法標號為99的端到端網絡 流量真實值和估計值對比示意圖； 圖5為本發明一種面向大數據互聯網的多業務流量估計方法標號為105的端到端網絡 流量真實值和估計值對比示意圖； 圖6為本發明一種面向大數據互聯網的多業務流量估計方法的相對均方根誤差示意 圖； 圖7為本發明一種面向大數據互聯網的多業務流量估計方法的相對均方根誤差的累 積分布函數示意圖。
【具體實施方式】
[0016] 下面結合附圖和實施例對本發明作進一步詳細說明。
[0017] 本實施例對Abilene骨干網絡數據進行估計，Abilene骨干網網絡拓撲結構如圖1 所示，其包含了 12個節點和54條單向鏈路(包括24條外部鏈路和30條內部鏈路)。因此 流量矩陣例3端到端網絡流量的數目為#=12 2=144,鏈路負載的數量/^54。對于伯努利矩 陣漢其行數爐144,且F〇. 01。在主成分分析過程中，取主成分數量尤 =6。
[0018] 本實施例一種面向大數據互聯網的多業務流量估計方法，具體步驟如圖2所示。
[0019] 步驟1:網絡管理站采用簡單網絡管理協議獲取骨干網鏈路負載； 當用矩陣Z表示鏈路負載時，對于一個具有12個節點和54條鏈路的骨干網，截取1516 個時槽的鏈路負載數據，則Z為一個54X1516的矩陣。
[0020] 步驟2 :網絡管理站根據網絡拓撲結構以及路由器中路由表信息獲取路由矩陣； 當用#示路由矩陣時，對于一個具有12個節點和54條鏈路的骨干網，路由矩陣於3 一個54X144的矩陣。
[0021] 步驟3 :網絡管理站生成一個隨機的伯努利矩陣，并根據該矩陣確定部分直接測 量的端到端網絡流量，具體步驟如下： 步驟3-1 :用矩陣示一個流量矩陣，則流量矩陣為一個144X1516的矩陣，每一個 端到端網絡流量獲得一個識別碼，分別為1至144 ; 步驟3-2 :網絡管理站生成一個144X144隨機的伯努利矩陣，用符號萬表示，其 元素之分別為1或0。矩陣萬