基于流量的網絡狀態快速感知系統的制作方法
【專利摘要】本發明公開了一種基于流量的網絡狀態快速感知系統。該系統包括：流量快速采集模塊，實現基于傳感器分布式部署、集中數據感知架構下的大規模網絡的實時在線流量采集；網絡狀態快速感知模塊，實現網絡資產及其變動、網絡活躍度、訪問控制列表策略異常的快速感知；可視化模塊，顯示感知結果。本發明實現了網絡流的快速采集，并將網絡流分析的方法推廣到網絡感知領域中，采用時間分片的方法，同時引入二級數據庫，實現了網絡狀態快速感知。
【專利說明】
基于流量的網絡狀態快速感知系統
技術領域
[0001]本發明涉及計算機網絡安全技術領域，尤其涉及一種基于流量的網絡狀態快速感知系統。
【背景技術】
[0002]隨著計算機、通信等信息技術的不斷發展，特別是Internet的普及，使得網絡成為人們日常工作、生活的重要組成部分。然而網絡蓬勃發展的同時，計算機病毒、惡意攻擊、信息竊取等安全威脅帶來的問題也越來越嚴重，影響到用戶的正常使用和信息的安全傳遞。保證計算機和網絡系統的安全、正常運行已經成為企業、政府、軍事部門等越來越關心的問題。
[0003]為了應對各類安全威脅，防火墻、入侵檢測系統(IDS)、入侵防御系統(IPS)、防病毒軟件、安全審計等網絡安全設備或軟件在網絡中得到了廣泛應用。多樣的監測方式和事件報告機制給網絡管理人員提供了關于網絡安全海量的多元數據，但是目前卻缺乏有效的手段將這些零散的信息進行融合，從而得到整個網絡的安全狀況和變化趨勢信息，為網絡管理人員的工作提供決策層面的支持。在這種背景下，研究人員將最早出現在航空領域的態勢感知技術應用于網絡，提出了網絡安全態勢感知，其主要目的就是從多元的安全信息中提取、精煉、融合生成宏觀層面的網絡安全信息，幫助管理人員及時處理網絡中出現的各類安全問題。
[0004]從上世紀九十年代初開始，國外逐步展開了對網絡安全態勢感知的研究，并且受到了軍、政等重要部門以及眾多科研機構的重視。近年來，我國將信息系統安全技術列為21世紀重點發展領域，并作為國家863計劃和國家自然科學基金的重點支持對象，明確指出對網絡安全態勢的研究，在提高我國網絡系統的應急響應能力和保證國家戰略發展安全等方面都具有十分重要的意義。網絡安全態勢感知技術的研究是網絡安全領域必然要經歷的下一個發展階段，該項研究的開展會為網絡安全技術提供一個更寬、更廣的發展空間，增強網絡安全管理手段的有效性和實時性。
[0005]網絡安全態勢研究之初，網絡環境無論是規模、速度還是應用的多樣性都無法與今天相比。相應地，對網絡安全態勢的研究也主要以中、小規模為主，選擇的數據源多是各類日志記錄。隨著網絡的迅猛發展，應用范圍的延伸，規模的不斷擴大，網絡安全態勢的研究也需要不斷適應網絡的發展，為建立集監控、防護、應急響應于一體的、實時的、動態的、主動的網絡安全態勢感知系統提供技術支持。
[0006]研究發現，現有網絡態勢感知系統存在如下不足:
[0007]I)缺乏原始數據，僅對網絡安全設備或軟件的記錄日志分析，缺乏第一手的原始信息；
[0008]2)應用場景受限，隨著網絡信息技術的不斷發展，企業面臨海量信息處理的情況已普遍存在，現有網絡態勢感知系統多局限于局域網和單機的日志數據的收集和分析，尚不能適用于大規模網絡的網絡安全的態勢評估。
【發明內容】
[0009]本發明要解決的技術問題在于針對現有技術中的缺陷，提供一種基于流量的網絡狀態快速感知系統，克服傳統網絡感知方法缺少原始數據、無法應用于大規模網絡場景的問題，提高了網絡感知結果的全面性、精確性、實時性。
[0010]本發明解決其技術問題所采用的技術方案是:一種基于流量的網絡狀態快速感知系統，包括:
[0011]網絡流量快速采集模塊，用于通過傳感器進行大規模網絡的實時在線流量快速采集和預處理；所述傳感器在多個子網分布式部署；所述預處理包括對原始網絡流進行解包、重組和解碼將原始網絡流轉換形成流格式I ;所述流格式I為包括源IP，目的IP，源端口，目的端口，傳輸層協議，應用層協議，包數，字節數，標志位，開始時間，持續時間，結束時間的數據組；
[0012]所述網絡流量快速采集模塊還用于對采集到的流格式I的網絡流定時打包，導出網絡流臨時文件，等待分析器提取接收；
[0013]網絡狀態快速感知模塊，包括:
[0014]分析器，用于根據配置信息，將接收的流格式I的網絡流分類進行格式轉換，轉換為流格式2后，打包存儲為基于設定時間的文件系統，作為數據分析對象；最終的網絡流分析對象即為流格式2的網絡流；所述流格式2為包括流入流出類型，來源子網名，源IP，目的IP，源端口，目的端口，傳輸層協議，應用層協議，包數，字節數，標志位，開始時間，持續時間，結束時間等；
[0015]感知器，用于對流格式2的網絡流進行數據分析，獲取網絡狀態感知結果；
[0016]I)內存緩存和二級數據庫讀取和寫入關鍵數據；
[0017]2)基于內存緩存和二級數據庫中的關鍵數據，采用根據時間分片的方法，對比內存緩存和二級數據庫中的關鍵數據分析當前時間片間隔內網絡流元數，定時執行腳本快速分析網絡流元數據，獲取網絡狀態感知結果；所述網絡狀態感知結果包括網絡資產及其變動、網絡活躍度、訪問控制列表策略異常；
[0018]3)根據網絡狀態感知結果同時更新內存緩存和二級數據庫。所述內存為服務器內存，所述二級數據庫設置在服務器上；
[0019]可視化模塊，用于顯示網絡狀態感知結果。
[0020]按上述方案，所述格式轉換模塊中設定時間為小時。
[0021]按上述方案，所述分析器中的關鍵數據包括資產信息、網絡流量統計信息和訪問控制列表(ACL)策略。
[0022]本發明產生的有益效果是:
[0023]1.本發明保存了網絡原始流信息，與傳統的單一 IDS源獲取相比，感知結果更全面、精確；
[0024]2.本發明可應用于大規模網絡和多數據源網絡，在行業大數據和網絡結構復雜的背景下，更具實用性；
[0025]3.本發明引入了內存數據庫和二級數據庫，保證了實時性和高響應，提高感知結果的精確性和有效性。
【附圖說明】
[0026]下面將結合附圖及實施例對本發明作進一步說明，附圖中:
[0027]圖1是本發明系統的工作流程圖；
[0028]圖2為系統實施方案的原理圖；
[0029]圖3為網絡資產的新增和閃現快速感知步驟圖；
[0030]圖4為子網流量走勢快速感知步驟圖。
【具體實施方式】
[0031]為了使本發明的目的、技術方案及優點更加清楚明白，以下結合實施例，對本發明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅用以解釋本發明，并不用于限定本發明。
[0032]—種基于流量的網絡狀態快速感知系統，包括:
[0033]網絡流量快速采集模塊，用于通過傳感器進行大規模網絡的實時在線流量快速采集和預處理；所述傳感器在多個子網分布式部署；所述預處理包括對原始網絡流進行解包、重組和解碼將原始網絡流轉換形成流格式I ;所述流格式I為包括源IP，目的IP，源端口，目的端口，傳輸層協議，應用層協議，包數，字節數，標志位，開始時間，持續時間，結束時間的數據組；
[0034]所述網絡流量快速采集模塊還用于對采集到的流格式I的網絡流定時打包，導出網絡流臨時文件，等待分析器提取接收；
[0035]網絡狀態快速感知模塊，包括:
[0036]分析器，用于根據配置信息，將接收的流格式I的網絡流分類進行格式轉換，轉換為流格式2后，打包存儲為基于設定時間的文件系統，作為數據分析對象；最終的網絡流分析對象即為流格式2的網絡流；所述流格式2為包括流入流出類型，來源子網名，源IP，目的IP，源端口，目的端口，傳輸層協議，應用層協議，包數，字節數，標志位，開始時間，持續時間，結束時間等；
[0037]感知器，用于對流格式2的網絡流進行數據分析，獲取網絡狀態感知結果；
[0038]I)內存緩存和二級數據庫讀取和寫入關鍵數據；
[0039]2)基于內存緩存和二級數據庫中的關鍵數據，采用根據時間分片的方法，對比內存緩存和二級數據庫中的關鍵數據分析當前時間片間隔內網絡流元數，定時執行腳本快速分析網絡流元數據，獲取網絡狀態感知結果；所述網絡狀態感知結果包括網絡資產及其變動、網絡活躍度、訪問控制列表策略異常；
[0040]3)根據網絡狀態感知結果同時更新內存緩存和二級數據庫。所述內存為服務器內存，所述二級數據庫設置在服務器上；
[0041]可視化模塊，用于顯示網絡狀態感知結果。
[0042]本系統工作流程如圖1所示，經由如下步驟:
[0043]1.網絡流的分類匯聚
[0044]數據采集功能是本系統的基礎，為網絡流的統計分析提供基礎。數據采集主要是對原始數據的采集，原始網絡流經過解包、重組、解碼等預處理，在采集器中轉換形成流格式I輸出。
[0045]系統涉及的網絡流來自于“流”的概念，一個“流”，來自相同的子接口，有相同的源和目的IP地址，協議類型，相同的源和目的端口號，通常為5元組。步驟I記錄的流格式I會記錄流的其他關鍵信息，包括源IP，目的IP，源端口，目的端口，傳輸層協議，應用層協議，包數，字節數，標志位，開始時間，持續時間，結束時間等。
[0046]步驟I完成對原始數據的采集，原始網絡流經過解包、重組、解碼，根據有效載荷計算高層協議等，得出初始流格式。由于將網絡流分析中的流獲取的復雜工序從流分析器中分離出來，如流匯聚、流協議計算等工作，減少了分析器的負載，提升了分析器計算網絡狀態感知結果的效率。
[0047]2.網絡流的打包與遠程傳輸
[0048]采集器匯集采集到的流格式I的網絡流定時打包導出網絡流臨時文件，等待分析器提取。如圖2所示的系統實施方案部署圖，每個子網部署一個采集器，經過網絡流的分類匯聚、打包，生成網絡流臨時文件，進行遠程傳輸。
[0049]3.網絡流的格式轉換與存儲
[0050]分析器實時提取各采集器生成的網絡流臨時文件，根據配置信息，將流格式I的網絡流分類進行格式轉換，轉換為流格式2后，打包存儲為基于小時的文件系統，作為數據分析對象，最終的網絡流分析對象即為格式2的網絡流，總的來說，包括流入流出類型，來源子網名，源IP，目的IP，源端口，目的端口，傳輸層協議，應用層協議，包數，字節數，標志位，開始時間，持續時間，結束時間等。
[0051]4.網絡狀態快速感知
[0052]分析器在網絡流分析的基礎上，引入二級數據庫，采用基于時間分片的方法，實現網絡資產及其變動、網絡活躍度、ACL策略異常等網絡運行狀態的快速感知。圖2中分析器和二級數據庫之前傳輸的數據包括子網配置信息、子網資產信息、子網活躍度基本信息、子網ACL策略、子網ACL策略異常信息等。
[0053]網絡資產及其變動的快速感知，進一步包括:基于流量的新增資產的快速感知、基于流量的停用資產的快速感知、基于流量的閃現資產的快速感知，如圖3所示，以新增和閃現網絡資產的快速感知為例，實現包括如下步驟:
[0054]000.開始。假設資產已錄入二級數據庫的資產列表表，二級數據庫中資產變動表初始為空，資產列表表包括資產IP、資產所屬子網等，資產變動表包括IP、首次出現時間、變動類型(新增、閃現或停用)等；
[0055]001.資產錄入。內存讀取二級數據庫中的子網配置信息和資產列表，子網配置信息包括子網名和子網所在網段，接著執行步驟002 ;
[0056]002.此步驟每隔一個時間分片執行一次。分析當前時間片間隔內的網絡流，記錄網絡流中出現的所有IP和出現時間，對比子網配置信息、資產列表、資產變動表，獲取在子網網段內、從未在資產列表出現過、不在資產變動表或在資產變動表但變動類型不是新增的IP，如果該IP不在資產變動表或在資產變動表中變動類型不為閃現，則執行003 ;如果該IP在資產變動表中變動類型為閃現，則進一步對比資產變動表中的該IP首次出現時間，如果該首次出現時間和當前出現時間的時間間隔超過7天，執行步驟004 ;
[0057]003.此時認為該IP首次出現，可視為閃現，在資產列表中加入該IP的相關信息，包括IP地址、當前出現時間、所在子網等，執行步驟005 ;
[0058]004.此時認為該IP在7天內持續多次出現，可視為新增，在資產變動表中將該IP變動類型標為新增，同時更新內存緩存，執行步驟005 ;
[0059]005.結束。
[0060]網絡活躍度的快速感知，進一步包括:基于流量的網絡流量走勢情況的快速感知、基于流量的網絡間互通情況的快速感知、基于流量的網絡協議分布情況的快速感知，以一個月內的網絡流量走勢情況的快速感知為例，實現包括如下步驟:
[0061]100.開始。經過固定的時間間隔，腳本開始運行。
[0062]101.分析當前時間片間隔，讀取子網配置表中的子網和子網網段信息，統計當前時間間隔內每個子網網段的流量統計信息，如果當前時間間隔包含新的一天的開始，則如果同時包含新的一月的開始，執行步驟103，不包含新的一月的開始執行步驟104 ;如果不包含新的一天的開始，執行步驟102 ;
[0063]102.將二級數據庫的對應子網的日基本信息和月基本信息表中的當日對應流量統計值和當月流量統計值分別加上當前時間間隔的流量統計值，執行步驟105 ;
[0064]103.在二級數據庫中的日基本信息表中和月基本信息表中分別插入新的一行，分別包括子網、日期、當前時間間隔內的流量統計值等和子網、月份、當前時間間隔內的流量統計值等，執行步驟105 ；
[0065]104.在二級數據庫中的日基本信息表中加入一行，內容為子網名稱、日期、當前時間間隔內的流量統計值等，并將對應子網的月基本信息表的當月流量統計值加上當前時間間隔內的流量統計值，執行步驟105 ;
[0066]105.結束。
[0067]ACL策略異常的快速感知，實現包括如下步驟:
[0068]A.內存讀入二級數據庫中的ACL策略，接著執行B ;
[0069]B.針對每條ACL策略，對比分析當前時間片間隔內網絡流元數據，將源IP、源端口、目的IP、目的端口、協議等信息，如果某網絡流違反ACL策略，將其關鍵信息，如來源子網、源IP、源端口、目的端口、協議、開始時間等寫入二級數據庫。
[0070]本發明由于采用分級處理的方法，將初始網絡流采集的工作和網絡流分析的工作分離開來，使分析器能夠更專注于數據的分析工作，同時，采用基于時間分片的方法，引入內存數據庫和二級數據庫保存大量中間數據，在減少計算量的同時，極大地避免了重復計算，保證了網絡感知結果的實時性。
[0071]5.可視化
[0072]控制臺直接分析網絡流數據或查詢二級數據庫，獲取網絡狀態感知結果，將結果以曲線圖、餅狀圖、互通圖、表格等形式直觀地在界面中進行展示。
[0073]應當理解的是，對本領域普通技術人員來說，可以根據上述說明加以改進或變換，而所有這些改進和變換都應屬于本發明所附權利要求的保護范圍。
【主權項】
1.一種基于流量的網絡狀態快速感知系統，包括: 網絡流量快速采集模塊，用于通過傳感器進行大規模網絡的實時在線流量快速采集和預處理；所述傳感器在多個子網分布式部署；所述預處理包括對原始網絡流進行解包、重組和解碼將原始網絡流轉換形成流格式I ;所述流格式I為包括源IP，目的IP，源端口，目的端口，傳輸層協議，應用層協議，包數，字節數，標志位，開始時間，持續時間，結束時間的數據組； 網絡狀態快速感知模塊，包括感知器和分析器: 分析器，用于根據配置信息，將接收的流格式I的網絡流分類進行格式轉換，轉換為流格式2后，打包存儲為基于設定時間的文件系統，作為數據分析對象；最終的網絡流分析對象即為流格式2的網絡流；所述流格式2為包括流入流出類型，來源子網名，源IP，目的IP，源端口，目的端口，傳輸層協議，應用層協議，包數，字節數，標志位，開始時間，持續時間和結束時間； 感知器，用于對流格式2的網絡流進行數據分析，獲取網絡狀態感知結果； 1)內存緩存和二級數據庫讀取和寫入關鍵數據； 2)基于內存緩存和二級數據庫中的關鍵數據，采用根據時間分片的方法，對比內存緩存和二級數據庫中的關鍵數據分析當前時間片間隔內網絡流元數，定時執行腳本快速分析網絡流元數據，獲取網絡狀態感知結果；所述網絡狀態感知結果包括網絡資產及其變動、網絡活躍度、訪問控制列表策略異常； 3)根據網絡狀態感知結果同時更新內存緩存和二級數據庫。所述內存為服務器內存，所述二級數據庫設置在服務器上； 可視化模塊，用于顯示網絡狀態感知結果。2.根據權利要求1所述的基于流量的網絡狀態快速感知系統，其特征在于，所述格式轉換模塊中設定時間為小時。3.根據權利要求1所述的基于流量的網絡狀態快速感知系統，其特征在于，所述分析器中的關鍵數據包括資產信息、網絡流量統計信息和訪問控制列表策略。4.根據權利要求1所述的基于流量的網絡狀態快速感知系統，其特征在于，所述可視化模塊通過圖表形式顯示網絡狀態感知結果。
【文檔編號】H04L29/08GK105871803SQ201510906243
【公開日】2016年8月17日
【申請日】2015年12月9日
【發明人】路海, 湯學明, 殷明勇, 崔永泉, 陳志文, 趙友橋, 劉帥, 王新宇, 李玲玉
【申請人】中國工程物理研究院計算機應用研究所