流量數據分析方法及流量數據分析系統的制作方法
【技術領域】
[0001]本發明涉及網絡技術，更具體地，涉及對網絡環境中進出應用系統的流量數據的分析。
【背景技術】
[0002]隨著互聯網應用的快速發展，基于云架構的web類的應用系統逐漸增多；加之繁雜的業務功能、千差萬別的客戶訪問路徑、高并發的訪問需求，導致數據中心在web類系統的運營與維護成為了一個難點和重點。
[0003]在國內開展web類系統運維的單位很多，但基本都是通過日志收集的方式進行分析。存在的主要問題是:基于日志的分析，非常依賴于應用系統記錄日志的準確性和完整性。為了保證準確性，就必須充分要求應用代碼保證邏輯的正確性；為了保證完整性，就必須要求將盡量多的信息輸出到日志里面。
[0004]基于日志的這種分析方式，其與應用系統本身存在較高的關聯性。日志記錄不詳細，不足以確保完整性，日志記錄太詳細將會給應用程序的性能及主機的磁盤空間帶來相當大的消耗。
[0005]當對應用系統變更監控或業務需求時，應用系統本身及日志采集分析系統都需要適應性的進行調整，所額外產生的成本是比較大的，并且不夠靈活。
【發明內容】
[0006]本發明意在提供一種流量數據分析方法，用于分析被監測的應用系統的流量數據，其包括:對于被監測的應用系統，將進出其的流量鏡像到流量服務器的網絡連接設備；基于預設參數，通過抓包工具從被鏡像到流量服務器的網絡連接設備的流量中獲取與預設參數相關的數據，并將所獲取的數據形成為第一格式的文件；將所形成的第一格式的文件按順序發送到第一消息中間件的與該文件對應的第一管道；自所述第一管道取出所接收的第一格式的文件時，并自其獲取所需信息，將所獲取的信息轉換成第二格式的文件；將第二格式的文件逐個發送給第二消息中間件的第二管道；在所述第二管道接收到第二格式的文件時，解析該文件并將解析獲得的信息存儲到建立的數據庫中。
[0007]根據本發明的示例，優選地，將進出其的流量鏡像到流量服務器的網絡連接設備是基于SPAN (Switched Port Analyzer)技術將流量鏡像到流量服務器的網絡連接設備。
[0008]根據本發明的示例，優選地，所述網絡連接設備是網卡。
[0009]根據本發明的示例，優選地，將所形成的第一格式的文件按順序發送到第一消息中間件是按照所述第一格式文件形成的時間順序發送所述第一格式的文件到第一消息中間件。
[0010]根據本發明的示例，優選地，將第二格式的文件逐個發送給第二信息中間件的第二管道中是按照第二格式的文件形成的時間順序逐個地將第二格式的文件發送給第二信息中間件的第二管道。
[0011]根據本發明的示例，優選地，在所述第二管道接收到第二格式的文件時，解析該文件并將解析獲得的信息存儲到建立的數據庫中包括:a)監測所述第二管道，在其接收到第二格式的文件時，解析構成該文件的每個分包，進行相關的請求與響應；以及b)根據不同的協議，分析所進行的相關的請求與響應，將所得到的信息存儲到建立的數據庫中。
[0012]根據本發明的示例，優選地，所述抓包工具為TCPDUMP，所述第一格式為PCAP(Packet Capture)格式,所述第一管道為PCAP包隊列管道,所述第二格式為XML格式,所述第二管道為組包管道，以及所述步驟a)中，解析構成該文件的每個分包是解析該文件中的每個TCP分包，解析TCP鏈路的請求和響應，所述步驟b)中，根據不同的協議，分析所解析出的TCP鏈路的請求和響應，將所得到的信息存儲到建立的數據庫中。
[0013]本發明還提供一種流量數據分析系統，用于分析被監測的應用系統的流量數據，其包括:鏡像模塊，其用于針對被監測的應用系統，將進出其的流量鏡像到流量服務器的網絡連接設備；抓包模塊，其用于基于預設參數，從被鏡像到流量服務器的網絡連接設備的流量中獲取與預設參數相關的數據，并將所獲取的數據形成為第一格式的文件；第一存儲模塊，其用于存儲第一格式的文件；第一發送模塊，其用于將所述第一格式的文件按照順序發送到第一消息中間件的與該文件對應的第一管道；第一監測處理模塊，其用于監測所述第一管道，且在監測到所述第一管道接收到第一格式的文件時，取出所接收的文件，自其獲取所需信息，并將所獲取的信息轉換成第二格式的文件；第二發送模塊，其用于將第二格式的文件逐個發送給第二消息中間件的第二管道中；第二監測處理模塊，其用于監測所述第二管道，并在所述第二管道接收到第二格式的文件時，解析該文件并將解析獲得的信息存儲到建立的數據庫中。
[0014]根據本發明的流量數據分析系統，優選地，所述鏡像模塊基于SPAN技術將流量鏡像到流量服務器的網絡連接設備。
[0015]根據本發明的流量數據分析系統，優選地，所述網絡連接設備是網卡。
[0016]根據本發明的流量數據分析系統，優選地，所述第一發送模塊設置成按照所述第一格式文件形成的時間順序發送所述第一格式的文件。
[0017]根據本發明的流量數據分析系統，優選地，所述第二發送模塊按照第二格式的文件形成的時間順序逐個地發送第二格式的文件。
[0018]根據本發明的流量數據分析系統，優選地，所述抓包工具為TCPDUMP，所述第一格式為PCAP格式，所述第一管道為PCAP包隊列管道，所述第二格式為XML格式，所述第二管道為組包管道。
【附圖說明】
[0019]圖1是根據本發明示例的流量數據分析方法的流程圖。
[0020]圖2是根據本發明示例的流量數據分析系統的結構示意圖。
【具體實施方式】
[0021 ] 現在參照附圖描述本發明的示意性示例，相同的附圖標號表示相同的元件。下文描述的各實施例有助于本領域技術人員透徹理解本發明，且意在示例而非限制。圖中各元件、部件、單元、裝置的圖示不一定按比例繪制，僅示意性表明這些元件、部件、模塊、裝置之間的相對關系。
[0022]圖1是根據本發明示例的流量數據分析方法的流程圖。示例而非限制地，在本文下文的描述中，該分析方法用于分析被監測的應用系統的流量數據。此外，在本文如下的所有的示例中，該應用系統示例為基于云架構的web類應用系統但并不以此為限制。其它非web類的應用系統同樣可采用根據本發明所述的流量數據分析方法以及圖2中示意的流量數據分析系統。
[0023]如圖1所示，在步驟100，對于被監測的應用系統，將進出其的流量鏡像到測試環境中的流量服務器的網絡連接設備。舉例來說，通過SPAN技術將進出該應用環境的流量鏡像到流量服務器的網卡。進出該應用環境的流量至少可包括對該應用環境的訪問以及該應用環境所作的響應。測試環境的流量服務器可通過電纜等與應用環境的相關設備電連接，以便實現如本步驟所述的將進出其的流量鏡像到測試環境中的流量服務器的網絡連接設備。作為示例而非限制，流量服務器可以包括兩塊網卡，一塊用于管理登錄使用，一塊用于接收所鏡像的流量。
[0024]在步驟102，基于預設參數，通過抓包工具從被鏡像到流量服務器的網絡連接設備的流量中獲取與預設參數相關的數據，并將所獲取的數據形成為第一格式的文件，所形成的第一格式的文件可進而被存儲。例如，通過網絡抓包命令TCPDUMP來從被鏡像到流量服務器的網卡上的流量中，基于IP地址、端口等預設參數，將與預設的IP地址、端口有關的數據形成為PCAP的格式的文件，可將所形成的PCAP格式的文件存儲在硬盤中，該硬盤可以是流量服務器的硬盤，也可是流量服務器的外設硬盤。除了 TCPDUM