一種多端口流量采集自動切換的分流系統與方法
【專利摘要】本發明公開了一種多端口流量采集自動切換的分流系統和分流方法，系統包括一個流量采集分流設備(10)和至少兩個流量處理服務器(21～2n)，流量采集分流設備(10)與位于網絡內的網絡數據交換機(R)連接，用于獲取網絡數據交換機(R)的總的數據流后分流至流量處理服務器(21～2n)中的至少一個；每個流量處理服務器(21～2n)用于接收流量采集分流設備(10)分流的數據流，以及控制各流量處理服務器(21～2n)的狀態，定期將處于“需求態”且分流完畢的流量處理服務器的狀態設置為“采集態”。本發明實現了在流量閑時對流量處理服務器進行復用，防止流量處理服務器的計算資源的浪費。
【專利說明】一種多端口流量采集自動切換的分流系統與方法
【技術領域】
[0001]本發明涉及通信網絡【技術領域】，尤其涉及一種多端口流量采集自動切換的分流系統及方法。
【背景技術】
[0002]近年來，隨著網絡技術的普及和發展，網絡帶寬和流量呈指數級的速度增長，根據CNNIC發布的《第27次中國互聯網絡發展狀況統計報告》，中國國際出口帶寬2010年底達到1，098，956.82Mbps，年增長率為26.8%。面對日益增長的龐大網絡流量，安全系統中需要處理的數據量也越來越大，流量的實時處理要求更高的性能。
[0003]通常網絡內容安全檢測和分析系統監控模式可以分為串聯監控模式和旁路監控模式。旁路監控模式一般是指通過網絡交換機等網絡設備的“端口鏡像”功能來實現監控，在此模式下，監控設備只需要連接到交換機的指定鏡像端口 ；而串聯監控模式一般是通過網關或者網橋的模式來進行監控，監控設備串聯在網絡中。相對于串聯監控模式，旁路監控模式部署起來比較靈活方便，不會影響現有的網絡結構，同時旁路監控模式分析的是鏡像端口拷貝過來的數據，對原始傳遞的數據包不會造成延時，不會對網速造成任何影響，另外旁路監控設備一旦故障或者停止運行，不會影響現有網絡的正常運行。
[0004]但是在旁路監控模式下，單個流量處理服務器處理的網絡流量大致范圍在IG左右，無法滿足對骨干網的海量的端口鏡像數據的處理需求。為了使網絡內容安全檢測和分析系統能夠處理骨干網的海量數據，一方面需設計更好的算法提高系統性能，另一方面需將海量數據分流成若干份，交由不同的處理機處理。
[0005]目前，基于純鏈路層的交換機可以接收包含多個目的MAC地址的混合數據流，但是無法分流。而基于網絡層的設備可以接收混合數據流并且分流，但是只能處理混合數據流中的一路數據流，不適用于多路端口鏡像混合數據流。因而，為了及時對網絡內各節點單位的流量進行流量的檢測和分析，需要采用基于多端口混合流量分流并區分流量的方式。
[0006]但傳統的分流方法要么是基于協議，要么基于地址哈希，以及修改目的端口地址來實現負擔均衡等，這都需要多端口專門為接受流量所用，導致流量處理服務器的計算資源的浪費。
【發明內容】
[0007]有鑒于此，本發明提出了一種多端口流量采集自動切換的分流系統與分流方法，以解決當前的分流系統效率不高，造成各流量處理服務器計算資源浪費的問題。
[0008]為此，本發明提出一種多端口流量采集自動切換的分流系統，包括一個流量采集分流設備和至少兩個流量處理服務器，其中，所述流量采集分流設備與位于網絡內的網絡數據交換機連接，用于獲取網絡數據交換機的總的數據流后分流至所述流量處理服務器中的至少一個；每個所述流量處理服務器用于接收所述流量采集分流設備分流的數據流；所述流量采集分流設備還用于控制各流量處理服務器的狀態，所述狀態包括“采集態”和“需求態”，“采集態”表示流量處理服務器可以接受任何數據流，“需求態”表示流量處理服務器能夠且只能夠接受符合當前分流規則的數據流。
[0009]根據本發明的【具體實施方式】，所述流量采集分流設備定期將處于“需求態”且分流完畢的流量處理服務器的狀態設置為“采集態”。
[0010]根據本發明的【具體實施方式】，在初始化時，所述流量采集分流設備向各流量處理服務器發出分流請求，如果收到回應，則將發出所述回應的流量處理服務器的狀態設置為“米集態”。
[0011]根據本發明的【具體實施方式】，所述流量采集分流設備根據預定的流量匹配策略，在所有處于“采集態”的流量處理服務器范圍內設定用于分流所述總的數據流的分流規則，并將分配了數據流的流量處理服務器的狀態設置為“需求態”，未分配數據流的流量處理服務器保持為“采集態”。
[0012]根據本發明的【具體實施方式】，所述流量采集分流設備根據當前的分流規則將所述總的數據流分流到相應的流量處理服務器并持續一段時間，然后判斷處于“需求態”的流量處理服務器是否已到期，對于已到期的流量處理服務器，繼續判斷其是否分流完畢，如果已分流完畢，則將其狀態設置為“采集態”，否則將其“需求態”的期限時長延長一個指定時長，所述“到期”是指流量處理服務器處于“需求態”的時長超過所述期限時長。
[0013]根據本發明的【具體實施方式】，所述流量采集分設設備包括流量匹配模塊、流量轉發模塊和狀態控制模塊，所述流量匹配模塊用于從所述網絡數據交換器接收需要分流的總的數據流，并對接收到總的數據流進行分析以進行流量匹配計算，從而獲得分流規則；所述流量轉發模塊用于按照所述分流規則對所述總的數據流進行分流后轉發到相應的流量處理服務器；所述狀態控制模塊用于控制所述流量處理服務器的所述狀態。
[0014]根據本發明的【具體實施方式】，在初始化時，所述狀態控制模塊向各流量處理服務器發出分流請求，如果收到回應，則將發出所述回應的流量處理服務器的狀態設置為“采集態”。
[0015]根據本發明的【具體實施方式】，當所述流量匹配模塊完成流量匹配計算并獲得分流規則之后，所述狀態控制模塊將分配了數據流的流量處理服務器的狀態設置為“需求態”，未分配數據流的流量處理服務器保持為“采集態”。
[0016]根據本發明的【具體實施方式】，當所述流量轉發模塊將所述總的數據流分流到相應的流量處理服務器并持續一段時間后，所述狀態控制模塊判斷處于“需求態”的流量處理服務器是否已到期，對于已到期的流量處理服務器，繼續判斷其是否分流完畢，如果已分流完畢，則將其狀態設置為“采集態”，否則將其“需求態”的期限時長延長一個指定時長，所述“到期”是指流量處理服務器處于“需求態”的時長超過所述期限時長。
[0017]本發明還提出一種多端口流量采集自動切換的分流方法，用于多端口流量采集自動切換的分流系統中，所述系統包括一個流量采集分流設備和至少兩個流量處理服務器，所述方法包括如下步驟:
[0018]S1、流量采集分流設備獲取網絡數據交換器的總的數據流；
[0019]S2、流量采集分流設備向各流量處理服務器發出分流請求，如果收到回應，則將發出所述回應的流量處理服務器的狀態設置為“采集態”，所述“采集態”表示流量處理服務器可以接受任何數據流；
[0020]S3、流量采集分流設備根據預定的流量匹配策略，在所有處于“采集態”的流量處理服務器范圍內設定用于分流所述總的數據流的分流規則；
[0021]S4、流量采集分流設備將根據所述分流規則，將分配了數據流的流量處理服務器的狀態設置為“需求態”，未分配數據流的流量處理服務器保持為“采集態”，所述“需求態”表示流量處理服務器能夠且只能夠接受符合當前分流規則的數據流；
[0022]S5、流量采集分流設備根據當前的分流規則將所述總的數據流分流到相應的流量處理服務器并持續一段時間；
[0023]S6、流量采集分流設備判斷處于“需求態”的流量處理服務器是否已到期，對于已到期的流量處理服務器，繼續判斷其是否分流完畢，如果已分流完畢，則將其狀態設置為“采集態”，否則將其“需求態”的期限時長延長一個指定時長，所述“到期”是指流量處理服務器處于“需求態”的時長超過所述期限時長；
[0024]S7、重復執行步驟S3?S6，直到完成所述總的數據流的分流，返回步驟SI。
[0025]本發明根據流量在不同時間段的大小差別，實現了在流量閑時對流量處理服務器進行復用，防止了流量處理服務器的計算資源的浪費。
【專利附圖】
【附圖說明】
[0026]圖1是本發明的多端口流量采集自動切換的分流系統的模塊架構圖；
[0027]圖2是本發明的多端口流量采集自動切換的分流系統的操作流程圖；
[0028]圖3是本發明的流量采集分流設備的模塊架構圖。
【具體實施方式】
[0029]為使本發明的目的、技術方案和優點更加清楚明白，以下結合具體實施例，并參照附圖，對本發明作進一步的詳細說明。
[0030]本發明通過引入流量處理服務器的狀態切換機制，使得流量處理服務器在數據采集態與需求態之間實現自動切換。在采集態，流量處理服務器可以接受任何數據流；在需求態，流量處理服務器只能接受符合流量匹配結果的流據流。
[0031 ]圖1是本發明的多端口流量采集自動切換的分流系統的模塊架構圖。如圖1所示，該分流系統包括一個流量采集分流設備10和至少兩個流量處理服務器。在圖1中示出了具有η個流量處理服務器21、22、…、2η的情況。
[0032]流量采集分流設備10與位于網絡內的網絡數據交換機R連接，用于獲取網絡數據交換機R的總的數據流后分流至所述流量處理服務器21?2η中的至少一個。優選地，所述總的數據流是實際數據流的鏡像數據流，所述流量采集分設備10從網絡數據交換機R的鏡像端口獲取鏡像數據流。通常，從鏡像端口獲取的鏡像數據流是網絡數據交換機R的實際處理的多端口數據流，即鏡像端口是多對一的鏡像輸出端口。這種情況下，流量采集設備10并聯于所述網絡中，不會對網絡的速度造成影響。但是，本發明并不排除應用于其他接入方式獲得的網絡節點的總的數據流。
[0033]所述流量處理服務器21?2η是能夠對數據流進行分析、監控、存儲等處理的計算設備。每個流量處理服務器21?2η均連接于流量采集分流設備10的輸出端口，用于接收流量采集分流設備10進行分流后輸出的數據流。
[0034]根據本發明，所述流量采集分流設備10還用于控制各流量處理服務器21?2η的狀態，所述狀態包括“采集態”和“需求態”。“采集態”表示流量處理服務器可以接受任何數據流。“需求態”表示流量處理服務器能夠且只能夠接受符合當前分流規則的數據流。
[0035]為了提高流量采集分流設備的效率，流量采集分流設備定期將處于“需求態”且分流完畢的流量處理服務器的狀態設置為“采集態”。具體來說:
[0036]在初始化時，流量采集分流設備10向各流量處理服務器發出分流請求，如果收到回應，則將發出所述回應的流量處理服務器的狀態設置為“采集態”。
[0037]在運行時，流量采集分流設備10根據預定的流量匹配策略，在所有處于“采集態”的流量處理服務器范圍內設定用于分流所述總的數據流的分流規則，并將分配了數據流的流量處理服務器的狀態設置為“需求態”，未分配數據流的流量處理服務器保持為“采集態”。
[0038]另一方面，流量采集分流設備10還根據當前的分流規則將所述總的數據流分流到相應的流量處理服務器并持續一段時間，然后判斷處于“需求態”的流量處理服務器是否已到期，對于已到期的流量處理服務器，繼續判斷其是否分流完畢，如果已分流完畢，則將其狀態設置為“采集態”，否則將其“需求態”的期限時長延長一個指定時長。所述“到期”是指流量處理服務器處于“需求態”的時長超過期限時長。
[0039]在具體實施時，流量處理服務器21?2η可通過網絡適配器(網卡)與流量采集分流設備10進行連接。這樣，網絡適配器的地址即可視為流量處理服務器21?2η的地址。但是，本發明并不限于具體的連接方式，現有的其他各種連接方式均可應用于本發明中。
[0040]下面參照圖2來說明本發明的分流系統的具體操作方法的流程。如圖2所示，分流方法包括依次執行的如下步驟:
[0041]S1、流量采集分流設備獲取網絡數據交換器的總的數據流。
[0042]該總的數據流可以是鏡像數據流，但不限于此。獲取總的數據流的方法是現有技術，因此在此不再詳述。
[0043]S2、流量采集分流設備向各流量處理服務器發出分流請求，如果收到回應，則將發出所述回應的流量處理服務器的狀態設置為“采集態”。
[0044]如前所述，“采集態”表示流量處理服務器可以接受任何數據流。
[0045]S3、流量采集分流設備根據預定的流量匹配策略，在所有處于“采集態”的流量處理服務器范圍內設定用于分流所述總的數據流的分流規則。
[0046]所述流量匹配策略是指待分流的數據流與在流量處理服務器之間進行分配的規則。
[0047]通常可通過分析所述總的數據流中包含的地址信息來分流各數據流。具體來說，網絡數據交換設備R處理大量的數據流，每個數據流均包含源地址和目的地址信息，一個數據流中的源地址和目的地址相同，并構成一個地址對。該地址可以是IP地址，也可以是MAC地址。
[0048]本發明可以采用現有的各中流量匹配策略，例如，除了有IP地址及MAC地址匹配，還有流匹配，即四元組(源ΙΡ，目的ΙΡ，源端口，目的端口 )都匹配，還有協議類型匹配等，以及申請公布號是CNl02916896Α的中國發明專利申請中采用的流量匹配策略。
[0049]分流規則指定了各流量處理服務器是否分流數據流以及分流哪些數據流。
[0050]S4、流量采集分流設備將根據所述分流規則，將分配了數據流的流量處理服務器的狀態設置為“需求態”，未分配數據流的流量處理服務器保持為“采集態”。
[0051]“需求態”表示流量處理服務器能夠且只能夠接受符合當前分流規則的數據流。
[0052]S5、流量采集分流設備根據當前的分流規則將所述總的數據流分流到相應的流量處理服務器并持續一段時間。
[0053]S6、流量采集分流設備判斷處于“需求態”的流量處理服務器是否已到期，對于已到期的流量處理服務器，繼續判斷其是否分流完畢，如果已分流完畢，則將其狀態設置為“采集態”，否則將其“需求態”的期限時長延長一個指定時長。
[0054]如前所述，所述“到期”是指流量處理服務器處于“需求態”的時長超過一個期限時長。可見，本發明為每個流量處理服務器設計了一個老化回收機制。流量采集分流設備定時檢查流量處理服務器的分流狀態，若其已完成當前的分流，則可對其重新分配。
[0055]S7、重復執行步驟S3?S6，直到完成所述總的數據流的分流，返回步驟SI。
[0056]圖3是本發明的流量采集分流設備的模塊架構圖。
[0057]如圖3所示，流量采集分設設備10包括流量匹配模塊11、流量轉發模塊12和狀態控制模塊13。
[0058]流量匹配模塊11用于從網絡數據交換器R接收需要分流的總的數據流，如前所述，其可以是鏡像數據。流量匹配模塊11在接收到總的數據流時，對其進行分析以進行流量匹配計算，從而獲得分流規則。根據本發明，在流量匹配時，流量匹配模塊11需要從狀態控制模塊13獲得各流量處理服務器的狀態，并且只在狀態為“采集態”的流量處理服務器范圍內進行流量匹配計算。
[0059]流量轉發模塊12按照流量匹配模塊11計算的分流規則對總的數據流進行分流后轉發到相應的流量處理服務器。圖3中僅顯示了一個流量處理服務器21，但其只是代表性的，實際上，流量轉發模塊12連接到所有可連接的流量處理服務器。
[0060]狀態控制模塊13也與所有流量處理服務器連接，以控制各流量處理服務器21?2n的當前狀態。具體來說，如前所述，在初始化時，狀態控制模塊13向各流量處理服務器發出分流請求，如果收到回應，則將發出所述回應的流量處理服務器的狀態設置為“采集態”。在運行時，一方面，當流量匹配模塊11完成流量匹配計算并獲得分流規則之后，該狀態控制模塊13將分配了數據流的流量處理服務器的狀態設置為“需求態”，未分配數據流的流量處理服務器保持為“采集態”。另一方面，當流量轉發模塊12將總的數據流分流到相應的流量處理服務器并持續一段時間后，狀態控制模塊13判斷處于“需求態”的流量處理服務器是否已到期，對于已到期的流量處理服務器，繼續判斷其是否分流完畢，如果已分流完畢，則將其狀態設置為“采集態”，否則將其“需求態”的期限時長延長一個指定時長。
[0061]以上所述的具體實施例，對本發明的目的、技術方案和有益效果進行了進一步詳細說明，應理解的是，以上所述僅為本發明的具體實施例而已，并不用于限制本發明，凡在本發明的精神和原則之內，所做的任何修改、等同替換、改進等，均應包含在本發明的保護范圍之內。
【權利要求】
1.一種多端口流量采集自動切換的分流系統，包括一個流量采集分流設備(10)和至少兩個流量處理服務器(21?2η)，其中， 所述流量采集分流設備(10)與位于網絡內的網絡數據交換機(R)連接，用于獲取網絡數據交換機(R)的總的數據流后分流至所述流量處理服務器(21?2η)中的至少一個； 每個所述流量處理服務器(21?2η)用于接收所述流量采集分流設備(10)分流的數據流；其特征在于: 所述流量采集分流設備(10)還用于控制各流量處理服務器(21?2η)的狀態，所述狀態包括“采集態”和“需求態”，“采集態”表示流量處理服務器可以接受任何數據流，“需求態”表示流量處理服務器能夠且只能夠接受符合當前分流規則的數據流。
2.如權利要求1所述的多端口流量采集自動切換的分流系統，其特征在于，所述流量采集分流設備(10)定期將處于“需求態”且分流完畢的流量處理服務器的狀態設置為“采集態”。
3.如權利要求1所述的多端口流量采集自動切換的分流系統，其特征在于，在初始化時，所述流量采集分流設備(10)向各流量處理服務器發出分流請求，如果收到回應，則將發出所述回應的流量處理服務器的狀態設置為“采集態”。
4.如權利要求1所述的多端口流量采集自動切換的分流系統，其特征在于，所述流量采集分流設備(10)根據預定的流量匹配策略，在所有處于“采集態”的流量處理服務器范圍內設定用于分流所述總的數據流的分流規則，并將分配了數據流的流量處理服務器的狀態設置為“需求態”，未分配數據流的流量處理服務器保持為“采集態”。
5.如權利要求1-4中任一項所述的多端口流量采集自動切換的分流系統，其特征在于，所述流量采集分流設備(10)根據當前的分流規則將所述總的數據流分流到相應的流量處理服務器并持續一段時間，然后判斷處于“需求態”的流量處理服務器是否已到期，對于已到期的流量處理服務器，繼續判斷其是否分流完畢，如果已分流完畢，則將其狀態設置為“采集態”，否則將其“需求態”的期限時長延長一個指定時長，所述“到期”是指流量處理服務器處于“需求態”的時長超過所述期限時長。
6.如權利要求1所述的多端口流量采集自動切換的分流系統，其特征在于，所述流量采集分設設備(10)包括流量匹配模塊(11)、流量轉發模塊(12)和狀態控制模塊(13)， 所述流量匹配模塊(11)用于從所述網絡數據交換器(R)接收需要分流的總的數據流，并對接收到總的數據流進行分析以進行流量匹配計算，從而獲得分流規則； 所述流量轉發模塊(12)用于按照所述分流規則對所述總的數據流進行分流后轉發到相應的流量處理服務器(21?2η)； 所述狀態控制模塊(13)用于控制所述流量處理服務器(21?2η)的所述狀態。
7.如權利要求6所述的多端口流量采集自動切換的分流系統，其特征在于，在初始化時，所述狀態控制模塊(13)向各流量處理服務器發出分流請求，如果收到回應，則將發出所述回應的流量處理服務器的狀態設置為“采集態”。
8.如權利要求7所述的多端口流量采集自動切換的分流系統，其特征在于，當所述流量匹配模塊(11)完成流量匹配計算并獲得分流規則之后，所述狀態控制模塊(13)將分配了數據流的流量處理服務器的狀態設置為“需求態”，未分配數據流的流量處理服務器保持為“米集態”。
9.如權利要求8所述的多端口流量采集自動切換的分流系統，其特征在于，當所述流量轉發模塊(12)將所述總的數據流分流到相應的流量處理服務器并持續一段時間后，所述狀態控制模塊(13)判斷處于“需求態”的流量處理服務器是否已到期，對于已到期的流量處理服務器，繼續判斷其是否分流完畢，如果已分流完畢，則將其狀態設置為“采集態”，否則將其“需求態”的期限時長延長一個指定時長，所述“到期”是指流量處理服務器處于“需求態”的時長超過所述期限時長。
10.一種多端口流量采集自動切換的分流方法，用于多端口流量采集自動切換的分流系統中，所述系統包括一個流量采集分流設備(10)和至少兩個流量處理服務器(21?2η)，其特征在于，所述方法包括如下步驟: s1、流量采集分流設備獲取網絡數據交換器的總的數據流； s2、流量采集分流設備向各流量處理服務器發出分流請求，如果收到回應，則將發出所述回應的流量處理服務器的狀態設置為“采集態”，所述“采集態”表示流量處理服務器可以接受任何數據流； s3、流量采集分流設備根據預定的流量匹配策略，在所有處于“采集態”的流量處理服務器范圍內設定用于分流所述總的數據流的分流規則； s4、流量采集分流設備將根據所述分流規則，將分配了數據流的流量處理服務器的狀態設置為“需求態”，未分配數據流的流量處理服務器保持為“采集態”，所述“需求態”表示流量處理服務器能夠且只能夠接受符合當前分流規則的數據流； s5、流量采集分流設備根據當前的分流規則將所述總的數據流分流到相應的流量處理服務器并持續一段時間； s6、流量采集分流設備判斷處于“需求態”的流量處理服務器是否已到期，對于已到期的流量處理服務器，繼續判斷其是否分流完畢，如果已分流完畢，則將其狀態設置為“采集態”，否則將其“需求態”的期限時長延長一個指定時長，所述“到期”是指流量處理服務器處于“需求態”的時長超過所述期限時長； s7、重復執行步驟S3?S6，直到完成所述總的數據流的分流，返回步驟SI。
【文檔編號】H04L12/801GK104270319SQ201410476534
【公開日】2015年1月7日 申請日期:2014年9月18日 優先權日:2014年9月18日
【發明者】黃友俊, 李星, 吳建平, 郝健, 王飛 申請人:賽爾網絡有限公司