一種大流量環境下主機網絡異常行為檢測及分類方法
【技術領域】
[0001] 本發明屬于互聯網技術領域，更具體地，設及一種大流量環境下主機網絡異常行 為檢測及分類方法。
【背景技術】
[0002] 隨著互聯網飛速向前發展，網絡新技術不斷出現，網絡帶寬不斷提高，網絡安全問 題也日益多樣化。網絡攻擊新技術的攻擊行為更加隱蔽，并且對安全的危害性也越來越大。 同時，網絡帶寬的提高導致網絡上承載的業務種類日趨多樣化，從而增加了網絡出現故障 和性能問題的概率。網絡用戶也更加注重網絡服務質量。該就要求出現網絡異常的時候， 能夠盡快的檢測到異常并對其分析處理后完成對異常的排除，從而保證網絡可W正常的提 供服務。
[0003] 由于互聯網開放的特點，各種網絡協議和應用軟件設計上層出不窮的漏洞W及用 戶水平的參差不齊，造成目前網絡的安全性無法得到保證。各種漏洞給黑客入侵和網絡病 毒傳播造成了許多可乘之機，使得互聯網中充斥著各種掃描和攻擊流量，會使網絡性能出 現異常，影響網絡的正常服務和用戶使用，嚴重時可能造成網絡擁痕。
[0004] 常見的會引起網絡通訊異常的用戶行為主要有W下幾種：
[0005] 1、網絡掃描；
[0006] 網絡掃描作為一種常見的網絡異常數據流，是黑客在為下一步的網絡入侵進行踩 點準備，收集各種攻擊目標的信息，包括在線主機ip地址和其開放的監聽端口等。網絡掃 描在一般情況下對目標網絡中所有的地址進行掃描，來確定目標網絡中的活躍主機，W及 活躍主機所開啟的端口。該種行為具有明顯的特征：短時間內同一個源IP訪問同一個目標 IP的不同端口或者大量不同的目標IP，并且一般情況下目標IP地址還具有連續的特征。由 于在找到合適的入侵目標前，掃描時一項必須且漫長的過程，所W互聯網內往往充斥了該 些流量，不僅影響網絡通訊質量，更是一種嚴重的安全威脅。
[0007] 2、DoSA)DoS攻擊；
[000引DoS值enialofService)攻擊是指通過盡可能的消耗攻擊目標資源的方法，使目 標計算機或網絡無法提供正常服務，甚至徹底崩潰的一種攻擊方法。該種攻擊并不會對網 絡設備和主機造成入侵，僅僅是消耗該些設備或主機的服務資源，包括CPU處理性能、網絡 帶寬、內存等。理論上無論目標計算機的內存容量多大、處理速度多快、網絡帶寬速度多高 都無法避免該種攻擊。
[0009]DDoS(DistributedDenialOfService)攻擊又把DoS攻擊向前發展了一大步。 黑客首先在己經成功被其入侵和控制的高帶寬主機上安裝DoS攻擊程序。該些被控制的主 機被稱為愧備機，數目可能是成百上千，也有可能上萬臺。愧備機上的DoS攻擊程序受到中 央控制中屯、的命令的控制，當中央攻擊控制中屯、向愧備機發送啟動DoS程序進行攻擊時， 所有愧備機向特定的目標主機發送盡可能多的網絡訪問請求，從而形成一股DoS洪流對目 標系統造成沖擊。而被攻擊的目標系統由于資源的耗盡，無法及時處理正常的訪問，甚至會 出現系統崩潰擁痕的情況。
[0010] 3、蠕蟲傳播；
[0011] 網絡蠕蟲是一種智能化、自動化，綜合網絡攻擊、密碼學和計算機病毒技術，無須 計算機使用者干預即可運行的攻擊程序或代碼，其會掃描和攻擊網絡上存在系統漏洞的主 機，通過網絡從一臺主機傳播到另外一臺主機。蠕蟲病毒主要的破壞方式是大量的復制自 身，然后在網絡中傳播，嚴重的占用有限的網絡資源，最終引起整個網絡的擁痕，使用戶不 能通過網絡進行正常的工作。每一次蠕蟲病毒的爆發都會給全球經濟造成巨大損失，因此 其危害性是十分巨大的。
[0012] 網絡用戶異常行為是網絡面臨的一大威脅。所謂異常行為，顧名思義，是指與正常 行為相對應，由網絡用戶實施的對網絡正常運行造成影響的行為，例如傳播蠕蟲、孤oS攻擊 等。該些行為會造成網絡服務質量急劇下降，網絡負載加重甚至擁痕等后果。隨著網絡快 速發展，網絡用戶異常行為的新變種W及新行為層出不窮，其威脅也日益嚴重。因此無論是 加強對用戶行為的管控，還是保障網絡的正常運行，都要求能夠對網絡用戶的異常行為實 施快速、準確的檢測。用戶網絡異常行為檢測技術可W作為合適的手段解決該個問題。尤 其是針對蠕蟲傳播早期階段的檢測，可W及時發現網絡中感染了蠕蟲的機器，并采取相應 處理，避免造成無法控制的危害。
[0013] 目前的網絡異常檢測技術和研究基本可分為W下幾類：
[0014] 1、針對整體網絡流量發現異常的研究和技術
[0015] 目前的網絡異常檢測研究幾乎都屬于此類，特點是W目標網絡中某時刻的所有流 量整體做為檢測目標，而檢測結果一般為判定該時刻該網絡是否發生了異常值oS攻擊或 網絡掃描）等。而該樣的檢測方法的局限性在于：
[0016] (1)由于檢測目標過大，只有在發生足夠大規模的攻擊時才可能做出異常的判 定；
[0017] (2)由于檢測目標過于復雜，常常使用復雜的數據挖掘和機器學習等算法來進行 分析，運算量大，在實時的網絡環境和網絡設備中難W實現；
[0018] (3)檢測結果不夠精細，無法給出異常的詳細細節，例如：具體是哪些流量異常？ 源目的IP地址、端口和協議是什么等？如果不能給出具體細節，就無法做出有效的攔截。
[0019] 2、基于闊值的簡單檢測技術
[0020] 該是目前各類網絡和安全設備中使用最多的一類檢測技術，特點是W單個IP(網 絡用戶）為分析對象，統計其在一段較短時間（通常為1秒）內發送的數據包數或者新建 的連接數是否超過預先設定的檢測闊值來判斷該IP是否出現了異常網絡行為。該種檢測 方法簡單易于實現，可W識別一些典型的DoS攻擊和網絡掃描行為，但會對一些設及高速 下載或上傳的網絡應用（例如P2P和網絡視頻）造成誤判，而對經過偽裝的DDoS攻擊和掃 描行為又會形成漏判。
【發明內容】
[0021] 針對現有技術的W上缺陷或改進需求，本發明提供一種大流量環境下主機網絡異 常行為檢測及分類方法，兼具準確性和實用性，使得可在各類網絡設備中真正實現有效的 異常網絡流量抑制功能，從而保證互聯網的安全和有序。
[0022] 本發明提供一種大流量環境下主機網絡異常行為檢測及分類方法，包括W下步 驟：
[0023] 步驟1生成與維護網絡連接表，所述網絡連接表中的每個網絡連接由源IP地址、 目的IP地址、源端口、目的端口、協議及時間信息唯一標識；
[0024] 步驟2實時Wnetflow數據格式將所述網絡連接表發送到系統，所述系統獲取一 定時間間隔的netflow數據后，解析所述netflow數據并建立當前的網絡連接表副本，然后 開啟新的線程遍歷所述網絡連接表，進行統計分析；
[0025] 步驟3在獲得所述一定時間間隔的網絡連接表副本后，采用哈希算法對所述網絡 連接表副本進行處理，構建主機記錄表存儲主機信息；
[0026] 步驟4遍歷所述主機記錄表，讀取其中網絡連接總數的值，判斷是否超過檢測闊 值，如果未超過所述檢測闊值則讀取下一個主機記錄，否則對該主機記錄所有內容進行遍 歷，統計目的IP總數和所有源端口及目的端口的分布，遍歷完畢后，計算出該主機的源端 口滴、目的端口滴、源最大占比和目的最大占比；
[0027] 步驟5根據所述步驟4的計算結果判斷該主機的異常行為類型。
[0028] 總體而言，通過本發明所構思的W上技術方案與現有技術相比，具有W下有益效 果：
[0029] 1、本發明利用計算機節點在進行網絡掃描和DoS攻擊行為時，并發連接數高，且 源