專利名稱：基于模糊神經網絡的異常檢測方法
技術領域：
本發明涉及一種針對網絡入侵的異常檢測方法，屬于計算機網絡安全技術領域。
背景技術：
網絡異常主要指網絡環境不同于正常的網絡行為的情形，可廣泛地分為兩大類第一類是與網絡故障(如節點、鏈路故障)和管理員誤操作等問題相關，第二類是與網絡安全問題相關，網絡安全的一個主要威脅就是對網絡的攻擊、破壞以及通過網絡對信息系統的入侵。網絡入侵可以定義為試圖破壞信息系統的完整性，機密性或可用性的任何網絡活動的集合。
傳統的網絡入侵檢測方法是誤用(misuse)檢測，它能夠準確地檢測出列在特征庫中的已知攻擊類型，但對于特征庫之外的新的入侵類型無能為力。中國專利公開號為CN1599334(一種入侵檢測系統及其入侵檢測方法，
公開日為2005.03.23)的申請案、開放源碼Snort、Bro采用了這種方法。
異常(anomaly)檢測作為另外一種網絡入侵檢測方法，可以檢測出一些未知的網絡入侵行為。中國專利公開號為CN1567810(網絡安全入侵檢測系統及方法，
公開日為2005.01.19)和CN1555156(基于自組織映射網絡的自適應入侵檢測方法，
公開日為2004.12.15)的申請案采用了這種方法，具有自適應能力，但是，它們并未解決以下問題1、特征變換問題。特征變換對于提高異常檢測方法的運行效率及準確性是非常關鍵的。
2、檢測階段的輸出值集合分類問題。CN1555156的申請案中采用了基于閾值的判別方法，這種方法極不靈活。
發明內容
本發明的目的在于克服已有異常檢測方法中在特征變換、輸出值集合分類過程中的不足，提供一種基于模糊神經網絡的網絡異常檢測方法。采用本發明的網絡異常入侵檢測系統可視為一個黑箱，它的輸入是從真實網絡環境中提取的網絡連接數據向量，輸出就是0或1，這里0代表正常的，1代表異常的。
本發明的目的是通過以下技術方案達到的，本發明方法分為兩大階段訓練階段和檢測階段，首先，對模糊神經網絡采用訓練樣本進行訓練，達到穩定，然后，訓練完畢后的模糊神經網絡用于實際的網絡異常檢測任務，具體如下第一、訓練階段在訓練階段，首先從網絡連接數據向量訓練樣本集獲得輸入網絡連接向量，將其進行特征選擇和特征變換后生成特征向量，然后將特征向量送入模糊神經網絡，利用ANFIS，(自適應模糊神經推理系統)進行訓練直至達到穩定，得到模糊神經網絡模型。
獲取輸入特征向量的具體步驟為
STEP1從所捕獲到的IP數據分組集構建網絡連接數據向量，即單個網絡連接數據向量中包括基本特征、內容特征和流量特征三大部分；STEP2特征選擇，從網絡連接數據向量中選擇與網絡異常檢測相關的若干特征形成新的數據向量；STEP3特征變換，首先剔除奇異數據向量并將剩余的數據向量進行歸一化處理，然后利用獨立成分分析(PCA)對數據向量進行線性變換，降低數據向量的維度，從而獲得輸入特征向量。
第二、檢測階段在檢測階段，首先從網絡連接數據向量訓練樣本集獲得輸入網絡連接向量，將其進行預處理后生成特征向量，然后將特征向量送入訓練完畢后的模糊神經網絡模型中，得到相應的輸出值，最后對輸出值集合進行模糊聚類，從而分辨出所輸入的網絡連接數據向量樣本是否為異常。其具體步驟為STEP1根據當前網絡連接數據和上述的構造輸入特征向量的方法構造輸入樣本集合X(x1，x2，…，xn)，送到訓練完畢后的模糊神經網絡中，得到對應的輸出值集合Y(y1，y2，…，yn)。
STEP2利用模糊C-均值聚類(FCM)將輸出值集合Y進行分類，如果yi(1≤i≤n)位于1類，則輸入特征向量xi(1≤i≤n)對應的網絡連接為異常，如果yi(1≤i≤n)位于0類，則輸入特征向量xi(1≤i≤n)對應的網絡連接為正常。
與現有的技術相比較，這種方法的優點在于1、綜合使用了模式識別中的監督模式和非監督模式，在訓練模糊神經模型使用的ANFIS為監督模式，而檢測階段的FCM則為非監督模式。
2、利用PCA線性變換有效的降低了輸入向量的維數，提高了運行效率。
3、利用模糊C-均值聚類算法FCM解決了人工設定閾值的問題。
圖1為基于模糊神經網絡的異常檢測方法的流程框架圖。
具體實施例方式
下面結合附圖對本發明進行進一步闡述。
如圖1所示，基于模糊神經網絡的異常檢測方法的主要包括兩大階段訓練階段和檢測階段。在訓練階段，首先從網絡連接數據向量訓練樣本集獲得輸入網絡連接向量，將其進行特征選擇和特征變換后生成特征向量，然后將特征向量送入模糊神經網絡，利用ANFIS，(自適應模糊神經推理系統)進行訓練直至達到穩定，得到模糊神經網絡模型。在檢測階段，首先從網絡連接數據向量訓練樣本集獲得輸入網絡連接向量，將其進行預處理后生成特征向量，然后將特征向量送入訓練完畢后的模糊神經網絡模型中，得到相應的輸出值，最后對輸出值集合進行模糊聚類，從而分辨出所輸入的網絡連接數據向量樣本是否為異常。
結合本發明提供以下典型的實施例在實施過程中為保證數據的準確性、典型性及數據集的規模，我們使用了國際上為專用于入侵檢測研究的KDD99數據集，它包含DoS、Probing、R2L、U2R四類典型的攻擊類型。主要步驟如下
1、考慮到Internet環境中網絡入侵的實際情況，我們僅考慮DoS、Probing兩類攻擊.故在訓練數據集中去除R2L和U2R兩類的攻擊。
2、特征選擇.在訓練數據集提供的41個特征中僅有8個被選，src_bytes，dst_bytes，count，srv_count，dst_host_count，dst_host_srv_count，st_host_same_src_port_rate，dst host_srv_diff_host_rate。
3、特征生成，利用PCA提取特征，提取后特征向量的維數由原先的8降為5。
4、利用ANFIS訓練模糊神經模型。
5、檢測。測試數據集由三類網絡連接組成正常(60593個)；異常，曾出現在訓練數據集(166041個)；異常，未出現在訓練數據集(84395).對于正常類的檢測率為96.94％，已出現的異常類檢測率為99.81％，新出現的異常類檢測率為73.01％。
權利要求
1.一種基于模糊神經網絡的異常檢測方法，它包括訓練階段和檢測階段，其特征在于，首先，對模糊神經網絡采用訓練樣本進行訓練，達到穩定，然后，訓練完畢后的模糊神經網絡用于實際的網絡異常檢測任務，具體如下第一、訓練階段在訓練階段，首先從網絡連接數據向量訓練樣本集獲得輸入網絡連接向量，將其進行特征選擇和特征變換后生成特征向量，然后將特征向量送入模糊神經網絡，利用自適應模糊神經推理系統進行訓練直至達到穩定，得到模糊神經網絡模型；第二、檢測階段在檢測階段，首先從網絡連接數據向量訓練樣本集獲得輸入網絡連接向量，將其進行預處理后生成特征向量，然后將特征向量送入訓練完畢后的模糊神經網絡模型中，得到相應的輸出值，最后對輸出值集合進行模糊聚類，從而分辨出所輸入的網絡連接數據向量樣本是否為異常。
2.根據權利要求1所述的基于模糊神經網絡的異常檢測方法，其特征在于，所述獲取輸入特征向量的具體步驟為STEP1從所捕獲到的IP數據分組集構建網絡連接數據向量；STEP2特征選擇，從網絡連接數據向量中選擇與網絡異常檢測相關的若干特征形成新的數據向量；STEP3特征變換，首先剔除奇異數據向量并將剩余的數據向量進行歸一化處理，然后利用獨立成分分析對數據向量進行線性變換，降低數據向量的維度，從而獲得輸入特征向量。
3.根據權利要求2所述的基于模糊神經網絡的異常檢測方法，其特征在于，所述網絡連接數據向量中包括基本特征、內容特征和流量特征三大部分。
4.根據權利要求1所述的基于模糊神經網絡的異常檢測方法，其特征在于，所述檢測階段，具體包括以下步驟STEP1根據當前網絡連接數據和上述的構造輸入特征向量的方法構造輸入樣本集合X(x1，x2，…，xn)，送到訓練完畢后的模糊神經網絡中，得到對應的輸出值集合Y(y1，y2，…，yn)；STEP2利用模糊C-均值聚類(FCM)將輸出值集合Y進行分類，如果yi(1≤i≤n)位于1類，則輸入特征向量xi(1≤i≤n)對應的網絡連接為異常，如果yi(1≤i≤n)位于0類，則輸入特征向量xi(1≤i≤n)對應的網絡連接為正常。
5.根據權利要求1所述的基于模糊神經網絡的異常檢測方法，其特征在于，采用本方法實現的網絡異常入侵檢測系統可視為一個黑箱，它的輸入是從真實網絡環境中提取的網絡連接數據向量，輸出就是0或1，其中0代表正常的，1代表異常的。
全文摘要
本發明公開了一種基于模糊神經網絡的異常檢測方法，屬于計算機網絡安全技術領域。該方法包括訓練階段和檢測階段訓練階段，首先從網絡連接數據向量訓練樣本集獲得輸入網絡連接向量，將其進行特征選擇和特征變換后生成特征向量，然后將特征向量送入模糊神經網絡，利用ANFIS進行訓練直至達到穩定，得到模糊神經網絡模型；檢測階段，首先從網絡連接數據向量訓練樣本集獲得輸入網絡連接向量，將其進行預處理后生成特征向量，然后將特征向量送入訓練完畢后的模糊神經網絡模型中，得到相應的輸出值，最后對輸出值集合進行模糊聚類，從而分辨出所輸入的網絡連接數據向量樣本是否為異常。本發明提高了運行效率和檢測性能，對于檢測資源耗盡性攻擊特別有效。
文檔編號H04L29/06GK101051953SQ20071002798
公開日2007年10月10日 申請日期2007年5月14日 優先權日2007年5月14日
發明者何海濤, 羅笑南 申請人:中山大學