基于神經模糊網絡的特征選擇方法
【技術領域】
[0001] 本發明涉及模式識別技術領域，更具體地說，本發明涉及一種基于神經模糊網絡 的特征選擇方法。
【背景技術】
[0002] 特征選擇是模式識別等技術的關鍵問題。近年來，將人工神經網絡用于特征選擇 是一個熱點問題。通過具有良好學習性能的人工神經網絡，可以推斷出各個特征或特征子 集的重要程度，但也存在一些問題。
[0003] 在特征選擇領域，大部分基于人工神經網絡的特征選擇可以看作是網絡剪枝算法 的一個特例，不同的是被剪除的是輸入節點，而不是隱層節點或權值。目前廣泛應用的方法 是利用剪枝前后網絡輸出之間的變化量作為被剪枝特征重要性的度量，這種方法也可以稱 為特征顯著性度量法。一般都假設對于一個學習良好的網絡，一個特征的重要程度越低，它 對網絡的輸出影響就越小。
[0004]目前主要用于特征顯著性度量的神經網絡類型分為兩大類，一類是基于多層感知 器的多層前向網絡，如Ruck教授提出的一種基于多層感知器的特征選擇算法，定義了一種 特征顯著性度量方法，即通過計算網絡的輸出相對于網絡輸入的變化率來衡量特征的重要 程度；R.K.De教授在此基礎上，提出了另一種方法，即首先取數據的最小值和最大值進行 歸一化，然后再通過計算網絡的輸出相對于網絡輸入的變化率來衡量特征的重要程度。
[0005]另一大類就是模糊神經網絡，如ΜK.Jia教授提出利用隸屬度函數將數據從原始 特征空間映射到隸屬度空間，并在隸屬度的意義上進行網絡剪枝和計算網絡對某特征的敏 感性。D.Chakraborty教授利用前一種方法設計了基于模糊規則神經模糊網絡，可以同時進 行特征選擇和分類。該網絡共有4層，分3個階段來訓練，其中第2個階段完成特征選擇， 而隸屬度函數調整則在最后階段完成，也就是說，在隸屬度函數學習之前特征選擇已經完 成了。
[0006] 上述方法都是以人工神經網絡為基礎來進行特征選擇的。第一大類主要是基于多 層感知器的特征選擇為主。雖然對特征選擇而言取得了一些較好的分類效果，但這種簡單 的方法對于某些特殊分布的數據，其結果不能反映出真實情況。如果事先對數據進行歸一 化處理，盡管能保證某些不變性，比如位移和縮放的不變，但可能會喪失其它不變性，比如 旋轉性，并且可能丟失一些對于分類具有重要作用的信息。第二大類方法是基于模糊邏輯 與人工神經網絡的，雖然避免了由于數據的歸一化而使得一些重要特征丟失問題，對特殊 分布數據也能反映出一定的真實性。但是，由于其隸屬度函數的定義實際上是在網絡學習 之前完成的，所以隸屬度映射仍然可能造成映射后的數據失真。D.Chakraborty教授提出的 四層結構網絡，第2個階段就完成特征選擇，而隸屬度函數調整則在最后階段完成，也就是 說，在隸屬度函數學習之前特征選擇已經完成了。所以，特征選擇的結果將會嚴重依賴于隸 屬度函數的初始值。
【發明內容】
[0007] 本發明所要解決的技術問題是針對現有技術中存在上述缺陷，提供一種基于神經 模糊網絡的特征選擇方法；其中本發明的神經模糊網絡目的在于，特征選擇是在整個網絡 學習完成后，即隸屬度自學習完成后進行的，避免了特征結果依賴于隸屬度函數參數初始 值的問題。此外，模糊隸屬度函數是通過自學習完成的，避免了由于數據歸一化帶來的重要 特征丟失的問題。并且，還定義了一種新的特征度量方法，使得剪枝過程是在模糊神經網絡 的映射層進行，而不是在輸入層進行。該方法容易和其他搜索算法結合起來組成一個完整 的模式分類系統。
[0008] 為了實現上述技術目的，根據本發明，提供了一種基于神經模糊網絡的特征選擇 方法，包括：
[0009] 第一步驟：基于X訓練神經模糊網絡，調整模糊隸屬度函數的參數以得到隸屬度 函數集：
[0010]
[0011] 其中表示特征A的第隸屬度函數；
[0012] 第二步驟：計算輸入為xq時神經模糊網絡的輸出〇 q;
[0013] 第三步驟：修改神經模糊網絡，使得模糊映射層將xq映射為
[0014]
[0015] 其中使得仁的所有隸屬度函數值恒為0. 5,此時神經模糊網絡的輸出為
[0016] 第四步驟：計算特征仁的度量值FQJi
[0017]
[0018] 第五步驟：將特征度量值FQJi按降序排序。
[0019] 優選地，將度量值FQ1越大的特征f#角定為越重要。
【附圖說明】
[0020] 結合附圖，并通過參考下面的詳細描述，將會更容易地對本發明有更完整的理解 并且更容易地理解其伴隨的優點和特征，其中：
[0021] 圖1示意性地示出了神經模糊網絡的結構。
[0022] 圖2示意性地示出了根據本發明優選實施例的基于神經模糊網絡的特征選擇方 法的流程圖。
[0023] 需要說明的是，附圖用于說明本發明，而非限制本發明。注意，表示結構的附圖可 能并非按比例繪制。并且，附圖中，相同或者類似的元件標有相同或者類似的標號。
【具體實施方式】
[0024] 為了使本發明的內容更加清楚和易懂，下面結合具體實施例和附圖對本發明的內 容進行詳細描述。
[0025] 本發明提出了一種新型的神經模糊網絡，該網絡是基于模糊集理論和人工神經網 絡的結合，主要用于新的特征選擇技術，該方法可應用于模式識別、數據挖掘、圖像處理等 領域。
[0026] 下面將從神經模糊網絡結構開始解釋本發明的原理和實施例。
[0027] (1)神經模糊網絡結構：
[0028] 對C類（ω1; ω2，…ω1;…，coc)識另IJ問題，記訓練樣本集為，
!為訓練樣本集的個數，特征集為 Φ= {fi，…，fi,…fR}，Xi_j是特征fi的一個觀測值。模糊推理系統根據規則集^丨對Xq進 行判別，其中模糊規則具有如下形式：
[0029]ifX!isAlkandx2isA2k***andxRisARkthen〇j(1)
[0030] 其中，Aik是定義在特征f;上的第k個模糊集，并是某模糊邏輯算子；當k辛h時， 不一定總有Alk辛Alh成立。"if"部分稱為模糊推理系統的前件，"then"部分稱為模糊推 理系統的后件。傳統的模糊推理系統需要專家建立這些規則，而神經模糊網絡可以自動通 過學習有代表性的訓練樣本集獲得這些規則。本發明在第三層采用剪枝算法來計算特征的 度量值，并利用有監督的學習方法來更新神經模糊網絡的參數值。神經模糊網絡的結構如 下圖1所示。
[0031] (2)神經模糊網絡的工作原理：
[0032] 如圖1所示。輸入層L1是網絡的輸入緩沖區，它把輸入量傳輸到下一層，其節點 數為輸入特征的維數，即山=R。
[0033] 模糊映射層L2為隸屬度函數映射層，把輸入層L1的輸出在本層投影到隸屬度函 數空間。模糊映射層L2的節點j的輸出為：
[0034] ii) =μ.Μ) (2)
[0035] 其隸屬度函數采用鐘形（bell形）函數即：
[0036] …」 （3)
[0037] 這里ξ是該函數的中心，σ控制函數的縮放，τ控制著函數鐘形平滑頂部的寬 R 度，τ越大，鐘形平滑頂部越寬。模糊映射層L2的節