一種基于靈敏度分析的非線性支持向量回歸特征提取方法
【技術領域】
[0001] 本發明涉及特征提取技術，特別是一種在非線性支持向量回歸框架下對特征進行 提取的方法。
[0002] 特征提取方法在圖像處理和模式識別等領域中應用非常廣泛，可以用于降低原始 數據的維數和對數據進行分類，是應對大數據分析時所面臨的維數災難的有效手段，此外 特征提取還可以在醫學圖像處理領域用作疾病區域的映射，在遙感圖像處理領域用作感興 趣區域的提取等。特征提取就是將描述模式的特征向量中包含有用信息的元素進行提取 (或選擇）的技術，不包含有用信息的元素將被剔除，從而達到降維和消除干擾、提高計算 效率的目的。基于回歸（或預測）的特征提取，是在回歸算法的框架內，利用各元素對回歸 結果所產生的影響，對各元素包含的信息量（重要性）進行評價，最終實現特征提取的過程 (Guyon,Isabelle,andAndreElisseeff."AnintroductiontoVariableandfeature selection."TheJournalofMachineLearningResearch3(2003) :1157-1182. )〇 支 持向量回歸是一種泛化能力較強的預測算法，對于高維數、小樣本問題效果較好，在很多應 用中，不僅需要知道預測結果，還要進行特征提取，但目前在支持向量回歸算法的框架下， 尤其是在非線性支持向量機（非線性核函數的支持向量機）框架下的特征提取算法，還沒 有出現。
【發明內容】
[0003] 本發明要解決的技術問題是針對現有技術的不足，提供一種新的基于靈敏度分析 和非線性支持向量機對特征進行提取的方法，該方法可在支持向量回歸進行預測的同時， 實現特征的提取。
[0004] 本發明提出一種基于非線性支持向量回歸和靈敏度場相結合的特征提取方案，所 謂非線性支持向量回歸，就是使用非線性核的支持向量回歸算法。根據一組觀測值（樣本） {(Xl，yi)}，支持向量回歸通過訓練得到一個擬合函數f(X)，其中\是Μ維輸入特征向量且 i= 1，"·，Ν，函數f(x)的形式如下：
[0005]
[0006] 其中，·=智調》是核函數，由支持向量機原理，b(標量）、< 和通過樣本訓練，根據以下優化函數取得：
[0007]
[0011] 其中，s(l)是特征向量X的第1個特征的靈敏度值，J(x)為目標函數，Xl為特征 向量的第1個元素。對于離散系統，靈敏度S(1)應表示為
[0013] 本發明中，定義目標函數力、/〇?) ==|y-y(：X)]2/2,U:中，y是樣本X對應的輸出， 魏罐為其預測值。
[0014] 本發明所要解決的技術問題是通過以下技術方案實現的。本發明是一種基于非線 性支持向量回歸和靈敏度分析的特征提取方法，其特點是：第一步，構建訓練樣本集；第二 步，運行支持向量回歸算法；第三步，計算特征向量每個元素的靈敏度值；第四步，選擇較 大的靈敏度值對應的特征作為提取結果。
[0015] 本發明所述構建訓練樣本集，具體為：構建一個輸入矩陣，訓練樣本的特征向量 (輸入向量）作為輸入矩陣的行，同時生成輸出向量，輸出向量的兀素與輸入矩陣的行相對 應，即輸出向量的第i個兀素yi就是輸入矩陣第i行（第i個輸入向量Xi)所對應的輸出 值。
[0016] 所述運行支持向量回歸算法，具體為：通過公式（2)進行訓練，訓練后得到b、 和:級f所述預測值，具體為：
[0017] 所述計算特征向量每個元素的靈敏度值，具體為：通過公式
[0021] 所述K(Xi，X)，具體為：對于高斯核函數K(Xi，X) =exp(_ ||Xi_x|| 2/〇 2);對于多
[0023] 所述選擇較大的靈敏度值對應的特征作為提取結果，具體為：設定一個閾值T，當 S(l) >Τ時，則第1個特征就是想要的特征；否則，丟棄此特征。
[0024] 本發明與已有的技術相比具有以下優點：本發明通過一種基于靈敏度分析的非線 性支持向量機的特征提取方法，利用了非線性支持向量機泛化能力強的優點，提高了特征 提取的準確率。本發明提出了一種新的目標函數/&> =汐選取該目標函數的目的 是提高預測精度，所提取的特征能夠提高預測的準確率。本發明方法可以用于圖像處理和 模式識別等領域，可以用于降低原始數據的維數和對數據進行分類，還可以在醫學圖像處 理領域用作疾病區域的映射，在遙感圖像處理領域用作感興趣區域的提取。
【附圖說明】
[0025] 圖1為本發明構建的訓練樣本集和輸出向量；
[0026] 圖2為本發明的算法流程框圖。
【具體實施方式】
[0027] 下面結合附圖和具體實施例對本發明進行詳細描述，以便于本領域的技術人員進 一步的理解本發明，而不構成對其權利的限制。需要強調的是，以下實施例僅是本發明的一 種優選實施方式而已，對于本技術領域的技術人員來說，在不脫離本發明的核心思想和基 本原理的前提下，可以進行改進和修改，或者利用本發明的主要方法、核心思想和基本原理 解決其他領域的技術問題，都應視為本發明的保護范圍。
[0028] 實施例1，一種基于非線性支持向量回歸和靈敏度分析的特征提取方法，第一步， 構建訓練樣本集；第二步，依次選擇各樣本作為測試樣本X，運行支持向量回歸算法得到 、％+和b和預測結果約如第三步，計算特征向量每個元素的靈敏度值；第四步，判斷是 否所有樣本都經過測試，如果是，跳到第五步，否則，跳到第二步；第五步，選擇較大的靈敏 度值對應的特征作為提取結果，生成新的特征向量。
[0029] 實施例2,參照附圖1，實施例1所述基于非線性支持向量回歸和靈敏度分析的特 征提取方法中：
[0030]構建訓練樣本集的具體步驟如下：
[0031] (1)構建輸入集，就是將原始特征向量作為行，每一行一個特征向量Xi;
[0032] ⑵構建輸出向量，就是由輸入矩陣的每一行（每一個特征向量所對應的輸出 yi構成輸出向量。
[0033]所述依次選擇各樣本作為測試樣本X，運行支持向量回歸算法得到和b和預測結果100,具體方法是：依次選擇χ=Xi作為測試樣本，從訓練集中剔除該樣本，用 其余樣本進行訓練，得到相應的和b，并計算預測結果
[0034] 所述計算特征向量每個元素的靈敏度值，具體方法為：通過公式
[0038] 所述判斷是否所有樣本都經過測試，具體方法為：如果i=N，則所有樣本都經過 測試；如果i<N，則仍有樣本未經過測試。
[0039] 所述選擇較大的靈敏度值對應的特征作為提取結果，具體方法為：設定一個閾值 T，當S(1) >T時，則第1個特征就是想要的特征；否則，丟棄此特征。
[0040] 實施例3,參照圖2,利用實施例1所述的一種基于非線性支持向量回歸和靈敏度 分析的特征提取方法實驗。實驗步驟如下：
[0041] 步驟S101 :開始，構建樣本集，選擇模式識別領域著名的IRIS數據集作為實驗數 據，該實驗數據共有150個樣本，分為三類，每類50個樣本，每個樣本4個特征，我們將類別 把類別標號1、2和3作為樣本的輸出值，進行預測。原始的4個特征為有效特征，為了實驗， 為每個樣本增加4個特征，增加的四個特征為隨機數。構建新的樣本集，在新樣本集中，前 4個樣本為有效特征，后4個為無效特征。對應的輸出向量由樣本相應的類別標記構成，樣 本個數N= 150,樣本維數Μ= 8 ;
[0042]步驟S102:選擇高斯核函數Κ(Χρ X)=exp(-|| χ「χ|| 2/ 〇2)，運行支持向量機回 歸的算法程序得到b，并計算f
[0045]
S(l) = 0· 5074,S(2) = 0· 3059,S(3) = 0· 8247,S(4) = 0· 4063,S(5) = 0· 2641，S(6)= 0· 2474,S(7) = 0· 2521，S(8) = 0· 2370 ;
[0046] 步驟S106 :設定閾值T= 0. 4,確定所選擇的特征為，特征1、特征2、特征3和特征 4〇
【主權項】
1. 一種基于靈敏度分析和非線性支持向量回歸的特征提取方法，其特征在于，其步驟 如下： (1)構建訓練樣本集；具體步驟為：構建一個輸入矩陣，訓練樣本的特征向量一-輸入 向量作為輸入矩陣的行，同時生成輸出向量，輸出向量的元素i為輸入矩陣的行一一特 征向量所相對應的輸出值yi; 似運行支持向量回歸算法；具體步驟為：依次選擇X= 作為測試樣本，從訓練集中 剔除該樣本，用其余樣本進行訓練運行支持向量機回歸算法，得到相應的和b，并 計算對。 (3) 計算特征向量每個元素一一特征的靈敏度值；計算公式為：其目標函數定義為其中，y是輸 入向量X對應的輸出值，為其對應的預測值；的計算，通過公式完成； (4) 選擇較大的靈敏度值對應的特征作為提取結果，完成特征提取。2. 根據權利要求1所述的特征提取方法，其特征在于，的計算，具體方法 為：對于高斯核函數完成。3. 根據權利要求1所述的特征提取方法，其特征在于，步驟（4)所述的選擇較大的靈敏 度值對應的特征作為提取結果，具體步驟為：設定一個闊值T，當S(1) >T時，則第1個特 征就是想要的特征；否則，丟棄此特征。
【專利摘要】本發明涉及一種基于靈敏度分析和非線性支持向量回歸的特征提取方法，方法包括：首先構建訓練樣本集；然后運行支持向量回歸算法；接著計算特征向量每個元素（特征）的靈敏度值；最后，選擇較大的靈敏度值對應的特征作為提取結果。本發明具有特征提取準確率高，且提取的特征能夠提高預測精度的優點。本發明方法可以用于圖像處理和模式識別等領域，可以用于降低原始數據的維數和對數據進行分類，還可以在醫學圖像處理領域用作疾病區域的映射，在遙感圖像處理領域用作感興趣區域的提取。
【IPC分類】G06K9/62
【公開號】CN105243392
【申請號】CN201510645164
【發明人】劉瑞明, 龔成龍, 張珍
【申請人】淮海工學院, 江蘇省海洋資源開發研究院(連云港)
【公開日】2016年1月13日
【申請日】2015年10月8日