基于一種復合核函數的高光譜分類方法
【專利摘要】本發明提供的是基于一種復合核函數的高光譜分類方法。輸入一幅高光譜圖像，類別數為N；以支持向量機為基分類器，同時從所述高光譜圖像每個類別中隨機地選取s個樣本組成訓練集，剩余樣本組成測試集，確定各參數的變化范圍，然后結合K次交叉驗證確定支持向量機的最優性能參數，包括懲罰因子和核參數；利用復合核構建策略，構造復合核函數，對支持向量機進行訓練；利用訓練過程得到的支持向量機判決函數的參數，循環N次，進而得到測試集屬于每類別的判決函數值，組成矩陣確定多分類器策略，即找到矩陣每列的最大值。本發明具有可以更好的描述數據集的分布特征，且分類精度相對較高等特點。其參數優化所消耗的時間相對于傳統多核學習方法也相對較短。
【專利說明】基于一種復合核函數的高光譜分類方法
【技術領域】
[0001]本發明涉及的是一種高光譜圖像的分類方法，特別是基于一種新復合核函數的高光譜分類方法(Hyperspectral Image Classificat1n Based on A New CompositeKernel)。
【背景技術】
[0002]近些年，衛星傳感器的發展提高了空間分辨率和光譜分辨率，同時也縮短了訪問時間，進而為高光譜分類方法的發展創造了條件。神經網絡分類器，K近鄰分類器，貝葉斯分類器，決策樹分類器以及基于核的分類器等已經廣泛地應用于高光譜領域，其中基于核函數的分類方法得到越來越多的關注。支持向量機(Support Vector Machine, SVM)是最為典型的基于核函數的分類方法，在處理有限的高維訓練樣本時，依然可以取得良好的分類性能，使得其在高光譜分類中占有一定的地位。鑒于實際數據的多源性且表達方式的多樣性，傳統的單核已不足以滿足實際需求。近十多年里，多核學習(Multiple KernelLearning，MKL)技術得到了關注和發展，主要從四個方面進行改進:1)多核學習策略的改進；如Rakotomamonjy等提出的簡單多核學習(Simple-MKL)，其使用梯度下降法來解決多核學習問題。2)參數優化的改進；Li等提出不使用任何凸約束項的參數優化方式。3)多個核函數結合方式的改進；如Xia等利用了 boosting的結合方式。4)快速策略的改進；如611等人提出高光譜分類的代表性多核學習。最為常見的多核學習方法為混合核函數(MixtureKernels，MKs)，即將多個核函數線性加權求和，該核函數的有效性已經得到了驗證且廣泛地應用于高光譜分類領域。但是其在訓練過程中，參數優化所消耗的時間卻也是巨大的。
【發明內容】
[0003]本發明的目的在于提供一種可以更好的描述數據集的分布特征，且分類精度相對較高，參數優化所消耗的時間相對較短的基于一種復合核函數的高光譜分類方法。
[0004]本發明的目的是這樣實現的:
[0005]步驟1:輸入一幅高光譜圖像，類別數為N ；
[0006]步驟2:以支持向量機為基分類器，同時從所述高光譜圖像每個類別中隨機地選取s個樣本組成訓練集，剩余樣本組成測試集，確定各參數的變化范圍，然后結合K次交叉驗證確定支持向量機的最優性能參數，包括懲罰因子和核參數；
[0007]步驟3:利用復合核構建策略，構造復合核函數，對支持向量機進行訓練；
[0008]步驟4:利用訓練過程得到的支持向量機判決函數的參數，循環N次，進而得到測試集屬于每類別的判決函數值，組成矩陣，其中ntest表示測試樣本的個數；
[0009]步驟5:確定多分類器策略，即找到矩陣每列的最大值，其行序號對應每個測試樣本的預測標簽，i = ntest。
[0010]本發明的特點在于:
[0011]1、參數設置過程中基分類器的選擇可以使用其他基于核的分類器代替支持向量機。
[0012]2、參數設置過程中最優性能參數的確定，是采用網格搜索和K次交叉驗證相結合的方式。
[0013]3、訓練過程中復合核函數的構建是通過多次非線性映射而得到的，計算如下:
[0014]K1 (χ, ζ) = Φ ! (χ).Φ ! (ζ)
[0015]K2 (χ, ζ) = Φ2 [ Φ ! (χ) ].Φ2[ Φ ? (ζ) I
[0016]
[0017]Km(χ, ζ) = ΦΜ[ ΦΜ_! (χ) ].Φι,?ΦΜ-^ζ)]
[0018]其中ΚΜ(χ，ζ)表示樣本χ和ζ的核函數，ΦΜ表示第M次非線性映射函數。ΦΜ可以是高斯映射，多項式映射或是其他非線性映射，且當M = 2時，基于該復合核函數分類器的分類性能可達到收斂狀態。
[0019]4、當M = 2時，復合核函數的參數優化時間要遠小于傳統的混合核函數的參數優化時間。
[0020]基于上述特點，本發明提出的基于一種新復合核函數的高光譜分類方法具有可以更好的描述數據集的分布特征，且分類精度相對較高等特點。與此同時，其參數優化所消耗的時間相對于傳統多核學習方法也相對較短。
【專利附圖】
【附圖說明】
[0021]圖1為本發明的基于一種復合核函數的高光譜分類方法流程圖。
[0022]圖2a-圖2b為高光譜圖像Indian Pines，其中:圖2a為灰度圖、圖2b為參考地物類別。
[0023]圖3a_圖3b為雙月牙形模擬數據集分類邊界視覺圖，其中:圖3a為高斯核函數Gauss分類邊界視覺圖、圖3b為連續高斯映射復合核函數G(G)分類邊界視覺圖。圖中空心符號代表測試樣本，實心符號代表訓練樣本。
[0024]圖4為針對高光譜數據集Indian Pines不同核函數分類性能比較表I。表格中Linear表示單一線性核函數，Polynomial表示單一多項式核函數，Gauss表示單一高斯核函數，MKs表示混合核函數，G (G)表示連續高斯映射復合核函數，G (P)表示多項式-高斯映射復合核函數，P(G)表示高斯-多項式映射復合核函數，P (P)表示連續多項式映射復合核函數。
[0025]圖5為不同核函數參數優化時間對比表2。
[0026]圖6為不同的訓練樣本數目對不同核函數分類性能的影響表3。
【具體實施方式】
[0027]下面結合附圖舉例對本發明做更詳細地描述。
[0028]本發明為基于一種新復合核函數的高光譜分類方法，包括輸入過程、參數設置、訓練過程、分類過程以及輸出過程五個步驟。輸入過程即輸入一幅高光譜圖像；參數設置是初始化以及參數優化的過程；訓練過程是以支持向量機為基分類器，訓練基分類器模型的過程；分類過程是利用上述過程得到的模型參數，從而給出測試集屬于每類別的判決函數值過程；輸出過程是確定多分類器策略，且給出測試樣本預測標簽的過程。下面給出詳細過程:
[0029]具體分析步驟如下:
[0030]步驟S1:輸入過程。輸入一幅高光譜圖像，N表示類別數。
[0031]步驟S2:參數設置。從圖像中每個類別中隨機地選取s個樣本組成訓練集，剩余樣本組成測試集。確定各參數的變化范圍，然后結合K次交叉驗證確定支持向量機的最優性能參數。該步驟進一步包括以下步驟:
[0032]步驟S2.1:樣本集的確定；從高光譜圖像的N個類別中每類隨機地選取s個樣本組成有標簽訓練樣本集D = ((X11Y1),..., (xn，yn)}，其中Xi表示第i個有標簽樣本的光譜特征，Yi表示樣本Xi的標簽，n = 16s表示訓練樣本個數。剩余樣本組成測試集馬《 ={%...*xH,, ntest表示測試樣本個數。
[0033]步驟S2.2:參數范圍的確定；采用多項式核函數以及高斯核函數為基本核函數進行復合核函數的合成。多項式核為ΚΡ(χ，ζ) = ΦΡ(χ).ΦΡ(ζ) = [(χ.z)+l]d,其參數為d, ΦΡ(χ)表示樣本χ的多項式映射函數。高斯核為Ke(x，z) = Φ(；(χ).Φ(；(ζ)=exp (- |x-z I I2/σ2)，其高斯半徑為σ，(j5e(x)表示樣本χ的高斯映射核函數。支持向量機的懲罰因子C，高斯半徑σ以及d的變化范圍分別為:{2°，21，...，28}，{2_5，2_4，...，21}和{2-2，2-1，..，24}。
[0034]步驟S2.3:K次交叉驗證；在每個參數組合情況下，將訓練樣本集D分割成K個子集，依次保留一子集用于測試，其余的K-1個子集用于訓練SVM分類器模型。交叉驗證重復K次，每個子集驗證一次，且計算K次分類精度的平均值。當平均精度達到最大值時，說明該參數組合為最優的。
[0035]步驟S3:訓練過程。利用復合核構建策略，構造復合核函數，對支持向量機進行訓練。該步驟進一步包括以下步驟:
[0036]步驟S3.1:復合核函數的構建；通過多次非線性映射得到復合核函數，計算如下:
[0037]K1 (χ, ζ) = Φ ! (χ).Φ ? (ζ)
[0038]K2 (χ, ζ) = Φ2 [ Φ ! (x) ].Φ2[ Φ ? (ζ) I
[0039]...
[0040]Km(χ, ζ) = ΦΜ[ ΦΜ_! (χ) ].ΦμΙΙΦμ-Χζ)]
[0041]其中ΚΜ(χ，ζ)表示樣本χ和ζ的核函數，ΦΜ表示第M次非線性映射函數。ΦΜ可以是高斯映射，多項式映射或是其他非線性映射，且當M = 2時，基于該復合核函數分類器的分類性能可達到收斂狀態。當M = 2時，Ke(e)，KG(P), KP(G)和KP(P)分別為連續高斯映射復合核函數，多項式-高斯映射復合核函數，高斯-多項式映射復合核函數以及連續多項式映射復合核函數。表達式如下:
[0042]KG(G) (χ, ζ) = Φ^Φ^χ)].Φ0[Φ0(ζ)]
[0043]= exp [-1 I φ G (χ) - φ G (ζ) | |2/ σ 22](I)
[0044]
[0045]= exp[-[ Φ(；(χ).<J>G(x)+ <J>G(z).Φ<；(ζ)-2 Φ<；(χ).Φ<；(ζ) ]/ σ 22]
[0046]= exp[-[Kg(χ, χ) +Kg(ζ, ζ)_2Kg(χ, ζ)] / σ 22]
[0047]KG(P) (χ, ζ) = Φ(；[Φρ(χ)].Φ0[ΦΡ(ζ)]
【權利要求】
1.基于一種復合核函數的高光譜分類方法，其特征是: 步驟1:輸入一幅高光譜圖像，類別數為N ； 步驟2:以支持向量機為基分類器，同時從所述高光譜圖像每個類別中隨機地選取s個樣本組成訓練集，剩余樣本組成測試集，確定各參數的變化范圍，然后結合K次交叉驗證確定支持向量機的最優性能參數，包括懲罰因子和核參數； 步驟3:利用復合核構建策略，構造復合核函數，對支持向量機進行訓練； 步驟4:利用訓練過程得到的支持向量機判決函數的參數，循環N次，進而得到測試集屬于每類別的判決函數值，組成矩陣，其中ntest表示測試樣本的個數； 步驟5:確定多分類器策略，即找到矩陣1每列的最大值，其行序號對應每個測試樣本的預測標簽，fi € ys I = I5,,.,Hlel,
2.根據權利要求1所述的基于一種復合核函數的高光譜分類方法，其特征是:所述步驟2具體包括: 步驟2.1:從高光譜圖像的N個類別中每類隨機地選取s個樣本組成有標簽訓練樣本集D = {(X1, Y1),, (xn, yn)}，其中Xi表示第i個有標簽樣本的光譜特征，Ii表示樣本Xi的標簽，n = 16s表示訓練樣本個數，剩余樣本組成測試集=丨*1，…}，ntest表示測試樣本個數； 步驟2.2:采用多項式核函數以及高斯核函數為基本核函數進行復合核函數的合成，多項式核為ΚΡ(χ，ζ) = ΦΡ(χ).ΦΡ(ζ) = [(X.z)+l]d,其參數為d, ΦΡ(χ)表示樣本X的多項式映射函數；高斯核為Ke (X，ζ) = Φ(；(χ).Φ(；(ζ) = exp (-1 x-z I |2/ σ2)，其高斯半徑為σ，Cj5e(X)表示樣本X的高斯映射核函數；支持向量機的懲罰因子C，高斯半徑σ以及d的變化范圍分別為:{2°, 21，...，28}，{2_5，2_4，...，21}和{2_2，2-1，.., 24}； 步驟2.3:在每個參數組合情況下，將訓練樣本集D分割成K個子集，依次保留一子集用于測試，其余的K-1個子集用于訓練SVM分類器模型，交叉驗證重復K次，每個子集驗證一次，且計算K次分類精度的平均值，當平均精度達到最大值時，該參數組合為最優的。
3.根據權利要求1或2所述的基于一種復合核函數的高光譜分類方法，其特征是:所述步驟3具體包括: 步驟3.1:通過多次非線性映射得到復合核函數，計算如下:
K1 (x, z) = Φι(χ).Φ“ζ)
K2 (x, ζ) = Φ 2 [ Φ ! (χ) ].Φ2[Φ!(ζ)]
ΚΜ(Χ，Ζ) = ΦμΕΦμ-Αχ)].Φι,?ΦΜ-! (ζ)] 其中Km(X，ζ)表示樣本X和ζ的核函數，ΦΜ表示第M次非線性映射函數；ΦΜ是高斯映射，多項式映射或是其他非線性映射，且當M = 2時，基于該復合核函數分類器的分類性能達到收斂狀態；當M = 2時，Ke(e)，KG(P), KP(G)和KP(P)分別為連續高斯映射復合核函數，多項式-高斯映射復合核函數，高斯-多項式映射復合核函數以及連續多項式映射復合核函數；表達式如下:
Kg(ο (χ, ζ) = Φ G [ Φ G (χ) ].Φ G [ Φ G (ζ) ] = exp [- | φ G (x) - φ G (ζ) | 2/ σ 22] (I) = exp [-[
其中χ和ζ表示兩個像元，σ 2表示第二次高斯映射的高斯半徑，d2表示第二次多項式映射的多項式參數；式(I) (3)中第一次高斯映射的高斯半徑為σ i，式(2) (4)中第一次多項式映射的多項式參數為Cl1 ； 步驟3.2:對支持向量機進行訓練，得到支持向量機決策函數的權重向量和閾值α *和b*。
【文檔編號】G06K9/62GK104200217SQ201410386737
【公開日】2014年12月10日 申請日期:2014年8月7日 優先權日:2014年8月7日
【發明者】王立國, 郝思媛, 竇崢, 趙春暉 申請人:哈爾濱工程大學