基于正則化掩膜自動編碼器的半監督高光譜圖像分類方法

本發明屬于高光譜遙感圖像分類，尤其涉及基于正則化掩膜自動編碼器的半監督高光譜圖像分類方法。

背景技術：

1、高光譜圖像具有豐富的光譜空間信息。作為一項基本任務，高光譜圖像分類在農業監測、礦產勘查、環境監測等領域發揮著不可替代的作用。深度學習技術的快速發展為高光譜圖像分類提供源源不斷的新的技術支持。然而，眾所周知，深度模型是數據饑餓的，而樣本的標注工作又是非常耗時耗力的，因此，在有標簽樣本數量有限的情況下，開發有效且高效的半監督分類模型以充分利用大量的無標簽樣本來獲得令人滿意的分類結果是十分必要的。

2、現有的基于深度神經網絡的半監督分類方法主要包括：基于自動編碼器的、基于偽標簽的、基于圖的以及基于生成式對抗網絡的方法等。然而，這些方法或多或少都存在著不足之處：基于自動編碼器的半監督分類方法無法自主學習可判別的表示；基于偽標簽的半監督分類方法無法保證偽標簽的準確性且無法評估被賦予偽標簽的樣本對于模型性能的改善所做出的貢獻度；基于圖的半監督分類方法無法避免不確定性對圖的構建的影響；基于生成式對抗網絡的半監督分類方法往往受到模式崩潰所帶來的困擾。

3、近來，國內外學者將掩膜自動編碼器(maskedauto-encoder,mae)應用到半監督高光譜圖像分類任務中，且獲得了高精度的分類結果。mae是一種自監督表示學習模型，不僅花費的預訓練時間少，也具有十分優秀的可調優性。目前，大多數對于mae的改進的工作還只停留在應用層面，有必要從工作原理上，基于mae設計一個更魯棒，表示學習能力更強的半監督分類模型，以對高光譜圖像進行有效的分類。

技術實現思路

1、為解決上述技術問題，本發明提出了一種基于正則化掩膜自動編碼器的半監督高光譜圖像分類方法，以解決上述現有技術存在的問題。

2、為實現上述目的，本發明提供了基于正則化掩膜自動編碼器的半監督高光譜圖像分類方法，包括：

3、獲取原始高光譜圖像，基于原始高光譜圖像，得到原始預訓練樣本；

4、對所述原始預訓練樣本進行不同尺度網格的劃分，得到第一圖像塊及第二圖像塊，其中所述第一圖像塊的尺寸小于第二圖像塊；

5、對所述第一圖像塊進行處理并隨機掩膜，得到預編碼圖像塊嵌入和被掩膜圖像塊嵌入；

6、構建正則化掩膜自動編碼器，其中正則化掩膜自動編碼器包括編碼器、解碼器及induced?transformer結構；

7、通過編碼器對預編碼圖像塊嵌入進行編碼，得到編碼特征，基于編碼特征，通過induced?transformer對第二圖像塊進行重構，得到誘導重建結果；

8、基于編碼特征，通過解碼器對所述被掩膜圖像塊嵌入進行重構，得到掩膜重建結果；

9、根據誘導重建結果及掩膜重建結果對正則化掩膜自動編碼器進行損失函數計算，得到損失值，根據所述損失值對所述正則化掩膜自動編碼器進行優化，得到預訓練好的正則化掩膜自動編碼器；

10、對預訓練好的正則化掩膜自動編碼器的編碼器后添加用于全連接層，通過有標簽樣本對添加全連接層的解碼器進行訓練調優，得到分類模型；

11、獲取待分類高光譜圖像，通過分類模型對待分類高光譜圖像進行分類，得到高光譜圖像分類結果。

12、可選的，原始預訓練樣本的獲取過程包括：

13、通過主成分分析法對原始高光譜圖像進行降維，得到原始預訓練樣本。

14、可選的，對所述第一圖像塊進行處理的過程包括：

15、通過卷積層對所述第一圖像塊進行處理，生成第一圖像塊的塊嵌入，其中所述塊嵌入中添加有固定的位置嵌入以提供空間位置信息。

16、可選的，通過75％的掩膜率對第一圖像塊進行隨機掩膜。

17、可選的，通過編碼器對預編碼圖像塊本進行編碼的過程為：

18、x′＝layernorm(encoder(x))，

19、其中，表示被保留下來的6個較小圖像塊的嵌入，表示vit編碼器的輸出嵌入，其中encoder()表示進行解碼器處理，layernorm表示歸一化處理。

20、可選的，所述inducedtransformer結構包括依次連接的多頭注意力模塊、歸一化層及多層感知機，所述多層感知機輸出為第二圖像塊嵌入，所述多頭注意力層的輸入為編碼特征和歸一化處理的誘導嵌入，所述誘導嵌入為：

21、h＝i.repeat(n,9,1)+p1

22、其中，令i表示可訓練的誘導令牌，p1表示inducedtransformer結構中的固定的位置嵌入，repeat()表示對張量的重復操作，h表示第二圖像塊的嵌入特征。

23、可選的，在正則化掩膜自動編碼器中，編碼器為vit編碼器使用12個vit塊，編碼器中每個vit塊使用8頭注意力，解碼器為vit解碼器使用8個vit塊，解碼器中每個8個vit塊使用8頭注意力。

24、可選的，所述損失函數為：

25、l＝lmr+lir

26、其中，lmr表示掩膜重建損失，lir表示誘導重建損失也稱作正則化損失，lmr計算的是掩膜重建結果與被掩膜圖像塊之間的均方誤差，lir計算的是誘導重建結構與第二圖像塊之間的均方誤差。

27、可選的，通過adam優化器對所述正則化掩膜自動編碼器進行優化。

28、與現有技術相比，本發明具有如下優點和技術效果：

29、本發明設計一個基于正則化掩膜自動編碼器(regularized?masked?auto-encoder,rmae)的半監督高光譜圖像分類方法，該方法使用大量的無標簽樣本(也稱作預訓練樣本)對整個rmae模型預訓練400個輪次，預訓練完成后在vit編碼器后添加兩個用于完成分類任務的全連接層，并使用少量的有標簽樣本對vit編碼器的最后一個block和兩個全連接層進行調優，調優完成后獲得最終的分類結果。

30、本發明所設計的用于高光譜圖像半監督分類的正則化掩膜自動編碼器能夠自主學習高度可判別的表示并獲得令人滿意的分類結果。

技術特征：

1.基于正則化掩膜自動編碼器的半監督高光譜圖像分類方法，其特征在于，包括：

2.根據權利要求1所述的方法，其特征在于，

3.根據權利要求1所述的方法，其特征在于，

4.根據權利要求1所述的方法，其特征在于，

5.根據權利要求1所述的方法，其特征在于，

6.根據權利要求1所述的方法，其特征在于，

7.根據權利要求1所述的方法，其特征在于，

8.根據權利要求1所述的方法，其特征在于，

9.根據權利要求1所述的方法，其特征在于，

技術總結
本發明公開了基于正則化掩膜自動編碼器的半監督高光譜圖像分類方法，包括：獲取原始高光譜圖像，基于原始高光譜圖像，得到原始預訓練樣本；對所述原始預訓練樣本進行不同尺度網格的劃分，得到第一圖像塊及第二圖像塊，通過正則化掩膜自動編碼器對第一圖像塊及第二圖像塊對進行重構，并根據重構結果對正則化掩膜自動編碼器，得到預訓練好的正則化掩膜自動編碼器；對預訓練好的正則化掩膜自動編碼器的編碼器后添加用于全連接層，通過有標簽樣本對添加全連接層的解碼器進行訓練調優，得到分類模型，通過分類模型對待分類高光譜圖像進行分類，得到高光譜圖像分類結果，本發明能夠從大量無標簽樣本中學習到可判別的模式并獲得高性能的分類結果。

技術研發人員：王立國,王恒,劉丹鳳,劉海濤
受保護的技術使用者：大連民族大學
技術研發日：
技術公布日：2024/10/21