本發明涉及一種鐵路桿號牌與公里標識別方法及相關裝置,屬于圖像處理領域。
背景技術:
1、在鐵路運輸系統中,準確、快速地識別鐵路環境中的桿號牌與公里標對于保障列車安全運行、提升調度效率具有重要意義。隨著深度學習技術的發展和鐵路圖像數據量的急劇增加,基于深度學習的鐵路桿號牌與公里標識別方法正逐漸成為主流,但是在實際應用中,由于鐵路信息的種類繁多且環境復雜多變,通常采用復雜的網絡模型來提高識別的準確性,這種模型會占用更多的內存和計算資源,限制了在資源受限設備上部署的可能性。
技術實現思路
1、本發明提供了一種鐵路桿號牌與公里標識別方法及相關裝置,解決了背景技術中披露的問題。
2、根據本公開的一個方面,提供一種鐵路桿號牌與公里標識別方法,其特征在于,包括:
3、獲取鐵路桿號牌與公里標所在的圖像;
4、根據鐵路桿號牌與公里標所在的圖像,采用預先訓練的知識蒸餾模型中的學生模型,進行鐵路桿號牌與公里標識別;
5、其中,在知識蒸餾模型訓練過程中,將相同的訓練樣本輸入教師模型和學生模型,獲得教師模型的特征表征圖、學生模型的特征表征圖、教師模型的輸出以及學生模型的輸出;根據特征表征圖,采用自主立意機制,獲得特征表征圖中的像素關系;在特征表征圖上蒸餾空間知識,建立特征蒸餾損失;在像素關系上蒸餾全局知識,建立關系蒸餾損失;在輸出上蒸餾語義知識,建立輸出蒸餾損失;根據特征蒸餾損失、關系蒸餾損失和輸出蒸餾損失,構建總的蒸餾損失。
6、在本公開的一些實施例中,在蒸餾空間知識時,構建gaussian掩碼模擬前景真實標簽部分;
7、特征蒸餾損失為:
8、;
9、式中,lf為特征蒸餾損失,w、h和c分別為特征表征圖的長、寬和通道數量,為歸一化因子,為用來對齊學生模型特征表征圖中特征空間維度和教師模型特征表征圖中特征空間維度的線性轉換層,為教師模型的特征表征圖中第i行、第j列、第c個通道的特征,為學生模型的特征表征圖中第i行、第j列、第c個通道的特征,mijc為第i行、第j列、第c個通道的gaussian掩碼。
10、在本公開的一些實施例中,關系蒸餾損失為:
11、;
12、式中,lr為關系蒸餾損失,w、h和c分別為特征表征圖的長、寬和通道數量,為用來對齊學生模型特征表征圖中像素關系和教師模型特征表征圖中像素關系的線性轉換層,為學生模型特征表征圖中第i行、第j列、第c個通道的像素關系,為教師模型的特征表征圖中第i行、第j列、第c個通道的像素關系,表示求解l2距離。
13、在本公開的一些實施例中,輸出包括預測分類和預測位置;
14、在輸出上蒸餾語義知識,建立輸出蒸餾損失,包括:
15、比較教師模型和學生模型在預測分類概率上的差異,建立初始的分類差異損失;
16、根據初始的分類差異損失,利用損失加權策略,建立輸出蒸餾損失中的分類差異損失;
17、比較教師模型和學生模型在預測位置上的差異,建立初始的位置差異損失;
18、根據初始的位置差異損失,利用損失加權策略,建立輸出蒸餾損失中的位置差異損失;其中,在損失加權策略中,權重根據類別的重要性或難易程度調整。
19、在本公開的一些實施例中,輸出蒸餾損失中的分類差異損失為:
20、;
21、式中,lc為輸出蒸餾損失中的分類差異損失,n為位置總數,k為類別總數,lbce為二元交叉熵損失,分別為中第i1個預測位置的第j1個預測類別,為教師模型輸出的預測分類,為學生模型輸出的預測分類,為第i1個預測位置的第j1個預測類別的權重。
22、在本公開的一些實施例中,輸出蒸餾損失中的位置差異損失為:
23、;
24、式中,ll為輸出蒸餾損失中的位置差異損失,n為位置總數,k為類別總數,lgiou為廣義交并聯合損失,分別為教師模型輸出的第i1個預測位置和學生模型輸出的第i1個預測位置,為權重矩陣中第j1個預測類別所在行的最大權重。
25、在本公開的一些實施例中,總的蒸餾損失為:
26、;
27、式中,lf為特征蒸餾損失,lr為關系蒸餾損失,lc為輸出蒸餾損失中的分類差異損失,ll為輸出蒸餾損失中的位置差異損失,ltotal為總的蒸餾損失,分別為lf、lr、lc、ll的平衡系數。
28、根據本公開的另一個方面,提供一種鐵路桿號牌與公里標識別裝置,包括:
29、獲取模塊,獲取鐵路桿號牌與公里標所在的圖像;
30、識別模塊,根據鐵路桿號牌與公里標所在的圖像,采用預先訓練的知識蒸餾模型中的學生模型,進行鐵路桿號牌與公里標識別;
31、其中,在知識蒸餾模型訓練過程中,將相同的訓練樣本輸入教師模型和學生模型,獲得教師模型的特征表征圖、學生模型的特征表征圖、教師模型的輸出以及學生模型的輸出;根據特征表征圖,采用自主立意機制,獲得特征表征圖中的像素關系;在特征表征圖上蒸餾空間知識,建立特征蒸餾損失;在像素關系上蒸餾全局知識,建立關系蒸餾損失;在輸出上蒸餾語義知識,建立輸出蒸餾損失;根據特征蒸餾損失、關系蒸餾損失和輸出蒸餾損失,構建總的蒸餾損失。
32、根據本公開的另一個方面,提供一種計算機可讀存儲介質,計算機可讀存儲介質存儲一個或多個程序,一個或多個程序包括指令,指令當由計算設備執行時,使得計算設備執行鐵路桿號牌與公里標識別方法。
33、根據本公開的另一個方面,提供一種計算機設備,包括一個或多個處理器、以及一個或多個存儲器,一個或多個程序存儲在一個或多個存儲器中并被配置為由一個或多個處理器執行,一個或多個程序包括用于執行鐵路桿號牌與公里標識別方法的指令。
34、本發明所達到的有益效果:本發明摒棄了傳統復雜的識別模型,采用知識蒸餾模型中的學生模型進行鐵路桿號牌與公里標識別,在保證識別性能的同時降低所占用的內存和計算資源,可部署在資源受限的設備上,并且本發明的模型中并非考慮單一類型的蒸餾方法,考慮了特征蒸餾損、像素關系蒸餾和模型輸出蒸餾,可根據任務的復雜性自動調整蒸餾策略,使得模型在任務中能夠保持優秀的性能。
1.一種鐵路桿號牌與公里標識別方法,其特征在于,包括:
2.根據權利要求1所述的鐵路桿號牌與公里標識別方法,其特征在于,在蒸餾空間知識時,構建gaussian掩碼模擬前景真實標簽部分;
3.根據權利要求1所述的鐵路桿號牌與公里標識別方法,其特征在于,關系蒸餾損失為:
4.根據權利要求1所述的鐵路桿號牌與公里標識別方法,其特征在于,輸出包括預測分類和預測位置;
5.根據權利要求4所述的鐵路桿號牌與公里標識別方法,其特征在于,輸出蒸餾損失中的分類差異損失為:
6.根據權利要求4所述的鐵路桿號牌與公里標識別方法,其特征在于,輸出蒸餾損失中的位置差異損失為:
7.根據權利要求4所述的鐵路桿號牌與公里標識別方法,其特征在于,總的蒸餾損失為:
8.一種鐵路桿號牌與公里標識別裝置,其特征在于,包括:
9.一種存儲一個或多個程序的計算機可讀存儲介質,其特征在于:一個或多個程序包括指令,指令當由計算設備執行時,使得計算設備執行權利要求1至7所述的任一方法。
10.一種計算設備,其特征在于:包括,