本發明涉及計算機視覺,尤其涉及一種基于紅外光-可見光行人重識別的方法。
背景技術:
1、行人重識別(person?re-identification,reid)是計算機視覺領域的一項技術,被廣泛應用于公共安全、安防監控以及城市管理等領域,其主要目標在于根據給定的行人圖像在不同攝像頭的視角下識別同一行人。行人重識別能夠幫助提升公共區域的安全管理水平、減少犯罪活動,并提高城市管理的效率。目前,行人重識別技術已經取得了一定的進展,許多研究人員針對單模態下的行人重識別任務提出了一些有效的算法,并在實際應用中取得了一定成果。
2、然而,在例如夜間等光照不足的情況下,常見的可見光攝像頭無法捕獲清晰的圖像,這就會使用紅外攝像頭進行監控。紅外攝像頭拍攝的行人圖像與普通攝像頭拍攝的圖像存在巨大的模態差異,這使得難以直接沿用傳統的行人重識別方法去解決這一問題。出現了可見光-紅外行人重識別任務,其旨在處理可見光行人圖像與紅外光行人圖像之間的重識別問題。
3、因此,提出一種基于紅外光-可見光行人重識別的方法,來解決現有技術存在的困難,是本領域技術人員亟需解決的問題。
技術實現思路
1、有鑒于此,本發明提供了一種基于紅外光-可見光行人重識別的方法,dmfnet網絡包括多層特征級聯模塊和雙流特征生成模塊,共同實現了對行人特征的全面增強,多層特征級聯模塊通過對每個階段的特征進行細致提取,雙流特征生成模塊則通過生成多樣性共享特征,豐富了行人的特征表達。
2、為了實現上述目的,本發明采用如下技術方案:
3、一種基于紅外光-可見光行人重識別的方法,包括以下步驟:
4、s1.獲取數據:獲取紅外光-可見光行人重識別數據集;
5、s2.數據預處理:對紅外光-可見光行人重識別數據集進行預處理;
6、s3.數據劃分:將預處理后的紅外光-可見光行人重識別數據集劃分為訓練集和測試集;
7、s4.網絡構建:構建基于多層特征級聯模塊和雙流特征生成模塊的dmfnet網絡;
8、s5.網絡訓練:將訓練集輸入dmfnet網絡,通過損失函數更新網絡權重參數,經過若干次訓練后,得到訓練好的dmfnet網絡;
9、s6.分類識別:將測試集輸入訓練好的dmfnet網絡,評估紅外光-可見光行人重識別結果。
10、可選的,s1中從sysu-mm01數據集和regdb數據集獲取紅外光-可見光行人重識別數據集。
11、可選的,s2中對紅外光-可見光行人重識別數據集進行裁剪、隨機水平反轉和隨機擦除處理。
12、可選的,s4中選擇雙流結構的resnet-50作為骨干網絡,移除resnet-50的分類層,嵌入了多層特征級聯模塊和雙流特征生成模塊,雙流結構的resnet-50通過頂部的卷積塊學習不同模態的特定特征,然后在stage1-stage4階段學習兩個模態之間共享的特征;
13、多層特征級聯模塊提取來自resnet-50骨干網絡的不同層次的中間多層級聯特征fm,雙流特征生成模塊生成優化特征fa和基準特征fb。
14、可選的,多層特征級聯模塊提取resnet-50骨干網絡的不同層次的中間多層級聯特征fm的具體內容為:以中間特征圖作為輸入,通過第一個卷積層將輸入特征圖的通道數降維至c/r,其中,c表示輸入的中間特征圖的通道數,r是瓶頸塊中降低通道數的倍率;通過第二個卷積層將中間特征圖的通道數量恢復為c;輸出的中間特征圖進入全局平均池化層進行特征聚合,最后輸出行人的中間特征多層特征級聯模塊將resnet-50骨干網絡的stage1、stage2和stage3輸出的特征圖和作為輸入,分別輸入到三組瓶頸塊中,然后將輸出的中間特征圖在通道上進行串聯,具體公式如下所示:
15、
16、其中,bnecki表示第i個瓶頸塊,表示第i個stage輸出的中間特征圖,[a;b;c]表示將特征進行串聯;
17、得到多層級聯特征fm。
18、可選的,雙流特征生成模塊生成優化特征fa和基準特征fb的具體內容為:
19、使用實例-批量歸一化的優化特征圖,集成了ibn-a的殘差塊,公式如下所示:
20、
21、其中,表示來自骨干網絡的stage3輸出的特征圖,表示優化分支的輸出的優化特征圖,表示一個卷積塊、包含卷積核大小為3×3卷積層、代替bn的ibn以及一個relu;
22、使用常規-批量歸一化的殘差塊,作為一個基準學習常規的行人特征,公式如下所示:
23、
24、其中,conv3×3表示一個卷積塊、包含卷積核大小為3×3卷積層,是基準分支輸出的基準特征圖;
25、采用全局均值池化來獲取基準特征b和優化特征f,公式如下所示:
26、fa=avg(ibnd(xa))
27、fb=avg(xb)
28、其中,xa和xb分別表示骨干網stage4輸出的優化特征圖和基準特征圖,ibnd表示ibn-d操作。
29、可選的,對輸出的三個特征fa、fb和fm進行三重損失函數和異質中心損失函數進行監督,fa、fb和fm經過bn層后,輸入到各自的身份分類器,分類器的輸出結果通過交叉熵損失進行監督,交叉熵損失函數lce的計算公式如下:
30、
31、其中,n表示一個訓練批次中的圖像數量,表示身份分類器對行人身份i的概率預測,wi表示分類器對每個行人身份的預測權重;
32、三重損失函數lhtri的計算公式如下:
33、
34、其中,nk和nm分別表示一個訓練批次中行人身份的數量和圖像的數量;f(·)表示深度神經網絡提取出來的特征;分別表示第i個行人身份的第j個錨點圖像、同類圖像和異類圖像,i=1,2,...,nk,j=1,2,...,nm;[·]+表示取正部分;
35、異質中心損失函數lhc的計算公式如下:
36、
37、其中,表示身份類別i的可見光圖像特征中心,表示身份類別i的紅外光圖像特征中心;
38、dmfnet網絡的最終損失lt為中間特征損失lm、優化特征損失la和優化特征損失lb的總和,計算公式如下:
39、lt=lm+la+lb
40、其中,lm、la和lb均采用了交叉熵損失函數lce、三重損失函數lhtri、異質中心損失函數lhc進行監督學習。
41、可選的,為了評估dmfnet網絡的有效性,在sysu-mm01數據集上對dmfnet網絡進行可視化解釋,包括行人檢索效果圖、網絡熱力圖以及類間和類內距離頻率分布可視化。
42、經由上述的技術方案可知,與現有技術相比,本發明提供了一種基于紅外光-可見光行人重識別的方法,具有以下有益效果:
43、(1)本發明針對可見光-紅外光行人重識別任務,提出了一種新穎的多樣dmfnet網絡,能夠從不同方向提取、生成具有多樣性的中間特征,提出的dmfnet網絡通過對resnet-50骨干網絡的共享權重部分進行巧妙設計和優化,提取更具判別性的行人特征;
44、(2)dmfnet網絡包括多層特征級聯模塊和雙流特征生成模塊,共同實現了對行人特征的全面增強,多層特征級聯模塊通過對每個階段的特征進行細致提取,雙流特征生成模塊則通過生成多樣性共享特征,豐富了行人的特征表達;
45、(3)在兩個公共數據集上進行了一系列的實驗和可視化解釋,實驗證明了dmfnet網絡在處理模態差異問題上的卓越性能,各個組成部分均表現出顯著的有效性,超越了多個當前領先方法。