本技術涉及目標檢測,特別是涉及一種訓練方法、目標檢測方法、裝置、設備和介質。
背景技術:
1、目標檢測技術被廣泛應用于監測場景(如交通監測場景、金融監測場景、工業監測場景)。以交通監測場景為例,通過布設在道路的監測設備獲取道路上一段時間的視頻,對該視頻進行目標檢測,得到目標檢測結果;基于目標檢測結果可以確定道路上目標(車輛、行人等)的軌跡、目標的類別,還可以統計道路的目標流量等等。
2、目前,大多目標檢測方法依據目標檢測模型實現。將知識蒸餾技術應用于目標檢測模型的訓練,能夠以更小的存儲及計算開銷、實現更好的檢測精度。具體而言,知識蒸餾技術在第一階段訓練大的目標檢測模型(教師模型),然后在第二階段利用該教師模型學習到的知識去訓練小的目標檢測模型(學生模型),從而將教師模型學習到的知識傳遞到學生模型的網絡結構中,最后將檢測學生模型用于目標檢測流程。
3、在實際應用中,目標檢測模型可以采用動態標簽分配方式。這樣,在第一階段可以針對教師模型學習得到對應的第一標簽分配路徑,以及在第二階段可以針對學生模型學習得到對應的第二標簽分配路徑;由于教師模型和學生模型包含不同的參數量,故第一標簽分配路徑和第二標簽分配路徑存在沖突,導致知識的傳遞效率不高。
技術實現思路
1、本技術實施例提供了一種目標檢測模型的訓練方法,能夠提高教師模型向學生模型的知識傳遞效率,以及能夠提高學生模型的目標檢測精度。
2、相應地,本技術實施例還提供了一種目標檢測模型的訓練裝置、一種目標檢測方法、一種目標檢測裝置、一種電子設備和一種機器可讀介質,用以保證上述方法的實現及應用。
3、為了解決上述問題,本技術實施例公開了一種目標檢測模型的訓練方法,所述目標檢測模型包括:教師模型和學生模型,所述方法包括:
4、將圖像樣本分別輸入教師模型和學生模型,以得到所述教師模型輸出的第一檢測結果、以及所述學生模型輸出的第二檢測結果;
5、利用動態標簽分配方式,根據所述第一檢測結果,確定所述圖像樣本中第一圖像區域對應的第一類別標簽,以及,利用動態標簽分配方式,根據所述第二檢測結果,確定所述圖像樣本中第二圖像區域對應的第二類別標簽;第一類別標簽用于表征第一圖像區域對應預設類別的正樣本或負樣本;第二類別標簽用于表征第二圖像區域對應預設類別的正樣本或負樣本;
6、根據所述第一類別標簽與所述第一檢測結果,確定第一損失信息,并根據所述第一損失信息,對所述教師模型的參數進行更新;
7、根據所述第二類別標簽與所述第二檢測結果,確定第二損失信息;根據所述第一檢測結果與所述第二檢測結果,確定第三損失信息;并根據所述第二損失信息與所述第三損失信息構成的融合損失信息,對所述學生模型的參數進行更新。
8、為了解決上述問題,本技術實施例公開了一種目標檢測方法,所述方法包括:
9、接收待檢測圖像;
10、利用目標檢測模型包含的學生模型,對所述待檢測圖像進行目標檢測,以得到對應的檢測結果;
11、對所述檢測結果進行輸出;
12、其中,所述目標檢測模型還包括:教師模型,所述目標檢測模型的訓練過程包括:將圖像樣本分別輸入教師模型和學生模型,以得到所述教師模型輸出的第一檢測結果、以及所述學生模型輸出的第二檢測結果;利用動態標簽分配方式,根據所述第一檢測結果,確定所述圖像樣本中第一圖像區域對應的第一類別標簽,以及,利用動態標簽分配方式,根據所述第二檢測結果,確定所述圖像樣本中第二圖像區域對應的第二類別標簽;第一類別標簽用于表征第一圖像區域對應預設類別的正樣本或負樣本;第二類別標簽用于表征第二圖像區域對應預設類別的正樣本或負樣本;根據所述第一類別標簽與所述第一檢測結果,確定第一損失信息,并根據所述第一損失信息,對所述教師模型的參數進行更新;根據所述第二類別標簽與所述第二檢測結果,確定第二損失信息;根據所述第一檢測結果與所述第二檢測結果,確定第三損失信息;并根據所述第二損失信息與所述第三損失信息構成的融合損失信息,對所述學生模型的參數進行更新。
13、為了解決上述問題,本技術實施例公開了一種目標檢測模型的訓練裝置,所述目標檢測模型包括:教師模型和學生模型,所述裝置包括:
14、模型處理模塊,用于將圖像樣本分別輸入教師模型和學生模型,以得到所述教師模型輸出的第一檢測結果、以及所述學生模型輸出的第二檢測結果;
15、第一類別標簽確定模塊,用于利用動態標簽分配方式,根據所述第一檢測結果,確定所述圖像樣本中第一圖像區域對應的第一類別標簽;
16、第二類別標簽確定模塊,用于利用動態標簽分配方式,根據所述第二檢測結果,確定所述圖像樣本中第二圖像區域對應的第二類別標簽;第一類別標簽用于表征第一圖像區域對應預設類別的正樣本或負樣本;第二類別標簽用于表征第二圖像區域對應預設類別的正樣本或負樣本;
17、第一參數處理模塊,用于根據所述第一類別標簽與所述第一檢測結果,確定第一損失信息,并根據所述第一損失信息,對所述教師模型的參數進行更新;
18、第二參數處理模塊,用于根據所述第二類別標簽與所述第二檢測結果,確定第二損失信息;根據所述第一檢測結果與所述第二檢測結果,確定第三損失信息;并根據所述第二損失信息與所述第三損失信息構成的融合損失信息,對所述學生模型的參數進行更新。
19、可選地,所述第一類別標簽確定模塊包括:
20、損失及并交比確定模塊,用于根據所述第一圖像區域對應的第一檢測結果與真實區域的信息,確定第四損失信息、以及第一并交比信息;所述真實區域的信息與預設類別相對應;
21、正樣本數量確定模塊,用于根據所述第一并交比信息,確定真實區域所對應的正樣本數量;
22、選取模塊,用于按照第四損失信息從小到大的順序,從所述圖像樣本中的第一圖像區域中選取符合所述正樣本數量的第一目標圖像區域;
23、正負樣本標簽確定模塊,用于將所述第一目標圖像區域對應的第一類別標簽,確定為所述預設類別對應的正樣本標簽,以及,將所述圖像樣本中除了所述第一目標圖像區域之外的第一圖像區域對應的第一類別標簽,確定為所述預設類別對應的負樣本標簽。
24、可選地,所述第一檢測結果或所述第二檢測結果對應的檢測結果包括如下信息中的至少一種:
25、所述圖像樣本中像素點屬于預設類別的類別概率信息;
26、所述圖像樣本中屬于預設類別的圖像區域的區域位置信息;以及
27、所述圖像樣本中像素點屬于圖像前景的前景概率信息。
28、可選地,所述第一檢測結果包括:第一類別概率信息、和/或第一區域位置信息、和/或第一前景概率信息;所述第一參數處理模塊包括:
29、第一損失確定模塊,用于根據所述第一類別概率信息與所述第一類別標簽,確定對應的第一交叉熵類別損失信息;和/或
30、第二損失確定模塊,用于根據所述第一前景概率信息與所述第一類別標簽,確定對應的第一交叉熵前景損失信息;和/或
31、第三損失確定模塊,用于根據所述第一區域位置信息與所述第一類別標簽對應的位置信息,確定對應的第一并交比損失信息。
32、可選地,所述第一檢測結果包括:第一區域位置信息,所述第二檢測結果包括:第二區域位置信息;所述第二參數處理模塊包括:
33、轉換模塊,用于將所述第一區域位置信息轉換為第一邊界概率值,以及將所述第二區域位置信息轉換為第二邊界概率值;
34、歸一化模塊,用于將所述第一邊界概率值歸一化為第一歸一化邊界概率值,將所述第二邊界概率值歸一化為第二歸一化邊界概率值;
35、相對熵運算模塊,用于根據所述第一歸一化邊界概率值和所述第二歸一化邊界概率值,進行相對熵運算,以得到所述第三損失信息。
36、本技術實施例還公開了一種電子設備,包括:處理器;和存儲器,其上存儲有可執行代碼,當所述可執行代碼被執行時,使得所述處理器執行如本技術實施例所述的方法。
37、本技術實施例還公開了一種機器可讀介質,其上存儲有可執行代碼,當所述可執行代碼被執行時,使得處理器執行如本技術實施例所述的方法。
38、本技術實施例包括以下優點:
39、本技術實施例使用圖像樣本對教師模型和學生模型進行協同訓練。在協同訓練過程中,教師模型和學生模型分別接受各自類別標簽的監督產生對應的第一損失信息和第二損失信息,同時,教師模型的第一檢測結果也作為學生模型的第二檢測結果的監督信息以產生對應的第三損失信息。上述教師模型的第一檢測結果也作為學生模型的第二檢測結果的監督信息,可以使學生模型將對齊教師模型的錨框中心點作為目標,故本技術實施例能夠提高第一標簽分配路徑與第二標簽分配路徑中包含的錨框中心點之間的匹配度,因此,本技術實施例能夠提高教師模型向學生模型的知識傳遞效率。
40、并且,在提高教師模型向學生模型的知識傳遞效率的情況下,本技術實施例能夠提高學生模型的目標檢測精度。