本發明涉及計算機視覺,尤其涉及一種基于swin?transformer模型的工業裝配場景低數據依賴缺陷檢測方法。
背景技術:
1、在工業生產中,及時準確地檢測出缺陷是避免后續工業事故和經濟損失的關鍵。傳統的人工質檢方法雖然在一定程度上能夠發現缺陷,但受限于工人的經驗和技能,以及疲勞和誤差等因素的影響,往往存在誤判和漏檢的風險。為了克服這些局限性,基于深度學習的智能化缺陷檢測算法正逐步被引入工業生產中。
2、基于深度學習的智能化算法要想發揮出理想的檢測效果一般需要較大的數據量來做訓練。但是在很多實際的工業裝配場景中,新場景的真實異常缺陷數據較難獲得,而工業生產中因來料或工藝變化,產品形態可能變化,導致獲得大量的有效標注樣本較為困難且耗時,目前的工業裝配場景缺陷檢測算法也無法實現在低數據資源情況下快速遷移并識別缺陷。
技術實現思路
1、針對現有技術的不足,本發明提供了一種基于swin?transformer模型的工業裝配場景低數據依賴缺陷檢測方法,解決了傳統方法無法實現在低數據資源情況下快速遷移并識別缺陷的技術問題。
2、為解決上述技術問題,本發明提供了如下技術方案:一種基于swin?transformer模型的工業裝配場景低數據依賴缺陷檢測方法,該方法包括以下步驟:
3、s1、獲取工業裝配場景中包含正常樣本和缺陷樣本的缺陷檢測大數據集,并根據點位信息將缺陷檢測大數據集劃分為若干個子數據集;
4、s2、使用缺陷檢測大數據集對swin?transformer網絡模型進行預訓練得到缺陷檢測模型;
5、s3、使用新場景下的部分標簽數據對缺陷檢測模型進行微調;
6、s4、將待檢測的圖片的輸入至微調后的缺陷檢測模型中得到檢測結果。
7、進一步地,在步驟s1中,所述每個子數據集的正常樣本集和缺陷樣本集都是非空樣本集,且每個子數據集的正常樣本數量略多于缺陷樣本數量。
8、進一步地,在步驟s2中,具體過程包括以下步驟:
9、s21、將缺陷檢測大數據集中的每一個正常樣本以概率p選取與同一子數據集中的另一個正常樣本組成正樣本對;并以概率1-p的概率選取與同一子數據集中的一個缺陷樣本組成負樣本對;
10、s22、將正樣本對和負樣本對輸入至swin?transformer網絡模型的特征提取模塊得到成對的特征圖f1和f2;
11、s23、通過交叉注意力模塊使成對的特征圖f1和f2進行交換正、負樣本對中所包含的信息生成特征af1和特征af2;
12、s24、將特征af1和特征af2進行拼接后送入解碼器中得到第一分類結果并計算第一分類損失;
13、s25、采用反向傳播算法根據第一分類損失從后到前更新swin?transformer網絡模型中的所有參數;
14、s26、重復步驟s21-s25直到swin?transformer網絡模型收斂或達到設定的預訓練輪數得到缺陷檢測模型;
15、s27、將子數據集中所有點位的部分正常樣本特征保存在標準庫中。
16、進一步地,在步驟s23中,交叉注意力模塊的計算公式如下:
17、
18、
19、其中,af1是注意力機制作用在特征f1上之后的結果;af2是注意力機制作用在特征f2上之后的結果;dk是鍵的維度。
20、進一步地,在步驟s24中,第一分類損失loss(y,label)的計算公式如下:
21、
22、其中,y表示swin?transformer網絡模型的預測結果;label表示正確的類別標簽;y[j為預測結果y中下標j對應的概率;α和γ均為swin?transformer網絡模型的超參數,取值為1和2;j表示預測結果y的下標,j=0,1,2,…。
23、進一步地,在步驟s3中,具體過程包括以下步驟:
24、s31、凍結缺陷檢測模型中的特征提取模塊;
25、s32、將新場景下的正樣本對和負樣本對輸入至缺陷檢測模型中的編碼器和解碼器得到第二分類結果并計算第二分類損失;
26、s33、根據第二分類損失更新缺陷檢測模型中的所有參數;
27、s34、重復步驟s31-s33直到缺陷檢測模型收斂或達到設定的微調輪數;
28、s35、根據微調結果判斷是否更新標準庫;
29、若在標準庫中有此次微調的子數據集點位,則用新的正常樣本特征替換標準庫中原先的正常樣本特征;
30、若沒有,取微調子數據集中所有點位的11個正常樣本特征加入標準庫中。
31、進一步地,在步驟s4中,具體過程包括以下步驟:
32、s41、將待檢測的圖片通過缺陷檢測模型的特征提取模塊得到目標特征;
33、s42、將目標特征與標準庫中該點位的每個特征所組成的成對特征通過交叉注意力機制模塊和解碼器模塊得到分類結果;
34、s43、對分類結果施加softargmax函數得到分類概率最大類別的分類結果;
35、s44、比較分類結果中正常以及缺陷的個數來確定最終的檢測結果。
36、進一步地,在步驟s43中,softargmax函數的計算公式如下:
37、
38、其中,x表示解碼器模塊的輸出結果;i,j是預測結果向量中的下標;e表示指數函數;β為超參數。
39、借由上述技術方案,本發明提供了一種基于swin?transformer模型的工業裝配場景低數據依賴缺陷檢測方法,至少具備以下有益效果:
40、1、本發明在新場景下僅需少量數據對缺陷檢測模型進行微調即可達到良好的缺陷檢測效果,僅需采集并標注少量樣本微調模型即可,從而降低了新工業裝配場景下訓練數據的依賴,實現了在低數據資源情況下快速遷移并對缺陷進行識別。
41、2、本發明在實際使用時僅需微調缺陷檢測模型即可,微調時會凍結模型大部分參數,僅調整少量參數,從而降低了微調時對計算資源的需求。
1.一種基于swin?transformer模型的工業裝配場景低數據依賴缺陷檢測方法,其特征在于,該方法包括以下步驟:
2.根據權利要求1所述的工業裝配場景低數據依賴缺陷檢測方法,其特征在于,在步驟s1中,所述每個子數據集的正常樣本集和缺陷樣本集都是非空樣本集,且每個子數據集的正常樣本數量略多于缺陷樣本數量。
3.根據權利要求1所述的工業裝配場景低數據依賴缺陷檢測方法,其特征在于,在步驟s2中,具體過程包括以下步驟:
4.根據權利要求3所述的工業裝配場景低數據依賴缺陷檢測方法,其特征在于,在步驟s23中,交叉注意力模塊的計算公式如下:
5.根據權利要求3所述的工業裝配場景低數據依賴缺陷檢測方法,其特征在于,在步驟s24中,第一分類損失loss(y,label)的計算公式如下:
6.根據權利要求1所述的工業裝配場景低數據依賴缺陷檢測方法,其特征在于,在步驟s3中,具體過程包括以下步驟:
7.根據權利要求1所述的工業裝配場景低數據依賴缺陷檢測方法,其特征在于,在步驟s4中,具體過程包括以下步驟:
8.根據權利要求7所述的工業裝配場景低數據依賴缺陷檢測方法,其特征在于,在步驟s43中,softargmax函數的計算公式如下: