一種基板玻璃缺陷檢測方法、系統、設備及存儲介質與流程

本發明屬于玻璃缺陷檢測領域，具體涉及一種基板玻璃缺陷檢測方法、系統、設備及存儲介質。

背景技術：

1、隨著我國基板玻璃生產技術不斷成熟，基板玻璃產量逐步增加，但是，基板玻璃在生產過程中容易出現瑕疵，而帶有瑕疵的產品是無法直接進行銷售的，因此，在產品出產線前需要對生產的基板玻璃進行質量檢測。

2、相關技術中，對于基板玻璃的檢測主要采用人工觀察，對基板玻璃表面進行觀察，看是否有氣泡、結石、條紋以及裂紋等缺陷特征。隨著深度學習技術的發展，通過卷積神經網絡對圖片進行特征提取的方式來檢測基板玻璃的缺陷也逐漸被應用在缺陷檢測中。

3、針對上述相關技術，傳統的特征提取只能提取到較為表面的淺層圖像特征，在卷積過程中，圖片有較多的信息丟失導致對缺陷檢測的準確性降低。

技術實現思路

1、本發明要解決的技術問題是提供一種基板玻璃缺陷檢測方法、系統、設備及存儲介質，提高了特征提取的準確性，避免卷積過程中的信息丟失，提高檢測的準確性。

2、一種基板玻璃缺陷檢測方法，包括：

3、對訓練數據庫中的訓練圖片通過不同標簽的標注框進行標注，得到標注圖片，所述標簽代表基板玻璃不同的缺陷類型；

4、根據所述標注圖片，提取深層圖像特征和淺層圖像特征；

5、將所述淺層圖像特征和所述深層圖像特征融合，得到融合特征；

6、將所述融合特征輸入到訓練模型中對訓練模型進行訓練，改變所述訓練模型的權重，得到優化訓練模型；

7、根據所述優化訓練模型以及待檢測基板玻璃圖像的融合特征，輸出不同標簽對應的特征點，根據所述特征點生成多個預測框；

8、根據所述預測框、所述標注框以及損失函數，得到所述預測框和所述標注框的相似度；

9、根據所述相似度從多個所述預測框中選擇得到最優預測框；

10、根據所述最優預測框對應的標簽，輸出基板玻璃的缺陷的類型。

11、可選的，所述根據所述標注圖片，提取深層圖像特征和淺層圖像特征包括：

12、將所述標注圖片輸入到卷積神經網絡模型中，得到淺層圖像特征；

13、將所述標注圖片通過卷積神經網絡模型的第一層卷積層進行輸入，然后通過卷積神經網絡模型的第二層卷積層進行增維，得到增維特征；

14、將所述增維特征通過卷積神經網絡模型的第三層卷積層進行深度可分離卷積，得到中間特征；

15、對所述中間特征通過卷積神經網絡模型的第四層卷積層降維，得到降維特征，將所述降維特征作為深層圖像特征。

16、可選的，所述將所述淺層圖像特征和所述深層圖像特征融合，得到融合特征包括：

17、獲取卷積神經網絡模型的每一層卷積層的卷積權重；

18、根據每一層卷積層的所述卷積權重、所述淺層圖像特征、所述增維特征、所述中間特征、所述深層圖像特征以及融合公式，得到所述融合特征。

19、可選的，所述將所述融合特征輸入到訓練模型中對訓練模型進行訓練，改變所述訓練模型的權重，得到優化訓練模型包括：

20、獲取訓練模型的初始權重；

21、將所述融合特征輸入到所述訓練模型中對訓練模型進行訓練，得到輸出圖像；

22、將所述輸出圖像通過驗證集驗證，得到損失值；

23、根據所述損失值調整所述訓練模型的初始權重，得到優化訓練模型。

24、可選的，根據所述相似度從多個所述預測框中選擇得到最優預測框包括：

25、通過損失函數，計算每一個所述預測框和所述標注框的相似度，獲取相似度最高的預測框作為最優預測框。

26、可選的，所述損失函數包括：

27、；

28、其中，、分別表示最小外接矩形的寬和高，最小外接矩形為預測框和標注框重疊區域的矩形，為標注框的寬度，為標注框的高度，為預測框的寬度，為預測框的高度，表示標注框和預測框在寬度上的歐式距離，表示標注框和預測框在高度上的歐式距離，為預測框和標注框重疊區域面積占預測框和標注框并集面積的百分比，為標注框的中心坐標，為預測框的中心坐標。

29、可選的，對訓練數據庫中的訓練圖片通過不同標簽的標注框進行標注，得到標注圖片包括：

30、初始化標簽類型；

31、根據所述標簽類型，將訓練數據庫中的訓練圖片通過labeliming標注，得到所述標注圖片。

32、一種基板玻璃缺陷檢測系統，包括：

33、標注模塊，用于對訓練數據庫中的訓練圖片通過不同標簽的標注框進行標注，得到標注圖片，所述標簽代表基板玻璃不同的缺陷類型；

34、提取模塊，用于根據所述標注圖片，提取深層圖像特征和淺層圖像特征；

35、融合模塊，用于將所述淺層圖像特征和深層圖像特征融合，得到融合特征；

36、訓練模塊，用于將所述融合特征輸入到訓練模型中對訓練模型進行訓練，改變所述訓練模型的權重，得到優化訓練模型；

37、預測模塊，用于根據所述優化訓練模型以及待檢測基板玻璃圖像的融合特征，輸出不同標簽對應的特征點，根據所述特征點生成多個預測框；

38、比較模塊，用于根據所述預測框、所述標注框以及損失函數，得到所述預測框和所述標注框的相似度；

39、選擇模塊，用于根據所述相似度從多個所述預測框中選擇得到最優預測框；

40、輸出模塊，用于根據所述最優預測框對應的標簽，輸出基板玻璃的缺陷的類型。

41、一種終端設備，包括存儲器、處理器，所述存儲器儲存有能夠在處理器上運行的計算機程序，所述處理器加載并執行所述計算機程序時，采用了一種基板玻璃缺陷檢測方法。

42、一種計算機可讀存儲介質，所述計算機可讀存儲介質中存儲有計算機程序，所述計算機程序被處理器加載并執行時，采用了一種基板玻璃缺陷檢測方法。

43、本發明的有益效果是：首先將數據庫中的圖片通過帶有不同標簽的標注框進行標注，然后對標注圖像進行特征提取，得到深層圖像特征和淺層圖像特征，并將深層圖像特征和淺層圖像特征進行融合，得到融合特征，將融合特征輸入到訓練模型中對訓練模型進行訓練，得到優化訓練模型，然后將待檢測基板玻璃圖像的融合特征輸入到優化訓練模型中，輸出多個帶有不同標簽的特征點，根據特征點隨機生成多個預測框，然后將預測框和標注框通過損失函數計算相似度，選擇最高相似度的預測框作為最優預測框，最后根據最優預測框對應的標簽類型以及相似度輸出基板玻璃的缺陷類型以及該類型的概率。通過深層圖像特征和淺層圖像特征使得圖像的語義信息更加完整，提高檢測的準確性。

技術特征：

1.一種基板玻璃缺陷檢測方法，其特征是，包括：

2.如權利要求1所述的基板玻璃缺陷檢測方法，其特征是，所述根據所述標注圖片，提取深層圖像特征和淺層圖像特征包括：

3.如權利要求2所述的基板玻璃缺陷檢測方法，其特征是，所述將所述淺層圖像特征和所述深層圖像特征融合，得到融合特征包括：

4.如權利要求1所述的基板玻璃缺陷檢測方法，其特征是，所述將所述融合特征輸入到訓練模型中對訓練模型進行訓練，改變所述訓練模型的權重，得到優化訓練模型包括：

5.如權利要求1所述的基板玻璃缺陷檢測方法，其特征是，對訓練數據庫中的訓練圖片通過不同標簽的標注框進行標注，得到標注圖片包括：

6.一種基板玻璃缺陷檢測系統，其特征是，包括：

7.一種終端設備，包括存儲器和處理器，其特征在于，所述存儲器儲存有能夠在處理器上運行的計算機程序，所述處理器加載并執行所述計算機程序時，采用如權利要求1至5中任一項所述的方法。

8.一種計算機可讀存儲介質，所述計算機可讀存儲介質中存儲有計算機程序，其特征在于，所述計算機程序被處理器加載并執行時，采用如權利要求1至5中任一項所述的方法。

技術總結
本發明屬于玻璃缺陷檢測領域，具體涉及一種基板玻璃缺陷檢測方法、系統、設備及存儲介質，其方法包括：對標注圖像進行特征提取，得到深層圖像特征和淺層圖像特征，并將深層圖像特征和淺層圖像特征進行融合，得到融合特征，將融合特征輸入到訓練模型中進行訓練，得到優化訓練模型，將待檢測基板玻璃圖像的融合特征輸入到優化訓練模型中，輸出多個帶有不同標簽的特征點，根據特征點生成多個預測框，計算預測框和標注框的相似度，選擇最高相似度的預測框作為最優預測框，根據最優預測框對應的標簽類型以及相似度輸出基板玻璃的缺陷類型以及該類型的概率。通過提取深層圖像特征和淺層圖像特征使得圖像的語義信息更加完整，提高檢測的準確性。

技術研發人員：趙乾柏
受保護的技術使用者：湖南邵虹特種玻璃股份有限公司
技術研發日：
技術公布日：2024/10/21