一種基于語(yǔ)言圖像模型的產(chǎn)品缺陷的分類方法、系統(tǒng)及存儲(chǔ)介質(zhì)與流程

本發(fā)明涉及工業(yè)產(chǎn)品缺陷檢測(cè)，特別是一種基于語(yǔ)言圖像模型的產(chǎn)品缺陷的分類方法、系統(tǒng)及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、隨著工業(yè)制造的自動(dòng)化和智能化發(fā)展，工業(yè)產(chǎn)品(例如螺母、墊片、管件等)質(zhì)量檢測(cè)成為工業(yè)生產(chǎn)中的重要環(huán)節(jié)。傳統(tǒng)的視覺(jué)檢測(cè)方法在面對(duì)復(fù)雜的產(chǎn)品缺陷和多樣的產(chǎn)品形態(tài)時(shí)，產(chǎn)品缺陷的分類存在效率低、準(zhǔn)確率不足等問(wèn)題。這種方法通常依賴于規(guī)則和手工特征設(shè)計(jì)，難以適應(yīng)不斷變化的工業(yè)生產(chǎn)環(huán)境和多樣化的產(chǎn)品缺陷。

2、近年來(lái)，基于深度學(xué)習(xí)的語(yǔ)言圖像模型(例如：contrastive?language–imagepre-training，clip模型)在圖像處理和自然語(yǔ)言理解方面取得了顯著進(jìn)展，實(shí)現(xiàn)圖像和文本之間的相互檢索和匹配，展現(xiàn)了強(qiáng)大的特征提取和多模態(tài)理解能力。

3、基于transformer架構(gòu)的模型(例如：bidirectional?encoder?representationsfrom?transformers，bert模型)，其雙向編碼器結(jié)構(gòu)能夠捕捉句子中的上下文信息，提高句子的理解能力。基于transformer架構(gòu)的模型模型在自然語(yǔ)言處理和計(jì)算機(jī)視覺(jué)任務(wù)中取得了卓越的性能，然而，將這些技術(shù)應(yīng)用于產(chǎn)品缺陷的分類中仍存在挑戰(zhàn)。

4、目前，產(chǎn)品缺陷的分類的研究和應(yīng)用要集中在以下幾個(gè)方向：

5、監(jiān)督學(xué)習(xí)的圖像分類和檢測(cè)：傳統(tǒng)的圖像分類方法使用卷積神經(jīng)網(wǎng)絡(luò)(cnn)等模型進(jìn)行特征提取和分類，但這些方法通常僅限于二分類或多分類任務(wù)，缺乏對(duì)復(fù)雜產(chǎn)品缺陷的細(xì)粒度分類能力。

6、無(wú)監(jiān)督或半監(jiān)督異常檢測(cè)：通過(guò)建立正常樣本的特征分布模型來(lái)檢測(cè)缺陷類型。然而，這些方法對(duì)缺陷類型的識(shí)別和分類能力有限，無(wú)法有效處理多種缺陷類型的細(xì)粒度分類任務(wù)。

7、多模態(tài)學(xué)習(xí)：多模態(tài)學(xué)習(xí)方法將圖像和文本數(shù)據(jù)結(jié)合起來(lái)進(jìn)行聯(lián)合特征學(xué)習(xí)，例如clip模型通過(guò)聯(lián)合訓(xùn)練圖像和文本數(shù)據(jù)，能夠在開放域中進(jìn)行圖像分類和檢索，其同樣無(wú)法有效處理多種缺陷類型的細(xì)粒度分類任務(wù)。

8、在實(shí)際應(yīng)用中，產(chǎn)品缺陷檢測(cè)需要應(yīng)對(duì)多種類型的缺陷和復(fù)雜的場(chǎng)景，這要求語(yǔ)言圖像模型具有更高的靈活性和準(zhǔn)確性。傳統(tǒng)方法和現(xiàn)有的深度學(xué)習(xí)的語(yǔ)言圖像模型在處理多類別分類和細(xì)粒度產(chǎn)品缺陷時(shí)，存在以下不足：

9、缺乏統(tǒng)一的產(chǎn)品缺陷類型庫(kù)：現(xiàn)有研究中，各類數(shù)據(jù)集的缺陷類型定義不統(tǒng)一，導(dǎo)致語(yǔ)言圖像模型在不同數(shù)據(jù)集之間的遷移和應(yīng)用受到限制。

10、分類粒度不足：現(xiàn)有方法多集中于宏觀的分類任務(wù)，缺乏對(duì)細(xì)粒度缺陷類型的識(shí)別和分類能力。

11、數(shù)據(jù)處理復(fù)雜：數(shù)據(jù)加載和處理過(guò)程中，通常只能讀取圖像數(shù)據(jù)，缺乏對(duì)缺陷類型的全面提取和利用，影響了語(yǔ)言圖像模型的訓(xùn)練效果。

12、模型結(jié)構(gòu)單一：傳統(tǒng)語(yǔ)言圖像模型的輸出層設(shè)計(jì)通常只支持二分類或簡(jiǎn)單的多分類任務(wù)，無(wú)法滿足復(fù)雜多樣的工業(yè)產(chǎn)品缺陷檢測(cè)需求。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提出了一種基于語(yǔ)言圖像模型的產(chǎn)品缺陷的分類方法、系統(tǒng)及存儲(chǔ)介質(zhì)，以解決現(xiàn)有語(yǔ)言圖像模型在產(chǎn)品缺陷的分類時(shí)，缺乏對(duì)細(xì)粒度產(chǎn)品缺陷類型的識(shí)別和分類能力的技術(shù)問(wèn)題。

2、本發(fā)明的一個(gè)方面在于提供一種基于語(yǔ)言圖像模型的產(chǎn)品缺陷的分類方法，所述分類方法包括如下方法步驟：

3、s1、建立產(chǎn)品缺陷類型庫(kù)；所述產(chǎn)品缺陷類型庫(kù)包括不同缺陷類型的多個(gè)大類別，每一個(gè)大類別包括不同缺陷類型的多個(gè)子類別；

4、s2、收集不同產(chǎn)品缺陷圖像集中的產(chǎn)品缺陷圖像，以及產(chǎn)品缺陷圖像的缺陷類型；利用建立的產(chǎn)品缺陷類型庫(kù)，對(duì)收集的所有產(chǎn)品缺陷圖像的缺陷類型進(jìn)行預(yù)處理；

5、s3、修改語(yǔ)言圖像模型：在語(yǔ)言圖像模型的提示詞學(xué)習(xí)器中添加多個(gè)缺陷類型文本學(xué)習(xí)模塊；

6、并且，在語(yǔ)言圖像模型的二分類輸出層中添加多個(gè)缺陷類型文本向量輸出節(jié)點(diǎn)，使語(yǔ)言圖像模型的二分類輸出層修改為多分類輸出層；

7、s4、使用步驟s2預(yù)處理后的所有產(chǎn)品缺陷圖像的缺陷類型、產(chǎn)品缺陷類型庫(kù)的大類別和子類別，訓(xùn)練修改后的語(yǔ)言圖像模型；

8、s5、將收集的不同產(chǎn)品缺陷圖像集中的產(chǎn)品缺陷圖像、產(chǎn)品缺陷類型庫(kù)的大類別和子類別，輸入到修改后的語(yǔ)言圖像模型，輸出收集的產(chǎn)品缺陷圖像的缺陷類型概率分布；

9、s6、從修改后的語(yǔ)言圖像模型輸出的產(chǎn)品缺陷圖像的缺陷類型概率分布中，選取產(chǎn)品缺陷圖像概率最高的缺陷類型；

10、將選取的缺陷類型，使用預(yù)先處理好的缺陷類型字段標(biāo)注，完成產(chǎn)品缺陷的分類。

11、在一個(gè)優(yōu)選的實(shí)施例中，在步驟s2中，對(duì)收集的所有產(chǎn)品缺陷圖像的缺陷類型進(jìn)行預(yù)處理，包括如下方法步驟：

12、s201、將收集的所有產(chǎn)品缺陷圖像的缺陷類型，與產(chǎn)品缺陷類型庫(kù)中的大類別進(jìn)行匹配；

13、s202、將與大類別匹配后的產(chǎn)品缺陷圖像的缺陷類型進(jìn)行聚類，并將聚類后的產(chǎn)品缺陷圖像的缺陷類型與大類別下的子類別匹配。

14、在一個(gè)優(yōu)選的實(shí)施例中，在步驟s201中，使用bert模型對(duì)收集的所有產(chǎn)品缺陷圖像的缺陷類型進(jìn)行嵌入向量計(jì)算，提取每個(gè)產(chǎn)品缺陷圖像的缺陷類型的高維向量；

15、計(jì)算每個(gè)產(chǎn)品缺陷圖像的缺陷類型的高維向量，與產(chǎn)品缺陷類型庫(kù)中的大類別的余弦相似度；

16、選取余弦相似度最高的大類別，與該產(chǎn)品缺陷圖像的缺陷類型匹配。

17、在一個(gè)優(yōu)選的實(shí)施例中，在步驟s202中，使用主成分分析方法，將每個(gè)產(chǎn)品缺陷圖像的缺陷類型的高維向量降維至二維或三維空間；

18、使用無(wú)監(jiān)督學(xué)習(xí)方法，對(duì)降維后的產(chǎn)品缺陷圖像的缺陷類型在二維或三維空間進(jìn)行聚類。

19、在一個(gè)優(yōu)選的實(shí)施例中，在步驟s4中，將步驟s2預(yù)處理后的所有產(chǎn)品缺陷圖像的缺陷類型，以及產(chǎn)品缺陷類型庫(kù)的大類別和子類別，輸入到修改后的語(yǔ)言圖像模型的提示詞學(xué)習(xí)器；

20、以產(chǎn)品缺陷圖像的缺陷類型概率分布作為分類結(jié)果的訓(xùn)練目標(biāo)，訓(xùn)練修改后的語(yǔ)言圖像模型。

21、在一個(gè)優(yōu)選的實(shí)施例中，修改后的語(yǔ)言圖像模型的訓(xùn)練過(guò)程中，使用交叉熵?fù)p失函數(shù)優(yōu)化訓(xùn)練目標(biāo)。

22、在一個(gè)優(yōu)選的實(shí)施例中，在步驟s5中，將收集的不同產(chǎn)品缺陷圖像集中的產(chǎn)品缺陷圖像，輸入到修改后的語(yǔ)言圖像模型的圖像輸入模塊；

23、將產(chǎn)品缺陷類型庫(kù)的大類別和子類別，輸入到修改后的語(yǔ)言圖像模型的提示詞學(xué)習(xí)器；

24、修改后的語(yǔ)言圖像模型，輸出收集的產(chǎn)品缺陷圖像的缺陷類型概率分布。

25、本發(fā)明的另一個(gè)方面在于提供一種基于語(yǔ)言圖像模型的產(chǎn)品缺陷的分類系統(tǒng)，所述分類系統(tǒng)用于執(zhí)行本發(fā)明提供的一種基于語(yǔ)言圖像模型的產(chǎn)品缺陷的分類方法。

26、本發(fā)明的又一個(gè)方面在于提供一種存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)，用于存儲(chǔ)計(jì)算機(jī)執(zhí)行指令，所述計(jì)算機(jī)執(zhí)行指令，用于執(zhí)行本發(fā)明提供的一種基于語(yǔ)言圖像模型的產(chǎn)品缺陷的分類方法。

27、與現(xiàn)有技術(shù)相比，本發(fā)明具有以下有益效果：

28、本發(fā)明提出的一種基于語(yǔ)言圖像模型的產(chǎn)品缺陷的分類方法、系統(tǒng)及存儲(chǔ)介質(zhì)，通過(guò)建立一個(gè)通用的產(chǎn)品缺陷類型庫(kù)，實(shí)現(xiàn)不同數(shù)據(jù)集之間的缺陷類型映射和比較，提高了語(yǔ)言圖像模型的泛化能力，有效解決現(xiàn)有語(yǔ)言圖像模型在產(chǎn)品缺陷的分類時(shí)，缺乏對(duì)細(xì)粒度缺陷類型的識(shí)別和分類能力。

29、本發(fā)明提出的一種基于語(yǔ)言圖像模型的產(chǎn)品缺陷的分類方法、系統(tǒng)及存儲(chǔ)介質(zhì)，針對(duì)多類別分類任務(wù)，優(yōu)化了語(yǔ)言圖像模型的提示詞學(xué)習(xí)器和二分類輸出層，更新了語(yǔ)言圖像模型的結(jié)構(gòu)，使語(yǔ)言圖像模型增加了處理復(fù)雜多類別產(chǎn)品缺陷的能力。

30、本發(fā)明提出的一種基于語(yǔ)言圖像模型的產(chǎn)品缺陷的分類方法、系統(tǒng)及存儲(chǔ)介質(zhì)，在語(yǔ)言圖像模型的提示詞學(xué)習(xí)器中添加缺陷類型文本學(xué)習(xí)模塊，在提示詞學(xué)習(xí)中增加了對(duì)缺陷類型的描述，使語(yǔ)言圖像模型更好的理解和分類不同類型的產(chǎn)品缺陷。

31、本發(fā)明提出的一種基于語(yǔ)言圖像模型的產(chǎn)品缺陷的分類方法、系統(tǒng)及存儲(chǔ)介質(zhì)，使用交叉熵?fù)p失函數(shù)訓(xùn)練語(yǔ)言圖像模型，以適應(yīng)多類別分類任務(wù)，進(jìn)一步提高了語(yǔ)言圖像模型的分類能力。

32、本發(fā)明提供的一種基于語(yǔ)言圖像模型的產(chǎn)品缺陷的分類方法、系統(tǒng)及存儲(chǔ)介質(zhì)，產(chǎn)品缺陷的分類的準(zhǔn)確率顯著提升，本發(fā)明在實(shí)際應(yīng)用中具有重要的價(jià)值和廣泛的應(yīng)用前景。