診斷方法、深度學習訓練方法及存儲介質與流程

本發明涉及電路板故障診斷領域，具體提供一種診斷方法、深度學習訓練方法及存儲介質。

背景技術：

1、在現有的電路板故障診斷技術中，是通過技術人員的肉眼進行判斷，不僅僅要求專業度，而且受限于技術人員起伏狀態，使最終的診斷效果不佳。

2、如今隨著人工智能的發展，人工智能的識別能力給診斷工作的自動化帶來了希望。但是目前由于電路板的復雜性，包含眾多小型、相似的元件，在處理復雜電路板圖像時，人工智能常常會遇到所謂的“幻覺”現象，導致故障判斷錯誤。

3、相應地，本領域需要一種新的診斷方案來解決上述問題。

技術實現思路

1、為了克服上述缺陷，提出了本發明，以提供解決或至少部分地解決現有技術中的人工智能診斷電路板時會遇到幻覺問題。

2、在第一方面，本發明提供一種診斷方法，所述方法包括：通過已經訓練好的識別模型識別電路板圖，得到電路板的標注圖以及對應所述標注圖中元件的類別信息；基于所述類別信息生成對應所述標注圖的問題集；將所述標注圖以及所述問題集輸入至訓練好的多模態大模型中，得到診斷結果。

3、作為以上方案的替代或補充，在根據本發明一實施例的方法中，所述多模態大模型至少包括視覺編碼器、文本編碼器以及大語言模型，所述將所述標注圖以及所述問題集輸入至訓練好的多模態大模型中，得到診斷結果，包括：至少基于所述標注圖以及視覺編碼器，得到第一特征向量；將所述問題集發送至文本編碼器中，得到第二特征向量；將所述第一特征向量和第二特征向量進行融合，得到第三特征向量；將所述第三特征向量輸入至大語言模型中，得到診斷結果。

4、作為以上方案的替代或補充，在根據本發明一實施例的方法中，所述多模態大模型還包括感知層，其中所述感知層用于將視覺編碼器的輸出轉換成所述大語言模型更容易理解的特征向量，所述至少基于所述標注圖以及視覺編碼器，得到第一特征向量，包括：將所述標注圖發送至視覺編碼器中，得到初始特征向量；將所述初始特征向量發送至所述感知層中，得到第一特征向量。

5、作為以上方案的替代或補充，在根據本發明一實施例的方法中，所述標注圖包括：電路板圖以及標注，其中所述標注用于以圖像的方式標注元件。

6、作為以上方案的替代或補充，在根據本發明一實施例的方法中，所述標注包括：視覺標記以及與視覺標記對應的標識符，其中所述標識符以圖像的形式位于對應的視覺標記處，所述視覺標記用于使多模態大模型處理中的注意力更集中于視覺標記附近。

7、在第二方面，本發明提供一種深度學習訓練方法，所述方法包括：獲取第一電路板圖；通過已經訓練好的識別模型識別所述第一電路板圖，得到電路板的標注圖以及對應所述標注圖中元件的類別信息，其中所述標注圖包括視覺標記以及與視覺標記對應的標識符；基于所述標注圖以及所述類別信息，得到對應所述標注圖的訓練語料，其中所述訓練語料中包括對所述元件的說明；將所述訓練語料以及所述標注圖輸入至多模態大模型中，并基于反向傳播的方式對所述多模態大模型進行訓練。

8、作為以上方案的替代或補充，在根據本發明一實施例的方法中，所述多模態大模型至少包括視覺編碼器、文本編碼器以及大語言模型，所述將所述訓練語料以及所述標注圖輸入至多模態大模型中，包括：基于所述標注圖以及視覺編碼器，得到第一特征向量；將所述訓練語料發送至文本編碼器中，得到第二特征向量；將所述第一特征向量和第二特征向量進行融合，得到第三特征向量；將所述第三特征向量輸入至大語言模型中。

9、作為以上方案的替代或補充，在根據本發明一實施例的方法中，所述識別模型的訓練方法包括：獲取標注圖樣本以及類別信息樣本；將所述標注圖樣本以及所述類別信息樣本輸入至所述識別模型中，并基于反向傳播的方式對所述識別模型進行訓練。

10、作為以上方案的替代或補充，在根據本發明一實施例的方法中，其中所述標注圖包括視覺標記以及與視覺標記對應的標識符。

11、在第三方面，提供一種控制裝置，該控制裝置包括處理器和存儲裝置，所述存儲裝置適于存儲多條計算機程序，所述計算機程序適于由所述處理器加載并運行以執行上述診斷方法的技術方案中任一項技術方案所述的診斷方法。

12、在第四方面，提供一種計算機可讀存儲介質，該計算機可讀存儲介質其中存儲有多條計算機程序，所述計算機程序適于由處理器加載并運行以執行上述診斷方法的技術方案中任一項技術方案所述的診斷方法。

13、本發明上述一個或多個技術方案，至少具有如下一種或多種

14、有益效果：

15、在實施本發明的技術方案中，通過將已經訓練好的識別模型應用于電路板圖像分析中，有效地獲取了電路板的標注圖及元件的類別信息。進一步地，基于元器件類別信息生成的問題集，為多模態大模型提供了詳細的依據，使得多模態大模型在處理復雜的電路板時能夠更加準確地關聯視覺數據和對應的類別。提升了電路板故障診斷的準確性和效率。

技術特征：

1.一種診斷方法，其特征在于，包括：

2.根據權利要求1所述的診斷方法，其特征在于，所述多模態大模型至少包括視覺編碼器、文本編碼器以及大語言模型，所述將所述標注圖以及所述問題集輸入至訓練好的多模態大模型中，得到診斷結果，包括：

3.根據權利要求2所述的診斷方法，其特征在于，所述多模態大模型還包括感知層，所述至少基于所述標注圖以及視覺編碼器，得到第一特征向量，包括：

4.根據權利要求2或3所述的診斷方法，其特征在于，所述標注圖包括：電路板圖以及標注，其中所述標注用于以圖像的方式標注元件。

5.根據權利要求4所述的診斷方法，其特征在于，所述標注包括：視覺標記以及與視覺標記對應的標識符，其中所述標識符以圖像的形式位于對應的視覺標記處，所述視覺標記用于使多模態大模型處理中的注意力更集中于視覺標記附近。

6.一種深度學習訓練方法，其特征在于，

7.根據權利要求6所述的深度學習訓練方法，其特征在于，所述多模態大模型至少包括視覺編碼器、文本編碼器以及大語言模型，所述將所述訓練語料以及所述標注圖輸入至多模態大模型中，包括：

8.根據權利要求6所述的深度學習訓練方法，其特征在于，所述識別模型的訓練方法包括：

9.根據權利要求7所述的深度學習訓練方法，其特征在于，其中所述標注圖包括視覺標記以及與視覺標記對應的標識符。

10.一種計算機可讀存儲介質，其中存儲有多條計算機程序，其特征在于，所述計算機程序適于由處理器加載并運行以執行權利要求1至5中任一項所述的診斷方法或權利要求6至9中任一項所述的深度學習訓練方法。

技術總結
本發明涉及診斷方法、深度學習訓練方法及存儲介質。所述方法包括：通過已經訓練好的識別模型識別電路板圖，得到電路板的標注圖以及對應所述標注圖中元件的類別信息；基于所述類別信息生成對應所述標注圖的問題集；將所述標注圖以及所述問題集輸入至訓練好的多模態大模型中，得到診斷結果。本技術通過將已經訓練好的識別模型應用于電路板圖像分析中，有效地獲取了電路板的標注圖及元件的類別信息。進一步地，基于元器件類別信息生成的問題集，為多模態大模型提供了詳細的依據，使得多模態大模型在處理復雜的電路板時能夠更加準確地關聯視覺數據和對應的類別。提升了電路板故障診斷的準確性和效率。

技術研發人員：鐘南昌
受保護的技術使用者：蕪湖云從科技有限公司
技術研發日：
技術公布日：2024/10/21