一種基于時序視覺信號與交叉注意力的掃描激光焊接成形監測方法

本發明屬于材料加工工程領域，具體涉及一種基于時序視覺信號與交叉注意力的掃描激光焊接成形監測方法。

背景技術：

1、隨著工業自動化技術的迅猛推進，技術迭代速度急劇加快，加之產品服役環境日益嚴酷，這對工業產品的生產效率及焊接質量提出了更為嚴苛的要求。在此背景下，確保掃描激光焊接接頭成形的穩定，成為了影響工業產品性能、使用壽命及產能的重要要素之一。為了克服傳統的非在線的焊后檢測帶來的成本增加，及生產效率的降低。在線監測技術，作為產品閉環生產過程控制的關鍵環節，不僅能夠有效保障掃描焊接質量的穩定性，減少因質量問題導致的返修作業與廢品產生，顯著提升整體生產效率，還能降低生產成本。

2、先進的智能技術和精確的傳感技術的結合，為實現對焊接質量的在線檢測提供了新的思路。通過采用智能技術對采集到的焊接過程視覺信息進行提取和學習，使智能傳感系統具備能夠識別形成不同焊接接頭形貌的焊接信息能力。從而可以替代傳統的嚴重依賴專業知識的主觀判斷，智能的監測算法能夠實時在線的實現對焊接成形的判別，進而改善焊接過程的穩定性和工件連接處焊接接頭的強度。

3、研究已經表明，實際焊接過程中的熔池及匙孔信息與焊縫成形之間存在緊密的聯系，基于視覺信號的成形預測已經成為相關領域的研究熱點。中國專利申請cn117787480a公開了基于res-lstm的焊縫成形質量實時預測方法，該方法將在公共數據集上訓練的cnn模型用于提取電弧焊接熔池視覺中的特征，然后輸入到res-lstm模型中，實現對電弧焊縫成形狀態的預測，但是電弧焊接過程平穩，視覺信號質量較高，該專利所提出的res-lstm模型很容易能夠從輸入到模型中的熔池信息提取到重要信息，而本發明所提出的基于時序性視覺信號和交叉注意力特征融合深度學習模型，能夠從熔池視覺信號變化更劇烈、質量較差的激光焊接中提取到更加細節關鍵的特征，同時還彌補了lstm不具備長序列預測的能力。中國專利cn113828947b公開了一種基于雙優化的bp神經網絡激光焊接焊縫成形預測方法，此方法需要對熔池的尺寸進行提取，然后將激光焊接熔池的尺寸特征和焊接工藝參數作為輸入，實現了對焊接接頭的成形預測，其方法使用獲得的一維的熔池尺寸作為輸入，會忽略掉很多重要的信息，比如熔池的亮度、熔池的流動等信息。本發明采用時序性原始視覺圖像信號不僅包含了熔池的尺寸信息，也包含了熔池流動等動態的信息。中國專利cn109447939b公開了一種基于混合光譜視覺的熔池成形前焊縫寬度預測方法，此方法使用像素梯度對熔池輪廓進行提取，進而使用熔池寬度預測焊縫寬度，實際焊接過程中熔池寬度即是焊縫寬度。并且此方法適用于熔池視覺信號穩定的電弧焊，并不適用于視覺信號存在突變、并且圖片中亮度分布不均的激光焊。

4、目前的研究表明了采用視覺信號以及深度學習的方法可以實現對焊接成形的預測，但是相關的發明方法都集中于電弧和傳統激光焊接（無掃描激光）。相關的研究文獻已經證明了：相比于這些焊接技術，由于掃描焊接技術的激光束以上百hz的頻率攪拌熔池，導致視覺信號中的熔池形貌、表面狀態劇烈變化，同時熔池狀態改變的速率更快、差異更大，這為傳統的圖像學處理以及深度學習中的bp網絡、cnn網絡應用于掃描激光焊接成形預測帶來了很大的局限性。相關文獻也證明了：相比于電弧焊和激光焊，由于激光束的掃描運動，焊接同一位置會被周期性、重復性地加熱，因此不同時刻的視覺信號前后是有聯系的，模型應該考慮視覺信號的時序性關系，深度學習中的bp、cnn網絡并不具備提取和學習視覺信號的時序性關系，因此這些方法應用于掃描激光的成形預測又進一步受到了限制。此外，在掃描激光焊接過程中，視覺信號中存在一個其特有的現象，即匙孔表現出周期性的變化及運動，這是也預測焊縫成形的重要特征，這些方法并沒有有效地利用視覺信號中的匙孔特征信息。

技術實現思路

1、為克服現有技術的缺點，本發明提出一種基于時序視覺信號與交叉注意力的掃描激光焊接成形監測方法，可以在焊接過程中充分地提取和學習高度動態的匙孔和熔池特征，并分別準確地學習了不同時刻的匙孔和熔池視覺信號的時序特征，并采用注意力機制的方法，融合匙孔和熔池的特征，實現了掃描激光焊接接頭成形的準確預測。

2、為達到上述目的，本發明采用如下技術方案：

3、一種基于時序視覺信號與交叉注意力的掃描激光焊接成形監測方法，包括以下步驟：

4、s1：焊接前設計具有不同焊接工藝參數的掃描激光焊接實驗，用于獲取充足的視覺信號，所述焊接工藝參數包括掃描形式、焊接功率、焊接速度、掃描幅值、掃描頻率；

5、s2：根據所述s1設計的掃描激光的焊接工藝參數進行掃描激光焊接，并采集不同焊接工藝參數下的視覺信號；然后將獲取的不同參數的熔池、匙孔的視覺信號，進行語義分割得到分割后的視覺信號，然后進行通道分離，隨后與灰度轉化后的原始視覺信號共同進行掩碼操作，構建不同參數下的時序性熔池視覺信號和時序性匙孔視覺信號，形成時序性視覺信號數據集；同時制取金相試樣，獲取焊后的焊接接頭的成形照片；然后根據焊接接頭的成形形貌，對時序性視覺信號數據集進行分類，并分配相應的焊縫成形標簽；然后將時序性視覺信號數據集分為訓練集、驗證集、測試集，視覺信號作為輸入，焊縫成形標簽作為模型的輸出；

6、s3：構建基于時序視覺信號與交叉注意力的掃描激光焊接成形監測模型，其由兩個相同的具有學習時序性特征能力的模型結構分支構成，包括匙孔和熔池分支，由l層的掃描激光焊接接頭成形預測單元堆疊而成。

7、優選的，所述s1中，所述焊接工藝參數為：掃描幅值為0mm-5mm，掃描頻率為0-500hz，激光焊接功率2000-6000w，焊接速度為10-50mm/s，激光離焦量為0mm。

8、優選的，所述s2中，可采用高速攝像機或工業相機對焊接過程的視覺信息進行采集，包括：

9、將高速攝像機或工業相機固定于三角架，根據實際的采樣要求設置高速攝像機或工業相機的采樣參數，以俯視的角度獲取視覺信號；根據采集到的照片先后順序，將熔池及匙孔照片進行排序，構建具有時間順序關系的熔池及匙孔數據信號數據集。

10、優選的，所述s2中，焊接方式可為對接焊接、角接焊、搭接焊，待焊接樣件裝夾時需避免錯邊、間隙量過大等裝夾問題。

11、優選的，所述s2中，焊后采用線切割或者數控加工設備，垂直于焊縫制取焊縫金相件，然后逐次使用砂紙、拋光液進行金相件拋光操作，并采用金相試劑進行金相腐蝕，隨后采用光學顯微鏡拍攝焊縫橫截面宏觀形貌，根據焊縫的形貌特征，可以將焊縫進行分類。

12、優選的，所述s2中，首先根據焊縫成形形貌照片，將時序性匙孔及熔池視覺信號分為幾種類型；然后將每種類型下的時序性匙孔及熔池視覺信號按照一定的比例將數據集分為訓練集、驗證集和測試集。

13、優選的，所述s3中，掃描激光焊接焊縫成形監測模型包括兩個相同的具有學習時序性特征能力的模型結構的分支，分別用于提取時間序列的匙孔及熔池照片特征。

14、優選的，所述s3中，依次交替采用訓練集和驗證集進行模型的訓練和驗證，包括：k張連續的熔池圖像照片按著時間序列的順序輸入到模型中，通過采用特征提取模塊將時間序列的匙孔和熔池照片進行切分，然后映射成一維張量，并在這個張量后面拼接一個分類標簽，隨后向獲得的這個張量添加一個可學習的位置編碼；再然后將獲得的匙孔和熔池的一維特征張量輸入到transformer的encoder模塊，其中的多頭注意力機制將分別對匙孔和熔池的特征以及不同時刻之間照片的特征關系進行提取；然后再將提取后的具有時序性的特征輸入到交叉注意力模塊中，使熔池分支能夠提取到匙孔的特征，同時匙孔分支也能夠提取熔池的特征，此時兩個分支中都具備匙孔和熔池的信息將兩個分支中的分類標簽相加，通過互補共同增強模型對匙孔及熔池特征的提取能力；然后將相加結果輸入到多層感知機層中，并輸出預測的結果，再與實際的焊接接頭成形形貌的標簽值進行損失計算，并通過反向求梯度求解去優化模型的超參數，保存最優的能夠準確預測掃描激光焊接成形的模型。然后采用測試集去測試保存的最優模型的實際監測精度，驗證模型的泛化能力，進而實現對掃描激光焊接成形的實時監測。

15、本發明可以實現在線的對掃描激光焊接成形特征進行實時的監測，相比于bp、cnn神經網絡方法預測焊縫成形具有以下有益效果：

16、1、因為多頭及交叉注意力機制，可以計算圖片不同像素之間的權重，發現不同特征之間的關系，能夠提取圖片信息中更加細節的信息，視覺信號中更加劇烈的、更細節的特征將不會被忽略。因此本發明不僅能夠準確地熔池的動態特征，也能夠準確地提取小目標高度動態的匙孔特征。

17、2、本發明采用位置編碼信息對信號特征進行時序排序，能夠促使多頭及交叉注意力機制在進行特征提取時，能夠準確分別提取不同時刻熔池及匙孔之間的時序性特征。

18、3、本發明設計的雙分支結構及交叉注意力機制能夠同時更加充分地提取匙孔和熔池的信息，兩個分支互補共同增強提取與掃描激光焊接接頭成形相關的匙孔和熔池的特征提取能力，進而獲得更高的焊縫成形監測準確率。