本發明涉及焊縫自動識別,具體而言,涉及一種基于激光視覺的焊縫打磨方法及打磨設備。
背景技術:
1、隨著工業機器人智能化的快速發展,拋磨機器人、焊接機器人的應用得到了很大的推動。利用工業機器人來進行自動化打磨是打磨行業發展的必然趨勢。
2、同時,針對大型的結構件的焊縫打磨或補焊,現有技術中是通過人工示教機器人,將機器人末端的打磨工具移動至待打磨焊縫的所在位置,然后再根據項目要求,設置相關的參數(如磨料的選擇、轉速、下壓力等)開始焊縫的打磨作業。這種方式效率低下,且浪費人工,只適用于焊縫的打磨或補焊數量很少的結構件。為此,現有技術中產生了焊縫的自動識別方法,也就是視覺識別技術,這需要使用目標檢測算法。目前,在目標檢測領域,深度學習已經成為了主流方法。常見的算法包括faster?r-cnn模型、基于alexnet的cnn模型、u-net模型、yolo系列模型等,這些算法已被成功應用于各行各業的目標檢測任務中,并取得了較好的檢測效果,尤其是yolo系列模型的綜合性能更為突出。
3、然而,這些算法在特定的檢測任務中仍存在一定的局限性,尤其是yolo系列,為保證對焊縫的準確識別,通用型的深度學習模型需要特殊的調整和優化來應對焊縫的檢測識別。這造成工控機的計算量巨大、內存占用非常高,導致工控機運行中出現卡頓,甚至發生死機。
技術實現思路
1、本發明要解決的技術問題是,在焊縫自動檢測識別過程中,如何解決yolo系列模型出現的計算量巨大、內存占用非常高的技術問題。
2、為解決上述問題,本發明提供一種用于自動識別焊縫的yolov5改進方法,包括:
3、使用cspdarknet53骨干網絡作為backbone主干網絡;
4、將ghostnet模塊與conv模塊融合為ghostconv模塊并設置在所述cspdarknet53骨干網絡中;
5、將ghostnet模塊與c3模塊融合為c3ghost模塊并設置在所述cspdarknet53骨干網絡中;
6、將se模塊設置在所述cspdarknet53骨干網絡中;
7、將sppf模塊設置在所述cspdarknet53骨干網絡中,將所述sppf模塊構建為用于在不同尺度下對所述cspdarknet53骨干網絡中的圖像進行池化。
8、可選地,使所述ghostconv模塊主要由第一卷積層、bn層和激活函數組成,
9、使所述第一卷積層用于提取輸入特征中的局部空間信息;
10、使所述bn層用于規范化神經網絡中的特征值分布;
11、使所述激活函數用于為所述神經網絡引入非線性變換能力。
12、可選地,所述激活函數為sigmoid激活函數,所述sigmoid激活函數的公式為:
13、
14、或者,所述激活函數為relu激活函數,所述relu激活函數的公式為:
15、
16、可選地,將所述se模塊設置為用于擠壓和激勵,以將原特征重構為1×1×c的權重矩陣。
17、可選地,使所述se模塊將原特征重構為1×1×c的權重矩陣包括:
18、設定input特征圖x,并使所述input特征圖x經過ftr操作生成為特征圖u;
19、將所述特征圖u全局平均池化并生成為1×1×c的向量;
20、使用兩個全連接層對所述1×1×c的向量處理,獲得通道權重值;
21、使用所述通道權重值對所述特征圖u進行權重賦值。
22、可選地,所述的yolov5改進方法還包括:
23、使所述的yolov5的head主要由錨框、第二卷積層、預測層及非極大值抑制算法組成。
24、可選地,使所述錨框用于在特征圖上生成候選框;
25、使所述第二卷積層用于處理所述特征圖和提取特征;
26、使多個所述預測層一一對應的預測相應的多個邊界框和類別;
27、在多個所述邊界框中,使用所述預測層及非極大值抑制算法抑制多個所述邊界框中重疊的邊界框。
28、可選地,所述的yolov5改進方法還包括:
29、使所述的yolov5的input采用mosaic數據增強方式。
30、另外,本發明還提供了一種機器人設備,包括:打磨或焊接裝置、機械臂、圖像采集裝置和控制系統,所述打磨或焊接裝置設置在所述機械臂的末端,所述圖像采集裝置設置在所述機械臂末端,所述控制系統與所述機械臂控制連接,所述圖像采集裝置與所述控制系統連接,
31、通過所述控制系統控制所述機械臂,所述圖像采集裝置采集含有焊縫的工件表面的圖像;
32、所述控制系統使用yolov5識別所述圖像中的焊縫,所述yolov5由所述的yolov5改進方法改進后獲得;
33、通過所述控制系統控制所述機械臂,所述打磨或焊接裝置對焊縫進行焊接或打磨。
34、可選地,所述圖像采集裝置為ccd相機。
35、本發明的技術效果至少包括:
36、本發明中,利用yolov5具有自適應錨框計算的功能和自適應圖片縮放的功能。從而能對原始圖像自適應地添加最少的黑邊,提高推力速度。并且,使用cspdarknet53骨干網絡作為backbone主干網絡,利用cspdarknet53骨干網絡的相對輕量級的網絡特點,既實現保證較高檢測精度,同時又盡可能地減少計算量和內存占用。并且,將ghostnet模塊與conv模塊融合為ghostconv模塊并設置在所述cspdarknet53骨干網絡中,也就是使用ghostconv模塊替代原backbone主干網絡中的conv,一方面利用ghostnet模塊提高焊縫檢測的準確率,另一方面利用ghostconv模塊的學習能力強并且能夠以非常小的計算量從原始特征發掘所需信息的“ghost”特征圖,實現大幅度提升運算速度和效率。另外,將ghostnet模塊與c3模塊融合為c3ghost模塊,利用c3ghost模塊增加網絡的深度和感受野,實現對圖片中特征感知敏銳。
37、更重要的是,在工廠的車間內光線昏暗,或者焊縫與結構件顏色相近導致的焊縫邊緣輪廓不明顯的情況,現有技術中的視覺算法模型無法有效地識別出圖像中的完整焊縫輪廓,影響對焊縫形狀及面積檢測準確性,無法有效檢測出焊縫形狀、位置是否達到設定標準,更不利于在發現焊縫未達標后的補焊操作。而本發明中的c3ghost模塊具有特征提取能力更強,將其設置在所述cspdarknet53骨干網絡中,使得cspdarknet53骨干網絡將原始的輸入圖像轉化的多層特征圖的還原度更高、更精準,保證后續執行目標檢測任務的精準性,從而實現本發明中改進后的yolov5對工件表面的焊縫特征提取準確。
38、接著,利用se模塊即senet(squeeze-and-excitation?networks),進行擠壓(squeeze)和激勵(excitation),利用se模塊的注意力機制特性,使其在channel維度上做attention或者gating操作,這種注意力機制讓se模塊更加關注信息量最大的channel特征,如焊縫及其邊緣處的特征,而抑制不重要的channel特征,如工件的規則表面處的特征。同時,se模塊的注意力機制的計算量相對其他同類型的模塊很小,可以在不增加過多計算量的情況下提升模型的整體性能,使得改進后的yolov5的計算量降低、并減少相應的內存占用,并提升焊縫識別的準確性,使得相應的自動機器人設備的視覺識別系統的綜合性能得以大幅度提升。
39、最后,利用sppf模塊的空間金字塔池化特點,使其可以廣泛的在各種不同尺寸的特征圖上,利用roi(region?of?interest?pooling)池化各種不同尺度下的特征信息,從而既實現了提高模型的精度,同時又提高了模型的效率,使得yolov5在sppf模塊、ghostconv模塊和se模塊的協同作用下的數據處理效率獲得大幅度提升。
40、這樣,本發明中,利用對yolov5的改進,將ghostconv模塊、c3ghost模塊、se模塊和sppf模塊設置在作為backbone主干網絡的cspdarknet53骨干網絡中,并利用yolov5優秀的自適應錨框計算的功能和自適應圖片縮放的功能,實現對焊縫及其輪廓的準確識別的前提下,大幅度提升了整個模塊的運算速度、整個模型的使用性能及效率。消除了通用型的深度學習模型在使用過程中,需要特殊的調整和優化才能對焊縫進行準確檢測,造成的工控機計算量巨大、內存占用非常高,導致工控機運行中出現卡頓,甚至發生死機的情況發生。從而解決了圖像識別模型中出現的計算量巨大、內存占用非常高的技術問題。