專利名稱：一種基于多光譜分光攝影的視覺監控系統的制作方法
技術領域：
本發明涉及一種弧焊過程可視化系統，特別是關于一種用于實現對前方坡口、熔池、焊絲、電弧等多個對象進行同時觀察的基于多光譜分光攝影的視覺監控系統。
背景技術：
電弧焊接過程視覺監控是指在焊接實時進行過程中對焊接區域的觀察，此過程對控制和穩定焊接質量具有重要意義，觀察對象主要包括前方坡口、熔池、焊絲、焊接電弧等。現有技術中采用攝像機拍攝弧焊過程以進行視覺監控在生產中發揮重要作用1、在人不易或不宜到達的位置(如高空、水下、危險環境等)開展焊接作業時，對焊接過程的細節進行遠程監視成像是實現自動或人工控制的前提；2、進行焊接自動控制及跟蹤時需要采集多種光照條件下的不同特征信息，以進行多特征信息融合保證跟蹤和控制的準確性和穩定性；3、開展焊接工藝或機理相關的科學研究工作時需要對焊接過程進行近距離的拍攝和保存。然而在弧焊過程中因存在強烈的弧光及熔池發光現象，導致其過程不易觀察，采用攝像機對其進行拍攝時往往因為亮度過高而導致CCD飽和，而且焊接工人通常佩戴焊帽對焊接過程進行觀察，由于焊帽加裝有濾光減光效果的鏡片，使得弧光在一定程度上被削弱，亮暗區域仍然存在顯著的亮度差，此過程人眼能夠自動調節適應，但是不能解決遠程監控以及拍攝保存的問題。采用攝像機拍攝時，雖然能夠遠程監控且能夠對拍攝過程進行保存，但是無法克服熔池及電弧區域因亮度飽和而無法反映細節、前方坡口因亮度不足而無法看清等問題。
焊接過程發光包括熔池輻射發光和電弧區域發光，熔池輻射發光的強度比電弧區域發光的強度要明顯低，通常會被電弧光所掩蓋。電弧區域發光由連續譜背景與峰值譜線疊加而成，連續譜背景由電子躍遷產生，在焊接進行過程中幅值變化不大；峰值譜線對應于熔池上方金屬蒸汽中金屬元素和弧柱區保護氣體非金屬元素的特征譜線，在焊接過程中隨時間有著較連續譜更為明顯的漲落變化，以碳鋼的鎢極氬弧焊為例焊接速度為200_/ min、電流 170A、電壓 12. 5V,坡口 寬度 10mm，坡口 角度為 90。，使用 0cean0pticsUSB2000 光譜儀進行光譜測量，得到如圖I所示的光譜圖，從圖I中可以觀察到光譜分布具有如下特征在600nm 700nm之間無突出的特征譜峰值,850nm 9IOnm之間無突出的特征譜峰值, 且連續譜強度較低，920nm以后無突出的特征譜峰值，且連續譜強度較低。考慮到電弧發光的上述特點，現有技術中對弧焊過程監控中近弧區域可視化問題的解決方法為(1)在攝像機前設置窄帶濾光片及減光裝置，以最大限度地濾除強烈弧光的影響，保留感興趣的光譜段(如使用640nm或660nm波長的激光結構光進行焊縫視覺跟蹤時，選用相應中心波長的窄帶濾光片，只允許中心波長附近的光線通過，達到削減弧光干擾的目的)，但是由于只能獲取單一光譜的圖像，信息不夠豐富，無法完成多特征信息的獲取；(2)采用雙攝像機的系統，其中一部攝像機通過濾光片拍攝熔池區域，熔池發光的光強得以減弱，經處理可以得到熔池輪廓信息，另一部攝像機不加濾光片直接拍攝前方坡口，用于在焊接開始前能夠在自然光照條件下觀察坡口位置，該方法的不足在于兩臺攝像機拍攝視場不同，所得圖像之間存在圖像配準的問題，易引入誤差，且在焊接進行過程中無法獲得清晰穩定的前方坡口圖像；(3)使用脈沖激光或高亮度閃光燈作為照明光源，間歇地以高亮度照亮焊接區域，同時控制攝像機的高速快門，在焊接區域被光源照亮的瞬間采集圖像，該方法雖能使得焊接區域中的熔池周邊工件亮度得以提升，但同樣由于使用單攝像機且光路唯一，只能拍攝得到單一光譜的圖像，且因必須使用亮度超過焊接弧光的照明光源，增大了設備制造難度和安裝體積，不利于控制成本。
綜上所述，弧焊過程中需要觀察的各個部分對應不同的光譜區域，且進入攝像機的這些不同光譜區域的光線之間具有相差巨大的光強，現有技術或采用經過濾光片的單光譜圖像采集的方法，或采用雙攝像機分不同波段進行濾光(或者一攝像機加濾光片，另一攝像機不使用濾光片)的方法，均無法實現針對來自同一視場的不同光譜區域的光線采取不同的濾光減光措施。發明內容
針對上述問題，本發明的目的是提供一種能夠實現自動焊接的同視場多特征信息采集與近電弧區實時監控成像過程的基于多光譜分光攝影的視覺監控系統。
為實現上述目的，本發明采取以下技術方案一種基于多光譜分光攝影的視覺監控系統，其特征在于它包括一攝像機，所述攝像機的外側設置一個以上的輔助光源，所述攝像機內包括半透半反鏡，第一窄帶濾光片、第一減光元件、第一面陣圖像傳感器、第二窄帶濾光片、第二減光元件和第二面陣圖像傳感器；所述輔助光源發出的光照射一焊接工件， 經所述焊接工件反射的光線經所述攝像機的鏡頭傳播到所述半透半反鏡，所述半透半反鏡的透射光線依次經所述第一窄帶濾光片和第一減光元件傳播到所述第一面陣圖像傳感器完成成像，所述第一窄帶濾光片的法向與透射光線平行；所述半透半反鏡的反射光線依次經所述第二窄帶濾光片和第二減光元件傳播到第二面陣圖像傳感器完成成像，所述第二窄帶濾光片的法向與反射光線平行；其中，光線從所述半透半反鏡的反射面開始，沿透射光路傳播到所述第一面陣圖像傳感器的光程與沿反射光路傳播到所述第二面陣圖像傳感器的光程相等。
所述輔助光源采用面陣單色LED光源、激光結構光源和產生均勻光斑的激光光源中的一種或一種以上。
所述第一窄帶濾光片和第二窄帶濾光片的中心波長根據所采用的所述輔助光源的波長或弧光及熔池發光產生的波長進行確定。
所述第一減光元件和第二減光元件分別采用透過率固定的中性灰度濾鏡，透過率可調的中性灰度濾光鏡和疊加使用的中性灰度濾光鏡組的一種或一種以上。
所述第一面陣圖像傳感器和第二面陣圖像傳感器分別采用面陣CCD成像器件和面陣CMOS成像器件的一種或一種以上。
本發明由于采取以上技術方案，其具有以下優點1、本發明由于在攝像機內設置半透半反鏡，第一窄帶濾光片、第一減光元件、第一面陣圖像傳感器、第二窄帶濾光片、第二減光元件和第二面陣圖像傳感器，經半透半反鏡將進入攝像機的光分成透射和反射兩條光路，對兩條光路分別進行不同波長濾光，使得不同波長的光能夠同時分別在兩個圖像傳感器上成像，因此在同一時間得到拍攝區域相同和視場完全相同的圖像，實現對不同特征部4分在同一畫面中的同時可視化，有效保證跟蹤和控制的準確性和穩定性。2、本發明由于在透射光路和反射光路上分別對應設置窄帶濾光片和減光元件，因此能夠實現對來自同一視場的不同光譜區域的光線同時分別進行濾光和減光。3、本發明由于在攝像機外側設置一個以上的輔助光源用來照射拍攝對象，不同輔助光源具有不同的波長，且分別與兩路光路的窄帶濾光片中心波長相對應，因此所獲得的兩幅圖像分別來自不同的光照模式(如激光結構光與均勻光照)，能夠體現出拍攝對象的不同光學特征，且能夠避免不同光源之間的干擾。4、本發明將兩條光路集成在一個攝像機內，所拍攝圖像來自同一視場，因此對圖像配準和后續圖像融合提供了便利，有效避免誤差的引入。本發明可以廣泛應用于焊接機器人或其它自動化設備的坡口檢測、焊縫跟蹤、焊后無損檢測跟蹤等對焊道的自動識別過程中。
圖I是現有技術中的鎢極氬弧焊弧光光譜分布測量結果示意圖，縱坐標表示光強，橫坐標表示波長，單位為rim ；
圖2是本發明的結構及光路原理示意圖3是本發明采用兩種波長的輔助光源時，攝像機與輔助光源位置的示意圖4是實施例I采用本發明進行焊縫多特征信息采集的示意圖5是實施例2采用本發明進行焊接過程近弧區監控的示意圖。
具體實施方式
下面結合附圖和實施例對本發明進行詳細的描述。
如圖2、圖3所示，本發明的基于多光譜分光攝影的視覺監控系統以攝像機I作為載體，攝像機I的外側設置一個以上的輔助光源2照射焊接工件3，攝像機I內包括半透半反鏡4,第一窄帶濾光片5、第一減光兀件6、第一面陣圖像傳感器7、第二窄帶濾光片8、第二減光元件9和第二面陣圖像傳感器10 ;輔助光源2發出的光照射焊接工件3，經焊接工件3 反射的光線經攝像機I的鏡頭11傳播到半透半反鏡4，半透半反鏡4的透射光線依次經第一窄帶濾光片5和第一減光兀件6傳播到第一面陣圖像傳感器7完成成像,第一窄帶濾光片5的法向與透射光線平行；半透半反鏡4的反射光線依次經第二窄帶濾光片8和第二減光元件9傳播到第二面陣圖像傳感器10完成成像，第二窄帶濾光片8的法向與反射光線平行；其中，光線從半透半反鏡4的反射面開始，沿透射光路傳播到第一面陣圖像傳感器7的光程與沿反射光路傳播到第二面陣圖像傳感器10的光程相等。
上述實施例中，輔助光源2的個數和具體位置可以根據實際情況進行確定，如圖3 所示，本實施例采用兩個輔助光源2設置在攝像機I的兩側，每一輔助光源2光平面的法向與攝像機鏡頭11的光軸形成某一夾角，該角度需滿足如下條件兩個輔助光源2可以照射焊接工件3的同一焊接區域，且該區域在攝像機拍攝范圍內。輔助光源2可以采用面陣單色LED光源、激光結構光源和產生均勻光斑的激光光源中的一種或一種以上。
上述各實施例中，第一窄帶濾光片5和第二窄帶濾光片8的中心波長根據所采用的輔助光源2的波長或弧光及熔池發光產生的波長進行選擇。
上述各實施例中，第一減光元件6和第二減光元件9均可以采用透過率可調的中性灰度濾鏡，也可采用透過率固定的濾鏡，還可以采用兩塊偏振片前后放置的方式達到減光可調的效果，可以根據實際情況進行確定，在此不作限定，使用過程中可以采用單獨一片濾鏡減光的方式，為了增大減光效果也可根據情況采用多片濾鏡疊加使用減光的方式。
上述各實施例中，第一面陣圖像傳感器7和第二面陣圖像傳感器10的大小和分辨率完全相同，可以根據實際情況采用面陣CCD成像器件和面陣CMOS成像器件的一種或及以上。
下面通過具體實施例進一步說明本發明的實施過程。
實施例I :
如圖4所示，本實施例以前方坡口為焊接工件3進行說明，輔助光源2包括一波長為980nm的環形LED面光源21和波長為660nm的激光線結構光源22，攝像機I的鏡頭11 正下方通過外設支架固定環形LED面光源21，攝像機I的一側通過外設支架固定激光線結構光源22，激光線結構光源22的光平面法線與攝像機的鏡頭11光軸方向成45° (不限于此，可以根據實際情況進行調節)，第一窄帶濾光片5的中心波長為980nm，其中僅有波長在 980nm±20nm范圍內的光能通過第一窄帶濾光片5，第二窄帶濾光片8的中心波長為653nm， 其中僅有波長在653nm土 18nm范圍內的光能通過第二窄帶濾光片8，第一減光片6的透光率為5%，第二減光片9的透光率為1%，第一面陣圖像傳感器7采用近紅外CXD成像器件，第二面陣圖像傳感器10采用可見光CCD成像器件。
焊槍32在焊接工件3表面進行施焊，環形LED面光源21發出的光照射在熔池31 前方大約50mm處，激光線結構光源22發射的激光也投射在此區域中在焊接工件表面形成有畸變的結構光條，焊槍32對坡口進行焊接產生的弧光及熔池發光通過鏡頭11進入攝像機I的半透半反鏡4，經半透半反鏡4的透射光線發射到第一窄帶濾光片5，第一窄帶濾光片5將波長為980nm的光發送到第一減光兀件5,第一減光兀件5將光強減弱到原來的5%, 第一減光元件5將出射光線發射到第一面陣圖形傳感器7完成成像；經半透半反鏡4的反射光線發射到第二窄帶濾光片8，第二窄帶濾光片8將波長為660nm的光發射到第二減光元件9，第二減光元件9將光強減弱到原來的1%，第二減光元件9將出射光線發射到第二面陣圖像傳感器10完成成像。環形LED面光源2將待拍攝的焊縫區域均勻照亮，亮度均勻的包含焊縫灰度信息與紋理信息的圖像由第一面陣圖像傳感器7獲得，激光線結構光源22投射在坡口的結構光條畸變信息由第二面陣圖形傳感器10獲得，經第一面陣圖像傳感器7和第二面陣圖像傳感器10拍攝的兩幅圖像，不僅拍攝區域相同，而且視場完全相同，且通過對圖像的同步采集可以保證兩面陣圖像傳感器獲取的是同一時刻的圖像，但這兩幅圖像分別是不同光照條件下坡口表現出來的不同信息，因此采用本發明可以同時得到上述兩種信息，在后續處理時可以根據實際需要將獲取的兩幅圖像進行處理，得到準確可靠的焊縫位置信息，如果是以提取信息供焊縫跟蹤與焊接過程控制為目的，則通過圖像分析的方法從兩幅圖像分別提取待識別對象的特征，對兩者進行信息融合，實現焊縫位置的識別；如果是以焊接過程的可視化和實時監控為目的，則需要采用現有圖像融合方法對采集的兩幅圖像融合到同一畫面中，具體后續處理不再贅述，可以根據實際需要進行處理。
實施例2
如圖5所示本實施例以前方坡口為焊接工件3進行說明，攝像機I的一側通過外設支架固定一波長為1060nm的紅外激光照明光源2，紅外激光照明光源2作為輔助光源， 其光平面的法線與攝像機I的鏡頭11光軸方向成45° (不限于此，可以根據實際情況進行調節)，第一窄帶濾光片5的中心波長為1060nm，其中僅有波長在1060nm±20nm范圍內的光能夠通過第一窄帶濾光片5，第二窄帶濾光片8的中心波長為653nm，其中僅有波長在 653nm±18nm范圍內的光能夠通過第二窄帶濾光片8，第一減光片6的透光率為1%，第二減光片9的透光率為O. 1%，第一面陣圖像傳感器7采用近紅外CCD成像器件，第二面陣圖像傳感器10采用可見光CXD成像器件。
如圖5所示，焊槍32在焊接工件3表面進行施焊，焊接過程產生弧光，熔池后方是成型焊縫，紅外激光照明光源2產生均勻光斑投射在熔池及附近區域31，紅外激光照明光源2投射在焊接區域的光經前方坡口表面反射，通過鏡頭11傳播到攝像機I的半透半反鏡 4，同時焊接過程產生的弧光及熔池發光也經鏡頭11傳播到攝像機I的半透半反鏡4。經半透半反鏡4的透射光線發射到第一窄帶濾光片，5，第一窄帶濾光片5將波長為1060nm的光發射到第一減光片6,第一減光片6將光強減弱到原來的1%,第一減光片6將出射光發送到第一面陣圖像傳感器7完成成像；經半透半反鏡4的反射光線發射到第二窄帶濾光片8，第二窄帶濾光片8將波長為653nm的光發射到第二減光元件9，第二減光元件9將光強減弱到原來的O. 1%，第二減光元件9將出射光發射到第二面陣圖像傳感器10完成成像。
由于紅外激光照明光源2的波長為1060nm，強度超過弧光及熔池發光在該波長的強度，第一面陣圖像傳感器7獲得的圖像來自經前方坡口反射紅外激光照明光源2光線，第二面陣圖像傳感器10獲得的圖像是來自波長為653nm的弧光及熔池發光，弧光及熔池發光通過第二減光元件9時光強減弱至第二面陣圖像傳感器10的飽和閾值以下，由于母材和前方坡口部分反射弧光的強度比電弧區光強低幾個數量級，因此經第二面陣圖像傳感器10 獲得的圖像中只有弧光及熔池發光部分，不反應熔池附近母材和前方坡口，因此經第一面陣圖像傳感器7和第二面陣圖像傳感器10拍攝的兩幅圖像，不僅拍攝區域相同，視場完全相同，且通過對圖像的同步采集可以保證兩面陣圖像傳感器獲取的是同一時刻的圖像，因此可以同時得到上述兩種信息，通過現有的圖像配準和融合方法對兩幅圖像進行配準和像素級融合，實現對電弧、熔池、焊絲、前方坡口、熔池周圍母材等部分在同一畫面中的同時可視化。
在本發明的兩個實施例中，使用前需要利用標定板對第一面陣圖像傳感器7和第二面陣圖像傳感器10所獲取圖像的配準關系進行標定，此標定過程為現有技術，故不再贅述。
上述各實施例僅用于說明本發明，攝像機內的所有光學器件可以根據實際情況采用外部支架進行固定，在此不作限定，另外，光源的類型、光斑形式、中心波長、窄帶濾光片的中心波長及半帶寬、減光片的透過率及減光原理等都是可以有所變化的，凡是在本發明技術方案的基礎上進行的等同變換和改進，均不應排除在本發明的保護范圍之外。
權利要求
1.一種基于多光譜分光攝影的視覺監控系統，其特征在于它包括一攝像機，所述攝像機的外側設置一個以上的輔助光源，所述攝像機內包括半透半反鏡，第一窄帶濾光片、第一減光元件、第一面陣圖像傳感器、第二窄帶濾光片、第二減光元件和第二面陣圖像傳感器；所述輔助光源發出的光照射一焊接工件，經所述焊接工件反射的光線經所述攝像機的鏡頭傳播到所述半透半反鏡，所述半透半反鏡的透射光線依次經所述第一窄帶濾光片和第一減光元件傳播到所述第一面陣圖像傳感器完成成像，所述第一窄帶濾光片的法向與透射光線平行；所述半透半反鏡的反射光線依次經所述第二窄帶濾光片和第二減光元件傳播到第二面陣圖像傳感器完成成像，所述第二窄帶濾光片的法向與反射光線平行；其中，光線從所述半透半反鏡的反射面開始，沿透射光路傳播到所述第一面陣圖像傳感器的光程與沿反射光路傳播到所述第二面陣圖像傳感器的光程相等。
2.如權利要求I所述的一種基于多光譜分光攝影的視覺監控系統，其特征在于所述輔助光源采用面陣單色LED光源、激光結構光源和產生均勻光斑的激光光源中的一種或一種以上。
3.如權利要求I所述的一種基于多光譜分光攝影的視覺監控系統，其特征在于所述第一窄帶濾光片和第二窄帶濾光片的中心波長根據所采用的所述輔助光源的波長或弧光及熔池發光產生的波長進行確定。
4.如權利要求2所述的一種基于多光譜分光攝影的視覺監控系統，其特征在于所述第一窄帶濾光片和第二窄帶濾光片的中心波長根據所采用的所述輔助光源的波長或弧光及熔池發光產生的波長進行確定。
5.如權利要求I或2或3或4所述的一種基于多光譜分光攝影的視覺監控系統，其特征在于所述第一減光元件和第二減光元件分別采用透過率固定的中性灰度濾鏡，透過率可調的中性灰度濾光鏡和疊加使用的中性灰度濾光鏡組的一種或一種以上。
6.如權利要求I或2或3或4所述的一種基于多光譜分光攝影的視覺監控系統，其特征在于所述第一面陣圖像傳感器和第二面陣圖像傳感器分別采用面陣CCD成像器件和面陣CMOS成像器件的一種或一種以上。
7.如權利要求5所述的一種基于多光譜分光攝影的視覺監控系統，其特征在于所述第一面陣圖像傳感器和第二面陣圖像傳感器分別采用面陣CCD成像器件和面陣CMOS成像器件的一種或一種以上。
全文摘要
本發明涉及一種基于多光譜分光攝影的視覺監控系統，其特征在于它包括一攝像機，攝像機的外側設置一個以上的輔助光源，攝像機內包括半透半反鏡，第一窄帶濾光片、第一減光元件、第一面陣圖像傳感器、第二窄帶濾光片、第二減光元件和第二面陣圖像傳感器；輔助光源發出的光照射一焊接工件，經焊接工件反射的光線經攝像機的鏡頭傳播到半透半反鏡，半透半反鏡的透射光線依次經第一窄帶濾光片和第一減光元件傳播到第一面陣圖像傳感器完成成像；半透半反鏡的反射光線依次經第二窄帶濾光片和第二減光元件傳播到第二面陣圖像傳感器完成成像。本發明可以廣泛應用于焊接機器人或其它自動化設備的坡口檢測、焊縫跟蹤、焊后無損檢測跟蹤等對焊道的自動識別過程中。
文檔編號B23K9/095GK102974918SQ20121048837
公開日2013年3月20日 申請日期2012年11月26日 優先權日2012年11月26日
發明者都東, 鄒怡蓉, 王力, 曾錦樂 申請人:清華大學