基于雙目立體視覺的工件檢測與三維測量系統及檢測方法與流程

本發明為基于雙目立體視覺的工件檢測與三維測量系統及檢測方法，屬于圖像處理與機器視覺領域，涉及halcon軟件，具體涉及工廠生產工件的實時在線檢測。

背景技術：

在目前的工業生產中，在線檢測、測量大批工件時，人工視覺檢測、測量常出現效率低下且精度不高、容易損傷工件表面等問題。對于普通的機械測量工具而言，雖不易出現人工測量問題，但都是固定程式控制測量，對工件的位置要求特別高，否則無法測量，未達到尺寸測量的完全智能化。而非接觸式雙目立體視覺測量系統不僅具有測量精度高、生產效率高、實時性強等優點，更為重要的是，由于雙目攝像機的存在，實現了工件三維尺寸測量的智能化，受到了廣大生產企業的青睞，已成為國內外解決先進制造業中測量問題的研究熱點。因此研究實用工件的非接觸式快速檢測方法意義重大。

技術實現要素：

本發明提供的基于雙目立體視覺的工件檢測與三維測量系統包括圖像采集模塊、攝像機標定模塊、圖像預處理模塊、立體校正模塊、三維信息恢復模塊以及檢測與測量模塊；具體檢測方法步驟為：

a、圖像采集；b、攝像機標定；c、圖像預處理；d、立體校正；e、三維信息恢復；f、檢測和測量；g、剔除不合格產品。

所述的圖像采集模塊的功能為：在低角度led環形光的垂直照射下，工件在傳送帶上運動到指定位置時，光電傳感器會觸發ccd相機、攝像頭工作，攝像頭將被測場景中的目標成像到ccd靶面上，將其變成電信號。攝像機標定模塊的功能為：建立攝像機圖像像素坐標與場景點三維坐標之間的關系，根據攝像機模型，由標定板己知特征點的圖像坐標和世界坐標求解攝像機的內外參數。圖像預處理模塊的功能為：圖像采集卡先將采集的電信號轉化為數字圖像信息，在計算機內實現存儲、處理。圖像處理軟件采用德國mvtec公司開發的具有標準的機器視覺算法包、擁有應用廣泛的機器視覺集成開發環境的halcon軟件，其應用范圍幾乎沒有限制，并且程序的移植性好、抗干擾能力強。立體校正模塊的功能為：采用相交光軸結構的視覺測量系統，將工件圖像立體校正為標準的外極線幾何結構。三維信息恢復模塊的功能為：通過特征點提取和立體匹配獲取特征點視差值，從而恢復空間點的三維坐標信息。檢測和測量模塊的功能為：通過模型匹配檢測剔除不合格產品，然后測量得到工件的一些參數，并對工件的規格進行分類。

前面所述系統中，優選方案為，所述步驟b的具體步驟如下所示：

b1、采集多幅標定板圖像，通過閾值分割找到標定板的內部區域；

b2、通過亞像素邊緣提取方法得到標定板各個圓點的邊緣，通過最小二乘圓擬合獲取圓點的圓心坐標，確定圓心坐標與它們在圖像中投影之間的對應關系以及標定板與攝像機之間大致的位置關系，即攝像機的外參初始值；

b3、通過修改并調用halcon庫函數來確定兩個攝像機的內參數、外參數以及兩個攝像機之間的相對位置關系；最后，通過多次測量取平均值來確定相關參數信息。

前面所述系統中，優選方案為，所述步驟c、d具體步驟如下：

c1、把采集的彩色圖像對通過加權平均法轉化為灰度圖像；

c2、通過中值濾波對圖像對進行圖像平滑，達到去除噪聲的同時保留邊緣銳度和圖像細節的目的；

d、將圖像對校正為標準極線幾何結構，使兩圖像對應像素點只存在水平方向的平移而不存在任何旋轉。

前面所述系統中，優選方案為，所述步驟e具體步驟如下：

e1、對平滑處理后的圖像進行自動全局閾值分割；

e2、對分割后的圖像形態學處理提取出圖像中工件部分，用基于canny的亞像素邊緣檢測算子提取亞像素邊緣，并通過骨骼化方法進行邊緣細化，減少邊緣毛刺，提高檢測的精確度；

e3、采用基于圖像邊緣輪廓特征點提取算法，將輪廓邊緣分割成曲線和直線多個部分，分別對其進行亞像素邊緣擬合，進一步提高邊緣信息的精確度；通過ramer算法對擬合后的邊緣輪廓進行遞歸細分提取特征點，并通過兩兩擬合直線的交點獲取工件的邊緣頂點，提高后期關鍵尺寸測量的準確性；

e4、采用極線約束與基于灰度的模板匹配相結合的方法進行立體匹配，這個約束把一個點在另一副圖像上的搜索從二維降到了一維，通過標定可獲取圖像視差的最大最小值，將搜索范圍限制在極線上的一個很小區間內，這樣可以大大縮小對應點的搜索空間；找到匹配點搜索范圍后，采用基于灰度的模板匹配來尋找匹配點，由于兩個攝像機視角不同，光照也會產生一定的差異，所以采用ncc相似度量，消除光照影響；

e5、通過獲取的左右圖像上的坐標和攝像機的內外參數，利用三角形測量原理計算出特征點的空間三維坐標，獲取空間點的三維點云。

前面所述系統中，優選方案為，所述步驟f具體步驟如下：

f1、基于以上基礎通過密集型重構算法，獲取圖像每個點的三維空間坐標，創建模型，將獲取的工件的三維模型與標準模型進行校對，通過匹配比率判斷工件是否合格，剔除不合格產品；

f2、對合格工件進行測量，獲取邊緣特征點的空間三維點云，并對空間點云進行平滑、擬合，測量工件關鍵尺寸。

前面所述系統中，優選方案為，剔除裝置和計算機相連，當檢查到不合格產品時，計算機會觸發一個信號給剔除裝置，進而使不合格產品剔除。

與現有技術相比，本發明的優點在于：

1、本發明采用基于canny的亞像素邊緣檢測函數。圖像測量中，精確的邊緣定位是影響測量結果精確度的關鍵因素，使用亞像素邊緣檢測算子可以得到高精度的測量結果。該算法先利用canny算子進行邊緣點的粗定位，在像素級上確定邊緣點的坐標和梯度方向，然后再用基于雙線性插值的亞像素邊緣檢測算法獲得亞像素精度的邊緣，并通過骨骼化方法進行邊緣細化，減少邊緣毛刺，最后通過亞像素邊緣擬合，進一步提高邊緣信息的精確度。

2、本發明采用基于圖像邊緣輪廓特征點提取算法。通過ramer算法對擬合后的邊緣輪廓進行遞歸細分，直到得到的全部線段到各自對應的輪廓段的最大距離小于某一指定閾值為止，提取線段與輪廓的交點作為特征點。并將輪廓邊緣分割成曲線和直線多個部分，提取兩兩擬合直線的交點通過判斷確定其為工件的邊緣頂點并作為特征點，提高關鍵尺寸測量的準確性。

3、本發明采用基于atukey權重函數的最小二乘法擬合。在擬合時，最小二乘法對于遠離邊緣的離群值沒有很好的魯棒性，到真實邊緣很遠的點在計算過程中會占有很大的權重，計算后得到不準確的邊緣輪廓。本發明提出引入atukey權重函數來減小離群值的影響。權重值的迭代思想是第一次權重為1，然后用梯度下降法尋找到一個解向量，以此求下一次迭代的權重值。

4、本發明采用極線約束與基于灰度的模板匹配相結合的方法進行立體匹配，這個約束極大的降低了待驗證的可能匹配點對的數量，把一個點在另一副圖像上的搜索從二維降到了一維，通過標定可獲取圖像視差的最大最小值，則搜索范圍可以限制在極線上的一個很小區間內，這樣可以大大縮小對應點的搜索空間，既可以提高特征點的搜索速度，也可以減少誤匹配的數量。找到匹配點搜索范圍后，然后采用基于灰度的模板匹配來尋找匹配點，由于兩個攝像機視角不同，光照也會產生一定的差異，所以采用ncc相似度量，消除光照影響。

附圖說明

圖1是圖像處理系統結構圖；其中1為相機，2為傳送帶，3為光電觸發器，4為pc機，5為剔除設備，6為被測物體，7為環形光源；

圖2是圖像處理流程圖。

具體實施方式

下面結合實施例和實驗例詳細說明本發明的技術方案，但保護范圍不限于此。

實施例一種基于雙目立體視覺的工件檢測方法以及實現這種方法的圖像處理系統，從而實現工件的實時在線檢測。

圖像處理系統結構圖包含圖像采集模塊、攝像機標定模塊、圖像預處理模塊、立體校正模塊、三維信息恢復模塊以及檢測與測量模塊。

圖1為本發明的系統結構圖，其包括：

led環形光，在傳送帶的正上方，為ccd相機提供光源；

工件被放置到傳送帶上，通過ccd相機；

光電觸發器，該光電觸發器與光源系統、ccd相機相連，用于觸發ccd相機、攝像頭工作；

圖像處理單元為安裝在計算機內部的halcon軟件，用于將采集的圖像進行濾波、自動閾值分割、亞像素邊緣提取與擬合、特征點提取、極線約束與基于灰度的模板匹配相結合的方法進行立體匹配等處理，進而獲得工件的三維空間點云通過擬合測量關鍵尺寸，實現工件的檢測與三維測量；

圖2為本發明的圖像處理流程圖，該方案包括如下步驟：

a、ccd相機采集工件的圖像；

b、攝像機標定；

c、對采集的圖像進行圖像預處理及極線校正，具體步驟如下所示：

c1、把采集的彩色圖像對通過加權平均法轉化為灰度圖像；

c2、通過中值濾波對圖像對進行圖像平滑并校正為標準極線幾何結構；

d、對處理圖像進行極線立體校正；

e、三維信息恢復，具體步驟如下所示：

e1、對平滑處理后的圖像進行自動全局閾值分割；

e2、對分割后的圖像形態學處理提取出圖像中工件部分；用基于canny的亞像素邊緣檢測算子提取亞像素邊緣，并通過骨骼化方法進行邊緣細化，減少邊緣毛刺，提高檢測的精確度；

e3、采用基于圖像邊緣輪廓特征點提取算法；將輪廓邊緣分割成曲線和直線多個部分，分別對其進行亞像素邊緣擬合，進一步提高邊緣信息的精確度；通過ramer算法對擬合后的邊緣輪廓進行遞歸細分提取特征點，并通過兩兩擬合直線的交點獲取工件的邊緣頂點，提高后期關鍵尺寸測量的準確性；

e4、采用極線約束與基于灰度的模板匹配相結合的方法進行立體匹配，這個約束把一個點在另一副圖像上的搜索從二維降到了一維，通過標定可獲取圖像視差的最大最小值，將搜索范圍限制在極線上的一個很小區間內，這樣可以大大縮小對應點的搜索空間；找到匹配點搜索范圍后，采用基于灰度的模板匹配來尋找匹配點，由于兩個攝像機視角不同，光照也會產生一定的差異，所以采用ncc相似度量，消除光照影響；

e5、若要確定空間中某點的三維坐標，只需要知道該點在左右圖像上的坐標和攝像機的內外參數；而這些條件在完成攝像機系統標定和立體匹配成功后即可獲得；然后利用三角形測量原理即可獲得特征點的空間三維坐標，獲取空間點的三維點云；

f、檢測與測量，具體步驟如下所示：

f1、基于以上基礎通過密集型重構算法，獲取圖像每個點的三維空間坐標，創建模型，將獲取的工件的三維模型與標準模型進行校對，通過匹配比率判斷工件是否合格，剔除不合格產品；

f2、對合格工件進行測量，獲取邊緣特征點的空間三維點云，并對空間點云平滑、擬合，測量工件關鍵尺寸；

g、剔除裝置和計算機相連，當檢查到不合格產品時，計算機會觸發一個信號給剔除裝置，進而使不合格產品剔除。

應當指出的是，具體實施方式只是本發明比較有代表性的例子，顯然本發明的技術方案不限于上述實施例，還可以有很多變形。本領域的普通技術人員，以本發明所明確公開的或根據文件的書面描述毫無異議的得到的，均應認為是本專利所要保護的范圍。