3d-aoi設備中的3d點云數據配準方法及系統的制作方法
【技術領域】
[0001] 本發明涉及AOI (Automatic Optic Inspection)設備領域，特別是涉及一種 3D-A0I設備中的3D點云數據配準方法及系統。
【背景技術】
[0002] 傳統的AOI設備電路板的整板圖像大多是按照理論重疊區域直接拼接而成。傳統 的AOI設備中圖像拼接，重疊區域的寬度為0。即傳統的圖像拼接是沒有設置理論重疊區域 的，拼接沒有融合步驟。為了保證拼接的精度，就必須采用高精度的電機和絲桿，同時對安 裝的精度要求也很高。這無疑增加了設備的整體成本。
[0003] 同時，由于高精度光學3D技術的到來，且由于配置遠心鏡頭后相機視野的限制， 為了不使圖像和3D點云數據拼接的誤差影響整體的檢測和測量精度。傳統的圖像拼接方 法迫切需要的到改善。為了保證較高的檢測精度，在對電路板進行整板掃描的過程中必須 不斷對采集到的2D圖像和計算得出的3D數據進行校正，使之在理論重疊區域完全重合。
[0004] 在傳統的3D點云數據拼接算法中，大多追求對未知視角的有重疊子集的點云數 據進行配準、拼接來重構3D模型，但是在工業領域大多數數據采集方式具有一定的規律。 現有工業領域中3D點云數據拼接技術大多是采用"輔助點對"，即在被測物體表面粘貼上 Mark標簽，在獲得的相鄰點云數據拼接時作為數據拼接時的強角點進行配準。這種方法無 法實現大批量的3D數據的采集及處理。
【發明內容】
[0005] 本發明所要解決的技術問題是，提供一種3D-A0I設備中的3D點云數據配準方法 及系統，實現3D點云數據拼接不再使用"輔助點對"。本發明是這樣實現的：
[0006] -種3D-A0I設備中的3D點云數據配準方法，包括如下步驟：
[0007] 步驟A :用相機從圓點標定板中采集一幅圖像，并利用該圖像計算相機的內參矩 陣及畸變參數，以及該圖像的旋轉矩陣；該圖像的中心與該圖像中的某個圓點中心重合；
[0008] 步驟B :根據預設的相鄰圖像的重疊寬度及每一幅圖像的寬度計算相機采集圖像 時每次的移動間隔，并按所述移動間隔順序地采集所述圓點標定板中的圖像，直到所述圓 點標定板中所有區域的圖像采集完畢，形成圖像序列；
[0009] 步驟C :根據所述內參矩陣、畸變參數及旋轉矩陣對所述圖像序列中的每一幅圖 像進行校正和旋轉；
[0010] 步驟D :從經過校正和旋轉之后的圖像序列中選擇一幅作為基準圖像，并將其平 移參數置零；同時，計算經過校正和旋轉之后的圖像序列中相鄰兩幅圖像間的平移矩陣，并 據此對所述圖像序列中的各圖像進行平移，同時保存各圖像的平移參數，形成配置文件； [0011] 步驟E :根據所述配置文件及所述重疊寬度對所述圖像序列中的各圖像進行拼接 及融合，形成整幅圖像。 CN 105118086 A 說明書 2/7 頁
[0012] 進一步地，在所述步驟D中，平移矩陣為：
[0013] 其中k為加權系數，N為平移矩陣，隊為X軸方向的圖像的平移矩陣，N ￥為Y軸方 向的圖像的平移矩陣，tx、t' x為沿X軸的平移象素距離，ty、t' y為沿Y軸的平移象素距 離。
[0014] 進一步地，所述重疊寬度小于相鄰圓點中心之間的像素距離的兩倍。
[0015] 進一步地，還包括如下步驟：根據所述配置文件對其他圖像進行拼接及融合。
[0016] 進一步地，所述步驟D中，選擇所述圖像序列中的第一幅作為基準圖像，對后續各 圖像進行平移；對各圖像進行平移時，以各圖像的前一幅圖像為基準，根據各圖像與其前一 幅圖像之間的平移矩陣平移各圖像。
[0017] -種3D-A0I設備中的3D點云數據配準系統，包括：
[0018] 相機校正模塊，用于通過相機從圓點標定板中采集一幅圖像，并利用該圖像計算 相機的內參矩陣及畸變參數，以及該圖像的旋轉矩陣；該圖像的中心與該圖像中的某個圓 點中心重合；
[0019] 圖像序列采集模塊，用于根據預設的相鄰圖像的重疊寬度及每一幅圖像的寬度計 算相機采集圖像時每次的移動間隔，并按所述移動間隔順序地采集所述圓點標定板中的圖 像，直到所述圓點標定板中所有區域的圖像采集完畢，形成圖像序列；
[0020] 圖像校正模塊，用于根據所述內參矩陣、畸變參數及旋轉矩陣對所述圖像序列中 的每一幅圖像進行校正和旋轉；
[0021] 平移參數配置模塊，用于從經過校正和旋轉之后的圖像序列中選擇一幅作為基準 圖像，并將其平移參數置零；同時，計算經過校正和旋轉之后的圖像序列中相鄰兩幅圖像間 的平移矩陣，并據此對所述圖像序列中的各圖像進行平移，同時保存各圖像的平移參數，形 成配置文件；
[0022] 拼接融合模塊，用于根據所述配置文件及所述重疊寬度對所述圖像序列中的各圖 像進行拼接及融合，形成整幅圖像。
[0023] 進一步地，在所述平移參數配置模塊中，平移矩陣為：
[0024] 其中k為加權系數，N為平移矩陣，NxSX軸方向的圖像的平移矩陣，NySY軸方 向的圖像的平移矩陣，tx、t' x為沿X軸的平移象素距離，ty、t' y為沿Y軸的平移象素距 離。
[0025] 進一步地，所述重疊寬度小于相鄰圓點中心之間的像素距離的兩倍。
[0026] 進一步地，所述拼接融合模塊還用于根據所述配置文件對其他圖像進行拼接及融 合。
[0027] 進一步地，所述平移參數配置模塊中，選擇所述圖像序列中的第一幅作為基準圖 像，對后續各圖像進行平移；對各圖像進行平移時，以各圖像的前一幅圖像為基準，根據各 圖像與其前一幅圖像之間的平移矩陣平移各圖像。
[0028] 與現有技術相比，本發明借助原本只是用來矯正相機參數的標定板，重復利用其 高精度的特點用于校正相機機械移動的誤差，從而得到2D數據和3D數據拼接所需要的配 準參數，大大降低了整板圖像拼接時間，提高了拼接精度。
【附圖說明】
[0029] 圖1 :本發明實施例提供的3D-A0I設備中的3D點云數據配準方法流程示意圖；
[0030] 圖2 :相機參數標定所用的灰度圖像；
[0031] 圖3 :單幅圖像原點中心標記；
[0032] 圖4 :圖像平移參數計算示例；
[0033] 圖5 :標定板拼接后的整板圖像；
[0034] 圖6 :本發明實施例提供的3D-A0I設備中的3D點云數據配準系統組成示意圖。
【具體實施方式】
[0035] 為了使本發明的目的、技術方案及優點更加清楚明白，以下結合附圖及實施例，對 本發明進行進一步詳細說明。
[0036] 3D-A0I設備專用于對電路板進行3D光學檢測。本發明主要目的是提供3D-A0I 設備中所用的3D點云數據的配準方法。圖1所示，本發明實施例提供的3D-A0I設備中的 3D點云數據配準方法包括如下步驟：
[0037] 步驟A :用相機從圓點標定板中采集一幅圖像，并利用該圖像計算相機的內參矩 陣及畸變參數，以及該圖像的旋轉矩陣；該圖像的中心與該圖像中的某個圓點中心重合。
[0038] 其中，內參矩陣
[0042] 其中q為圖像中圓點中心的像素坐標，M為內參矩陣，Q為圓點世界坐標（實際坐 標），kp k2、Pp p2、k3為畸變參數。X rameted、yrameted為校正后坐標，R ζ ( Θ )為旋轉矩陣，Θ
[0039] 徑向畸變
[0040] 切向畸變
[0041] 旋轉矩陣 為繞Z軸旋轉角度。
[0043] 步驟B :根據預設的相鄰圖像的重疊寬度及每一幅圖像的寬度計算相機采集圖像 時每次的移動間隔，并按移動間隔順序地采集圓點標定板中的圖像，直到圓點標定板中所 有區域的圖像采集完畢，形成圖像序列。
[0044] 步驟C :根據內參矩陣、畸變參數及旋轉矩陣對圖像序列中的每一幅圖像進行校 正和旋轉。
[0045] 步驟D :從經過校正和旋轉之后的圖像序列中選擇一幅作為基準圖像，并將其平 移參數置零；同時，計算經過校正和旋轉之后的圖像序列中相鄰兩幅圖像間的平移矩陣， 并據此對圖像序列中的各圖像進行平移，同時保存各圖像的平移參數，形成配置文件。所 述步驟D中，選擇所述圖像序列中的第一幅作為基準圖像，對后續各圖像進行平移；對 各圖像進行平移時，以各圖像的前一幅圖像為基準，根據各圖像與其前一幅圖像之間的 平移矩陣平移各圖像。平移矩陣為：
k*Nx+ (1-k) *NY (0〈k〈l)。其中，k為加權系數，N為平移矩陣，隊為X軸方向的圖像的平移矩 陣，隊為￥軸方向的圖像的平移矩陣，tx、t' x為沿X軸的平移象素距離，ty、t' y為沿Y軸 的平移象素距離。
[0046] 步驟E :根據配置文件及重疊寬度對圖像序列中的各圖像進行拼接及融合，形成 整幅圖像。通過步驟A到D得到了標定板的2D圖像及配置文件。在實際應用中，電路板的 2D圖像可以直接按照配置文件進行校正，并進行拼接及融合，對應的3D點云數據則可以在 校正后直接計算圖像序列中物理位置相鄰的圖像的點云數據中重疊區域的高度差均值，然 后將數據沿Z軸平移到相同高度，再將3D點云數據的重疊區域融合后進行拼接。
[0047] 以下為利用本發明進行圖像拼接的一具體實施例：
[0048] 圖像配準前首先校正相機的系統誤差。步驟A中，為了方便設置相機標定的世界 坐標，首先采集一張圓點標定板中某個圓點中心與圖像中心重合的圖像，如圖2所示的灰 度圖即可。相機采集圖像的分辨率為900*800,則相機采集的圖像的中心點坐標為（450， 400)。將圖像中心點設為坐標原點，將圖像處理后得到的圓點中心像素坐標的坐標原點移 至中心點坐標。而圓點之間的實際距離已知，則對應圓點中心的世界坐標值為該距離對應 的像素距離（圖2中為125)的整數倍。根據圖2得到像素坐標35個，再加上對應的世界 坐標。通過通用的相機標定方法就可以得到相機的內參矩陣和畸變參數和旋轉矩陣。
[0049] 步驟B和步驟C完成在標定或實際應用過程中單幅圖片的校正。圖3為單幅圖像 原點中心標記。在相機移動時設定理論X、Y軸重疊寬度時就已經完成了圖像數據的粗配 準。在某個型號的AOI設備上，重疊寬度必須小于相鄰圓點中心之間的像素距離的兩倍，這 就保證重疊區域有且只有一行或一列圓點用于得出平移矩陣。一旦選擇了某個重疊寬度參 數，后續使用中這個參數是不可更改的。本示例圖中X、Y軸重疊分別為100像素距離，即重 疊寬度為100個像素的寬度。步驟S4中將首張圖片作為圖像配準的原點，是為了給定相 機機械移動的原點和電路板整體圖像采集時電路板擺放的原點。
[0050] 步驟D則是實