專利名稱：基于立體靶標的拼接測量方法及系統的制作方法
技術領域：
本發明涉及基于立體靶標的拼接測量方法及系統，屬于視覺測量領域，適用于大型自由曲面的拼接測量。
背景技術：
隨著現代工業發展和科技的進步，被測物體外型日趨復雜，對于設計、生產周期要求越來越短，加工、裝配精度要求越來越高，因而產生了對被測物體表面進行高精度三維形貌測量的需求。近些年，在大型自 由曲面的三維測量中，視覺方法以其非接觸、速度快、精度高、易于自動化等優點，成為最重要的測量方法之一。但是在實際測量中，由于視覺傳感器的視場范圍有限或被測表面出現遮擋等原因，會產生視覺測量盲區，無法一次得到物體表面的全 R^f η 息。因此，出現了多視點云數據拼接方法，又稱多視點云數據配準方法，在該方法中， 將大型被測物體劃分成多個小區域，從不同角度、位置進行分塊的測量，然后采用拼接技術，將所有分塊的測量結果拼合在一起。多視點云數據拼接是大型三維形貌測量中不可或缺的重要環節，拼接精度直接影響三維重建的可行性與精度。因此多視點云數據的快速、高精度拼接，成為大型三維形貌測量中亟待解決的問題，也是國內外在該領域最為活躍的研
J Ll ^^ o·^- O目前，常用的拼接方法有基于精密旋轉平臺的拼接方法，其不僅要求設備精度較高，而且系統成本高，測量范圍小，操作復雜；基于標志點的拼接方法，其要求往被測物體上粘貼許多標志點，不僅破壞了物體的原始表面數據，而且前期準備時間較長；基于迭代對應點的拼接方法，其計算量較大，耗費時間長，易出現累積誤差。本發明為了避免以上提到的各種問題，提出了一種基于立體靶標的大型自由曲面拼接測量方法，其利用視覺傳感器定位測量系統上的立體靶標，從而將測量系統在不同位置處獲取的局部點云統一到同一個坐標系下。該方法借助視覺定位跟蹤技術，因此其具有操作過程簡易，測量效率高的特點。同時，該方法借助立體靶標的功能，不僅提高了拼接的精度，而且擴大了測量系統測量的范圍。
發明內容
為了解決現有技術中存在的上述問題，本發明提出了一種基于立體靶標的大型自由曲面拼接測量方法，其利用視覺傳感器定位測量系統上的立體靶標，將測量系統在不同位置處獲取的局部點云統一到同一個坐標系下。該方法借助視覺定位跟蹤技術，因此其具有操作過程簡易，測量效率高的特點。同時，該方法借助立體靶標的功能，不僅提高了拼接的精度，而且擴大了測量系統測量的范圍。根據本發明實施例，提供了一種基于立體靶標的拼接測量方法，所述方法包括步驟a)將兩臺相機設置于能夠觀測到被測對象的位置，并標定兩臺相機的參數以及設置全局坐標系；b)確定固定于視覺傳感器的立體靶標上的標志點在視覺傳感器坐標系上的坐標值；C)將視覺傳感器移動到能夠測量被測對象的一待測區域的位置，通過視覺傳感器對被測對象的該待測區域進行三維測量來獲得該待測區域在視覺傳感器坐標系下的三維數據；d)確定在所述位置處的視覺傳感器坐標系與全局坐標系之間的轉換關系；e)利用d) 中確定的轉換關系，將c)中獲得的三維數據轉換到全局坐標系；f)重復步驟c)、d)和e)， 完成被測對象的三維測量數據在全局坐標系下的拼接。 另外，步驟b)包括i)利用中介靶標的標志點在全局坐標系下的坐標值和在視覺傳感器坐標系下的坐標值，確定全局坐標系與視覺傳感器坐標系之間的轉換關系；ii)通過兩臺相機獲得立體靶標的標志點在全局坐標系下的坐標值；iii)利用i)中確定的轉換關系和ii)中獲得的坐標值，確定立體靶標的標志點在視覺傳感器坐標系下的坐標值。另外，根據本發明實施例，步驟d)包括通過所述兩臺相機獲得立體靶標的標志點在全局坐標系下的坐標值；通過立體靶標的標志點在視覺傳感器坐標系下的坐標值和在全局坐標系下的坐標值來確定視覺傳感器的坐標系與全局坐標系之間的轉換關系。根據本發明實施例，提供了一種基于立體靶標的拼接測量系統，包括視覺傳感器，用于測量被測對象的三維數據；立體靶標，固定于視覺傳感器并具有多個標志點；視覺定位跟蹤系統，測量立體靶標的標志點的三維數據；計算機，基于視覺定位跟蹤系統測量的三維數據和立體靶標在視覺傳感器坐標系下的坐標值來獲得視覺定位跟蹤系統坐標系與視覺傳感器坐標系之間的轉換關系，并基于該轉換關系將視覺傳感器測量的三維數據轉換到視覺定位跟蹤系統坐標系，完成對被測對象的三維數據的拼接。另外，所述系統還包括具有多個標志點的中介靶標，其中，視覺傳感器測量中介靶標的標志點的三維數據；視覺定位跟蹤系統測量中介靶標的標志點的三維數據和立體靶標的標志點的三維數據；計算機，基于視覺傳感器和視覺定位跟蹤系統測量的中介靶標的標志點的三維數據獲得視覺傳感器坐標系與視覺定位跟蹤系統坐標系之間的轉換關系，并基于該轉換關系和視覺定位跟蹤系統測量的立體靶標的標志點的三維數據獲得立體靶標的標志點在視覺傳感器坐標系下的坐標值。另外，所述標志點是LED或者反光標志點。
通過下面結合附圖對實施例進行的描述，本發明的這些和/或其他方面和優點將會變得清楚和更易于理解，其中圖1是根據本發明實施例的基于立體靶標的拼接測量系統的示意圖；圖2A是根據本發明實施例的立體靶標的結構的示意圖；圖2B是根據本發明實施例的立體靶標的梯形塊的示意圖；圖3示出在四個方位能夠被觀察到的根據本發明實施例的立體靶標的標志點的示意圖；圖4是根據本發明實施例的基于立體靶標的拼接測量方法的流程圖；圖5是計算標志點在視覺傳感器坐標系下的坐標值的示意圖；圖6是根據本發明實施例的基于立體靶標的拼接測量系統在六個不同位置獲取的局部數據和最終拼接結果示意圖。
具體實施例方式現在對本發明實施例進行詳細的描述，其示例表示在附圖中，其中，相同的標號始終表示相同部件。下面通過參照附圖對實施例進行描述以解釋本發明。圖1是根據本發明實施例的基于立體靶標的拼接測量系統100的示意圖。根據本發明實施例的基于立體靶標的拼接測量系統100可包括三維測量系統110、視覺定位跟蹤系統120、計算機130。根據本發明實施例的三維測量系統110可包括立體靶標111和視覺傳感器112。 在此，立體靶標111固定于視覺傳感器112的后方，因此在工作過程中與視覺傳感器一起移動，即立體靶標111相對于視覺傳感器112的位置不會發生改變。立體靶標111上分布有多個的標志點。所述標志點可以是有源的LED或者是反光標志點。立體靶標111的作用是建立三維測量系統坐標(即，視覺傳感器坐標系Om-XMYMZM) 系與視覺定位跟蹤系統坐標系(即，全局坐標系Ot-XTYTZt)之間的轉換關系。以下參照圖2A和圖2B來說明根據本發明實施例的立體靶標111，其中，圖2A是根據本發明實施例的立體靶標的結構的示意圖；圖2B是根據本發明實施例的立體靶標的梯形塊的示意圖。如圖2A所示，立體靶標111由9個梯形塊組成。每一個梯形塊如圖2B所示，其表面安裝有一些標志點。整個立體靶標111含有23個標志點。它的特點是不論立體靶標 111處于何種姿態，總能保證視覺定位跟蹤系統120的兩臺數碼相機120a和120b拍攝到至少5個標志點。例如，參照圖3(a)至圖3(d)，從不同的方位(例如，從四個不同的方位)觀察立體靶標111時，在第一位置，如圖3(a)所示，能檢測到1、2、3、4、5、6號6個標志點；在第二位置，如圖3 (b)所示，能檢測到7、8、9、10、11、12號6個標志點；在第三位置，如圖3 (b) 所示，能檢測到13、14、15、16、17號5個標志點；在第四位置，如圖3 (d)所示，能檢測到18、 19、20、21、22、23號6個標志點，因此總能保證至少5個公共的標志點被拍攝到。視覺傳感器112是一種將結構光與立體視覺測量技術相結合而構成的三維光學非接觸式掃描系統。由于立體靶標111固定在視覺傳感器112的后方，在測量過程中立體標靶111與視覺傳感器112—起移動，即，它們的相對位置不會發生改變。需要提前標定立體靶標的標志點在視覺傳感器坐標系的坐標。在被測對象200的測量過程中，三維測量系統110的位置可以任意擺放，以對一些隱藏點、遮擋區域實現三維測量，只要保證有至少3個非共線的標志點能夠被視覺定位跟蹤系統120檢測識別。在被測對象200和三維測量系統110后擺放兩臺相機120a和120b (例如，型號均為Nikon-DlOO單板數碼像機)來構成雙目立體視覺跟蹤系統，即，立體視覺跟蹤系統120。 立體視覺跟蹤系統120的作用是通過檢測識別定位立體靶標111上的多個標志點，計算得到三維測量系統110的空間位置及姿態信息，以便完成局部三維測量數據的統一。在本發明中，立體視覺跟蹤系統120是用于檢測立體靶標111上的標志點的空間三維坐標值，全局坐標系Ot-XtYtZt的建立也是根據張正友的相機標定方法來實現。全局坐標系Ot-XtYtZt建立之后，獲取的立體靶標上的標志點三維數據均以此坐標系Ot-XtYtZt為基準。并且，拍攝對象的在視覺傳感器坐標系Om-XMYMZm下的三維數據最終將轉換到該坐標系來完成拼接。 計算機130接收立體視覺跟蹤系統120的兩臺相機120a和120b拍攝的圖像以及視覺傳感器112拍攝的圖像，根據所接收到的圖像完成各種計算，例如，立體靶標111上的標志點在視覺傳感器坐標系Om-XmYmZm上的坐標，視覺傳感器坐標系Om-XmYmZm與全局坐標系 Ot-XtYtZt之間的轉換關系以及圖像的處理等。以下參照圖4至圖6詳細說明根據本發明實施例的基于立體靶標的大型自由曲面拼接測量方法的流程圖。在步驟S210，進行視覺跟蹤系統120的標定。例如，將視覺跟蹤系統120的兩臺高分辨率的數碼相機120a和120b放置在適當的位置，使得相機視場的公共區域盡量覆蓋整個被測物體；標定視覺定位跟蹤系統120的兩臺數碼相機120a和120b的內外參數。復雜曲面的三維測量過程是，將曲面的點在相機所拍攝的圖像坐標系(例如，圖像像素坐標系)的坐標轉換到三維的空間坐標系，例如，相機坐標系。因此，需要獲得圖像坐標系到三維的空間坐標系之間的轉換關系，獲得這種轉換關系的過程稱作相機內外參數標定。假設，空間中的某點在全局坐標系下的坐標為M = (Xff, Yff, Zff)τ，并在相機所拍攝到的圖像坐標系下該點表示為m = (u, ν)τ。相機標定中可使用如下數學模型sm = A[B C]M其中；=和i = (U『,z『,if分別稱為圖像的齊次矩陣和空間點的世界齊次矩陣，其中，^ = (^1/和斤=(4,&,2『,1/分別為!11= (u，v)lPM= (Xff, Yff, Zff) τ的擴展矩陣；A為相機的內參數矩陣；[B C]為相機外參數矩陣，分別表示相機所拍攝到的圖像坐標系到全局坐標系的旋轉矩陣和平移矩陣；s為尺度因子，即，常數。其中，矩陣A可表示為
Λ c uoA= 0 fy V0
0 0 1相機標定的過程就是利用已知多個5 = (^1/和斤=(；^,&,2『,1廣來計算出相機的內外參數矩陣，具體的計算過程可參見參見ζ. Y. Zhang文獻AFlexible New Technique for Camera Calibration[J]IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22 (11) :1330_1334。如在所述文獻中介紹的，可通過至少4個點，即， 4組^ = (Hl)T和W =If可獲得相機的內外參數矩陣。根據空間點在相機所拍攝的圖像中的坐標值和通過上述標定過程所獲得的相機的內外參數，可求出空間點在全局坐標系下的坐標，從而完成復雜的曲面的三維測量。上述是單個相機的內外參數標定方法，多個相機的內外參數標定方法與單個相機的內外參數標定方法相似。將相機120a和120b固定之后，在公共視場中放置一個平面的標定靶標，相機120a和120b同時采集標定圖像，然后改變移動標定靶標的位姿，相機120a 和120b同時采集另一組標定圖像。重復上述步驟5次，便可以計算出相機的內外參數。
利用之前采集到的5幅標定圖像和上述的標定方法分別標定兩個相機，就可以得到兩個相機各自的內外參數。獲得的內外參數可如下表所示。
相機120a相機120B內參數A1A2外參數B11C11B21C21Bl2C12B22C22Bl3C13B23C23B14Ci4B24C24B15C15B25C25選擇兩個相機的內參數、、A2以及任選一組外參數Rn、Tli, R2i, T2i，其中i = 1， 2,...5,即組成了立體視覺相機的內外參數，從而完成了立體視覺的標定。假設空間某點在坐標系(例如，全局坐標系)的坐標值為M = (x, y, ζ, 1)τ，該點在左右相機拍攝的圖像中的坐標分別為Hi1 = (U1, Vl)1m2 = (u2, ν2)τ。并使用兩臺相機的內外參數Al、A2以及第i組外參數Κ 、ΤΠ、Ι^和1^，構成如下的方程組彳—Lrη_
I^m2 = A2 [B21 C2l\M求出上述方程組的最小二乘解即為該點在全局坐標系下的坐標值M。雖然在步驟S210中執行對相機120a和120b的標定，在步驟S210中還可對視覺傳感器112進行標定，其標定方式與相機120a和120b的標定方式相同。在步驟S220，進行立體靶標111的標定。在該步驟中，利用中介靶標140，計算立體靶標111上的標志點在視覺傳感器坐標系Om-XmYmZm下的坐標值。以下，參照圖5，說明計算立體靶標111上的標志點在視覺傳感器坐標系Om-XmYmZm的坐標值的方法。圖5是根據本發明實施例的計算立體標靶的標志點在視覺傳感器坐標系下的坐標值的方法的流程圖。如圖5所示，視覺定位跟蹤系統120的兩臺數碼相機120a和120以及視覺傳感器112拍攝到中介靶標140上的至少三個非公線的標志點。假設中介靶標140的標志點在全局坐標系Ot-XtYJt和視覺傳感器坐標系Om-XmYmZm上的坐標值分別為PTO、PM。，其中，Ρτ。、 Pmq為ΝΧ3的矩陣，并且N表示中介靶標140上的被拍攝到的標志點的數量，即，N > 3。由于可以根據空間中至少3個非共線的點分別處于兩個坐標系下的坐標值能夠計算出這兩個坐標系之間的轉換關系。因此，可以通過將Pto和Pmci數據代入四元數法求的Ot-XtYJt到 Om-XmYmZm的轉換關系。[R, Τ] = Q(PMO, PTO)其中，Q表示四元數法函數，R表示旋轉矩陣，T表示平移矩陣。在確定全局坐標系Ot-XtYJt與視覺傳感器坐標系Om-XmYmZm的轉換關系之后，視覺定位跟蹤系統120的兩臺數碼相機120a和120拍攝立體靶標111的標志點，獲得標志點在全局坐標系Ot-XtYJt的坐標值Pti (其為MX 3的矩陣，且M = 2 。將立體靶標111的標志點在全局坐標系Ot-XtYJt下的坐標值Pn轉換到視覺傳感器坐標系Om-XmYmZm,具體的公式為Rot [PM1 (i)] = RX Rot [Pn ⑴]+T其中，Pn (i)表示第i個標志點在全局坐標系下的坐標值，Pmi (i)表示第i個標志
點在視覺傳感器坐標系Om-XmYJmT的坐標值，二者均為1X3的矩陣，i = 1、2.....M0 Rot
表示矩陣的轉置。至此，就獲得了立體靶標111的標志點在視覺傳感器坐標系Om-XmYmZm的坐標值Pmi (其為MX 3的矩陣，M同上)。在步驟S230，獲取局部點云。將被測對象劃分為多個待測區域，將三維測量系統 110移動到第k個位置處，采集到的點云數據為Dk(其為nX3的矩陣，且η彡1)。同時，視覺定位跟蹤系統120的兩臺數碼相機120a和120b拍攝到立體靶標111上的L個非共線的標志點。在步驟S240，計算在第k位置處的視覺傳感器坐標系與全局坐標系之間的轉換關系。立體靶標111上的標志點在全局坐標系下Ot-XtYJt的坐標值為Put(其為LX3的矩陣， 且3彡L彡M)，將Put和Pmi中對應的L個標志點坐標值代入四元數法，便可以求出第k個待測區域視覺傳感器坐標系CV-XMkYMkZ-到全局坐標系的轉換關系，該轉換關系中包含有旋轉矩陣&和平移矩陣Tk。在步驟S250，利用轉換矩陣敗，Tk,將在步驟S230中獲取的點云Dk轉換到全局坐標系 Ot-XTYTZt 下Rot [DTK (i) ] = Rk X Rot [Dk (i)]+Tk其中，Dnt表示在位置k處三維測量系統120獲得的點云Dk轉換到全局坐標系 OT-XTYTZt下的坐標值，其為nX3的矩陣，η同上。重復S230、S240和S250的步驟，直到將所有局部測量的數據轉換到全局坐標系
Oj XjYJZJ下。在步驟S260，通過局部點云在全局坐標系下的拼接來完成大型物體自由曲面的拼接測量。此外，由于立體標靶111固定于視覺傳感器112，因此立體標靶111的標志點在視覺傳感器坐標系下的坐標值是固定的。換言之，立體標靶111的標志點在視覺傳感器坐標系下的坐標值是已知的，因此根據本發明另一實施例的基于立體靶標的拼接測量方法，可不包括步驟S220，在步驟S240中使用已知的立體標靶111的標志點在視覺傳感器坐標系下的坐標值。圖6是根據本發明實施例的基于立體靶標的拼接測量系統在六個不同位置獲取的局部數據和最終拼接結果示意圖。利用視覺傳感器在6個不同的位置測量一個大小為 300 X 300 X 500mm3的頭像。同時，采用兩臺數碼相機(例如，型號均為Nikon-DlOO)，在距離被測物體2. 5m左右放置，并實時定位跟蹤立體靶標，立體靶標支架的邊長為300mm。圖6 表示6個局部的點云數據經過定位跟蹤立體靶標最終統一到全局坐標系下，實現了大型自由曲面的測量。綜上所述，三維測量系統在任意的一個位置下獲得的點云數據，通過上述的幾個步驟都可以統一到全局坐標系Ot-XtYJt下，這都歸因于雙目立體視覺定位跟蹤系統120在整個測量過程中通過定位立體靶標111上的標志點，實時提供三維測量系統110位姿的信息，從而完成局部點云坐標的統一。 雖然已表示和描述了本發明的一些實施例，但本領域技術人員應該理解，在不脫離由權利要求及其等同物限定其范圍的本發明的原理和精神的情況下，可以對這些實施例進行修改。
權利要求
1.一種基于立體靶標的拼接測量方法，所述方法包括步驟a)將兩臺相機設置于能夠觀測到被測對象的位置，并標定兩臺相機的參數以及設置全局坐標系；b)確定固定于視覺傳感器的立體靶標上的標志點在視覺傳感器坐標系下的坐標值；c)將視覺傳感器移動到能夠測量被測對象的一待測區域的位置，通過視覺傳感器對被測對象的該待測區域進行三維測量來獲得該待測區域在視覺傳感器坐標系下的三維數據；d)確定在所述位置處的視覺傳感器坐標系與全局坐標系之間的轉換關系；e)利用d)中確定的轉換關系，將c)中獲得的三維數據轉換到全局坐標系；f)重復步驟c)、d)和e)，完成被測對象的三維測量數據在全局坐標系下的拼接。
2.如權利要求1所述的基于立體靶標的拼接測量方法，其特征在于，步驟b)包括i)利用中介靶標的標志點在全局坐標系下的坐標值和在視覺傳感器坐標系下的坐標值，確定全局坐標系與視覺傳感器坐標系之間的轉換關系； )通過兩臺相機獲得立體靶標的標志點在全局坐標系下的坐標值； iii)利用i)中確定的轉換關系和ii)中獲得的坐標值，確定立體靶標的標志點在視覺傳感器坐標系下的坐標值。
3.如權利要求2所述的基于立體靶標的拼接測量方法，其特征在于，步驟d)包括 通過所述兩臺相機獲得立體靶標的標志點在全局坐標系下的坐標值；通過立體靶標的標志點在視覺傳感器坐標系下的坐標值和在全局坐標系下的坐標值來確定視覺傳感器的坐標系與全局坐標系之間的轉換關系。
4.一種基于立體靶標的拼接測量系統，其特征在于，包括 視覺傳感器，用于測量被測對象的三維數據；立體靶標，固定于視覺傳感器并具有多個標志點； 視覺定位跟蹤系統，測量立體靶標的標志點的三維數據；計算機，基于視覺定位跟蹤系統測量的三維數據和立體靶標在視覺傳感器坐標系下的坐標值來獲得視覺定位跟蹤系統坐標系與視覺傳感器坐標系之間的轉換關系，并基于該轉換關系將視覺傳感器測量的三維數據轉換到視覺定位跟蹤系統坐標系，完成對被測對象的三維數據的拼接。
5.如權利要求4所述的基于立體靶標的拼接測量系統，其特征在于，所述系統還包括具有多個標志點的中介靶標，其中，視覺傳感器測量中介靶標的標志點的三維數據；視覺定位跟蹤系統測量中介靶標的標志點的三維數據和立體靶標的標志點的三維數據；計算機，基于視覺傳感器和視覺定位跟蹤系統測量的中介靶標的標志點的三維數據獲得視覺傳感器坐標系與視覺定位跟蹤系統坐標系之間的轉換關系，并基于該轉換關系和視覺定位跟蹤系統測量的立體靶標的標志點的三維數據獲得立體靶標的標志點在視覺傳感器坐標系下的坐標值。
6.如權利要求4所述的基于立體靶標的拼接測量系統，其特征在于，所述標志點是LED 或者反光標志點。
全文摘要
提供了一種基于立體靶標的拼接測量方法及系統。所述方法包括a)將兩臺相機設置于能夠觀測到被測對象的位置，并標定兩臺相機的參數以及設置全局坐標系；b)確定固定于視覺傳感器的立體靶標上的標志點在視覺傳感器坐標系上的坐標值；c)將視覺傳感器移動到能夠測量被測對象的一待測區域的位置，通過視覺傳感器對被測對象的該待測區域進行三維測量來獲得該待測區域在視覺傳感器坐標系下的三維數據；d)確定在所述位置處的視覺傳感器坐標系與全局坐標系之間的轉換關系；e)利用d)中確定的轉換關系，將c)中獲得的三維數據轉換到全局坐標系；f)重復步驟c)、d)和e)，完成被測對象的三維測量數據在全局坐標系下的拼接。
文檔編號G01B11/24GK102155923SQ201110064758
公開日2011年8月17日 申請日期2011年3月17日 優先權日2011年3月17日
發明者呂乃光, 婁小平, 孫鵬, 林義閩 申請人:北京信息科技大學