專利名稱：：一種雙目立體測量系統的標定方法
技術領域：
：本發明屬于測量、測試
技術領域：
，特別是涉及一種面向三維測量的雙目立體攝像機內部參數以及相對位置和姿態參數的標定方法。
背景技術：
：雙目立體測量是指模仿人眼的視覺功能，利用兩臺攝像機從不同角度對被測物體拍攝圖像，對圖像進行分析匹配，并通過三角測量原理計算該物體的三維幾何信息的方法。雙目立體測量系統正越來越廣泛地運用于逆向工程、質量檢測、車輛導引等各個領域。雙目立體攝像機的標定是指獲取雙攝像機的內部參數和兩個攝像機之間的相對位置和姿態參數的過程，它是雙目立體測量系統最基本也是最重要的組成部分。已有的攝像機標定方法可以大體分為以下幾類(1)利用空間幾何信息精確已知的立體標定物進行標定，立體標定物一般由2個或3個相互垂直的平面構成。高精度立體標定物不便于制作、成本高，而且不便于攜帶和現場使用。(2)通過精確控制攝像機或平面標定物體的運動進行標定。精確的運動控制結構復雜、成本高，很多情況下也不適合現場快速標定。(3)利用二維的平面標定模板進行單個攝像機標定的方法。該方法提出至今廣受關注，但是目前基于平面標定模板的標定算法的標定精度敏感地依賴于模板上各個特征點坐標位置的精度，因此要求精確已知標定模板上各個特征點的坐標位置，或要求各特征點精確位于若干族平行直線上，根據ZhengyouZhang在文獻"Aflexiblenewtechniqueforcameracalibration.(TechnicalReport,MSR-TR-98-71，MicrosoftResearch,1998)"中的實驗數據，當平面模板上特征點坐標存在5%的誤差，則鏡頭一階徑向畸變系數的標定誤差會達到20%以上；即使平面模板上特征點坐標存在1%的隨機誤差，一階徑向畸變系數也會有5%左右的標定誤差；而當平面模板的平面度有1%的誤差時，會導致IO個像素左右的主點標定誤差。這顯然不能很好地滿足工業測量的要求。而要嚴格計量校準標定板上每一個特征點的精確位置，并保證標定板的嚴格平面度要求，同樣會帶來標定板制作困難、成本高以及各特征點和精確計量的各個坐標數據之間的額外的對應處理問題。(4)基于一維的直線標定物的標定方法。這種方法也需要一維標定物上的各特征點間的距離精確已知，且各特征點應嚴格共線方可以獲得較高的標定精度。(5)自標定方法，這類方法不用任何標定物，僅僅通過具有一定重疊的靜態場景的圖像之間形成的約束對相機參數進行標定，雖然這種方法實施最為簡單，具有非常高的靈活性，但標定精度難以達到工業測量的要求。
發明內容針對現有技術存在的問題，本發明提出了一種簡便易行的雙目立體測量系統的高精度標定方法，該方法設計并制作一塊平面標定模板，標定板沒有嚴格的平面度要求，其上各個特征點的位置也不需要精確測定，只要各個特征點基本上呈矩形陣列形式排列，且其中有兩個點之間的距離精確已知即可。對標定模板在不同角度拍攝一組圖像就可以在精確確定標定板的實際幾何信息的同時，方便地實現雙目立體攝像機內、外參數的高精度標定。本發明提出的雙目立體測量系統的標定方法，采用如下技術方案步驟1.在標定板上分布7V行M列易于識別的特征圓點，設計其中5個特征圓點的直徑明顯大于其它特征圓點的直徑，且它們在陣列中所處的相對位置能夠區分它們各自的身份，而且其中有兩個特征圓點的圓心之間的距離事先經過精確測定，W行M列特征圓點的行距和列距有一個基本估計值即可，分別記為M和Aj)，取標定板上一個特征圓點的中心為世界坐標系的原點，并令每個特征圓點中心的z坐標等于零，每個特征圓點中心的x和y坐標估計值F和j^可以由該特征圓點在陣列中的序號以及M和Aj)的值計算得到；在無需控制任何運動參數的情況下，由立體攝像機對標定板在三個以上不同角度拍攝圖像，作為標定圖像；步驟2.首先用Canny邊緣檢測算子提取圖像的邊緣輪廓，再對標定圖像進行輪廓的亞像素邊緣提取，并精確確定各個特征圓點的圓心的亞像素圖像坐標；步驟3.在各幅標定圖像中，利用5個大特征圓點的特定分布模式確定它們的身份編號，然后在單應映射的基礎上建立各幅標定圖像中其它特征圓點的對應關系；步驟4.在不考慮攝像機鏡頭畸變的情況下，根據標定板到圖像平面的單應變換假設，以及旋轉矩陣列向量的單位正交性約束，分別建立兩個攝像機內部參數的約束方程，并求解得到兩個攝像機各自的內部參數，進而計算兩個攝像機在各次拍攝時相對于世界坐標系的位置和姿態參數；步驟5.考慮攝像機鏡頭的徑向和切向畸變，以兩個攝像機的內參數和各次拍攝時兩個攝像機分別相對于世界坐標系的位置和姿態參數作為優化變量建立優化目標函數，對優化變量進行第一次優化；步驟6.考慮標定板實際幾何誤差的影響，以第一次優化得到的單個相機的內、外參數為初值，將標定板上特征圓點中心的空間坐標也作為優化變量，與其它攝像機內外參數，包括徑向和切向畸變系數一起再進行第二次優化；步驟7.根據第二次優化得到的特征圓點中心的空間坐標，計算距離精確已知的那兩個特征圓點之間的距離，用該距離值與相應的實際精確距離值之間的比例系數對第二次優化得到的兩個攝像機之間的相對位置向量(平移向量)進行比例縮放，從而得到兩個攝像機之間的相對位置向量的最終標定結果，兩個攝像機的全部內參數以及它們之間的相對姿態參數(旋轉矩陣)不受尺度縮放的影響，因此直接由第二次優化的結果作為最終標定結果。由于本發明在初步確定了兩個攝像機內外參數的基礎上，進一步將標定板上特征圓點中心的空間坐標作為優化變量進行優化求解，并用實際距離精確已知的兩個點之間的間距精確恢復由此帶來的尺度變化，因此即使標定板的平面度以及預知的標定板上特征點的中心坐標的精度不高，本發明的標定方法也能通過算法優化確定實際的標定板幾何信息，從而大大降低了標定板的制作和計量校準要求，同時能夠獲得高精度的標定效果，這對于雙目立體測量系統具有重要意義。圖1:標定板示意圖。圖2:雙目立體測量系統示意圖。圖中1為1號特征圓點，2為2號特征圓點，3為3號特征圓點，4為4號特征圓點，5為5號特征圓點，6為支架，7和8分別為兩個攝像機。標定板的前景和背景的黑白顏色可以互換。具體實施方式下面對本發明提出的雙目立體測量系統的內外參數標定方法的具體實施步驟做進一步描述。步驟l.制作標定板并拍攝標定圖像本發明要求標定板上分布iV行M列易于識別的特征圓點，其中5個特征圓點的直徑明顯大于其它特征圓點的直徑，且它們在陣列中所處的相對位置能夠區分它們各自的身份，標定板沒有嚴格的平面度要求，各個特征點的位置也不需要精確測定，只要標定板上有兩個點之間的距離精確已知即可。圖1為一個標定板實例。對于5個特征圓點，只要從排布位置上看五個中的每一個都不同于另一個就行。就圖1而言，如果沒有3號大點，1與2以及4與5就沒法區分。而3號點放在4的旁邊也未嘗不可。在該實例中，精確測定1號和2號大特征圓點的圓心之間的距離《，取標定板上左上角的那個特征圓點的中心為世界坐標系的原點，以2號和1號特征點連線的方向為x軸方向，4號和5號特征點連線的方向為^軸方向,令每個特征圓點中心的z坐標估計值等于零。由于特征圓點大致成陣列形式排列，因此每個特征圓點中心的jc和y坐標很容易由其所在陣列中的位置以及特征圓點陣列的大致行距和列距值計算，由此得到第y'個特征圓點中心的坐標估計值t=[F，^,0f;兩個攝像機相距一定間距和角度固定在支架上，如圖2所示，構成立體攝像機對；由立體攝像機對標定板在三個以上不同角度拍攝圖像，作為標定圖像。步驟2.標定圖像橢圓中心坐標提取本發明采用以下方法確定標定板上圓形特征點中心在各幅標定圖像上的圖像坐標位置首先用Canny邊緣檢測算子提取圖像的邊緣輪廓，但由于Canny邊緣檢測算子只能得到整像素精度級邊緣輪廓，因此邊緣定位精度不高。考慮標定板上圓形特征點成像到標定圖像中的楠圓形目標邊界均具有較大的曲率，本發明進一步采用了結合圖像灰度梯度和灰度矩的方法來進行邊界亞像素輪廓提取。在橢圓擬合時候，使用亞像素邊界進行成像橢圓擬合，擬合的橢圓中心即是標定板上特征圓中心的圖像坐標。提取出的各橢圓中心的圖像坐標存在一個鏈表Z"中，留待下一步使用。步驟3.特征點對應本發明采用單應變換的理論建立圓點間的對應關系。根據針孔攝像機模型，有<formula>formulaseeoriginaldocumentpage11</formula>(1)其中5為比例系數;[XJ,zf'為點X在世界坐標系下的坐標；m=["《是X在圖像平面上的像點轉換成像素表示的坐標;R和t分別為從世界坐標系到攝像機坐標系的旋轉變換矩陣和平移變換向量;A是攝像機的內參數矩陣，表示為<formula>formulaseeoriginaldocumentpage11</formula>(2)其中的["。，v。f為圖像平面的主點坐標，a、-表示在圖像"軸、v軸方向的以像素為單位的焦距參數，y為扭曲系數。由于中心投影把一張平面上的點映射為另一張平面上的點，因此在針孔攝像機模型下，針對平面標定模板的成像過程可以認為是一個射影變換過程，可以用非奇異3x3單應矩陣H表示，艮口環*=HX*(3)其中，m、[w,v,lf'是圖像坐標的齊次形式，X、[x,乂l]T表示被拍攝平面上的點的齊次坐標。利用標定模板上5個大圓明顯大于其它特征圓且分布呈特定模式的特性，辨別它們的身份。然后根據5個大圓中心的圖像坐標及對應的標定板上的平面坐標估計值，求出標定模板到圖像平面的單應變換矩陣H。對于標定板上第y個特征圓點，如果存在m-H(i")||<T,m""'v其中文"、[F,j^,ir,T是閾值，則視m為標定板上第y個特征點的對應像點。步驟4.單個攝像機內外參數的初始估計平面標定模板與其所成圖像之間的單應矩陣與攝像機內外參數間存在如下關系<formula>formulaseeoriginaldocumentpage12</formula>其中r,、r,分別是攝像機相對于標定板上的世界坐標系的旋轉矩陣R的前兩個列向量。將H矩陣寫為H^h,h2h小則有h！=Ar"h2=Ar2,h3=At利用旋轉矩陣列向量r,、！"2的單位正交性，可以得出以下約束方程:<formula>formulaseeoriginaldocumentpage12</formula>由公式(6)可以看出，每拍攝一次標定板的圖像可以得到兩個線性約束方程，而矩陣A中有5個未知量需要標定，那么如果有w幅圖像，則可以得到2"個線性方程。所以，當《23時，就可以求解矩陣A中的5個未知量。根據(5)式可進一步得到每次拍攝時攝像機相對于世界坐標系的外部參數r,=/lA—'h,,r2=/lA—'h2(7)r3=rxr2,t=義A—'h3其中義=1/|卜-'h』=l/||A-'h2||。分別對兩個攝像機執行上述求解過程，得到左右兩個相機的各自的內外參數a,、r;、t;和A。r:、t:(上標'表示第/次拍攝，下標,和r分別表示左攝像機和右攝像機)。要說明的是，由于標定板上特征點的坐標可能存在一定的誤差，本發明只將這一步獲得的參數作為單個攝像機的初步標定結果。步驟5.考慮畸變效應的雙攝像機內外參數的一次優化根據上一步標定出的第z'次拍攝時左、右攝像機相對于世界坐標系的位置和姿態參數r;、t;、r;.、t:，計算右攝像機到左攝像機間的旋轉矩陣和平移向量r:2'=r;r:—',(8)其中r:-'表示r二的逆矩陣。取攝像機的鏡頭非線性畸變模型為<formula>formulaseeoriginaldocumentpage13</formula>其中a、&是徑向畸變系數，a、a為切向畸變參數，[x;/r為理想針孔模型下的圖像坐標，[x'y;T為畸變效應作用下的實際圖像坐標。a、&、a、a與式(2)矩陣A中的元素統稱為攝像機的內部參數。考慮非線性畸變效應，對雙攝像機內外參數進行第一步優化。具體方法是以<formula>formulaseeoriginaldocumentpage14</formula>其中A(a"u〖,",/4R;，t;，:^)是根據平面標定模板上的特征點的初始值iM吏用針孔模型加非線性畸變模型計算出來的第y個特征圓點在左攝像機第z幅圖像上的圖像坐標，mf是標定板上第/個特征圓點在左攝像機第,l亮圖像上識別出的真實特征圓點圖像坐標，m;是左攝像機第/幅圖像上識別出的特征圓點個數；*(\,仏《,;;^,1^;,、2,,、2,,)是根據^使用針孔模型加非線性畸變模型計算出來的在右攝像機第/幅圖像上的圖像坐標，mf是標定板上第y'個特征點在右攝像機第i幅圖像上的實際投影圖像坐標，》,:是右攝像機第/幅圖像上識別出的特征圓點個數。在這一步優化中保持標定板上的特征圓點的空間坐標f不變，a,,a,,r;t;的初始值由步驟4中解線性方程系統得到，^;和《的初始值設為o，r.2,和u的初始值取各次拍攝計算得到的r:2,和t:2,的平均值。步驟6.考慮標定板實際幾何影響的二次優化通常的標定算法都假定標定物體上的目標點坐標均精確已知。這一假定帶來的問題是，如果己知的標定物上的目標點坐標精度不高，則最終的標定精度會受到明顯影響；而若要確定標定物上所有點的高精度的三維坐標，則勢必給標定物的制作和測量校準提出很高的要求。為此，本發明假定標定板上各特征圓點的預先給定的坐標f存在一定的誤差，因此在步驟5進行第一次優化的基礎上，將標定模板上的各特征圓點中心的實際坐標X7也作為變量納入優化目標函數，進行第二次優化，具體目標函數為幼卜卜"M"《'"'R"t;nxOir,-=1>1這里優化變量除了a,,《,《,"，w,R;，t;,a,,^,《,K,《，R,.2,,t,2,以外還包括x'。a,^U〖^,;4，R;,t;,a,.W,《,(p"Ra人2,的初始值取步驟5中一次優化的輸出結果，x'的初始值取為f。步驟7.比例縮放由于標定模板上的各個特征圓點中心的實際坐標XJ也參與了優化過程，會使得雙目立體測量系統的測量結果相差一個比例因子。為此，本發明根據優化后得到的1號特征圓點中心和2號特征圓點中心的坐標，計算它們之間的距離&,根據4和標準距離《之間的比值，對二次優化得到的參數t,.2,乘以比例系數《M，得到最終標定出的右攝像機到左攝像機之間的平移向量。兩個攝像機的全部內參數以及它們之間的相對姿態參數(旋轉矩陣)不受尺度縮放的影響，因此直接由步驟6中的結果作為最終標定結果。這樣即得到雙目立體測量系統的全部內、外參數的最后的標定結果。本發明在初步確定了兩個攝像機內、外參數的基礎上，綜合考慮了標定板幾何誤差的影響，進一步將標定板上特征圓點中心的空間坐標作為優化變量進行優化求解，并用實際距離精確已知的兩個點之間的間跑精確恢復由此帶來的尺度變化，因此即使標定板的平面度以及預先給定的標定板上特征點的中心坐標的精度不高，本發明的標定方法也能通過算法優化確定實際的標定板幾何信息，從而大大降低了標定板的制作和計量校準要求，同時能夠獲得高精度的標定效果。下面結合一個實施例進一步說明本發明方法的有益效果。該實施例采用分辨率為1392x1040的兩個數字CCD攝像機和50WW焦距的兩個光學鏡頭；兩個攝像機放置在帶有三機云臺的三角架上；系統的標定程序以VC+十6.0為工具編寫，在Windows2000平臺上運行。用普通打印機打印出圖l所示的標定模板圖案，黏貼于普通平板玻璃上，特征圓點陣列的設計行距和列距均為15mm，用萬工顯測出l號和2號大特征圓點中心間的距離為89.977。用兩個攝像機對標定板在不同角度拍攝5次，得到5個圖像對共10幅圖像。應用本發明方法對該雙目立體攝像機的內外參數進行標定，結果為左攝像機內部參數A產<formula>formulaseeoriginaldocumentpage16</formula>右攝像機內部參數<formula>formulaseeoriginaldocumentpage16</formula>左右攝像機的相對姿態和位置關系<formula>formulaseeoriginaldocumentpage16</formula>根據標定出的系統內外參數分析三維空間點的再投影誤差利用標定結果將標定模板上的三維特征點坐標按照標定出的系統內、外參數投影到左右攝像機的圖像平面，得到在相應內、外部參數下的標定模板特征圓點的象素坐標A,=&,化)，分別計算A,和實際圖像中提取出的對應特征點的象素坐標m之間的平均誤差mean，最大誤差max，方差和sse以及標準偏差stddev。表1不考慮標定板實際幾何影響的重投影誤差(單位像素)<table>tableseeoriginaldocumentpage16</column></row><table><table>tableseeoriginaldocumentpage17</column></row><table>表l給出了不考慮標定板幾何誤差(包括標定板平面度以及其上特征圓點中心坐標誤差)影響的情況下，得到的再投影誤差。表2是考慮了標定板實際幾何影響，將特征圓點中心的實際坐標作為優化變量參與二次優化，得到的再投影誤差。對比表1和表2可以看出，雙目立體攝像機參數在不考慮標定板實際幾何影響的情況下，特征點的再投影平均誤差在0.18個象素上下浮動，最大誤差達到0.57個象素；使用本發明提出的考慮標定板實際幾何影響進行二次優化之后，特征點的再投影平均誤差和最大誤差分別減小到0.04個象素和0.16個象素，可見再投影誤差顯著降低。在兩個攝像機的內參數以及二者之間的相對位置和姿態參數確定以后，可以利用光學三角形原理計算出空間點的三維坐標。因此，除了上述對再投影誤差的分析，我們還利用本發明方法標定得到的系統參數，對間距精確值為90mw的兩個點的三維坐標進行了反求，50次測量實驗得到的這兩個點間的平均距離為90.02126畫，相對誤差均值為0.0236%，標準差為6.3924X1()-3附附。而用不考慮標定板實際幾何參數影響得到的系統標定結果對這兩個點進行同樣實驗，得到的這兩個點間的平均距離為90.03406mw，相對誤差均值為0.0378%，標準差為6.1650X10—3mm，誤差水平為本發明方法的1.6倍。由此進一步說明，使用本發明方法可以明顯提高雙目立體測量系統的精度。權利要求1、一種雙目立體測量系統的標定方法，其特征在于包括以下步驟步驟1.制作標定板并拍攝標定圖像采用特殊設計的平面標定板，其上分布易于識別的矩形陣列形式的特征圓點，其中5個特征圓點的直徑明顯大于其它特征圓點的直徑，且它們在陣列中所處的相對位置能夠區分它們各自的身份，標定板沒有嚴格的平面度要求，各個特征點的位置也不需要精確測定，只要標定板上有兩個點之間的距離精確已知即可；利用特征圓點在陣列中的位置以及特征圓點陣列的大致行距和列距值計算得到第j個特征圓點中心的坐標估計值<math-cwu><![CDATA[<math><mrow><msup><mover><mi>X</mi><mo>~</mo></mover><mi>j</mi></msup><mo>=</mo><msup><mrow><mo>[</mo><msup><mover><mi>x</mi><mo>~</mo></mover><mi>j</mi></msup><mo>,</mo><msup><mover><mi>y</mi><mo>~</mo></mover><mi>j</mi></msup><mo>,</mo><mn>0</mn><mo>]</mo></mrow><mi>T</mi></msup><mo>;</mo></mrow></math>]]></math-cwu><!--imgid="icf0001"file="S2008100206865C00011.gif"wi="113"he="21"img-content="drawing"img-format="tif"/-->由立體攝像機對標定板在三個以上不同角度拍攝圖像，作為標定圖像；步驟2.確定標定板上每個圓形特征點中心在各幅標定圖像上的圖像坐標位置首先用Canny邊緣檢測算子提取圖像的邊緣輪廓；進一步采用結合圖像灰度梯度和灰度矩的方法來進行邊界亞像素輪廓提取；在橢圓擬合時候，使用亞像素邊界進行成像橢圓擬合，擬合的橢圓中心即是標定板上特征圓中心的圖像坐標；提取出的各橢圓中心的圖像坐標存在一個鏈表Lu，v中，留待下一步使用；步驟3.特征點對應由于中心投影把一張平面上的點映射為另一張平面上的點，因此在針孔攝像機模型下，針對平面標定模板的成像過程可以用非奇異3×3單應矩陣H表示，即sm*＝HX*(1)其中，m*＝[u，v，1]T是圖像坐標的齊次形式，X*＝[x，y，1]T表示被拍攝平面上的點的齊次坐標；利用標定模板上5個大圓明顯大于其它特征圓且分布呈特定模式的特性，辨別它們的身份；然后根據5個大圓中心的圖像坐標及對應的標定板上的平面坐標估計值，求出標定模板到圖像平面的單應變換矩陣H；對于標定板上第j個特征圓點，如果存在<math-cwu><![CDATA[<math><mrow><mo>|</mo><mo>|</mo><mi>m</mi><mo>-</mo><mi>H</mi><mrow><mo>(</mo><msup><mover><mi>X</mi><mo>~</mo></mover><mrow><mo>*</mo><mi>j</mi></mrow></msup><mo>)</mo></mrow><mo>|</mo><mo>|</mo><mo><</mo><mi>τ</mi><mo>,</mo><mi>m</mi><mo>∈</mo><msup><mi>L</mi><mrow><mi>u</mi><mo>,</mo><mi>v</mi></mrow></msup></mrow></math>]]></math-cwu><!--imgid="icf0002"file="S2008100206865C00021.gif"wi="183"he="27"img-content="drawing"img-format="tif"/-->其中<math-cwu><![CDATA[<math><mrow><msup><mover><mi>X</mi><mo>~</mo></mover><mrow><mo>*</mo><mi>j</mi></mrow></msup><mo>=</mo><msup><mrow><mo>[</mo><msup><mover><mi>x</mi><mo>~</mo></mover><mi>j</mi></msup><mo>,</mo><msup><mover><mi>y</mi><mo>~</mo></mover><mi>j</mi></msup><mo>,</mo><mn>1</mn><mo>]</mo></mrow><mi>T</mi></msup><mo>,</mo></mrow></math>]]></math-cwu><!--imgid="icf0003"file="S2008100206865C00022.gif"wi="123"he="19"img-content="drawing"img-format="tif"/-->τ是閾值，則視m為標定板上第j個特征點的對應像點；步驟4.單個攝像機內外參數的初始估計平面標定模板與其所成圖像之間的單應矩陣與攝像機內外參數間存在如下關系H＝A[r1r2t](2)其中r1、r2分別是攝像機相對于標定板上的世界坐標系的旋轉矩陣R的前兩個列向量，t為從世界坐標系到攝像機坐標系的平移向量；A是攝像機的內參數矩陣，表示為全文摘要一種雙目立體測量系統的標定方法，屬于測量、測試
技術領域：
。采用有特征圓點陣列的平面標定板，其中有兩個特征圓點中心的距離精確已知；對標定板在三個以上角度拍攝圖像；在針孔模型下，用線性方法求解兩個攝像機的內外參數初值；考慮畸變效應，以兩個攝像機的內外參數為優化變量進行第一次優化；進一步將標定板上特征圓點中心的空間坐標也作為優化變量，進行第二次優化；用計算距離與已知精確距離的比值對相機間的平移向量進行比例縮放，得到該參數的標定結果，兩個攝像機的內參數和相對姿態參數取第二次優化的結果。本發明方法考慮了標定板幾何誤差的影響，降低了標定板的制作和計量校準要求，同時能夠獲得高精度的標定結果。文檔編號G01C11/30GK101231750SQ20081002068公開日2008年7月30日申請日期2008年2月21日優先權日2008年2月21日發明者輝張,張麗艷申請人:南京航空航天大學