專利名稱：基于非共面特征點的攝像機標定方法
技術領域：
本發明涉及攝像機標定技術，具體涉及一種基于非共面特征點的攝像機標定方 法。
背景技術：
近年來，利用數字攝像機進行二維、三維重建和尺寸檢測獲得了越來越多的運用 和研究。攝像機模型反映了圖像平面與空間位置的映射關系，而攝像機標定就是確定反映 攝像機光學及幾何特性的內部參數與外部的參數。其中，攝像機內參數為固定參數，不隨著 攝像機位置變化而改變；攝像機外參數反映的為攝像機坐標系與參考物體坐標系的位姿關 系，該參數會隨著攝像機位姿的變化而發生改變。傳統標定方法是基于一個精確物體標定塊作為空間參照物，通過建立參照物上已 知點與其圖像點間的對應關系來計算攝像機參數的標定方法。傳統標定方法根據標定模板 種類可分為共面點標定及非共面點標定，經典非共面點標定方法有DLT方法，Tsai方法， 陳剛方法，夏艷方法等；共面點標定方法有=Tsai方法、張正友方法。Tsai R Y.在文章"A versatile camera calibration technique for high accuracy 3D machine vision metrology using off the shelf TV cameras and lenses. R. Y. Tsai.，Robotics Automat 3，1987，pp. 323-344. ” 中給出 了一種基于徑向約束(RAC) 的兩步標定法，該方法同時利用共面或者非共面標定模板分別求取攝像機內外參數。該方 法對于畸變模型可以保證較高的精度，然而需要對圖像中心等參數進行預標定。ZHANG Z Y.在文章"Flexible Camera Calibration by Viewing a Plane from Unknown Orientations. Zhengyou Zhang, Seventh International Conference on Computer Vision, 1999, Volume 1pp. 666. 〃中提出了一種更加靈活的使用二維平面標靶 的標定方法，該方法通過采集不同未知姿態下的平面圖像(至少2張)，優化得到攝像機的 內外參數。當攝像機成像平面與參考面接近平行時，使用二維平面標靶的方法標定出的攝像 機參數誤差較大甚至失敗。針對這種情況，一些在攝像機成像平面與參考面接近平行時用 于攝像機標定的方法被提出”Camera calibration with coplanar calibration board near parallel to the imaging plane. ”(HongGen Luo LiMin Zhu and Han Ding，Sensors and Actuators A :Physical Volume 132，Issue 2，20November 2006，Pages 480-486.)。ZHANG Z Y.在文章"Camera Calibration with one-dimensional objects [J]. IEEETransactions on Pattern Analysis and Machine Intelligence，2004，26 (7) 892-899.“中提出了基于一維標靶的攝像機標定方法，雖然一維標靶加工較為容易、標定 精度高，但在標定過程中需要將一維標靶的一端固定，在實際使用中轉動時很難保證固定 端的絕對固定，從而影響了標定的精度。WU F C, HU Z Y, ZHU H J.在文章"Camera calibration with moving one-dimensional objects [J]. Pattern Recognition, 2005, 38 (5) :755_765” 中提出的基于平面運動一維標靶的標定方法，雖然不需要將一維標靶一端固定，但在標定過程中需要 運動平臺的支持。陳剛等人在文章“一種基于立體模板的雙目視覺傳感器現場標定方法.，，(陳剛， 車仁生，光學精密工程，2004，12 (6))中提出了一種使用立體模板標定的方法，陳剛方法沒 有考慮攝像機成像畸變的影響，借助三坐標測量機得到一組精確的圖像特征點及對應參考 坐標，通過線性變換方法確定攝像機內外參數，實用性低、抗干擾能力差且存在較大的誤差。張廣軍等人在中國發明專利“一種基于柔性立體靶標的攝像機標定方法”(申請號 為200810114607. 7，授權公告號為CN100557635C)中提出了一種使用若干個小面積的平面 靶標組成柔性立體標靶進行攝像機標定的方法。該標定方法在本質上依舊為使用二維平面 標靶的ZHANG Z Y.標定方法，該方法進一步利用柔性標靶中各子平面的關系不變約束優化 攝像機參數。該方法對于大視場的攝像機具有一定的適用性，但是對于視場較小的攝像機 無法獲取包含的多個平面標靶的圖像，該方法并不適用。進一步考慮到平面標靶在與攝像 機成像平面接近平行時，ZHANG Z Y.標定方法無法標定出正確的攝像機參數的特點，張廣 軍的方法在放置柔性標靶位置時需要注意這個問題。張廣軍發明的標定方法需要使攝像機 相對與柔性標靶位置至少移動一次，在某些場合攝像機無法移動，且移動柔性立體標靶很 難保證各子標靶相對關系不變。
發明內容
本發明的目的在于克服現有技術的不足，提供一種基于非共面特征點的攝像機標 定方法，僅需要拍攝一張圖像即可完成標定，且使用方法靈活，標定精度較高。為實現上述目的，本發明采用如下技術方案一種基于非共面特征點的攝像機標定方法，其特征在于，包括以下步驟步驟A、設置立體靶標，并建立立體靶標坐標系；所述立體靶標能夠提供至少6個 非共面特征點；步驟B、用攝像機拍攝立體靶標圖像，所拍攝圖像中至少包含6個非共面特征點； 提取至少6個非共面特征點在圖像坐標系下的坐標，求解立體靶標坐標系與圖像坐標系之 間的單應矩陣；步驟C、根據步驟B得到的單應矩陣，求解攝像機的內部參數和外部參數。上述技術方案未考慮攝像機成像畸變的影響，得到的攝像機內部、外部參數可能 存在偏差，為解決此問題，可以引入畸變，使用牛頓迭代法、Levenberg-Marquardt等對步驟 C得到的內部、外部參數進行非線性優化。本發明采用Levenberg-Marquardt非線性優化方 法，即建立以攝像機內參數、外參數以及兩階徑向畸變因子為參數且使投影誤差最小的目 標函數，以步驟C求得的攝像機內部參數、外部參數為初始值，利用Levenberg-Marquardt 準則得到攝像機內部參數、外部參數的最優解。本發明技術方案中使用的立體靶標，可以使用兩個相交的平面靶標組成，也可以 使用一個平面靶標與一個與其不共面的空間點構成，無論何種構成，只要滿足靶標上有至 少6個非共面的特征點即可。
圖1為本發明基于非共面特征點的攝像機標定方法流程圖；圖2為本發明具體實施方式
中立體靶標的示意圖；圖3a_e分別為本發明具體實施方式
中實驗拍攝圖像。
具體實施例方式下面結合附圖對本發明的技術方案進行詳細說明如附圖1所示，本發明方法包括以下步驟步驟A、設置立體靶標，并建立立體靶標坐標系；所述立體靶標能夠提供至少6個 非共面特征點；在本具體實施方式
中，為簡化后續計算，采用了如附圖2所示的立體靶標，該立體 標靶由兩個相互之間垂直相交的平面靶標組成，每個平面靶標上有4條直線平行于兩平面 靶標的交線，9條直線垂直于平面的交線，每條臨近的平行直線間距為10mm，以直線間交點 作為特征點，則該立體靶標最多能夠提供81個特征點。這里用OXYZ表示立體靶標坐標系，其中每個特征點在立體靶標坐標系下的坐標 分別表示為P1U1 Y1 Z1)……Pn(xn yn Zn)，其中η為選取特征點的總數，η》6。步驟B、用攝像機拍攝立體靶標圖像，所拍攝圖像中至少包含6個非共面特征點； 提取至少6個非共面特征點在圖像坐標系下的坐標，求解立體靶標坐標系與圖像坐標系之 間的單應矩陣；本步驟具體包括以下各步驟步驟Bi、用攝像機拍攝立體靶標圖像，所拍攝圖像中至少包含6個非共面特征點； 提取至少6個非共面特征點在圖像坐標系下的坐標；步驟Β2、使用線性方程求解單應矩陣；記攝像機成像模型為= ^r1 r2 r3 ]Μ，其中M = [x ^ ζ if表示立
體標靶坐標系坐標，歷=[w ν if表示圖像平面坐標系坐標；止為攝像機內參數矩陣，
Λ r "ο
A= O fy V0，其中(UQ，yQ)表示圖像主點的像素坐標，fx、fy分別表示X、Y軸向的等效 O O 1
焦距，尸表示成像平面傾斜因子；Cr1 r2 r3 t]為攝像機外參數矩陣，[Γι r2 r3]3X3、t分別描 述了立體標靶坐標系在攝像機坐標系描述下的旋轉及平移的關系；s為任意的比例因子。
'K KKK單應矩陣H= λ At1 r2r3 t]，記單應矩陣丑=Kl ^22hiKl，為矩陣H的第i行A KZz33Vh 考慮到攝像機成像模型中比例因子S，不妨令單應矩陣元素h43= 1。特征點P1U1 Y1 Z1)對應圖像坐標系坐標為(U1 V1),依次得到特征APn(Xn yn Zn)對應圖像坐標系坐標 為(Un Vn)。
將特征點P1帶入攝像機成像模型有
，消去占得
到方程組
；依次將各個特征點帶入攝
像機模型中，直至特征點Pn并得到相應方程組為
由上述可知，η個特征點一共獲得2η個方程，將這些方程組成方程組有 其中 顯然當η彡6時，方程組存在唯一解，此時方程組解為X = (LTL)-1LtK,從而得到單 應矩陣H。此處可以看到，本發明方法的攝像機成像模型單應矩陣為3X4矩陣，而張正友方 法中的單應矩陣為本方法單應矩陣退化后的3X3矩陣。步驟Β3、對步驟Β2得到的單應矩陣H進行非線性優化；在實際中，由于獲取圖像點的過程中存在噪聲干擾，使得M和m并不能滿 足線性方程。假設圖像點受到獨立分布且均值為零的高斯噪聲干擾，那么單映性矩 陣H的最優解可以通過使目標函數
最小得到，其中叫=(Ui, Vi)， 單應矩陣求解問題轉化為非線性優化問題，使用Levenberg-Marquardt準 則求解單應矩陣H的最優解，其中L-M準則所需單應矩陣H的初始值使用步驟B2的 求解結果，參數優化使用數據為特征點P1……Pn。L-M優化的具體方法可參考文 獻“The levenberg-marquardt algorithm，implementation and theory “ (J. More, In G. A. Watson, editor，Numerical Analysis, Lecture Notes in Mathematics 630， Springer-Verlag,1977)。
步驟C、根據步驟B得到的單應矩陣，求解攝像機的內部參數和外部參數；具體包 括以下各步驟步驟Cl、根據旋轉矩陣的正交性建立僅與攝像機內參數相關的方程組；
量b = [B11 B12 B22 B13 B23 Β33]τ，則可得到如下方程組 步驟C2、根據方程組求解攝像機內參數；假設采集非共面特征點圖像有m張，由步驟B可獲得m個單應矩陣，進一步根據 步驟Cl，則可以獲得5m個方程，記該方程組為Vb = 0，其中V為5mX6的矩陣。當m彡2 時，存在唯一解b;當m= 1時，令成像平面傾斜因子Y =0，即給方程組增加一個約束方 程Wl000]b = 0，則可以求求解出b。眾所周知，方程組的解b為矩陣VtV最小特征值對 應的特征向量。由解b計算出矩陣B，根據ZHANG Z Y.標定方法中公式求解攝像機內參 數矩陣 A，具體求解過程參見文獻〃 Flexible Camera Calibration by Viewing a Plane from Unknown Orientations" (Zhengyou Zhang,Seventh International Conference on Computer Vision, 1999, Volume lpp. 666)，此處不再贅述。步驟C3、根據攝像機內參數求解各個外參數；對于非共面特征點圖像，由上述求解的內參數矩陣A，可得到外參數矩陣
對得到的矩陣Q= Lr1 r2 r3]進行正交化，根據ZHANG Z Y.標定方法，矩陣奇異值 分解為Q = USVt，則R = UVt為其對應的外參數。詳細求解過程參見文獻〃 Flexible Camera Calibration by Viewing a Plane from Unknown Orientations “ (Zhengyou Zhang， Seventh International Conference on Computer Vision，1999，Volume lpp. 666)，此處不 再贅述。步驟D、對步驟C得到的內部參數和外部參數進行非線性優化；本發明采用Levenberg-Marquardt非線性優化方法，即建立以攝像機內參數、外 參數以及兩階徑向畸變因子為參數且使投影誤差最小的目標函數，以步驟C求得的攝像機內部參數、外部參數為初始值，利用Levenberg-Marquardt準則得到攝像機內部參數、外部 參數的最優解；具體而言，按照以下方法 假設采集m張參考物圖像，每張圖像上取η個標定點，且圖像點受到均值為零獨立
m η-
分布的高斯噪聲干擾。通過使投影誤差目標函數
小優化攝像機參數。 在函數f中第i張圖像第j個特征點Pij,其圖像像素坐標值記為HIij = (Uij Vij.)， 對應標靶坐標系坐標記為Mij = (Xij. Yij Zij^kpk2分別為引入的一階二階畸變系數，A為 攝像機內參數，[Ri, tj為第i張圖像時的攝像機外參數。ΙΟι^,Α，!^，!^)為由圖像像素坐 標計算出的規格化圖像坐標系坐標，Hr1,、為由物體參考坐標及外參數矩陣計算出的 規格化圖像坐標系坐標。在優化時，將旋轉矩陣Ri轉化為俯仰滾(RPY)角度Φ，θ，識，并將 φ，θ，ρ作為參數進行優化。 目標函數中
，根據攝像機模型
可知 目標函數中
，其中(Xcdj Ycij Zcij)為點Pi1在攝像機坐標
系系下的坐標值，根據攝像機成像模型有 非線性最小化使用Levenberg-Marquardt準則求解。該準則需要一個初始值。其 中攝像機內外參數初始值為步驟C中計算得到的參數值。畸變系數k2，k2的初始值可以通 過下面的線性方法求解將特征點Pi1代入攝像機成像模型中得到 x(x2+y2) x(x2+y2)2' 其 由上可知每個特征點能夠獲得2個如上所示方程。將所有特征點代入攝像機成像模型，一個特征點可以得到2mn個方程，將所有方程組成方程組記為Mk = d，可以得到畸變 系數初始值 k= Lk1 k2]' = (MtM)-1MtcL為了驗證本發明標定方法的效果，按照如下實驗方法與ZHANG Z Y.標定方法進行 比較實驗用攝像機鏡頭為9mm的AVT Guppy F_033B攝像機，其圖像分辨率為 640X480 ；使用的立體靶標通過普通打印機打印平面表格，再貼到立方鐵塊上得到；在不 同位置拍攝立體靶標圖像5張，序號編為1-5，各幅圖像如附圖3a_3e所示；分別采用本發 明的標定方法及ZHANG Z Y.標定方法對上述攝像機進行標定，然后比較兩種標定方法得到 的標定值；由于攝像機外參數數據龐大，且一般攝像機標定主要是為了標定內參數，所以本 實驗僅對攝像機內參數的標定值進行比較。考慮到ZHANG Z Y.標定方法使用共面特征點 進行標定，因此實驗時選取構成該立體靶標的其中一個平面靶標用來進行ZHANG Z Y.方法 標定。實驗結果如下所示，其中表1為使用ZHANG Z Y.標定方法僅拍攝一張圖像時的標 定結果，表2為使用本發明方法僅拍攝一張圖像時的標定結果，表3為使用ZHANG ZY.標定
方法拍攝多張圖像時的標定結果，表4為使用本發明方法拍攝多張圖像時的標定結果 表1 表 2 表3 表 4從以上實驗結果可以看到，使用單張或較少圖像時，使用非共面點比使用共面點 得到的攝像機參數更為穩定；隨著圖像使用數量增加，使用非共面點和使用共面點都趨于 得到一個穩定的攝像機參數。在上述實驗中沒有使用高精度標定塊或特定的儀器，但使用本發明的標定方法最 終仍得到了一個穩定且較高精度的結果，進一步證明了本發明的實用性。為了進一步提高 攝像機參數精度，可以使用精度更高的3維標定塊或者通過沿Zw軸移動平面標定塊固定距 離得到位置精度較高的非共面特征點。
權利要求
一種基于非共面特征點的攝像機標定方法，其特征在于，包括以下步驟步驟A、設置立體靶標，并建立立體靶標坐標系；所述立體靶標能夠提供至少6個非共面特征點；步驟B、用攝像機拍攝立體靶標圖像，所拍攝圖像中至少包含6個非共面特征點；提取至少6個非共面特征點在圖像坐標系下的坐標，求解立體靶標坐標系與圖像坐標系之間的單應矩陣；步驟C、根據步驟B得到的單應矩陣，求解攝像機的內部參數和外部參數。
2.如權利要求1所述基于非共面特征點的攝像機標定方法，其特征在于，所述步驟C后 還包括步驟D 對步驟C得到的內部參數和外部參數進行非線性優化。
3.如權利要求2所述基于非共面特征點的攝像機標定方法，其特征在于，所述 非線性優化是指建立以攝像機內參數、外參數以及兩階徑向畸變因子為參數且使投 影誤差最小的目標函數，以步驟C求得的攝像機內部參數、外部參數為初始值，利用 Levenberg-Marquardt準則得到攝像機內部參數、外部參數的最優解。
全文摘要
本發明公開了一種基于非共面特征點的攝像機標定方法，該方法包括以下步驟設置立體靶標，并建立立體靶標坐標系；所述立體靶標能夠提供至少6個非共面特征點；用攝像機拍攝立體靶標圖像，所拍攝圖像中至少包含6個非共面特征點；提取至少6個非共面特征點在圖像坐標系下的坐標，求解立體靶標坐標系與圖像坐標系之間的單應矩陣；根據得到的單應矩陣，求解攝像機的內部參數和外部參數；對得到的內部參數和外部參數進行非線性優化。本發明提出的標定方法，靶標設置簡單，僅需要拍攝一張圖像即可完成標定，且使用方法靈活，標定精度較高。
文檔編號G06T7/00GK101887585SQ20101022860
公開日2010年11月17日 申請日期2010年7月15日 優先權日2010年7月15日
發明者張捷, 戴先中, 李新德 申請人:東南大學