一種基于圓柱面的多攝像機系統標定方法
【專利摘要】本發明涉及一種基于圓柱面的多攝像機系統標定方法。在圓柱面上構造多個特征點，使得圍繞圓柱面的攝像機都能拍攝到至少6個特征點；以圓柱面的軸線和半徑為坐標軸建立三維坐標系，并對基于不同半徑方向的坐標系作出標記；根據特征點的構造方法和圓柱面的尺寸，計算特征點的三維坐標和基于不同半徑方向的坐標系之間的變換關系；各攝像機拍攝圓柱面的圖像，提取所述特征點的圖像坐標，通過直接線性變換求出各攝像機的標定初值，并通過非線性優化獲得各攝像機的全部內外參數；根據各攝像機與圓柱面的相對關系，計算各攝像機之間的相對關系，完成多攝像機系統的標定。本發明克服了現有技術的不足，便于大視場、寬基線、非同步多攝像機系統的標定。
【專利說明】
-種基于圓柱面的多攝像機系統標定方法
技術領域
[0001] 本發明設及多攝像機系統的標定方法，具體設及一種基于圓柱面的多攝像機系統 標定方法，適用于計算機視覺系統和技術。
【背景技術】
[0002] 多攝像機系統的標定，即通過實驗方法確定各攝像機的內參數和相互間的位置關 系，是多攝像機系統應用于目標跟蹤和=維重建等領域的關鍵環節。為獲得精確的標定結 果，需要在多攝像機的共同視場內設置一個結構尺寸已知的標定物。根據采用的標定物不 同，目前多攝像機系統的標定方法可分為四類：
[0003] 采用光點為標定物（T.Svoboda,D.Martinec,and T.Pajdla,A convenient multi-camera selfcalibration for virtual environments,PRESENCE:Teleoperators and Virtual Environments,2005,14(4) :407-422),在共同視場中移動光點多次，利用自 標定方法對多攝像機系統進行標定。運類方法需要多個攝像機同步拍攝光點，不能應用于 非同步的多攝像機系統，限制了其應用。
[0004] 采用一維標定物(付強，全權，蔡開源，基于自由運動一維標定物的多攝像機參數 標定方法與實驗，控制理論與應用，2014,31(8) :1018-1024),首先進行兩兩標定，接著利用 基本矩陣及一維標定物上特征點之間的幾何約束，估計兩攝像機的內外參數，最后采用最 短路徑法和捆束調整對多攝像機系統進行全局標定。運種方法需要在多攝像機的共同視場 中隨機揮舞一維標定物上百次，才能得到較好的結果，運是一項費時的工作。如果多攝像機 系統的配置發生變化，那么需要重復進行運樣的費時工作，不便于多攝像機系統的靈活配 置。
[0005] 采用二維標定物（T.Ueshiba and F.Tomita,Plane-based calibration algorithm for multi-camera systems via factorization of homography matrices, in Proc. of IEEE International Conference on Computer Vision,Nice,France, Oct. 2003，pp.966-973)，是單個攝像機標定目前最常用的方法，但對于環形配置的多攝像 機系統，運類方法存在遮擋問題，即位于二維標定物背后的攝像機不能看到標定物上的標 定圖案，從而不能同時進行標定。而且，運類方法需要在拍攝標定圖像的過程中多次改變標 定物相對于攝像機的姿態，需要人工參與，不便于自動標定。
[0006] 采用S維標定物（Jae-Hean Kim,Bon-Ki Koo,Convenient calibration method for unsynchronized multi-camera networks using a small reference object，in Proc.of lEEE/RSJ International Conference on Intelligent Robots and Systems， Vilamoura,Algarve ,Portugal，0ct. 2012，pp.438-444)，僅需拍攝一幅圖像即可進行多攝 像機系統的標定。但運類=維標定物多采用多面體結構，在制作時需要保證不同平面之間 的精確位置關系，需要精密的加工設備，不便于普及。對于單個攝像機，可采用平面標定圖 案與圓柱面相結合的標定方法（Jianhua Wang,Zhenyi Li ,Fuxin Ren,Zhao Liu,Aidi Shen,Calibration of Vision System Used on Unmanned Surface Vehicle,in Proc.of OCEANS' 16MTS/IE邸Sian曲ai ,April 2016)，便于S維標定物的制作，但運種方法僅考慮 單個攝像機的標定，不能應用于多攝像機系統。
[0007] 隨著計算機技術的發展和數字攝像機的普及，多攝像機系統的應用日趨廣泛，因 此，本領域希望有更簡捷實用的多攝像機系統標定方法。
【發明內容】
[0008] 本發明針對多攝像機系統現有標定方法的不足，提供一種基于圓柱面的多攝像機 系統標定方法。該方法中的標定物不需要精密的加工設備，便于標定物的制作;標定時每個 攝像機僅需拍攝一幅圖像，便于多攝像機系統的自動標定；當在多攝像機系統中增加攝像 機或改變攝像機時，僅需標定該攝像機的內外參數，即可將該攝像機與其它攝像機進行關 聯，完成多攝像機系統標定參數的更新，便于多攝像機系統的靈活配置。
[0009] 為達到上述目的，本發明采用如下的技術方案：
[0010] -種基于圓柱面的多攝像機系統標定方法，其特征在于，所述標定方法包括如下 步驟：
[0011] (1)在圓柱面上構造多個特征點，使得圍繞所述圓柱面的攝像機都能拍攝到至少6 個所述特征點，優選能拍攝到至少18個所述特征點；
[0012] (2) W所述圓柱面的軸線和半徑為坐標軸建立=維坐標系，并對基于不同半徑方 向的坐標系作出標記；
[0013] (3)根據所述特征點的構造方法和所述圓柱面的尺寸，計算所述特征點在所述= 維坐標系中的=維坐標，W及基于不同半徑方向的所述=維坐標系之間的變換關系；
[0014] (4)用各攝像機拍攝所述圓柱面的圖像，提取所述特征點的圖像坐標，通過直接線 性變換求出各攝像機的標定初值，并通過非線性優化獲得各攝像機的全部內外參數；
[0015] (5)根據所述各攝像機與所述圓柱面的相對關系，計算所述各攝像機之間的相對 關系，完成多攝像機系統的標定。
[0016] 本發明克服了采用平面標定物時存在的遮擋問題，便于大視場、寬基線、非同步多 攝像機系統的自動標定。
【附圖說明】
[0017] W下結合附圖和【具體實施方式】來進一步說明本發明。
[0018] 圖1為一個實施例的標定物和攝像機分布示意圖。
[0019]圖2為圖1所示實施例中攝像機200拍攝的標定物圖像示意圖。
[0020] 圖3為圖1所示實施例中攝像機300拍攝的標定物圖像示意圖。
[0021] 圖4為圖1所示實施例中攝像機400拍攝的標定物圖像示意圖。
[0022] 圖5為圖1所示實施例中攝像機500拍攝的標定物圖像示意圖。
[0023] 圖6為從圖3所示標定物圖像中提取的特征點示意圖。
[0024] 圖7為圖1所示實施例中攝像機坐標系與標定物坐標系的示意圖。
【具體實施方式】
[0025] 為了使本發明實現的技術手段、創作特征、達成目的與功效易于明白了解，下面結 合具體圖示，進一步闡述本發明。
[0026] 本發明針對采用平面標定物時存在的遮擋問題和需要拍攝多幅不同圖像的問題， W及采用=維標定物時存在的標定物制作困難問題，提供一種基于圓柱面的多攝像機系統 標定方法。該方法的步驟如下：
[0027] (1)在圓柱面上構造多個特征點，使得圍繞所述圓柱面的攝像機都能拍攝到至少6 個所述特征點，優選能拍攝到至少18個所述特征點；
[0028] (2) W所述圓柱面的軸線和半徑為坐標軸建立=維坐標系，并對基于不同半徑方 向的坐標系作出標記；
[0029] (3)根據所述特征點的構造方法和所述圓柱面的尺寸，計算所述特征點在所述= 維坐標系中的=維坐標，W及基于不同半徑方向的所述=維坐標系之間的變換關系；
[0030] (4)用各攝像機拍攝所述圓柱面的圖像，提取所述特征點的圖像坐標，通過直接線 性變換求出各攝像機的標定初值，并通過非線性優化獲得各攝像機的全部內外參數；
[0031] (5)根據所述各攝像機與所述圓柱面的相對關系，計算所述各攝像機之間的相對 關系，完成多攝像機系統的標定。
[0032] 基于上述原理，本發明的具體實施過程如下：
[0033] (1)在圓柱面上構造多個特征點，使得圍繞所述圓柱面的攝像機都能拍攝到至少6 個所述特征點，優選能拍攝到至少18個所述特征點。圖1為一個實施例的標定物和攝像機分 布示意圖，在圓柱面110上印刷展開后為平面方格的圖案120,構成圓柱形標定物100,白色 方格121和黑色方格122的交點123作為特征點。根據視覺系統的工作范圍，確定圓柱面的半 徑為90.5mm，白色方格121和黑色方格122的邊長為23.5mm，均勻相間地分布白色方格121和 黑色方格122各120個，使得圍繞圓柱面110的攝像機200,300,400和500都能拍攝到至少6個 所述特征點123,優選能拍攝到至少18個所述特征點123。圖2、圖3、圖4和圖5分別為攝像機 200、300、400和500拍攝的標定物圖像示意圖，它們都拍攝到至少77個特征點123。
[0034] (2) W所述圓柱面的軸線和半徑為坐標軸建立=維坐標系，并對基于不同半徑方 向的坐標系作出標記。在圖1所示的實施例中，W圓柱面110的軸線為Cz軸，過特征點的半徑 為Cx軸，根據右手法則建立=維直角坐標系CxCyCz。運樣，過每個特征點可建立一個坐標系， 為區別過不同特征點的坐標系，在圓柱面110上作出標記130,在該實施例中W數字標記不 同的半徑方向。在圖2中，所建立坐標系的Cx軸通過標記1方向的特征點，將該坐標系表示為 寫1，其；條坐標軸分別為ClX，ClY點Z;在圖帥，所建立坐標系的Cx軸通過標記7方向的特征 點，將該坐標系表示為|7,其=條坐標軸分別為C7X，C7Y，|7Z;在圖4中，所建立坐標系的Cx軸通 過標記13方向的特征點，將該坐標系表示為|13，其立條坐標軸分別為Cl3X，Cl3Y點3Z;在圖5 中，所建立坐標系的Cx軸通過標記19方向的特征點，將該坐標系表示為Ci9,其立條坐標軸分 另 Ij 為 Cl9X,Cl9Y,Cl9Z。
[0035] (3)根據所述特征點的構造方法和所述圓柱面的尺寸，計算所述特征點在所述= 維坐標系中的=維坐標，W及基于不同半徑方向的所述=維坐標系之間的變換關系。在圖3 所示坐標系。中，假設平面方格的邊長為曰，圓柱面的半徑為r，在該實施例中a = 23.5mm，r =90.5mm，特征點的二維坐標(m，n)表示該特征點在圓周方向與。X軸和圓柱面交點的圓弧 距離是邊長a的m倍，在軸向與。X軸和圓柱面交點的距離是邊長a的n倍，則該特征點在。中 的=維坐標可表示為：
[0036]
(I)
[0037] 從圖2所示坐標系Cl到圖3所示坐標系|7,坐標系Cl繞Ciz軸旋轉的角度0可由轉過的 方格數W表示，在該實施例中W = 7。
[00 測
（2)
[0039] 因此，從坐標系Cl到的旋轉矩陣為：
[0040]
誠
[0041] 從坐標系Cl到C7僅有旋轉，沒有平移，所W旋轉矩陣即為兩坐標系間的變換關系。 同理，可計算從坐標系C造化13的變換關系，W及從坐標系C造化19的變換關系。
[0042] (4)用各攝像機拍攝所述圓柱面的圖像，提取所述特征點的圖像坐標，通過直接線 性變換求出各攝像機的標定初值，并通過非線性優化獲得各攝像機的全部內外參數。圖6為 從圖3所示標定物圖像中提取的特征點示意圖，對于圖6中的圖像600,可采用現有角點提取 方法（例女日Harris C,Stephens M. ,A combined corner and edge detector,Proc.4th Alvey Vision Conference,Manchester,England, 1988,147-151.)提取特征點610的圖像 坐標(u，v)，在圖6所示的實施例中選取了 77個特征點。
[0043] 假設攝像機鏡頭沒有崎變，那么根據小孔攝像機模型可得標定物特征點的=維坐 標和提取的圖像坐標之間的關系：
[0044] (4)
[0045] 別暴像機300的內部參數矩陣，曰2，02為攝像 機300的主距，（U02，V02)刃攝像機300的主點坐標。圖7為圖1所示實施例中攝像機坐標系與 標定物坐標系的示意圖馬,為從攝像機300坐標系C2至標定物坐標系C7的旋轉矩陣/'兩_ 為從攝像機300坐標系C2至C7的平移向量。
[0046] 采用直接線性變換方法（馬頌德，張正友，計算機視覺，科學出版社，1998，pp52- 59)，可計算出攝像機的內參數和外參數，完成攝像機的線性標定。在圖6所示的具體實施例 中，得出的攝像機內外參數如下：
[0047] 攝像機內參數：
[004引 [0049]
[(K)加 ]
[0051] 由于實際的攝像機鏡頭存在崎變，在圖6所示的實施例中考慮鏡頭的一階徑向崎 變，特征點崎變后的坐標(Ud，Vd)與根據小孔攝像機模型得到的理想坐標(u，v)之間的關系 可表不為：
[0052]
(5) [0053 ]式中k2i為攝像機300鏡頭的一階徑向崎變系數。
[0054] W I化表示由（5 )式計算的崎變后特征點的坐標(Udk，Vdk )，W Iexk表示從圖像中提取 的實際特征點圖像坐標，W兩者之間的距離之和為目標函數，W上述線性標定結果為初值， 并設k2i的初值為0,根據下式(6)進行非線性優化，
[00 對
（6)
[0化6] 可W得出攝像機300的全部內外參數A2，k2i，馬，和< =7：_的優化值，式中1111111為特征 點個數，在該實施例中num = 77。在圖6所示的具體實施例中，得出攝像機300的內外參數優 化值如下：
[0057]攝像機內參數：
[0化引 [0化9]
[0060]
[0061 ]用同樣的方法可得出攝像機200、400和500的全部內外參數Ai，kn，ti馬,，9r肖，A3， k31，C乂，￡';n，A4，k"，。％，叫;,。，完成單個攝像的標定。在圖1所示實施例中，標定得 出的攝像機200、400和500全部內外參數如下：
[0062] 攝像機內參數：
[0063]
[0064]
[00 化]
[0066]
[0067]
[006引
[0069]
[0070] (5)根據各攝像機與所述圓柱面的相對關系，計算各攝像機之間的相對關系，完成 多攝像機系統的標定。
[0071] 圖7為圖1所示實施例中攝像機坐標系與標定物坐標系的示意圖，如果特征點Pk在 攝像機坐標系Cl中的坐標表示為巧，在標定物坐標系Cl中的坐標表示為巧，則特征點Pk在 坐標系Cl和Cl中的坐標變換可表示為：
[0072]
(7)
[0073] 式中6馬,和已在步驟(4)中得到。同理可得攝像機坐標系Cl與標定物坐標系Cj 的變換關系：
[0074]
(8)
[00巧]在圖1所示實施例中，1 = 2,3,4〇 = 7，13，19，^''^^.和<7：已在步驟(4)中得到。根據 步驟(3)所得標定物坐標系Cl和的變換關系，可得
[0076] (9)
[0077]
[007引 （10)
[0079]
[0080] 川）
[0081]
[0082] (12)
[0083] 從而得到攝像機坐標系打與Cl之間的變換關系：
[0084] (13)
[0085]
[0086] ( 14)
[0087] (15)
[0088] 在（14)和（15)式中，等號右邊各項已在步驟(3)和(4)中得出，因此可求出各攝像 機之間的相對關系，完成多攝像機系統的標定。
[0089] 在圖1所示連施例中，得出的Cl與仿、。、仿之間巧換關系為：
[0090]
[0091]
[0092]
[0093] 從上述技術方案的實施過程可見:首先，環繞本發明所述圓柱面標定物的攝像機 都能拍攝到標定物上特征點的圖像，因此，克服了采用二維標定物時存在的遮擋問題，便于 寬基線多攝像機系統的標定。其次，采用本發明的方法，每個攝像機僅需拍攝所述圓柱面標 定物的一幅圖像即可完成多攝像機系統的標定，不需人工參與，便于整個標定過程的自動 化。第=，對于大視場多攝像機系統，為提高標定精度，需要制作大尺寸的標定物，如果采用 多面體類型的=維標定物，各個側面的平面度和相對位置關系需要大型的精密加工設備才 能保證，不便于應用的普及;而各種直徑的金屬或塑料管材易于得到，且圓柱面展開后為平 面，各種平面圖案可方便地印刷或粘貼到圓柱面上，因此，與其它采用=維標定物的方法相 比，本發明的標定物制作簡單，便于大視場多攝像機系統的標定。另外，本發明標定物上的 特征點在標定物坐標系中的=維坐標保持不變，因此不需要各攝像機同步采集標定圖像， 便于非同步多攝像機系統的標定。
[0094] W上顯示和描述了本發明的基本原理、主要特征和本發明的優點。本行業的技術 人員應該了解，本發明不受上述實施例的限制，上述實施例和說明書中描述的只是說明本 發明的原理，在不脫離本發明精神和范圍的前提下，本發明還會有各種變化和改進，運些變 化和改進都落入要求保護的本發明范圍內。本發明要求保護范圍由所附的權利要求書及其 等效物界定。
【主權項】
1. 一種基于圓柱面的多攝像機系統標定方法，其特征在于，所述標定方法包括如下步 驟： (1) 在圓柱面上構造多個特征點，使得圍繞所述圓柱面的攝像機都能拍攝到至少6個所 述特征點，優選能拍攝到至少18個所述特征點； (2) 以所述圓柱面的軸線和半徑為坐標軸建立三維坐標系，并對基于不同半徑方向的 坐標系作出標記； (3) 根據所述特征點的構造方法和所述圓柱面的尺寸，計算所述特征點在所述三維坐 標系中的三維坐標，以及基于不同半徑方向的所述三維坐標系之間的變換關系； (4) 用各攝像機拍攝所述圓柱面的圖像，提取所述特征點的圖像坐標，通過直接線性變 換求出各攝像機的標定初值，并通過非線性優化獲得各攝像機的全部內外參數； (5) 根據所述各攝像機與所述圓柱面的相對關系，計算所述各攝像機之間的相對關系， 完成多攝像機系統的標定。
【文檔編號】G06T7/00GK106023213SQ201610349123
【公開日】2016年10月12日
【申請日】2016年5月24日
【發明人】王建華, 任福鑫, 李振義, 劉昭, 沈愛弟, 楊勇生
【申請人】上海海事大學