專利名稱：一種對多相機系統的標定方法及裝置的制作方法
技術領域：
本發明涉及計算機視覺的三維重建、運動捕捉等領域，特別涉及多 相機系統的標定。
背景技術：
多相機系統(包括多攝像機或多照相機系統)可廣泛應用于三維重 建，視覺監控，影視、動畫和游戲開發制作中的動作數據捕捉，體育運 動分析和訓練指導，以及醫學研究、康復醫療中的步態分析等諸多領域。 使用多相機系統的重要一步是對系統進行標定，即確定各個相機的投影 矩陣或進一步將每個投影矩陣分解為內、外參數。傳統的多相機系統標定方法一般是借助三維標定塊或者二維平面標定模板(Zhang Z Y. Flexible camera calibration by viewing a plane from unknown orientations, In: Proceedings of the ICCV'99, Kerkya, Greece, 1999. 666-673)進行標定，由于上述兩類標定部件自身存在遮擋，無法同 時標定出多相機系統的所有的相機，只能依次標定相鄰兩個相機，最后 再進行坐標變換統一到一個坐標系下，因而這種方法十分耗時，而且標 定的外參數通常存在累積誤差。另一類方法是借助特定的標定部件通過 靜態標定和動態標定兩步對系統進行標定(Vicon Motion Systems, VICON 5U manuals, pp.43-52,186-190)，這類方法可在一定程度上提高標 定的精度和效率。這種方法在靜態標定階段利用由兩個標志點(為利用數 據的冗余信息降低噪聲的影響，也可多設置幾個標志點)構成的一維標定 部件進行標定，其本質是對攝像機內參數進行一定的假設利用自標定技 術進行標定，然后利用標定部件提供的度量信息將標定結果提升到歐氏 意義下，但自標定技術存在眾所周知的精度低魯棒性差的缺點，并且該 方法由于需要利用兩種標定部件分步標定，仍存在效率和精度較低的問題。近年來，隨著計算機視覺的發展和應用，人們開始探索新的攝像機標定方法，Zhang提出了利用一維標定部件體對攝像機進行標定(Zhang Z Y. Camera calibration with one-dimensional objects. IEEE Trans. Pattern Analysis and Machine Intelligence, 26(7): 892-899, 2004)。但是Zhang的方 法需要一維標定部件上的一個點固定不動，且一維標定部件只能繞著該 固定點轉動，在具體實現時， 一方面很難嚴格的繞固定點轉動，這會嚴 重影響標定的精度；另一方面操作者的身體會遮擋某些相機，無法同時 對整個系統進行標定。這限制了該方法的實際應用。發明內容為克服現有技術的不足，本發明的目的是提供一種較為簡便、實用、 快速并具有較高精度和魯棒性的多相機系統的標定方法。為了實現上述目的，本發明的一方面是提供一種多相機系統的標定 方法，包括步驟如下步驟1:操作由共線的三個或三個以上標志點構成的標定部件在多 相機系統工作區域內作剛體運動；標定部件作一次運動多相機系統中的 每個相機各采集一幅圖像，得到對應于標定部件當前位姿的一組圖像； 操作標定部件作多次運動得到不同位姿標定部件的多組圖像；步驟2:將多相機系統拍攝的標定部件的多組圖像輸入計算機；步驟3:多組圖像中的每一組對應于標定部件的一個位姿，對于某 一位姿下的標定部件上的某一個標志點，從該位姿對應的一組圖像中的 每一幅提取出該標志點的圖像點坐標，并將得到的這些圖像點作為一組 圖像點對應；由于標定部件上具有多個標志點以及標定部件作多次運動， 則從多組圖像可得到所有的標志點的圖像點坐標和多組圖像點對應關 系；步驟4:對步驟3得到的圖像點坐標和對應關系、以及標定部件的幾何信息進行線性標定求解多相機系統的投影矩陣；步驟5:將求解的多相機系統的投影矩陣結果作為初始值，對初始值進行非線性優化得到更精確的標定結果。根據本發明的實施例，所述線性標定同時利用了所有的標志點的圖 像點之間的極幾何關系，根據標定部件提供的幾何信息和標志點的圖像 點，按照射影意義、仿射意義和歐氏意義逐層提升標定結果，并且在將 標定結果由射影意義提升到仿射意義時，利用射影變換保持交比不變的 性質確定標定部件對應的無窮遠點的圖像坐標，并由此估計出第一個相 機與其余每個相機之間的無窮遠單應矩陣，求出射影坐標系下無窮遠平 面的法向量，進而利用該法向量得到仿射意義下的標定結果。根據本發明的實施例，所述的線性標定包括如下步驟1) 確定射影意義下的投影矩陣根據圖像點的坐標和對應關系，利 用計算機視覺中的極幾何知識恢復出射影意義下多相機系統的投影矩 陣；2) 確定仿射意義下的投影矩陣利用標定部件提供的幾何信息和標 定部件的圖像點，確定無窮遠平面的法向量，得到無窮遠單應矩陣即為 由無窮遠平面確定的兩個圖像平面之間的一一對應的射影變換，單應矩 陣將射影意義下的投影矩陣提升到仿射意義；3) 確定歐氏意義下的投影矩陣標定部件上的標志點之間的距離信 息己知，根據這一約束利用仿射意義下的投影矩陣和標志點的圖像坐標 構造方程組，求出歐氏意義下的多相機系統的投影矩陣。根據本發明的實施例，所述非線性優化方法包括以每個相機的投 影矩陣和標志點的三維坐標為優化變量，以圖像中提取的標志點圖像坐 標與估計的標志點的重投影圖像坐標之間的距離和為代價函數，以線性 標定的結果為初始值進行非線性優化處理。根據本發明的實施例，所述標定方法，對多相機系統整體進行一次 性標定。為了實現上述目的，本發明的另一方面是提供一種多相機系統的標 定裝置，包括標定部件位于多相機系統的工作區域內，標定部件與長柄固定連接， 長柄用于控制標定部件在多相機系統的工作區域內運動；多相機系統拍 攝在其工作區域內運動標定部件的圖像，用于對多相機系統進行標定。根據本發明的實施例，所述標定部件上含有共線的三個或三個以上的球形體構成標志點，在標定部件上任意設置標志點之間的距離。根據本發明的實施例，根據使用要求球形體采用發光、反光或與標定環境顏色有顯著區別顏色的小球構成。根據本發明的實施例，在手柄的一端有直角構件或螺母與標定部件固定連接，使標定部件與手柄構成直角。根據本發明的實施例，在標定過程中，標定部件在工作區域內作剛體運動。本發明提供的標定方法和裝置可以對整個多相機系統進行一次性標 定，而不需要對每臺相機分別進行標定或利用多個標定部件分步標定， 克服了現有標定方法存在的難以實現、引入遮擋等問題，具有較為簡便、 實用、標定精度高、魯棒性好等特點，使多相機系統的標定效率和精度 得以提咼°
圖l是本發明多相機系統標定裝置示意圖； 圖2是本發明標定方法的流程圖；圖3是本發明標定部件結構示意圖；圖4是本發明利用直角扣件加裝手柄后的標定部件示意圖。
具體實施方式
下面將結合附圖對本發明加以詳細說明，應指出的是，所描述的實 施例僅旨在便于對本發明的理解，而對其不起任何限定作用。多相機系統通常要求攝像機或照相機從多個角度拍攝物體。當待重 建物體或人位于多相機系統的工作區域內時，多相機系統可以獲取待重 建物體或人在同一時刻不同觀察角度的圖像，利用多相機系統的標定結 果可以計算出待重建物體或人的三維信息，實現運動捕捉等目標。因而 標定是該系統最基本和最重要的一步。在圖1中給出了一種多相機系統標定裝置的示意圖，虛線所示的4為多相機系統的工作區，即所有相機 的公共視野區。圖1中包括具有三個標志點的標定部件1、手柄2、操作系統3 或人工操作、工作區域4、多相機系統5，標定部件1位于多相機系統5的工作區域4內，標定部件1與長柄2固定連接，長柄2用于控制標定 部件1在多相機系統5的工作區域4內運動；多相機系統5拍攝在其工 作區域內運動的標定部件1的圖像，用于對多相機系統5進行標定。本發明提出的標定方法主要包括獲取標定部件1的圖像、圖像輸入、 從圖像中提取標志點圖像坐標并構造圖像點對應、線性地標定多相機系 統及利用非線性算法優化標定結果等步驟組成，如圖2本發明標定方法的流程圖所示，各步的具體說明如下步驟l.操作標定部件1在工作區域4內作一般剛體運動，獲取標定部件1的圖像本發明裝置采用的標定部件1由共線的三個或三個以上的標志點構 成的(最少需要三個標志點，為利用數據的冗余信息抑制測量噪聲的影響可以取三個以上的標志點)，且標志點之間的幾何信息已知，如圖3本發明標定部件結構示意圖所示，并且標定部件1可根據需要利用標準的直角扣件(又叫十字扣件)或螺母加裝長手柄，如圖4本發明利用直角扣 件加裝手柄后的標定部件示意圖所示。這使得操作者3可以在工作區域 4外操作標定部件1，避免操作者3遮擋相機5。利用發光、反光或與標 定環境顏色有顯著區別顏色的小球形體作為標定部件1上的標志，以小 球的球心作為標志點，在標定部件上任意設置標志點之間的距離。在工 作區域4外的操作者3握住標定部件1的加長手柄2控制標定部件1在 多相機系統5的工作區域4內作一般剛體運動，多相機系統5應同步地 拍攝標定部件1的多組圖像，這里的同步是指對于標定部件1的某一個 運動姿態由多相機系統5同時拍攝的圖像，彼此之間不存在時間延遲； 或允許多相機系統5的不同相機拍攝圖像時存在一定時間延遲，但在拍 攝圖像時標定部件1應一直靜止在當前位姿下。 步驟2.輸入圖像將多相機系統5拍攝的圖像借助掃描儀或某些專用接口輸入計算機；步驟3.從多相機系統5拍攝的圖像中提取標志點的圖像點坐標，構造圖像點對應利用相機從各個角度拍攝球，在得到的圖像中球都成像為一個圓， 并且圓心對應球心的圖像點。利用這一性質將發光、反光或與標定環境 顏色有顯著區別顏色的小球作為標定部件1的標志，以球心為標定部件 1的標志點。通過人機交互的方式手工在圖像中提取球心對應的圓心作 為標志點的圖像點；也可以通過自動的方式用高斯模板對小球成像得到 的圓進行區域檢測(blob detection),并以區域中心為標志點的圖像點。 若多相機系統5有M個相機，標定部件1上有Q個標志點，標定部件1 運動N次，則可得到標志點的圖像點為{x:J( = l，2,...,2; "7 = 1,2,…,M; " = 1，2，...，A0，其中x:表示一維標定部件1在第n次運動后其第q個標志點I;;在第m 個相機下成的圖像點。某次運動后標定部件1上某一個標志點在不同相 機5下所成的圖像點構成一組圖像點對應，則可以得到NQ組圖像點對 應W""《"…exD:l,2,…,2;"4,2,…恭 步驟4.線性標定系統標定實際上就是要求出多相機系統5中各個相機的投影變換矩陣或 更進一步利用QR分解等算法將投影變換矩陣分解為內、外參數。多相 機系統5標定需要借助標定部件1，而且只需在多相機系統5初始安裝 或多相機系統5的系統參數發生改變時一次完成。本發明提出的標定方 法首先利用線性方法對多相機系統5進行標定，再利用非線性優化進一 步提高標定精度。線性標定方法同時利用了所有的標志點的圖像點之間 的極幾何關系，根據標定部件l提供的幾何信息和標志點的圖像點，按 照射影意義、仿射意義和歐氏意義逐層提升標定結果，并且在將標定結 果由射影意義提升到仿射意義時，利用射影變換保持交比不變的性質確 定標定部件對應的無窮遠點的圖像坐標，并由此估計出第一個相機與其 余每個相機之間的無窮遠單應矩陣，求出射影坐標系下無窮遠平面的法向量，進而利用該法向量得到仿射意義下的標定結果。 線性標定過程包括以下步驟1 )確定射影意義下的投影矩陣。同時考慮步驟3得到的所有圖像點，按照多相機系統5的相機個數M為2、 3和大于3三種情況，分別計算 基本矩陣、三焦張量和測量矩陣，由此可以很容易的得到單應矩陣Hm 和極點e^則射影意義下的投影矩陣為P, =,,P2 =[H2 |e2]，--.,Pw =[HW |eM]，其中I為3階單位陣；2) 確定仿射意義下的投影矩陣。假定標志點個數Q取3，由標定部 件1提供的幾何信息可將三個標志點相鄰兩個之間的距離依次記為d,、 d2，記第n次運動后標定部件的無窮遠點為L，則三個標志點和無窮遠 點構成的交比Oom (《，《;《,)=《/ 由于射影變換保持交比不變， 因此第mUd,2,…,M)個相機得到的圖像中三個標志點的圖像點和無窮 遠點的圖像點構成的交比為Cr艦(x:，,，,《;x 3, , v , )=《/ J2 。因此根據標志點 的圖像點可以計算出標定部件對應的無窮遠點的圖像點；，無窮遠點都 位于無窮遠平面上，因而第m("口2,3,…,M)個相機下的無窮遠點圖像點 與第1個相機(這里以第1個相機作為基準)下的無窮遠點圖像點之間存 在一個由無窮遠平面誘導的單應矩陣11 , =11 ,-e,y (附-2,3,…,M，其中 向量a為射影坐標系下無窮遠平面的法向量)，即、=(11,,,-、3/')^。利用 無窮遠點的圖像點之間的對應化 0、 |" = 1，2,..,}按照上式構造方程 組，求解出a。從而得到無窮遠單應矩陣11,,=11,,,-e /， (w^2,3，…，M)。利用H^可將射影意義下的投影矩陣提升到仿射意義下P,(") = [I I 0], P2(。) = [H2 I e2]， ...， C = [HMro 1 ^]。3) 確定歐氏意義下的投影矩陣。標定部件1上的標志點之間的距離 信息已知，根據這一約束利用仿射意義下的投影矩陣和標志點的圖像坐 標構造方程組，求解這組約束方程得到第1個相機(基準相機)的內參數 K，則歐氏意義下的投影矩陣為P二、P,;:)diag(K,l),n^l，2,…,M，其中diag(K,l)表示對角元為K、 1的4X4方陣。利用圖像坐標和估計的投影矩陣p,;;')可以估計出標志點在三維空間中的歐氏坐標《'。步驟5.優化系統標定結果以步驟4得到的多相機系統5標定結果為初始值，利用非線性優化 算法求解對標定結果進行優化，求最優意義下的標定結果。將標定部件1第n(w^,2，…,AO次運動后標志點的三維坐標"和多 相機系統5的標定參數(系統中所有相機的投影矩陣0口1,2，…,M)作為優化變量，利用估計的投影矩陣對估計的三維標志點進行成像變換得到標志點的重投影，將重投影的標志點圖像坐標和圖像中提取的標志點圖像坐標之間的距離和作為優化的代價函數，具體的代價函數如下其中X;;為估計的第n次運動后一維標定部件1上第q個標志點在三 維空間中的歐氏坐標。這是一個無約束非線性優化問題，以步驟4得到 的多相機系統5標定結果為初始值。上述非線性優化問題推薦使用列文 伯格-麥夸爾特算法(Levenberg-Marquardt算法，簡稱為LM算法)進行求 解，該算法是現有技術，在此不再詳述。通過本實施例中所述方法的上述步驟，可以實現多相機系統5的所 有相機的一次性標定，利用標定結果對多相機系統5工作區內的物體或 人進行三維重建，在近距離范圍內三維重建精度可達到亞毫米級。以上所述，僅為本發明中的具體實施方式
，但本發明的保護范圍并 不局限于此，任何熟悉該技術的人在本發明所揭露的技術范圍內，可理 解想到的變換或替換，都應涵蓋在本發明的包含范圍之內，因此，本發 明的保護范圍應該以權利要求書的保護范圍為準。
權利要求
1. 一種對多相機系統的標定方法，包括以下步驟步驟1操作由共線的三個或三個以上標志點構成的標定部件在多相機系統工作區域內作剛體運動；標定部件作一次運動多相機系統中的每個相機各采集一幅圖像，得到對應于標定部件當前位姿的一組圖像；操作標定部件作多次運動得到不同位姿標定部件的多組圖像；步驟2將多相機系統拍攝的標定部件的多組圖像輸入計算機；步驟3多組圖像中的每一組對應于標定部件的一個位姿，對于某一位姿下的標定部件上的某一個標志點，從該位姿對應的一組圖像中的每一幅提取出該標志點的圖像點坐標，并將得到的這些圖像點作為一組圖像點對應；由于標定部件上具有多個標志點以及標定部件作多次運動，則從多組圖像可得到所有的標志點的圖像點坐標和多組圖像點對應關系；步驟4對步驟3得到的圖像點坐標和對應關系、以及標定部件的幾何信息進行線性標定求解多相機系統的投影矩陣；步驟5將求解的多相機系統的投影矩陣結果作為初始值，對初始值進行非線性優化得到更精確的標定結果。
2、 按權利要求1所述的標定方法，其特征在于，所述的線性標定同 時利用了所有的標志點的圖像點之間的極幾何關系，根據標定部件1提 供的幾何信息和標志點的圖像點，按照射影意義、仿射意義和歐氏意義 逐層提升標定結果，并且在將標定結果由射影意義提升到仿射意義時， 利用射影變換保持交比不變的性質確定標定部件對應的無窮遠點的圖像 坐標，并由此估計出第一個相機與其余每個相機之間的無窮遠單應矩陣， 求出射影坐標系下無窮遠平面的法向量，進而利用該法向量得到仿射意 義下的標定結果。
3、 按權利要求l、 2所述的線性標定方法，其特征在于，線性標定包括如下步驟l)確定射影意義下的投影矩陣根據圖像點的坐標和對應關系，利即被觸發導通，電流經過被選定某一個規格的PTC (1-3之間)，經分 線開關FK構成回路。由于回路中沒有任何負載，電流表A顯示的數 據應為粗調約定量的最大。此時可利用細調電位器W3作精度調整， 以保證被測定的熔斷器正確性。由于PTC正溫度系數熱敏電阻的特征， 參見圖5，在大電流的作用下溫度迅速上升，上升至一定值時其電阻也 迅速增大，電流迅速下降，可降至幾乎阻斷，并只有少量維持電流通 過。只有當可控硅CR1被截止，電流為零時，PTC會迅速降溫恢復導 通常態。當發光二極管LED1被點亮時，"熱機緩沖"過程即告完成。電流閘門電路7包括雙聯常開按鈕AN3、可控硅CR2、限流電阻 R3，可控硅CR2正極接可控硅CR1負極，可控硅觸發極G串接電阻 R3和雙聯常開按鈕AN3的一聯至可控硅CR1正極，可控硅CR2負極 作為檢測頭正極，與主電源DY直流輸出負極，即檢測頭負極，組成 檢測儀檢測端。被檢測的熔斷器RD被置于檢測頭正負極內。雙聯常開按鈕AN3為同步觸發按鈕10，當雙聯常開按鈕AN3被 按下時，可控硅CR2被觸發導通，主電源DY的設定測試電流便流向 了被檢測的熔斷器RD。熔斷器分斷鎖定信號提取電路13包括過程計時電路和電流值鎖定 電路，參見圖2。過程計時電路由定時器H、輔助電源DE、雙聯常開按鈕AN3另 一聯、二極管D1、 D2、 D4、 D5、電阻R4、 R5、可控硅CR3、繼電器 Jl、繼電器J1的第二組觸點J1K-2組成，輔助電源DE正極接雙聯常 開按鈕AN3另一聯，并串接隔離二極管D1和電阻R4、 R5至檢測頭 負極，在電阻R4、 R5間分壓接可控硅CR3觸發極G;輔助電源DE 正極接另一個雙聯按鈕AN4的常閉觸點，經可控硅CR3至繼電器Jl， 繼電器Jl另一端接檢測頭正極，繼電器Jl兩端接繼電器Jl內線圈的 自感電勢釋放二極管D2，輔助電源DE負極接檢測頭負極；定時器型 號為DHC48，定時器H輸出端有四個，分別是鎖定端Z、計時開始端 K、復位重置端F、控制回路(低電位)總端O， K端經隔離二極管 D4連接至輔助電源DE正極，Z端經隔離二極管D5連接至繼電器Jl 第二組觸點J1K-2中間端，F端連接雙聯按鈕AN4的常開觸點端，雙
全文摘要
本發明公開一種多相機系統標定方法包括由三個或三個以上幾何信息已知的標志點構成的標定部件在多相機系統工作區域做剛體運動，獲取標定部件的多幅圖像輸入到計算機，提取出標志點的圖像坐標，并將不同相機拍攝的某一位姿下標定部件上同一標志點的圖像點視為一組對應點，根據圖像對應點和標志點蘊含的幾何信息線性恢復出多相機系統中各個相機的投影變換矩陣，并利用非線性算法進行優化。本發明公開的裝置包括標定部件、手柄、操作系統、工作區域、多相機系統。本發明克服了現有標定方法需要對多相機系統中的相機逐個標定或分步標定存在的效率低、有較大累積誤差等缺點，本發明實現了多相機系統整體的一次性標定，具有重要的工程實用價值。
文檔編號G06T7/00GK101226638SQ20071006282
公開日2008年7月23日 申請日期2007年1月18日 優先權日2007年1月18日
發明者吳福朝, 亮 王, 胡占義 申請人:中國科學院自動化研究所