專利名稱：多圖像傳感器的監控設備的校準裝置的制作方法
技術領域：
本實用新型涉及現場監控等系統中多圖像傳感器的監控設備的校準裝置。
背景技術：
在各種現場監控領域，當環境比較大需要多個監控攝像頭進行監控，目前的設備是將各個單獨的攝像頭的信號采集，并分別進行處理和存儲。為了能夠使監控的圖像沒有死角，因此多個攝像頭之間可能存在兩兩重疊的區域，這樣會導致存在冗余圖像，從而導致傳輸帶寬或者存儲空間或者顯示空間的浪費。這種情況在以下領域是經常遇到的。比如機動車輛行駛、船舶進港、移動機械通過狹窄區域、吊塔等裝載機械的貨物抓取和移動、放置等，此類不同物體之間存在位移的時候，特別是當移動物體的許可移動路徑比較狹小的情況下，需要操作人員非常仔細考慮移動時的周邊環境，以防止出現碰觸、碰撞和摩擦，因此會采取多個攝像頭進行拍照，并顯示在多個屏幕上。一個常見的例子是，駕駛汽車時，特別是在駕駛大型車輛的情況下，由于車體的遮蔽及后視鏡和觀后鏡的觀察角度的不足而形成一定的觀察盲區。由于此類盲區的存在，對駕駛員的車體空間感提出較高要求，尤其是當駕駛車輛通過狹窄區域以及停車、倒車時，駕駛人員很容易因為視覺盲區的問題和在行進時由于觀察不全面造成剮蹭、碰撞而產生危險。在汽車領域該問題的解決方案是采用倒車攝像頭，此方法是通過安裝在車尾一個或者多個廣角攝像頭對后視圖像的攝取和顯示。隨著圖像處理技術的發展，目前所出現了一種全景的倒車圖像系統，該系統通過把多個攝像頭的圖像經過畸變校準以后進行拼接，顯示給駕駛員，以便于駕駛人員對周邊的環境進行測評。此方法十分有效的解決了汽車周邊的視野的問題，如中國專禾 U :200710106237. 8,200810236552. 7，200810163310. X， 200380101461. 8。但是上述專利也存在一些待提高的地方比如200710106237.8由于僅采用3 路圖像采集而對體積過大的車輛或者掛車進行圖像合成時，將會導致對圖像傳感器的光學組件的視野和分辨率提過更高要求，同時該專利沒有談到圖像的畸變矯正，當采用廣角攝像頭時，不進行矯正的畸變圖像將使觀察者觀察得到的空間關系變差；上述專利如 200380101461. 8等未提及對攝像機進行參數標定，這樣在圖像不存在所謂的尺度信息，使操作員無法進行距離估算，而這些信息的獲得都需要對圖像傳感器的參數進行標定。因此在多圖像傳感器的監控領域，需要測算各個攝像圖像傳感器的參數，而且由于各個傳感器的存在安裝誤差和各個傳感器的制造誤差，需要在安裝后進行姿態和位置測笪弁。
發明內容本實用新型的目的是對上述現有技術的缺陷進行改進，提供一種圖像監控設備的校準裝置，對各個圖像傳感器設備進行統一標定。本實用新型的目的是通過以下技術方案實現的，多圖像傳感器的監控設備的校準裝置，包括如下單元校準區域，位于被監控物體的四周，其中，所述被監控物體是指需要被校準的多圖像傳感器的監控設備進行周圍環境監控的物體；圖像傳感器單元，用于獲取所述校準區域的圖像信息，且任意相鄰兩個所述圖像傳感器存在互相重疊的視野區域；圖像采集單元，與所述圖像傳感器單元連接，對所述圖像傳感器單元獲取的圖像進行采集和暫存；標定單元，與所述圖像采集單元連接，利用所述圖像采集單元所采集的所述圖像傳感器單元獲取的圖像，對所述圖像傳感器單元的姿態參數和位置參數以及所述圖像傳感器的光學參數和畸變參數進行標定；輸出單元，與所述標定單元連接，輸出所述圖像傳感器單元的姿態參數和位置參數以及所述圖像傳感器的光學參數和畸變參數。上述多圖像傳感器的監控設備的校準裝置，其中，所述校準區域由參考線和/或參考點劃分成多個標定區域，每個所述標定區域內設有一標定模塊。上述多圖像傳感器的監控設備的校準裝置，其中，所述圖像傳感器為彩色圖像傳感器、黑白圖像傳感器、紅外圖像傳感器或者是它們的組合使用。本實用新型提供的多圖像傳感器的監控設備的校準裝置，該系統可以有效的求出各個傳感器的位置和姿態和參數參數和光學畸變參數。
圖1為本實用新型具體實施方式
所介紹的采用標定方法的圖像輔助系統的組成結構圖。圖2為本實用新型具體實施方式
所介紹的采用標定方法的圖像輔助系統使用的一種標定區域示意圖。圖3A為本實用新型具體實施方式
所介紹的采用標定方法的圖像輔助系統使用的另一種標定模板示意圖。圖;3B為本實用新型具體實施方式
所介紹的采用標定方法的圖像輔助系統使用的又一種標定模板示意圖。圖3C為本實用新型具體實施方式
所介紹的采用標定方法的圖像輔助系統使用的再一種標定模板示意圖。圖3D為本實用新型具體實施方式
所介紹的采用標定方法的圖像輔助系統使用的再一種標定模板示意圖。圖4A為本實用新型具體實施方式
所介紹的采用標定方法的圖像輔助系統使用的平面標定區域示意圖。圖中Al、A2、A3、A4為計算圖像傳感器的姿態和位置參數用的標定模板，P點為兩條基準停靠參考線的交點。
具體實施方式
以下通過圖1 圖4，詳細介紹本實用新型的具體實施例，以便進一步了解本實用新型的內容。以校準安裝在汽車上的多圖像傳感器的監控設備為例，說明本實用新型多圖像傳感器的監控設備的校準裝置[0022]如圖1所示，本實用新型多圖像傳感器的監控設備的校準裝置包括校準區域5、圖像傳感器單元1、圖像采集單元2、標定單元3和輸出單元4。所述校準區域位于汽車的四周，所述校準區域由參考線和/或參考點劃分成多個標定區域，每個所述標定區域內設有一標定模塊。圖像傳感器單元1包含若干圖像傳感器11，由該圖像傳感器單元1獲得有效的周邊環境的圖像信息，若干圖像傳感器11安裝在車體上，且環繞車體一周，一般系統包含大于等于一個圖像傳感器器11，較小的車體可以采用4路或者6路圖像傳感器11方案，更大的車體將需要更多數目的圖像傳感器11。各個相鄰的圖像傳感器11存在互相重疊的視野區域，并且不存在視野盲區。在圖像傳感器11安裝時，可考慮視野中包含部分車體，即拍攝車體的部分，以確保在拼接時能夠顯示車體與障礙物的位置關系。所述圖像傳感器為彩色圖像傳感器、黑白圖像傳感器、紅外圖像傳感器或者是它們的組合使用，比如黑白圖像傳感器和彩色圖像傳感器相結合、或黑白圖像傳感器與紅外圖像傳感器相結合、或者彩色圖像傳感器與紅外圖像傳感器相結合、黑白圖像傳感器和彩色圖像傳感器以及紅外圖像傳感器相結合的組合。圖像采集單元2，主要完成各個圖像傳感器11的圖像的采集和暫存。標定單元3，對各個圖像傳感器11單元的姿態參數、位置參數以及圖像傳感器的光學參數和畸變參數進行標定。對各個圖像傳感器的光學參數和畸變參數進行標定可以在各個圖像傳感器生產過程中進行，也可以在本系統安裝時進行；所述標定單元采用非線性模型或者線性模型的相機標定方法，通過標定模板對所述圖像傳感器單元中的各圖像傳感器的光學參數和畸變參數進行標定，并在由標定模板所構成的標定區域內對所述圖像傳感器單元中的各圖像傳感器的姿態參數和位置參數進行標定。所述非線性模型或者線性模型的相機標定方法包括基于徑向約束的非線性相機標定方法(RAC)，參考文獻為《A versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses)), Roger Y. Tsai, IEEE Journal of Robotics and Automation, Vol. RA-3, No. 4,August 1987,pages 323-344。張正友的基于2D靶標的攝像機標定算法，參考文獻《Z. a^ng. A flexible new technique for camera calibration)). IEEE Transactions on Pattern Analysis and Machine Intelligence，22(11) : 1330-1334，2000.折反式相機和魚眼相機的標定方法，參考文獻為dcaramuzza，D. (2008). 《Omnidirectional Vision :from Calibration to Robot Motion Estimation》ETH Zurich Thesis no. 17635.對各個圖像傳感器的光學參數和畸變參數進行標定的方法為每個圖像傳感器在不同方位和姿態對所述的標定模板進行拍照，以得到不同姿態的標定模板照片，所述標定單元通過這些標定模板照片計算得到每一個圖像傳感器鏡頭光學參數和畸變參數，完成標定過程，如果在生產過程中已經獲得每個圖像傳感器的光學參數和畸變參數，則本步驟不是必須。[0035]所述標定模板照片為至少四張以上。用標定模板所構成的標定區域內對所述圖像傳感器單元中的各圖像傳感器的姿態參數和位置參數進行標定是在所述的標定區域中設置一基準停靠位置，將被監控物體停靠在所述基準停靠位置上，然后保持被監控物體位置的不變，對各個圖像傳感器進行圖像采集，然后計算每個圖像傳感器相對于各標定模板的姿態旋轉量和位移量(由于每個標定模板在整個標定區域的位置和姿態都是已知的，因此可以計算出)，再計算出每個圖像傳感器的在全局的位置和姿態數據，以獲得每一個圖像傳感器的姿態參數和位移參數。
所述基準停靠位置由若干基準停靠參考線限定而形成，所述基準停靠參考線的形狀和坐標是依據被監控物體的某些外形特征預先設定的，并與監控物體的某些外形特征相吻合，以保證被監控設備易于準確停靠。如果在標定區域沒有設置基準線，所述標定模板所構成的標定區域內對所述圖像傳感器單元中的各圖像傳感器的姿態參數和位置參數進行標定是將被監控設備放置在相鄰兩個圖像傳感器的重疊區域中，使相鄰兩個圖像傳感器能同時拍攝到該重疊區域內的標定模板的圖樣，通過各個標定模板預先設定的姿態和位置，對相鄰兩個圖像傳感器進行兩兩定位，最后依次計算出各個圖像傳感器的姿態參數和位移參數。所述各個標定模板預先設定的姿態包括水平放置姿態、垂直放置姿態、傾斜放置姿態中的一種或任意兩種以上的組合。水平放置姿態是指著各個標定模板均為位于同一個水平面上；垂直方式姿態指各個標定模板位于均垂直于某個平面；傾斜放置姿態指各個模板與某個平面成一定角度。所述標定區域為由若干個標定模板放置的同一區域。所述標定模板為放置在標定區域內的標定模板或單獨的標定模板。所述標定模板由具有特殊畫面結構的平面圖樣或者三維圖樣或線狀圖樣構成。所述標定模板的結構和尺寸是預先設定好的。所述標定模板為具有包含若干個帶有直線或曲線特征或者角點特征的方形模板， 如棋盤格或網格或若干分立的方形圖樣組成；或者為若干多邊形組成的模板，如三角形等多邊型；或者為圓型模板，即模板中存在若干圓型圖樣的標定模板；或者由直線構成模板。在系統初次安裝時或者專門進行校準時，需要對圖像傳感器11的姿態和位置參數進行標定，本實例示例了一個平面的“校準區域”，車輛停靠“基準停靠位置”，通過采用圖 3A 圖3D中的標定模板(也即，圖4A中的標定模板A1、A2、A3、A4)對各個圖像傳感器11 的姿態和位置參數標定，通過此時的各個圖像傳感器11的姿態和位置參數和標定模板Al、 A2、A3、A4數據，即可獲得相對于整個校準區域各個圖像傳感器的位置和姿態信息，即得到圖像傳感器11的原始位置信息。圖4A示意了一種平面校準區域，其特征為各個標定模板Al、A2、A3、A4放置在一個水平區域內，標定時圖像傳感器11對處于水平面的標定模板Al、A2、A3、A4進行圖像采集。事實上根據系統的需要，標定模板Al、A2、A3、A4可以采取豎直、水平或者以特定的姿態放置的組合。圖2為本實用新型所使用的一個平面校準區域的使用示意圖，圖2中A、B、C、D為標定模板，而標注為lla、llb、llc、lld的柱狀體為圖像傳感器，圖像傳感器Ila拍攝標定模板A的圖像，圖2中圖像傳感器lib拍攝標定模板B的圖像，圖2中圖像傳感器Ilc拍攝標定模板C的圖像，圖2中圖像傳感器Ild拍攝標定模板D的圖像。在整個校準區域中標定模板A、B、C、D的位置和大小和姿態都是事先設定好的。圖2僅僅是個示意圖，在實際系統中可能存在多個攝像機以及多個標定模板。標定單元2包括但不局限于采用“張正友的基于2D靶標的攝像機標定算法”，或者“折反式相機和魚眼相機的標定方法”對各個圖像傳感器的圖像傳感器的鏡頭光學參數和圖像傳感器畸變參數 ，以及以測算每個圖像傳感器的姿態參數和位置參數，其中姿態包括但不限于每個圖像模板的傾角，以及旋轉的角度等，位置參數包括但不限于距離某一參考點的三維位移。輸出單元，將各個圖像傳感器單元的光學參數和畸變參數輸出，輸出的參數可以用于各個攝像頭的圖像拼接和融合，或者攝像頭圖像的畸變校正。一個典型的利用該輸出參數的方法為，在全景汽車監控系統中，將各個圖像傳感器的圖像利用這些輸出參數進行圖像校準融合以獲得全景圖像。另外一個使用例子是，在多攝像頭監控領域，利用這些輸出參數進行圖像校準融合以獲得全景圖像后，進行存儲，以節約存儲空間。本實用新型提供的多圖像傳感器的圖像監控設備的校準方法，能夠使多個傳感器在校準環境下進行統一校準，能夠輸出在該標準校準環境下的各個圖像傳感器的外部參數和光學參數和畸變參數，即完成標定過程。以上顯示和描述了本實用新型的基本原理、主要特征和本實用新型的優點。本行業的技術人員應該了解，本實用新型不受上述實施例的限制，上述實施例和說明書中描述的只是說明本實用新型的原理，在不脫離本實用新型精神和范圍的前提下本實用新型還會有各種變化和改進，這些變化和改進都落入要求保護的本實用新型范圍內。
權利要求1.多圖像傳感器的監控設備的校準裝置，其特征在于，包括如下單元校準區域，位于被校準的監控物體的四周，其中，所述被監控物體是指需要被校準的多圖像傳感器監控設備進行周圍環境監控的物體；圖像傳感器單元，用于獲取所述校準區域的圖像信息；圖像采集單元，與所述圖像傳感器單元連接，對所述圖像傳感器單元獲取的圖像進行采集和暫存；標定單元，與所述圖像采集單元連接，利用所述圖像采集單元所采集的所述圖像傳感器單元獲取的圖像，對所述圖像傳感器單元的姿態參數和位置參數以及所述圖像傳感器的光學參數和畸變參數進行標定；輸出單元，與所述標定單元連接，輸出所述圖像傳感器單元的姿態參數和位置參數以及所述圖像傳感器的光學參數和畸變參數。
2.如權利要求1所述的多圖像傳感器的監控設備的校準裝置，其特征在于，所述校準區域由參考線和/或參考點劃分成多個標定區域，每個所述標定區域內設有一標定模塊。
專利摘要本實用新型公開了多圖像傳感器的監控設備的校準裝置，該校準裝置包括校準區域，位于被校準的監控物體的四周；圖像傳感器單元，安裝于所述被監控物體上，用于獲取所述校準區域的圖像信息，且任意相鄰兩個所述圖像傳感器存在互相重疊的視野區域；圖像采集單元，與所述圖像傳感器單元連接，對所述圖像傳感器單元獲取的圖像進行采集和暫存；標定單元，與所述圖像采集單元連接，利用所述圖像采集單元所采集的所述圖像傳感器單元獲取的圖像，對所述圖像傳感器單元的姿態參數和位置參數以及所述圖像傳感器的光學參數和畸變參數進行標定；輸出單元，與所述標定單元連接，輸出所述圖像傳感器單元的姿態參數和位置參數以及所述圖像傳感器的光學參數和畸變參數。
文檔編號H04N7/18GK202111802SQ20112004606
公開日2012年1月11日 申請日期2010年2月12日 優先權日2010年2月12日
發明者王炳立 申請人:王炳立