專利名稱：一種三維照相機(jī)的圖像處理方法
一種三維照相機(jī)的圖像處理方法技術(shù)領(lǐng)域
本發(fā)明屬于圖像數(shù)據(jù)及處理技術(shù)，更具體地涉及ー種應(yīng)用于3D(ThreeDimensions)相機(jī)中將拍攝圖像由ニ維轉(zhuǎn)換到三維圖像的處理方法。
背景技術(shù)：
3D是指三維、三個(gè)維度、三個(gè)坐標(biāo)，即有長(zhǎng)、有寬、有高，換句話說，就是立體的，是相對(duì)于只有長(zhǎng)和寬的平面而言。我們本來就生活在三維的立體空間中，我們的眼睛和身體感知到的這個(gè)世界都是三維立體的，并且具有豐富的色彩、光澤、表面、材質(zhì)等等外觀質(zhì)感，以及巧妙而錯(cuò)綜復(fù)雜的內(nèi)部結(jié)構(gòu)和時(shí)空動(dòng)態(tài)的運(yùn)動(dòng)關(guān)系；我們對(duì)這世界的任何發(fā)現(xiàn)和創(chuàng)造的原始沖動(dòng)都是三維的。但是在人類漫長(zhǎng)的歷史進(jìn)程中，局于技術(shù)條件的限制，無法簡(jiǎn)便、直接、快捷地用直觀三維的方式來描述這個(gè)三維的世界，只能在沙土、羊皮、紙張的ニ維平面上，用影像表達(dá)和傳遞對(duì)這個(gè)世界的認(rèn)識(shí)和創(chuàng)造，人們發(fā)明了平面投影和透視等方法，并基于紙張平面形成了抽象的2D平面文明體系。電腦的發(fā)明和快速普及，伴隨互聯(lián)網(wǎng)的飛速延伸，迅速地改變和還原了這一切，深刻地改寫著我們的生活方式、消費(fèi)方式、工作方式和生產(chǎn)方式。基于電腦和互聯(lián)網(wǎng)的三維數(shù)字化技術(shù)，終于使人們對(duì)現(xiàn)實(shí)三維世界的認(rèn)識(shí)重新回歸到了原始的直觀立體的境界。無論在虛擬的網(wǎng)絡(luò)上還是在現(xiàn)實(shí)的生活中，從大到飛機(jī)、輪船、汽車、電站、大廈、樓宇、橋梁，小到生活中的每ー個(gè)小小的エ業(yè)產(chǎn)品，到處都能見到電腦制作的數(shù)字化的3D模型、動(dòng)畫與仿真，這是2D平面時(shí)代到3D數(shù)字化時(shí)代的ー場(chǎng)深刻革命。揭開3D影像原理，要把它的原理簡(jiǎn)單化，也非常的簡(jiǎn)單。我們可以做一個(gè)實(shí)驗(yàn)兩只手同時(shí)拿上筆或者筷子，閉上ー只眼睛，僅用另ー只眼睛，嘗試將兩只手中的筆或者筷子尖對(duì)到一起。你會(huì)發(fā)現(xiàn)完成這個(gè)動(dòng)作要比想象的難。一只眼睛看到物體是ニ維圖像，利用物體提供的有關(guān)尺寸和重疊等視覺線索，可以判斷位于背景前這些物體的前后排列次序，但是卻無法知道它們之間究竟距離多遠(yuǎn)。人的視覺系統(tǒng)是基于兩只眼睛的，水平排列的兩只眼睛在看同一物體時(shí)，由于所處的角度有略微不同，所以看到的圖像略微差別，這就是所謂的視差，大腦將這兩幅畫面綜合在一起，自動(dòng)合成分析，就形成ー種深度的視覺。同時(shí)，大腦還能夠根據(jù)接收到的兩幅圖像中，同一物體之間位差的大小，判斷出物體的深度和遠(yuǎn)近，距離眼睛越遠(yuǎn)，位差就越小，反之就越大。這就是3D影像的基本原理。3D數(shù)碼相機(jī)，是指可以用裸眼欣賞立體畫像或動(dòng)畫的數(shù)碼相機(jī)。3D數(shù)碼相機(jī)的誕生，也就意味著人們可以不必使用專業(yè)眼鏡、用肉眼就可以享受立體圖像的效果。3D數(shù)碼相機(jī)一般裝配有2個(gè)鏡頭，以便可以再現(xiàn)立體影像。我們用雙眼看物體的時(shí)候，左右分別從稍微不同的角度捕捉物體。為此左右的影像微妙不同，這兩個(gè)影像在大腦中合成后，我們便可以立體性地把握住物體的輪廓。因此，理論上來講，照相機(jī)裝上左右兩個(gè)鏡頭便可以再現(xiàn)立體影像。但是，原有的照相機(jī)技術(shù)不可能實(shí)現(xiàn)接近于人眼的功能，即使讓左右兩個(gè)快門同時(shí)開閉，也會(huì)產(chǎn)生微小的時(shí)間偏差，造成左右影像的偏離。
為確定空間物體表面某點(diǎn)的三維幾何位置與其在圖像中對(duì)應(yīng)點(diǎn)之間的相互關(guān)系，必須建立相機(jī)成像的幾何模型，這些幾何模型參數(shù)就是相機(jī)參數(shù)。在大多數(shù)條件下這些參數(shù)必須通過實(shí)驗(yàn)與計(jì)算才能得到，這個(gè)求解參數(shù)的過程就稱之為相機(jī)標(biāo)定(或攝像機(jī)標(biāo)定)。無論是在圖像測(cè)量或者機(jī)器視覺應(yīng)用中，相機(jī)參數(shù)的標(biāo)定都是非常關(guān)鍵的環(huán)節(jié)，相機(jī)標(biāo)定是計(jì)算機(jī)視覺研究的基礎(chǔ)，在三維重建與目標(biāo)跟蹤定位方面具有重要的應(yīng)用。在高精度的視覺任務(wù)中，一般都采用標(biāo)定板進(jìn)行相機(jī)內(nèi)參數(shù)標(biāo)定。標(biāo)定板上布有規(guī)則的控制點(diǎn)，它們的坐標(biāo)事先已知，定位誤差通常在U級(jí)。而標(biāo)志點(diǎn)間的問題長(zhǎng)期來沒有得到足夠的重視，一般都采用手工的方式指定對(duì)應(yīng)關(guān)系，使得相機(jī)標(biāo)定依然是ー個(gè)耗時(shí)而費(fèi)カ的過程。
傳統(tǒng)相機(jī)標(biāo)定法在標(biāo)定過程中始終需要標(biāo)定物，且標(biāo)定物的制作精度會(huì)影響標(biāo)定結(jié)果。同時(shí)有些場(chǎng)合不適合放置標(biāo)定物也限制了傳統(tǒng)相機(jī)標(biāo)定法的應(yīng)用。
發(fā)明內(nèi)容
本發(fā)明提出了基于主動(dòng)視覺的相機(jī)標(biāo)定法是指已知相機(jī)的某些運(yùn)動(dòng)信息對(duì)相機(jī)進(jìn)行標(biāo)定。該方法不需要標(biāo)定物，但需要控制相機(jī)做特定運(yùn)動(dòng)，利用這種運(yùn)動(dòng)的特殊性可以計(jì)算出相機(jī)內(nèi)部參數(shù)。本發(fā)明算法僅需利用主動(dòng)視覺平臺(tái)控制相機(jī)作三正交平移運(yùn)動(dòng)，然后通過圖像對(duì)應(yīng)點(diǎn)和平移運(yùn)動(dòng)的距離就可以恢復(fù)平面結(jié)構(gòu)信息和進(jìn)行歐氏重建，主動(dòng)視覺平臺(tái)控制相機(jī)作三正交平移運(yùn)動(dòng)只執(zhí)行一組。以針孔成像模型來模擬相機(jī)成像過程，具體步驟為
「/ f W0Ia\u V l]r = 0 af V0 [i t][X Y Z l]r
00 I其中a為尺因子，R和t分別為對(duì)應(yīng)世界坐標(biāo)系的旋轉(zhuǎn)矩陣和平移矢量。利用主動(dòng)視覺平臺(tái)測(cè)量和記錄相機(jī)的三個(gè)平移距離，當(dāng)相機(jī)從開始的Ptl，依次做正交平移運(yùn)動(dòng)到P1, P2，P3，利用位置P0做為世界坐標(biāo)系，記P。到P1，為T1 ,P1，到P2為T2, P2,到P3為T3,且滿足Tf巧=0 (i = 1，2，3，j尹i)，記P1, P2,P3的位置相對(duì)于P。的位移分別為T10 = T1, T20 = T^T2, T30 = WT3O當(dāng)三維點(diǎn)位于平面TI，圖像對(duì)應(yīng)點(diǎn)存在一対一映射關(guān)系，可利用單應(yīng)矩陣H來表
示-JH = KRK1 + Kt^rK1 = H J Kt^K1 為尺度因子，H00為無窮遠(yuǎn)單位矩陣，N和
aa ,
d分別為平面n的単位法向量和到原點(diǎn)的距離。平面結(jié)構(gòu)的恢復(fù)步驟NtT1q = cU1Q，NtT20 = dA20, NtT3q = cU3(l，對(duì)平移矢量進(jìn)
行歸-化可得如下三組方程為--，藉='y。)其
中PT1P, PT2P, PT3P分別表示相機(jī)的三次位移距離，經(jīng)過計(jì)算后得到[入VPT1P ( A 20- A 10) /PT2P (A30-A20-A10)/PT3P] [X Y Z]T=1，通過了解相機(jī)的三個(gè)平移距離，就可推導(dǎo)出三個(gè)尺度因子入1(|，A20, X3tl，然后恢復(fù)平面結(jié)構(gòu)信息，其計(jì)算過程是線性的。最后計(jì)算三個(gè)平面的交點(diǎn)，即可恢復(fù)三維結(jié)構(gòu)圖像。
圖為本發(fā)明的三維圖像流程圖。
具體實(shí)施例方式為了清晰表述本發(fā)明的實(shí)施過程，下面具體描述三維圖像的恢復(fù)過程。如圖所示以針孔成像模型來模擬相機(jī)成像過程，物點(diǎn)P經(jīng)過光心成像在像點(diǎn)P'，d為焦距。然后利用主動(dòng)視覺平臺(tái)測(cè)量和記錄相機(jī)的三個(gè)平移距離，當(dāng)相機(jī)從開始的Ptl，依次做正交平移運(yùn)動(dòng)到P1, P2，P3，利用位置Po做為世界坐標(biāo)系，記Po到P1，為T1, P1，到P2為T2, P2,到P3為T3,且滿足巧=0 (i = 1，2，3，j關(guān)i)，記P1, P2, P3的位置相對(duì)于P。的位移分別為 T10 = T1, T20 = T1+!^, T30 = Ti+I^+Tp當(dāng)進(jìn)行純平移運(yùn)動(dòng)時(shí)，視圖對(duì)應(yīng)的旋轉(zhuǎn)矩陣與無窮遠(yuǎn)矩陣均為単位矩陣，進(jìn)而
權(quán)利要求
1.一種三維照相機(jī)的圖像處理方法，其特征在于算法僅需利用主動(dòng)視覺平臺(tái)控制相機(jī)作三正交平移運(yùn)動(dòng)，然后通過圖像對(duì)應(yīng)點(diǎn)和平移運(yùn)動(dòng)的距離就可以恢復(fù)平面結(jié)構(gòu)信息和進(jìn)行歐氏重建。
2.根據(jù)權(quán)利要求I所述的圖像處理方法，其特征在于主動(dòng)視覺平臺(tái)控制相機(jī)作三正交平移運(yùn)動(dòng)只執(zhí)行一組。
3.根據(jù)權(quán)利要求I和2所述的圖像處理方法，其特征在于相機(jī)做純平移運(yùn)動(dòng)，兩視圖對(duì)應(yīng)的旋轉(zhuǎn)矩陣與無窮遠(yuǎn)單應(yīng)矩陣均為單位陣。
4.根據(jù)權(quán)利要求I所述的圖像處理方法，恢復(fù)平面結(jié)構(gòu)信息的特征在于測(cè)量三個(gè)平移距離，然后利用圖像對(duì)應(yīng)點(diǎn)計(jì)算可以恢復(fù)平面結(jié)構(gòu)信息，其計(jì)算過程是線性的。
5.根據(jù)權(quán)利要求I所述的圖像處理方法，歐式重建的其特征在于利用主動(dòng)視覺平臺(tái)測(cè)量和記錄三個(gè)正交平移距離。
全文摘要
本發(fā)明屬于圖像數(shù)據(jù)及處理技術(shù)，更具體地涉及一種應(yīng)用于3D(Three Dimensions)相機(jī)中將拍攝圖像由二維轉(zhuǎn)換到三維的圖像處理方法。利用主動(dòng)視覺平臺(tái)控制相機(jī)作一組三正交平移運(yùn)動(dòng)，然后通過圖像對(duì)應(yīng)點(diǎn)和平移運(yùn)動(dòng)的距離就可以恢復(fù)平面結(jié)構(gòu)信息和進(jìn)行歐氏重建恢復(fù)三維圖像信息，該方法不需要標(biāo)定物，但需要控制相機(jī)做特定運(yùn)動(dòng)，利用這種運(yùn)動(dòng)的特殊性可以計(jì)算出相機(jī)內(nèi)部參數(shù)。
文檔編號(hào)H04N13/02GK102622751SQ20121004598
公開日2012年8月1日 申請(qǐng)日期2012年2月28日 優(yōu)先權(quán)日2012年2月28日
發(fā)明者滕詣迪 申請(qǐng)人:南京理工大學(xué)常熟研究院有限公司