面向非規(guī)則表面的自適應(yīng)投影系統(tǒng)的制作方法

專利名稱：面向非規(guī)則表面的自適應(yīng)投影系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一套面向非規(guī)則表面的自適應(yīng)投影系統(tǒng)，該系統(tǒng)包括自適應(yīng)投影裝置和基于非規(guī)則表面幾何形態(tài)的投影圖像幾何校正方法，屬于計算機圖像處理技術(shù)領(lǐng)域。
背景技術(shù)：
多投影顯示系統(tǒng)作為一種先進的顯示系統(tǒng)，在商業(yè)、軍事、科研等諸多領(lǐng)域都有著巨大的應(yīng)用前景。在商業(yè)應(yīng)用領(lǐng)域，各商家可以使用多投影顯示技術(shù)將產(chǎn)品全方位地展示給人們，使人們可以對其產(chǎn)品進行更加深入地了解。在軍事領(lǐng)域，可以使用多投影顯示技術(shù)來對軍事武器進行試驗及戰(zhàn)術(shù)戰(zhàn)法的訓(xùn)練仿真等，如美國的飛行員已經(jīng)用模擬器在真實數(shù)據(jù)生成的全球戰(zhàn)場地形上進行飛行戰(zhàn)術(shù)訓(xùn)練。在計算機圖像處理、計算機視覺、虛擬現(xiàn)實等眾多的科學(xué)研究領(lǐng)域，多投影智能顯示技術(shù)也都成為了研究熱點。近些年，多投影系統(tǒng)在生活中的應(yīng)用也隨處可見，如2008年北京奧運會開幕式上的空中環(huán)幕，2009年山東全運會開幕式上的巨型碗幕，2010年上海世博會上世界氣象館、比利時-歐盟館中的大屏幕，都展示了多投影顯示技術(shù)的無窮魅力。目前，拼接融合、幾何校正、顏色補償?shù)燃夹g(shù)已經(jīng)比較成熟，但這些技術(shù)都是針對平面或已知規(guī)則曲面的投影表面或投影幕，如柱幕系統(tǒng)、錐幕系統(tǒng)，球幕系統(tǒng)和CAVE系統(tǒng)等。如果投影表面或投影幕發(fā)生形變，需要對投影表面或投影幕進行嚴(yán)格的調(diào)整，甚至更換新的投影表面或投影幕，這增加了多投影系統(tǒng)的成本，限制了多投影技術(shù)應(yīng)用范圍。如果投影表面或投影幕是復(fù)雜曲面，投影圖像會發(fā)生不同的失真與形變而無法滿足觀察者的視覺需求，為此，本項目充分地利用投影表面或投影幕的幾何形態(tài)信息和觀察視點，研究一種面向復(fù)雜曲面的多通道智能投影技術(shù)，以保證在任意復(fù)雜投影表面或投影幕上得到理想的圖像，降低投影系統(tǒng)的成本，提高投影系統(tǒng)的智能化水平，擴大投影系統(tǒng)的應(yīng)用范圍。

發(fā)明內(nèi)容
為了校正投影到非規(guī)則表面上的圖像出現(xiàn)的畸變，本發(fā)明構(gòu)建了一套面向非規(guī)則投影表面的自適應(yīng)投影系統(tǒng)。面向自由表面的自適應(yīng)投影系統(tǒng)能夠根據(jù)自由投影表面的幾何形態(tài)動態(tài)的進行幾何校正，而使觀看者能夠在投影表面上看到理想的投影圖像，這種面向自由表面的自適應(yīng)投影系統(tǒng)解決的就是投影機、攝像機和自由投影表面三者之間的空間關(guān)系。單獨使用投影機無法實現(xiàn)其對于自由投影表面的適應(yīng)性，為了使得投影機能夠適應(yīng)于自由投影表面而投射出理想的觀察圖像則需要借助攝像機的視覺特性，而自適應(yīng)投影裝置的集成指的就是將一個攝像機相對固定地綁定到一個投影機上而使二者具有運動一致的特性。自由投影表面的重構(gòu)指的是利用點陣式彩色結(jié)構(gòu)光編碼圖像對自由投影表面的幾何特征形態(tài)進行三維估算。投影圖像的校正指的是根據(jù)重建得到的投影表面幾何形態(tài)對投影圖像進行分塊變換使得投射到投影表面的投影圖像形成連續(xù)、一致的理想觀察圖像。
面向非規(guī)則投影表面的自適應(yīng)投影系統(tǒng)，其特征在于，該系統(tǒng)所需設(shè)備和實現(xiàn)步驟如下所需設(shè)備如

圖1所示，投影機1、攝像機2、配有雙通道顯示卡的計算機3、硬連接支架4 ;其中投影機I和攝像機2固定到硬連接支架4上以使二者保持相對固定的狀態(tài)，攝像機2的圖像采集輸出端口通過電纜與計算機3相連，投影機I通過電纜與計算機3中的雙通道顯示卡的輸出端口連接，使投影機I作為計算機3的擴展桌面。面向非規(guī)則表面的自適應(yīng)投影系統(tǒng)實現(xiàn)步驟如下1、通過使用張正友標(biāo)定方法對投影機I和攝像機2進行內(nèi)、外參數(shù)的標(biāo)定，從而分別獲取投影機I和攝像機2的畸變系數(shù)。
1.1、在計算機3中，產(chǎn)生一幅攝像機標(biāo)定圖像，如圖2所示。攝像機標(biāo)定圖像的背景是透明度為50%的黑色，攝像機標(biāo)定圖像由8行6列的白色圓形構(gòu)成，每個白色圓形的直徑為18mm,相鄰兩個白色圓形的圓心間距均為25mm。用A4紙,將攝像機標(biāo)定圖像打印出來，并粘貼在一個平面板上，構(gòu)成標(biāo)定板。在計算機3中，產(chǎn)生一幅投影機標(biāo)定圖像，投影機標(biāo)定圖像的背景為純黑，投影機標(biāo)定圖像由8行6列的白色圓形構(gòu)成，每個白色圓形的直徑為36像素，相鄰兩個白色圓形的圓心間距均為50像素。1. 2、將攝像機標(biāo)定板擺放于投影機I和攝像機2之前，并確保投影機I的投影機標(biāo)定圖像能夠完整地投射于標(biāo)定板上且攝像機2能夠從標(biāo)定板上完整地攝取到投影機I投影的投影機標(biāo)定圖像。首先，使用攝像機2攝取攝像機標(biāo)定圖像，得到攝像機標(biāo)定板圖像；然后，保持標(biāo)定板不動并將投影機標(biāo)定圖像投射到標(biāo)定板上，使用攝像機2攝取投影到標(biāo)定板上的投影機標(biāo)定圖像，得到投影機標(biāo)定板圖像；最后，改變標(biāo)定板的位置或角度，重復(fù)以上步驟共拍攝十組攝像機標(biāo)定板圖像和投影機標(biāo)定板圖像。使用OpenCVl. 0中的cvThreshold函數(shù),依次對攝像機標(biāo)定板圖像和投影機標(biāo)定板圖像進行二值化；使用OpenCVl. 0中的cvFindContours函數(shù),依次在二值化后的攝像機標(biāo)定板圖像和投影機標(biāo)定板圖像中找出各變形圓形的輪廓的點集；使用OpenCVl. 0中的CvCvtSeqToArray函數(shù),依次將攝像機標(biāo)定板圖像中的每一個變形圓形的輪廓的點集轉(zhuǎn)換為一維數(shù)組，一維數(shù)組中元素的類型都為CvPoint ;使用OpenCVl. 0中的cvFitEllipse函數(shù)，對得到的每個一維數(shù)組進行橢圓擬合，得到每個橢圓的圓心，每個橢圓的圓心為攝像機標(biāo)定特征點。使用OpenCVl. 0中的CvCvtSeqToArray函數(shù),依次將投影機標(biāo)定板圖像中的每一個變形圓形的輪廓的點集轉(zhuǎn)換為一維數(shù)組，一維數(shù)組中元素的類型都為CvPoint ;使用OpenCVl. 0中的cvFitEllipse函數(shù),對得到的每個一維數(shù)組進行橢圓擬合,得到每個橢圓的圓心，每個橢圓的圓心為投影機標(biāo)定特征點。1. 3、使用攝像機標(biāo)定特征點在攝像機坐標(biāo)系中的坐標(biāo)和已知的相鄰攝像機標(biāo)定特征點在世界坐標(biāo)系下的距離，通過張正友標(biāo)定方法，得到攝像機2的內(nèi)、外參數(shù)，S卩3X3階攝像機內(nèi)參矩陣、3階攝像機旋轉(zhuǎn)向量和3階攝像機平移向量；使用OpenCVl.O中的cvRodrigues2函數(shù),將攝像機旋轉(zhuǎn)向量轉(zhuǎn)換成3X3階攝像機旋轉(zhuǎn)矩陣。構(gòu)造3X4階攝像機外參矩陣，其中前三個列向量為攝像機旋轉(zhuǎn)矩陣對應(yīng)的三個列向量，第四個列向量為攝像機平移向量。使用OpenCVl. 0中的cvGEMM函數(shù)，將攝像機內(nèi)參矩陣和攝像機外參矩陣轉(zhuǎn)換成3X4階的攝像機單應(yīng)性變換矩陣CamM。1. 4、使用攝像機I的單應(yīng)性變換矩陣CamM和攝取的投影機標(biāo)定特征點在投影機坐標(biāo)系下的二維坐標(biāo)，根據(jù)以下公式計算臨時變量tmpl和tmp2。tmpl = (FeatureV*CamM[2][I]-CamM[l][I])；tmp2 = (FeatureU*CamM[2][I]-CamM
[I])；其中FeatureV和FeatureU分別為投影機標(biāo)定特征點在投影機坐標(biāo)系下的V軸坐標(biāo)和U軸坐標(biāo)。根據(jù)以下公式計算投影機標(biāo)定特征點在世界坐標(biāo)系中的X軸坐標(biāo)值WorldX和Y軸坐標(biāo)值WorldY，其中Z軸坐標(biāo)值WorldZ全取為定值1.0。WorldX = (tmp2*WorldZ*CamM[l][2]+tmp2*CamM[l][3]_tmp2*FeatureV*WorldZ*CamM[2] [2]_tmp2*FeatureV*CamM[2][3]-tmpl*WorldZ*CamM
[2]_tmpl*CamM
[3]+tmpl*FeatureU*WorldZ*CamM[2]+tmpl*FeatureU*CamM[2][3])/(tmpl*CamM
_tmpl*FeatureU*CamM[2]
_tmp2*CamM[l]
+tmp2*FeatureV*CamM[2]
)；WorldY = (ff or I dX*CamM [ 2 ]
+Wor I dZ*CamM [ I ] [ 2 ] +CamM [ I ]-FeatureV*WorldX*CamM[2]
-FeatureV*WorldZ*CamM[2][2]-FeatureV^CamM[2][3])/(FeatureV*CamM[2][I]-CamM[l][I])；1. 5、使用投影機標(biāo)定特征點在投影機坐標(biāo)系中的坐標(biāo)和投影機標(biāo)定特征點在世界坐標(biāo)系下的三維坐標(biāo)，利用張正友標(biāo)定方法，得到投影機I的內(nèi)、外參數(shù)，即3X3階投影機內(nèi)參矩陣、3階投影機旋轉(zhuǎn)向量和3階投影機平移向量；使用OpenCVl. 0中的cvRodrigues2函數(shù)，將投影機旋轉(zhuǎn)向量轉(zhuǎn)換成3X3階投影機旋轉(zhuǎn)矩陣。構(gòu)造3X4階投影機外參矩陣，其中前三個列向量為投影機旋轉(zhuǎn)矩陣對應(yīng)的三個列向量，第四個列向量為投影機平移向量。使用OpenCVl. 0中的cvGEMM函數(shù)，將投影機內(nèi)參矩陣和投影機外參矩陣轉(zhuǎn)換成3X4階的投影機單應(yīng)性變換矩陣ProM。2、通過投影機I將計算機3生成的彩色結(jié)構(gòu)光編碼圖像投射到非規(guī)則表面上，使用攝像機2采集非規(guī)則表面上發(fā)生畸變后的彩色結(jié)構(gòu)光編碼圖像，得到彩色結(jié)構(gòu)光編碼圖片。2.1、彩色結(jié)構(gòu)光編碼圖像的分辨率為1024X768像素，背景顏色的RGB值分別為(120，120，120);在彩色結(jié)構(gòu)光編碼圖像上包括50行75列直徑為8個像素的圓形，相鄰兩個圓形的圓心間距均為13個像素。2. 2、在彩色結(jié)構(gòu)光編碼圖像中共使用RGB值分別為(0，0，0)、(0，0，255)、(0，255，0)、(0，255，255)、(255，0，0)、(255，0，255)、(255，255，0)、(255，255，255)的 8 種顏色。彩色結(jié)構(gòu)光編碼圖像由IOX 15個圓形方陣組成，每個圓形方陣由5行5列的圓形組成。圓形方陣的外圍輪廓的圓形的顏色由RGB值分別為(0,0, 255)、(0,255,0)、(0,255, 255)、(255,0,0), (255，0，255)、(255，255,0)的6種顏色排列而成，并且每個圓形方陣外圍輪廓的顏色排列與其他圓形方陣外圍輪廓的顏色排列均不相同；中間的3行3列圓形方陣的圓形顏色由RGB值分別為(0，0，0)和(255，255，255)的兩種顏色排列而成，左上角第一個圓形顏色為(255，255，255)，并且在5行5列的圓形組成的圓形方陣中，任意相鄰兩個圓形的顏色均不相同。2. 3、設(shè)置計算機3中顯示卡的兩個通道的顯示分辨率均為1024X768像素。2. 4、通過投影機I將計算機3中生成的彩色結(jié)構(gòu)光編碼圖像投射到非規(guī)則表面上，在非規(guī)則表面上形成投影后的彩色結(jié)構(gòu)光編碼圖像。
2. 5、使用攝像機2攝取非規(guī)則表面上投影后的彩色結(jié)構(gòu)光編碼圖像，得到彩色結(jié)構(gòu)光編碼圖片。3、計算機3對彩色結(jié)構(gòu)光編碼圖片進行圖像處理，提取出彩色結(jié)構(gòu)光編碼圖片中的特征點并將其與彩色結(jié)構(gòu)光編碼圖像中的特征點進行匹配，然后使用投影機I和攝像機2的內(nèi)、外參數(shù)對非規(guī)則表面進行三維重建。3.1、對彩色結(jié)構(gòu)光編碼圖片進行灰度化和平滑處理以消除由拍攝引起的噪聲干擾，設(shè)定閾值對灰度平滑后的彩色結(jié)構(gòu)光編碼圖片進行二值化處理，利用橢圓擬合方法提取出彩色結(jié)構(gòu)光編碼圖片上每個變形的圓形的中心，作為彩色結(jié)構(gòu)光編碼圖片的特征點。3. 2、以彩色結(jié)構(gòu)光編碼圖片的每個特征點為中心，以3個像素為半徑的圓形中所有像素點顏色的RGB值的R值均值、G值均值和B值均值來代替該特征點的原始顏色的RGB值，將得到的每個特征點的顏色的RGB值轉(zhuǎn)化為HSV空間中對應(yīng)的值，利用HSV空間對應(yīng)的值對每個特征點的顏色進行識別。 3. 3、首先，根據(jù)投影后彩色結(jié)構(gòu)光編碼圖片上每個圓形方陣外圍輪廓的顏色排列和彩色結(jié)構(gòu)光編碼圖像上每個圓形方陣外圍輪廓的顏色排列來區(qū)別出圓形方陣；然后，根據(jù)投影后彩色結(jié)構(gòu)光編碼圖片上特征點的顏色值和彩色結(jié)構(gòu)光編碼圖像上特征點的顏色值相等關(guān)系，確定投影后彩色結(jié)構(gòu)光編碼圖片和彩色結(jié)構(gòu)光編碼圖像上特征點之間的對應(yīng)關(guān)系。3. 4、通過使用投影機單應(yīng)性變換矩陣ProM、攝像機單應(yīng)性變換矩陣CamM、投影機彩色結(jié)構(gòu)光編碼圖像上特征點的圖像坐標(biāo)(Uj, Vj)和攝像機彩色結(jié)構(gòu)光編碼圖片上對應(yīng)特征點的圖像坐標(biāo)(Ui, Vi),根據(jù)下式計算得到非規(guī)則表面上各特征點的三維坐標(biāo)(Xwp，Yffp,Zwp)。
權(quán)利要求
1.面向非規(guī)則投影表面的自適應(yīng)投影系統(tǒng)，其特征在于，該系統(tǒng)所需設(shè)備和實現(xiàn)步驟如下 所需設(shè)備如圖1所示，投影機(I)、攝像機(2)、配有雙通道顯示卡的計算機(3)、硬連接支架(4);其中投影機(I)和攝像機(2)固定到硬連接支架(4)上以使二者保持相對固定的狀態(tài)，攝像機(2)的圖像采集輸出端口通過電纜與計算機(3)相連，投影機(I)通過電纜與計算機(3)中的雙通道顯示卡的輸出端口連接，使投影機(I)作為計算機(3)的擴展桌面； 面向非規(guī)則表面的自適應(yīng)投影系統(tǒng)實現(xiàn)步驟如下1、通過使用張正友標(biāo)定方法對投影機(I)和攝像機(2)進行內(nèi)、外參數(shù)的標(biāo)定，從而分別獲取投影機(I)和攝像機(2)的畸變系數(shù)；1.1、在計算機(3)中，廣生一幅攝像機標(biāo)定圖像，如圖2所不；攝像機標(biāo)定圖像的背景是透明度為50%的黑色，攝像機標(biāo)定圖像由8行6列的白色圓形構(gòu)成，每個白色圓形的直徑為18mm,相鄰兩個白色圓形的圓心間距均為25mm ;用A4紙,將攝像機標(biāo)定圖像打印出來,并粘貼在一個平面板上，構(gòu)成標(biāo)定板；在計算機(3)中，產(chǎn)生一幅投影機標(biāo)定圖像，投影機標(biāo)定圖像的背景為純黑，投影機標(biāo)定圖像由8行6列的白色圓形構(gòu)成，每個白色圓形的直徑為36像素，相鄰兩個白色圓形的圓心間距均為50像素；1.2、將攝像機標(biāo)定板擺放于投影機(I)和攝像機(2)之前，并確保投影機(I)的投影機標(biāo)定圖像能夠完整地投射于標(biāo)定板上且攝像機(2)能夠從標(biāo)定板上完整地攝取到投影機(I)投影的投影機標(biāo)定圖像；首先，使用攝像機(2)攝取攝像機標(biāo)定圖像，得到攝像機標(biāo)定板圖像；然后，保持標(biāo)定板不動并將投影機標(biāo)定圖像投射到標(biāo)定板上，使用攝像機(2)攝取投影到標(biāo)定板上的投影機標(biāo)定圖像，得到投影機標(biāo)定板圖像；最后，改變標(biāo)定板的位置或角度，重復(fù)以上步驟共拍攝十組攝像機標(biāo)定板圖像和投影機標(biāo)定板圖像； 使用OpenCVl. O中的cvThreshold函數(shù),依次對攝像機標(biāo)定板圖像和投影機標(biāo)定板圖像進行二值化；使用OpenCVl. O中的cvFindContours函數(shù)，依次在二值化后的攝像機標(biāo)定板圖像和投影機標(biāo)定板圖像中找出各變形圓形的輪廓的點集；使用OpenCVl. O中的CvCvtSeqToArray函數(shù),依次將攝像機標(biāo)定板圖像中的每一個變形圓形的輪廓的點集轉(zhuǎn)換為一維數(shù)組，一維數(shù)組中元素的類型都為CvPoint ;使用OpenCVl. O中的cvFitEllipse函數(shù)，對得到的每個一維數(shù)組進行橢圓擬合，得到每個橢圓的圓心，每個橢圓的圓心為攝像機標(biāo)定特征點；使用OpenCVl. O中的CvCvtSeqToArray函數(shù),依次將投影機標(biāo)定板圖像中的每一個變形圓形的輪廓的點集轉(zhuǎn)換為一維數(shù)組，一維數(shù)組中元素的類型都為CvPoint ;使用OpenCVl. O中的cvFitEllipse函數(shù),對得到的每個一維數(shù)組進行橢圓擬合,得到每個橢圓的圓心，每個橢圓的圓心為投影機標(biāo)定特征點；1.3、使用攝像機標(biāo)定特征點在攝像機坐標(biāo)系中的坐標(biāo)和已知的相鄰攝像機標(biāo)定特征點在世界坐標(biāo)系下的距離，通過張正友標(biāo)定方法，得到攝像機(2)的內(nèi)、外參數(shù)，S卩3X3階攝像機內(nèi)參矩陣、3階攝像機旋轉(zhuǎn)向量和3階攝像機平移向量；使用OpenCVl.O中的cvRodr igues2函數(shù),將攝像機旋轉(zhuǎn)向量轉(zhuǎn)換成3X3階攝像機旋轉(zhuǎn)矩陣；構(gòu)造3X4階攝像機外參矩陣，其中前三個列向量為攝像機旋轉(zhuǎn)矩陣對應(yīng)的三個列向量，第四個列向量為攝像機平移向量；使用OpenCVl. O中的cvGEMM函數(shù)，將攝像機內(nèi)參矩陣和攝像機外參矩陣轉(zhuǎn)換成3X4階的攝像機單應(yīng)性變換矩陣CamM ；.1.4、使用攝像機(I)的單應(yīng)性變換矩陣CamM和攝取的投影機標(biāo)定特征點在投影機坐標(biāo)系下的二維坐標(biāo)，根據(jù)以下公式計算臨時變量tmpl和tmp2 ；tmpl = (FeatureV^CamM[2][I]-CamM[l][I])； tmp2 = (FeatureU*CamM[2] [I]-CamM
[I]);其中 FeatureV和 FeatureU 分別為投影機標(biāo)定特征點在投影機坐標(biāo)系下的V軸坐標(biāo)和U軸坐標(biāo)；根據(jù)以下公式計算投影機標(biāo)定特征點在世界坐標(biāo)系中的X軸坐標(biāo)值WorldX和Y軸坐標(biāo)值WorldY，其中Z軸坐標(biāo)值WorldZ全取為定值1. O ； WorldX = (tmp2*WorldZ*CamM[l] [2]+tmp2*CamM[l][3]_tmp2*FeatureV*WorldZ*CamM[2] [2]_tmp2*FeatureV*CamM[2][3]-tmpl*WorldZ*CamM
[2]-tmpl*CamM
[3]+tmpl*FeatureU*WorldZ*CamM[2][2]+tmpl*FeatureU*CamM[2][3])/(tmpl*CamM
-tmpl*FeatureU*CamM[2]
_tmp2*CamM[l]
+tmp2*FeatureV*CamM[2]
)； WorldY = (WorIdX*CamM[2]
+Wor IdZ*CamM[I] [2]+CamM [ I ][3]-FeatureV*WorldX*CamM[2]
-FeatureV*WorldZ*CamM[2][2]-FeatureV^CamM[2][3])/(FeatureV*CamM[2][I]-CamM[l][I])； .1.5、使用投影機標(biāo)定特征點在投影機坐標(biāo)系中的坐標(biāo)和投影機標(biāo)定特征點在世界坐標(biāo)系下的三維坐標(biāo)，利用張正友標(biāo)定方法，得到投影機(I)的內(nèi)、外參數(shù)，即3X3階投影機內(nèi)參矩陣、3階投影機旋轉(zhuǎn)向量和3階投影機平移向量；使用OpenCVl. O中的CVRodrigues2函數(shù)，將投影機旋轉(zhuǎn)向量轉(zhuǎn)換成3X3階投影機旋轉(zhuǎn)矩陣；構(gòu)造3X4階投影機外參矩陣，其中前三個列向量為投影機旋轉(zhuǎn)矩陣對應(yīng)的三個列向量，第四個列向量為投影機平移向量；使用OpenCVl. O中的cvGEMM函數(shù)，將投影機內(nèi)參矩陣和投影機外參矩陣轉(zhuǎn)換成3X4階的投影機單應(yīng)性變換矩陣ProM。
2.通過投影機(I)將計算機(3)生成的彩色結(jié)構(gòu)光編碼圖像投射到非規(guī)則表面上，使用攝像機(2)采集非規(guī)則表面上發(fā)生畸變后的彩色結(jié)構(gòu)光編碼圖像，得到彩色結(jié)構(gòu)光編碼圖片； .2.1、彩色結(jié)構(gòu)光編碼圖像的分辨率為1024X768像素，背景顏色的RGB值分別為(120，.120，120);在彩色結(jié)構(gòu)光編碼圖像上包括50行75列直徑為8個像素的圓形，相鄰兩個圓形的圓心間距均為13個像素； .2.2、在彩色結(jié)構(gòu)光編碼圖像中共使用RGB值分別為(0,0,0), (0,0,255), (0,255,0),(O, 255，255)、(255，0，O)、(255，0，255)、(255，255，O)、(255，255，255)的 8 種顏色；彩色結(jié)構(gòu)光編碼圖像由IOX 15個圓形方陣組成，每個圓形方陣由5行5列的圓形組成；圓形方陣的外圍輪廓的圓形的顏色由RGB值分別為(0,0,255), (0,255,0), (0，255，255)、(255，0，.O)、(255，0，255)、(255，255，O)的6種顏色排列而成，并且每個圓形方陣外圍輪廓的顏色排列與其他圓形方陣外圍輪廓的顏色排列均不相同；中間的3行3列圓形方陣的圓形顏色由RGB值分別為(0，0，0)和(255，255，255)的兩種顏色排列而成，左上角第一個圓形顏色為(255，255，255)，并且在5行5列的圓形組成的圓形方陣中，任意相鄰兩個圓形的顏色均不相同； .2.3、設(shè)置計算機(3)中顯示卡的兩個通道的顯示分辨率均為1024X768像素； .2.4、通過投影機(I)將計算機(3)中生成的彩色結(jié)構(gòu)光編碼圖像投射到非規(guī)則表面上，在非規(guī)則表面上形成投影后的彩色結(jié)構(gòu)光編碼圖像； .2.5、使用攝像機(2)攝取非規(guī)則表面上投影后的彩色結(jié)構(gòu)光編碼圖像，得到彩色結(jié)構(gòu)光編碼圖片。
3.計算機(3)對彩色結(jié)構(gòu)光編碼圖片進行圖像處理，提取出彩色結(jié)構(gòu)光編碼圖片中的特征點并將其與彩色結(jié)構(gòu)光編碼圖像中的特征點進行匹配，然后使用投影機(I)和攝像機(2)的內(nèi)、外參數(shù)對非規(guī)則表面進行三維重建； .3.1、對彩色結(jié)構(gòu)光編碼圖片進行灰度化和平滑處理以消除由拍攝引起的噪聲干擾，設(shè)定閾值對灰度平滑后的彩色結(jié)構(gòu)光編碼圖片進行二值化處理，利用橢圓擬合方法提取出彩色結(jié)構(gòu)光編碼圖片上每個變形的圓形的中心，作為彩色結(jié)構(gòu)光編碼圖片的特征點； .3.2、以彩色結(jié)構(gòu)光編碼圖片的每個特征點為中心，以3個像素為半徑的圓形中所有像素點顏色的RGB值的R值均值、G值均值和B值均值來代替該特征點的原始顏色的RGB值，將得到的每個特征點的顏色的RGB值轉(zhuǎn)化為HSV空間中對應(yīng)的值，利用HSV空間對應(yīng)的值對每個特征點的顏色進行識別； .3.3、首先，根據(jù)投影后彩色結(jié)構(gòu)光編碼圖片上每個圓形方陣外圍輪廓的顏色排列和彩色結(jié)構(gòu)光編碼圖像上每個圓形方陣外圍輪廓的顏色排列來區(qū)別出圓形方陣；然后，根據(jù)投影后彩色結(jié)構(gòu)光編碼圖片上特征點的顏色值和彩色結(jié)構(gòu)光編碼圖像上特征點的顏色值相等關(guān)系，確定投影后彩色結(jié)構(gòu)光編碼圖片和彩色結(jié)構(gòu)光編碼圖像上特征點之間的對應(yīng)關(guān)系; .3.4、通過使用投影機單應(yīng)性變換矩陣ProM、攝像機單應(yīng)性變換矩陣CamM、投影機彩色結(jié)構(gòu)光編碼圖像上特征點的圖像坐標(biāo)(UpVj)和攝像機彩色結(jié)構(gòu)光編碼圖片上對應(yīng)特征點的圖像坐標(biāo)(Ui, Vi),根據(jù)下式計算得到非規(guī)則表面上各特征點的三維坐標(biāo)(Xwp，Ywp，Zwp)；
4.根據(jù)計算得到的非規(guī)則表面上特征點的三維坐標(biāo)對需要投影的圖像進行校正得到投影圖像，使用計算機(3)的雙通道顯示卡將投影圖像通過投影機(I)投射到非規(guī)則表面得到觀察圖像； .4.1、設(shè)觀察視點在世界坐標(biāo)系下的三維坐標(biāo)為(Xv，Yv, Zv)，并且在非規(guī)則表面上尋找與觀察視點距離最近的所有點，在這些點中任意選擇一個點作為平面視點，平面視點與觀察視點的連線作為觀察視軸，通過平面視點作視平面，并保證視平面與觀察視軸垂直，將觀察視點分別與非規(guī)則表面上的每一個特征點構(gòu)成的直線與視平面相交，交點稱為觀察交點，由觀察交點構(gòu)成的面積最大的四邊形為視平面上的可視范圍，在視平面上的可視范圍內(nèi)確定出長寬比為4 3的面積最大的矩形，該矩形即為平面投影成像區(qū)域； .4.2、將確定出的平面投影成像區(qū)域均分成30行40列的正方形分塊，并根據(jù)觀察視點和非規(guī)則表面上各特征點在世界坐標(biāo)系下的三維坐標(biāo)，計算出各正方形分塊四個頂點的三維坐標(biāo)； 首先，根據(jù)30行40列的正方形分塊計算得到各正方形分塊四個頂點在視平面上的二維坐標(biāo)；其次，根據(jù)正方形分塊每個頂點在視平面上的二維坐標(biāo)和每個非規(guī)則表面特征點在視平面上的二維坐標(biāo)，確定出包含該正方形分塊頂點的最小四邊形，該四邊形的四個頂點為非規(guī)則表面的四個特征點；根據(jù)包含該正方形分塊頂點的最小四邊形的四個頂點在世界坐標(biāo)系下的三維坐標(biāo)，擬合出該四個頂點構(gòu)成的平面方程，求出觀察視點和正方形分塊頂點的三維坐標(biāo)構(gòu)成的直線與該平面的焦點，即為正方形分塊頂點的在世界坐標(biāo)系下的三維坐標(biāo)；最后，根據(jù)投影機單應(yīng)性變換矩陣ProM和各正方形分塊頂點在世界坐標(biāo)系下的坐標(biāo)(Xp Yj, Zp，使用下式便可計算得到各正方形分塊頂點在投影機圖像平面上的二維坐標(biāo)(Uj, Vj)；
全文摘要
本發(fā)明涉及一套面向非規(guī)則表面的自適應(yīng)投影系統(tǒng)，該系統(tǒng)包括自適應(yīng)投影裝置和基于非規(guī)則表面幾何形態(tài)的投影圖像幾何校正方法，屬于計算機圖像處理技術(shù)領(lǐng)域。該系統(tǒng)使用新的彩色結(jié)構(gòu)光編碼方法，提高了編碼圖像的抗干擾能力和非規(guī)則表面的重構(gòu)速度。使用該系統(tǒng)可以對非規(guī)則表面進行快速重構(gòu)，并根據(jù)重構(gòu)結(jié)果對投影圖像進行畸變校正，使觀察者在非規(guī)則表面上能夠觀察到連續(xù)一致的、無形變的投影圖像，降低了投影系統(tǒng)的成本，提高了投影系統(tǒng)的智能化水平，擴大了投影系統(tǒng)的應(yīng)用范圍。
文檔編號G03B21/00GK103020954SQ20121044844
公開日2013年4月3日 申請日期2012年10月31日 優(yōu)先權(quán)日2012年10月31日
發(fā)明者張超, 楊華民, 韓成, 白寶興, 蔣振剛, 馮欣, 范靜濤, 丁瑩 申請人:長春理工大學(xué)