一種用于車載多目攝像機環(huán)視系統(tǒng)的虛擬視點合成方法
【專利摘要】本發(fā)明一種用于車載多目攝像機環(huán)視系統(tǒng)的虛擬視點合成方法，包括如下步驟；S1向環(huán)視系統(tǒng)中輸入左右視點參考圖像，進(jìn)行視差估計得到左右視點深度圖；S2根據(jù)左右視點深度圖，分別對應(yīng)生成左右視點預(yù)測深度圖；S3根據(jù)左右視點參考圖像及其對應(yīng)的左右視點預(yù)測深度圖，分別生成左右視點預(yù)測圖；S4利用左右視點預(yù)測圖，合成虛擬視點圖像。通過引入深度可信圖的思想，利用深度可信圖生成遮擋圖，而該遮擋圖能夠清楚準(zhǔn)確地描述出在合成虛擬視點圖像時，插值信息應(yīng)該來自哪個視點的具體什么區(qū)域。理論和實驗結(jié)果證明，這種方法能夠有效的得出遮擋區(qū)域，提高虛擬視點合成圖像的質(zhì)量，而現(xiàn)有方法都無法有效地檢測，跟無法得到高質(zhì)量的虛擬視點圖像。
【專利說明】一種用于車載多目攝像機環(huán)視系統(tǒng)的虛擬視點合成方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及虛擬視點合成【技術(shù)領(lǐng)域】，具體為一種用于車載多目攝像機環(huán)視系統(tǒng)的虛擬視點合成方法。
【背景技術(shù)】
[0002]虛擬視點合成技術(shù)是指利用兩個或多個來自于同一場景的真實視點圖像生成一個新視點的圖像。它在環(huán)境認(rèn)知、虛擬現(xiàn)實、地理信息系統(tǒng)、遠(yuǎn)程視頻會議、軍事、醫(yī)療、教育、娛樂和影視特技等多個領(lǐng)域都有著廣泛的應(yīng)用。基于深度圖的繪制(Depth ImageBased Rendering,DIBR)技術(shù)是虛擬視點合成技術(shù)中最有發(fā)展前景的技術(shù)之一。該技術(shù)根據(jù)參考圖像的深度信息和攝像機參數(shù)，通過3D圖像映射，將參考圖像投影到目標(biāo)圖像坐標(biāo)系，能夠?qū)崿F(xiàn)任意視點虛擬圖像的快速繪制。然而，單一地通過DIBR技術(shù)合成的虛擬視點圖像的質(zhì)量往往并不理想，存在的主要問題是空洞問題、重疊問題和重采樣問題。
[0003]空洞問題是虛擬視點合成的最大難點所在?，F(xiàn)在對空洞問題的研究已經(jīng)有很多。預(yù)處理法是對場景深度圖像采用二維非對稱高斯濾波器通過平滑預(yù)處理的方法以改善其不連續(xù)性，這種方法可以較好地改善深度的不連續(xù)性，并能最大程度地保留物體邊緣信息。但從客觀上來說，由于對深度光滑已完全改變了三維場景中物體的實際深度，所以這種方法會導(dǎo)致繪制出的圖像中的物體出現(xiàn)嚴(yán)重的變形，合成圖像的視覺效果也會大大降低。圖像修復(fù)(Image Inpainting)是利用背景、紋理和相鄰像素對虛擬視點圖像中的空洞進(jìn)行填充。這類方法對復(fù)雜度比較高的場景進(jìn)行視點生成時，不僅合成的效果比較差，而且計算復(fù)雜度也特別高。
[0004]解決重疊問題的最簡便易行的算法是簡單的順序繪制。這種方法假設(shè)了在DIBR映射時，虛擬視點中物體的左右關(guān)系與在參考視點中的順序基本相同。當(dāng)兩個物體的景深差別不大時，這種左右位置關(guān)系可以較好地維持應(yīng)有的順序而不改變。然而，如果它們在三維空間中的深度相差較大，那么這兩個物體經(jīng)過DIBR映射后，其空間位置排列順序就有可能會被顛倒。也就是說，DIBR在合成虛擬視點圖像時，可能會錯誤地把參考視點圖像中原來在相對右邊的物體映射到了左邊。因此，雖然這種順序繪制的視點合成算法簡單易行，但在解決重疊問題時效果并不理想。Chen等提出了另一種視點獨立可見優(yōu)先算法。但這種算法也不能完全解決重疊問題。比較常用并且有效的算法是Z-Buffer算法。該方法首先需要為虛擬視點圖像平面上的所有像素點開辟一個適當(dāng)大小的緩存。當(dāng)繪制新視點時，就可以把與虛擬視點圖像中的該像素對應(yīng)的在參考視點圖像中的像素點的深度值存儲到與其對應(yīng)的緩存中。因此，虛擬視點圖像中該像素點的像素值，可在該像素點對應(yīng)的緩存內(nèi)通過選擇具有最小深度值的像素點作為虛擬視點圖像中該像素點的估計值。該方法能夠比較有效地解決重疊問題，算法復(fù)雜度也較低。然而，該算法的不足之處就是需要開辟一些存儲空間，從而能夠為虛擬視點圖像平面中的所有像素分配一個適當(dāng)大小的緩存。
[0005]解決重采樣的算法已有很多種。最臨近點插值法簡單地把非整數(shù)點的像素值賦值給臨近的整數(shù)點。然而，這種方法通常會導(dǎo)致虛擬視點圖像出現(xiàn)細(xì)小的空洞，降低了的合成圖像的視覺效果。子像素視點合成算法在合成前對參考圖像進(jìn)行上采樣，以增加3D映射時圖像的分辨率，然后對合成后的結(jié)果進(jìn)行下采樣得到最終的虛擬視點圖像。由于這種方法是對參考圖像上采樣后的圖像進(jìn)行處理，因而合成時的計算量將會大大地增加。
【發(fā)明內(nèi)容】
[0006]針對現(xiàn)有技術(shù)中存在的問題，本發(fā)明的目的在于提供一種用于車載多目攝像機環(huán)視系統(tǒng)的虛擬視點合成方法，合成效果好，虛擬視點圖像質(zhì)量高，能夠用于道路交通視景中。
[0007]本發(fā)明是通過以下技術(shù)方案來實現(xiàn):
[0008]一種用于車載多目攝像機環(huán)視系統(tǒng)的虛擬視點合成方法，包括如下步驟；
[0009]步驟SI:向環(huán)視系統(tǒng)中輸入左右視點參考圖像，進(jìn)行視差估計得到左右視點深度圖；
[0010]步驟S2:根據(jù)左右視點深度圖，分別對應(yīng)生成左右視點預(yù)測深度圖；步驟S3:根據(jù)左右視點參考圖像及其對應(yīng)的左右視點預(yù)測深度圖，分別生成左右視點預(yù)測圖；步驟S4:利用左右視點預(yù)測圖，合成虛擬視點圖像；合成時步驟如下；
[0011]步驟S41，根據(jù)左右視點深度圖，計算得到左右視點深度可信圖，
[0012]左視點深度可信圖計算公式為:
[0013]
【權(quán)利要求】
1.一種用于車載多目攝像機環(huán)視系統(tǒng)的虛擬視點合成方法，其特征在于，包括如下步驟； 步驟S1:向環(huán)視系統(tǒng)中輸入左右視點參考圖像，進(jìn)行視差估計得到左右視點深度圖；步驟S2:根據(jù)左右視點深度圖，分別對應(yīng)生成左右視點預(yù)測深度圖；步驟S3:根據(jù)左右視點參考圖像及其對應(yīng)的左右視點預(yù)測深度圖，分別生成左右視點預(yù)測圖；步驟S4:利用左右視點預(yù)測圖，合成虛擬視點圖像；合成時步驟如下； 步驟S41，根據(jù)左右視點深度圖，計算得到左右視點深度可信圖， 左視點深度可信圖計算公式為:
2.根據(jù)權(quán)利要求1所述的一種用于車載多目攝像機環(huán)視系統(tǒng)的虛擬視點合成方法，其特征在于，步驟S2包括如下步驟； 步驟S21，根據(jù)左右視點深度圖，利用正向映射方法分別計算出左右視點在虛擬視點處的左右視點預(yù)測深度圖； 步驟S22，采用中值濾波法去除正向映射過程中在左右視點預(yù)測深度圖中形成的細(xì)小空洞區(qū)域，其中細(xì)小空洞區(qū)域指寬度小于5個像素的空洞區(qū)域。
3.根據(jù)權(quán)利要求2所述的一種用于車載多目攝像機環(huán)視系統(tǒng)的虛擬視點合成方法，其特征在于，步驟S2還包括步驟S23，在正向映射過程中采用基于距離和深度的子像素加權(quán)算法；步驟S23包括如下步驟， 步驟S231，采用基于距離和深度的點集篩選方法獲取有效候選點點集，具體如下； 虛擬視點圖像中某個位于整數(shù)坐標(biāo)xO的像素點的候選點集S為:
S= {x I X-X01〈1} (I); 式中:?為虛擬視點圖像中某個目標(biāo)像素點的整數(shù)坐標(biāo)的水平分量；X為從參考圖像映射到虛擬視點圖像并位于Xtl附近的像素點的浮點坐標(biāo)的水平分量；s為Xtl的候選浮點坐標(biāo)點集； 且S由重疊點集A和重采樣點集B構(gòu)成，則S為: S=A U B (2)； a.采用基于距離的方法對重疊點集進(jìn)行分類，對應(yīng)于虛擬視點圖像中的浮點坐標(biāo)xk，其重疊點集Ak為:
Ak= {x I I x-xk| < a and | χ-χ01〈1}，k=l, 2,..., K (3)； 其中:Ixk-XciRl (4)； 式中:α為閾值，用于判斷處于位置X的像素點是否屬于Ak ;Κ為對應(yīng)于Xtl的重疊點集的個數(shù)，由統(tǒng)計方法得到； 重疊點集A又能夠表示為: A= {χ IA1 U A2 U …U Ακ} (5)； b.采用基于深度的方法對Ak進(jìn)行篩選得到有效重疊點集Ak’，Ak’表示為:
A，k={x| D(x, y) -Dmin；k(x, y) I < β andx e Aj , k=l, 2，...，K (6)；
其中:Dmin,k(x，y) =min{D(x, y) I x e Ak} (7)； 式中:D(x，y)為在參考圖像中與虛擬視點圖像中點(x，y)對應(yīng)的像素點的深度值；β為閾值，用于判斷處于位置χ的像素點是否屬于Ak’，由統(tǒng)計方法得到；C.根據(jù)式(6)和式(7)，有效重疊點集A’表示為: Aj=(X)Aj1 U Aj2 U...U A，J (8)； d.虛擬視點圖像中位于整數(shù)坐標(biāo)Xtl的像素的有效候選點集S’為: S，=A，U B (9)； 步驟S232:通過子像素權(quán)重模型進(jìn)行插值計算，得到虛擬視點圖像中位于整數(shù)位置點的像素預(yù)測值，具體如下； A.建立基于Xtl與χ之間距離的權(quán)重模型:
p(x,X0) = eF 41 q* —e 1,% ( 10) 式中:P (x, X0)為映射到點X的像素在虛擬視點圖像合成時對位于整數(shù)點Xtl的權(quán)重，C0為常數(shù)項； B.根據(jù)步驟A中的權(quán)重模型，得到虛擬視點圖像中位于整數(shù)位置的Xtl的像素點的預(yù)測值為，
(w)=I: 式中.X (x0, y)為虛擬視點圖像中點(Xo，y)處的像素預(yù)測值；x(x，y)為在參考圖像中對應(yīng)于虛擬視點圖像中點(x，y)處的像素值。
4.根據(jù)權(quán)利要求3所述的一種用于車載多目攝像機環(huán)視系統(tǒng)的虛擬視點合成方法，其特征在于，所述的公式(10)中取Ctl=0.1。
5.根據(jù)權(quán)利要求1-4中任意一項所述的一種用于車載多目攝像機環(huán)視系統(tǒng)的虛擬視點合成方法，其特征在于，步驟Si中，利用圖割的方法對輸入的左右視點參考圖像進(jìn)行視差估計。
6.根據(jù)權(quán)利要求1-4中任意一項所述的一種用于車載多目攝像機環(huán)視系統(tǒng)的虛擬視點合成方法，其特征在于，步驟S3中，采用逆向映射的方法分別生成從左右視點預(yù)測圖。
【文檔編號】G06T5/00GK103581651SQ201310518794
【公開日】2014年2月12日 申請日期:2013年10月28日 優(yōu)先權(quán)日:2013年10月28日
【發(fā)明者】劉躍虎, 來毅, 張馳, 蘇遠(yuǎn)歧 申請人:西安交通大學(xué)