專利名稱：2d/3d視頻轉(zhuǎn)換中的深度歸一化方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于三維視頻(包括3DTV、3D電影等)技術(shù)領(lǐng)域，具體涉及2D/3D ( 二維至三維)的視頻轉(zhuǎn)換技術(shù)，特別是一種基于深度圖渲染的2D/3D視頻轉(zhuǎn)換中的深度歸一化方
法及裝置。
背景技術(shù)：
目前，三維(3D)視頻逐漸普及，中國(guó)中央電視臺(tái)(CCTV)也在2012年元旦之際試播了 3D頻道，3D視頻已經(jīng)逐漸成為了當(dāng)前發(fā)展的一種趨勢(shì)。然而，視頻源不足成為制約這一產(chǎn)業(yè)興起的主要瓶頸。在這種情況下，將2D視頻轉(zhuǎn)為3D視頻是解決此問(wèn)題的有效途徑。將2D視頻轉(zhuǎn)為3D視頻總的來(lái)說(shuō)存在兩種渲染方式其中一種是通過(guò)采用某種方法從單一的視頻幀中直接重建出具有視差的左右眼圖像對(duì)；另一種是基于深度圖的渲染 (Depth Image-based Rendering, DIBR),它的轉(zhuǎn)換結(jié)果是在原視頻的基礎(chǔ)上附加了每一中貞所對(duì)應(yīng)的深度圖，最后由嵌入DIBR處理模塊的顯示終端輸出轉(zhuǎn)換為雙目立體視頻后就可以進(jìn)行觀賞(參見“電影2D/3D轉(zhuǎn)換技術(shù)概述[J]”，劉偉、吳毅紅、胡占義，《計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)》，2012，24(1) :14-28)。與前者相比，后者以其具有的三個(gè)獨(dú)到特點(diǎn)高效的壓縮傳輸效率、與現(xiàn)有2D技術(shù)和不同設(shè)備的兼容性強(qiáng)以及在實(shí)時(shí)立體視頻生成上具有的景深調(diào)整和快速渲染合成等技術(shù)優(yōu)勢(shì)，在新興的3DTV、3D移動(dòng)終端等市場(chǎng)占有絕對(duì)的主導(dǎo)地位，是3D渲染技術(shù)未來(lái)發(fā)展的方向。圖I顯示了現(xiàn)有的基于深度圖渲染的2D/3D視頻轉(zhuǎn)換方法，如圖I所示，對(duì)于輸入的2D視頻，首先通過(guò)解碼從該2D視頻的視頻流中分解得到視頻幀，同時(shí)，利用某種深度線索從該2D視頻中提取出有效的深度信息，從而得到與所述視頻幀對(duì)應(yīng)的初始深度圖；然后，經(jīng)過(guò)深度歸一化模塊調(diào)整生成歸一化深度圖；接著，將該歸一化深度圖與所述視頻幀再經(jīng)過(guò)基于深度圖的3D渲染處理，從而得到3D視頻并輸出。其中，深度歸一化模塊將由某種深度線索得到的初始深度圖按照DIBR渲染標(biāo)準(zhǔn)進(jìn)行了調(diào)整，該歸一化調(diào)整步驟是基于深度圖渲染的2D/3D轉(zhuǎn)換方法中的重要步驟。前述的“電影2D/3D轉(zhuǎn)換技術(shù)概述[J] ”中指出的當(dāng)前2D/3D視頻轉(zhuǎn)換技術(shù)雖然方法眾多，但是不同的深度線索只能在特定的條件下提供有限的深度信息，所以，如何保證在轉(zhuǎn)換過(guò)程中深度信息在時(shí)間域上的穩(wěn)定性是一個(gè)亟待解決的難題。對(duì)此，傳統(tǒng)的解決方法是對(duì)深度進(jìn)行歸一化并采用平滑濾波器對(duì)連續(xù)的深度圖進(jìn)行底層圖像處理，然而，這種平滑效果十分有限。不僅如此，目前常用的深度歸一化方法以初始深度圖中深度的上下限為基準(zhǔn)，采用線性的方法對(duì)深度范圍進(jìn)行調(diào)整，如果上下限受到了噪聲的影響，則少數(shù)的噪聲點(diǎn)就可以影響到整個(gè)場(chǎng)景的深度范圍的分布。因此在2D/3D 視頻轉(zhuǎn)換中使用現(xiàn)有的深度歸一化方法無(wú)法有效保證視頻流中深度提取的穩(wěn)定性，從而影響了 3D視頻的實(shí)際轉(zhuǎn)換效果
發(fā)明內(nèi)容
(一 )要解決的技術(shù)問(wèn)題本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種基于深度圖渲染的2D/3D視頻轉(zhuǎn)換中的 深度歸一化方法及裝置，以提高2D/3D視頻轉(zhuǎn)換中使用的深度歸一化方法的深度提取穩(wěn)定 性。(二)技術(shù)方案為解決上述技術(shù)問(wèn)題，本發(fā)明提供了一種用于2D/3D視頻轉(zhuǎn)換的深度歸一化方 法，包括如下步驟提取與2D視頻幀相對(duì)應(yīng)的初始深度圖的場(chǎng)景高層信息；基于3D視差區(qū) 域原理，根據(jù)所述場(chǎng)景高層信息對(duì)場(chǎng)景的深度范圍進(jìn)行歸一化調(diào)整。其中，可通過(guò)深度直方圖提取與2D視頻幀相對(duì)應(yīng)的初始深度圖的所述場(chǎng)景高層信息。所述的場(chǎng)景高層信息是場(chǎng)景中的最大深度、最小深度和主導(dǎo)深度。所述提取場(chǎng)景高層信息的步驟包括通過(guò)深度圖統(tǒng)計(jì)直接獲得場(chǎng)景中的最大深 度和最小深度；以所述最大深度和最小深度分別作為上限和下限基準(zhǔn)，將連續(xù)的深度變化 空間劃分為若干等間隔的深度區(qū)域，并統(tǒng)計(jì)出在初始深度圖中每個(gè)區(qū)域所對(duì)應(yīng)的像素點(diǎn)個(gè) 數(shù)；以像素點(diǎn)個(gè)數(shù)最多的深度區(qū)域的均值作為所處視角下的場(chǎng)景的主導(dǎo)深度。所述歸一化調(diào)整的步驟是以主導(dǎo)深度和零視差平面作為基準(zhǔn)來(lái)對(duì)場(chǎng)景的深度范 圍進(jìn)行歸一化調(diào)整。所述歸一化調(diào)整的步驟包括選定要采用的非線性變換算子及對(duì)應(yīng)的歸一化后的 初始深度上限&和初始深度下限B2;根據(jù)所述歸一化后的初始深度上限&和歸一化后的初 始深度下限民計(jì)算得到與零視差平面對(duì)應(yīng)的歸一化深度值B3;根據(jù)深度歸一化函數(shù)計(jì)算出 歸一化后的深度值。所述非線性變換算子為爐
權(quán)利要求
1.一種用于2D/3D視頻轉(zhuǎn)換的深度歸一化方法，其特征在于包括如下步驟提取與2D視頻幀相對(duì)應(yīng)的初始深度圖的場(chǎng)景高層信息；基于3D視差區(qū)域原理，根據(jù)所述場(chǎng)景高層信息對(duì)場(chǎng)景的深度范圍進(jìn)行歸一化調(diào)整。
2.如權(quán)利要求I所述的深度歸一化方法，其特征在于，所述提取與2D視頻幀相對(duì)應(yīng)的初始深度圖的所述場(chǎng)景高層信息是通過(guò)深度直方圖實(shí)現(xiàn)的。
3.如權(quán)利要求2所述的深度歸一化方法，其特征在于，所述的場(chǎng)景高層信息是場(chǎng)景中的最大深度、最小深度和主導(dǎo)深度。
4.如權(quán)利要求3所述的深度歸一化方法，其特征在于，所述提取場(chǎng)景高層信息的步驟包括通過(guò)初始深度圖統(tǒng)計(jì)直接獲得場(chǎng)景中的最大深度和最小深度；以所述最大深度和最小深度分別作為上限和下限基準(zhǔn)，將連續(xù)的深度變化空間劃分為若干等間隔的深度區(qū)域，并統(tǒng)計(jì)出在初始深度圖中每個(gè)區(qū)域所對(duì)應(yīng)的像素點(diǎn)個(gè)數(shù)；以像素點(diǎn)個(gè)數(shù)最多的深度區(qū)域的均值作為所處視角下的場(chǎng)景的主導(dǎo)深度。
5.如權(quán)利要求I所述的深度歸一化方法，其特征在于，所述根據(jù)所述場(chǎng)景高層信息對(duì)場(chǎng)景的深度范圍進(jìn)行歸一化調(diào)整的步驟是以所述主導(dǎo)深度和零視差平面作為基準(zhǔn)來(lái)對(duì)場(chǎng)景的深度范圍進(jìn)行歸一化調(diào)整。
6.如權(quán)利要求5所述的深度歸一化方法，其特征在于，所述歸一化調(diào)整的步驟包括 選定要采用的轉(zhuǎn)換算子及對(duì)應(yīng)的初始深度轉(zhuǎn)換值上限B1和初始深度轉(zhuǎn)換值下限B2 ； 根據(jù)所述初始深度轉(zhuǎn)換值上限B1和初始深度轉(zhuǎn)換值下限B2計(jì)算得到與零視差平面對(duì)應(yīng)的初始深度轉(zhuǎn)換值B3 ；根據(jù)深度歸一化函數(shù)計(jì)算出歸一化深度圖的深度值。
7.如權(quán)利要求6所述的深度歸一化方法，其特征在于，所述轉(zhuǎn)換算子為爐(X)= lg|j|，X表示初始深度值，此時(shí)初始深度轉(zhuǎn)換值上限B1和初始深度轉(zhuǎn)換值下限B2的取值范圍為0<B1 < B2 < I。
8.如權(quán)利要求6所述的深度歸一化方法，其特征在于，所述轉(zhuǎn)換算子為爐(X)= e'",x表示初始深度值，此時(shí)初始深度轉(zhuǎn)換值上限B1和初始深度轉(zhuǎn)換值下限B2的取值范圍為0<B1 < B2 < + 00 o
9.如權(quán)利要求7或8所述的深度歸一化方法，其特征在于，所述計(jì)算與零視差平面對(duì)應(yīng),(Arafto ￠)( S1)+ ￠)( S2)的初始深度轉(zhuǎn)換值B3的公式為盡=0-1 二、V ，其中入rati。為正視差區(qū)
10.如權(quán)利要求9所述的深度歸一化方法，其特征在于，所述入rati。為I 6。
11.如權(quán)利要求10所述的深度歸一化方法，其特征在于，所述歸一化函數(shù)為其中，Nmax表示歸一化深度圖的最大深度值，Dm表示場(chǎng)景的主導(dǎo)深度，D1表示場(chǎng)景的最大深度，Ds表示場(chǎng)景的最小深度，X表示初始深度值，y表示歸一化深度圖的深度值。
12.—種用于2D/3D視頻轉(zhuǎn)換的深度歸一化裝置(I)，用于對(duì)2D視頻的初始深度圖進(jìn)行歸一化調(diào)整，包括預(yù)處理模塊(2)和深度歸一化模塊(3)，二者彼此電性連接，其特征在于該預(yù)處理模塊(2)用于提取與2D視頻幀相對(duì)應(yīng)的所述初始深度圖的高層信息，并將所提取的高層信息傳送到深度歸一化模塊(3)；所述深度歸一化模塊(3)基于3D視差區(qū)域原理，根據(jù)所述高層信息對(duì)場(chǎng)景的深度范圍進(jìn)行歸一化調(diào)整。
13.如權(quán)利要求12所述的深度歸一化裝置，其特征在于，所述該預(yù)處理模塊(2)通過(guò)深度直方圖提取與2D視頻幀相對(duì)應(yīng)的初始深度圖的所述場(chǎng)景高層信息。
14.如權(quán)利要求13所述的深度歸一化裝置，其特征在于，所述的場(chǎng)景高層信息是場(chǎng)景中的最大深度、最小深度和主導(dǎo)深度。
15.如權(quán)利要求14所述的深度歸一化裝置，其特征在于，所述預(yù)處理模塊(2)用于 通過(guò)初始深度圖統(tǒng)計(jì)直接獲得場(chǎng)景中的最大深度和最小深度；以所述最大深度和最小深度分別作為上限和下限基準(zhǔn)，將連續(xù)的深度變化空間劃分為若干等間隔的深度區(qū)域，并統(tǒng)計(jì)出在初始深度圖中每個(gè)區(qū)域所對(duì)應(yīng)的像素點(diǎn)個(gè)數(shù)；以像素點(diǎn)個(gè)數(shù)最多的深度區(qū)域的均值作為所處視角下的場(chǎng)景的主導(dǎo)深度。
16.如權(quán)利要求12所述的深度歸一化裝置，其特征在于，所述深度歸一化模塊(3)用于以所述主導(dǎo)深度和零視差平面作為基準(zhǔn)來(lái)對(duì)場(chǎng)景的深度范圍進(jìn)行歸一化調(diào)整。
17.如權(quán)利要求16所述的深度歸一化裝置，其特征在于，所述深度歸一化模塊(3)用于選定要采用的轉(zhuǎn)換算子及對(duì)應(yīng)的初始深度轉(zhuǎn)換值上限B1和初始深度轉(zhuǎn)換值下限B2 ； 根據(jù)所述初始深度轉(zhuǎn)換值上限B1和初始深度轉(zhuǎn)換值下限B2計(jì)算得到與零視差平面對(duì)應(yīng)的初始深度轉(zhuǎn)換值B3 ；根據(jù)深度歸一化函數(shù)計(jì)算出歸一化深度圖的深度值。
18.如權(quán)利要求17所述的深度歸一化裝置，其特征在于，所述轉(zhuǎn)換算子為
19.如權(quán)利要求18所述的深度歸一化裝置，其特征在于，所述轉(zhuǎn)換算子為爐(X)= e"，X表示初始深度值，此時(shí)初始深度轉(zhuǎn)換值上限B1和初始深度轉(zhuǎn)換值下限B2的取值范圍為0< B1 < B2 < + 00 o
20.如權(quán)利要求18或19所述的深度歸一化裝置，其特征在于，所述計(jì)算與零視差平面對(duì)應(yīng)的初始深度值轉(zhuǎn)換值B3的公式為
21.如權(quán)利要求20所述的深度歸一化裝置，其特征在于，所述入rati。為I 6。
22.如權(quán)利要求21所述的深度歸一化裝置，其特征在于，所述歸一化函數(shù)為
23. —種2D/3D視頻轉(zhuǎn)換裝置，其特征在于，包括權(quán)利要求12-22中任一項(xiàng)所述的用于 2D/3D視頻轉(zhuǎn)換的深度歸一化裝置(I)。
全文摘要
本發(fā)明屬于3D視頻技術(shù)領(lǐng)域，具體涉及了一種基于視差區(qū)域原理的用于2D/3D視頻轉(zhuǎn)換的深度歸一化方法及裝置，所述方法包括提取與2D視頻幀相對(duì)應(yīng)的初始深度圖的場(chǎng)景高層信息；基于3D視差區(qū)域原理，根據(jù)所述場(chǎng)景高層信息對(duì)場(chǎng)景的深度范圍進(jìn)行歸一化調(diào)整。本發(fā)明不僅能夠降低噪聲的干擾，保證深度提取的穩(wěn)定性，而且能夠使深度分布的調(diào)整更符合3D立體成像特點(diǎn)，有利于增強(qiáng)3D渲染效果。
文檔編號(hào)H04N7/01GK102595167SQ20121005896
公開日2012年7月18日 申請(qǐng)日期2012年3月7日 優(yōu)先權(quán)日2012年3月7日
發(fā)明者劉偉, 吳毅紅, 胡占義 申請(qǐng)人:中國(guó)科學(xué)院自動(dòng)化研究所