一種深度圖的處理方法及裝置的制作方法

專利名稱：一種深度圖的處理方法及裝置的制作方法
技術領域：
本發明涉及計算機多媒體技術領域，特別涉及一種深度圖的處理方法及裝置。

背景技術：
立體視頻是一種能夠提供立體感的新型視頻技術，它可以使用戶通過視頻看到與真實世界幾乎完全一致的景象，產生巨大的真實感和臨場感，因而成為未來多媒體技術的發展方向。目前普遍采用的立體視頻體系結構為同時傳輸兩段視頻，其中一段是待轉換的平面視頻序列，而另一段是相對應的深度圖序列，包含了各幀中每一像素的深度信息。通過DIBR(Depth-Image-Based Rendering，基于深度圖渲染)技術，就可以獲得真實世界場景在一個或多個方向上的虛擬視角，最終合成立體視頻。
這種使用DIBR技術的立體視頻體系結構，最重要和最困難的一步就是深度圖的獲取，目前可以通過軟件上的算法，由一對從不同視角拍攝到的場景圖像恢復出場景的深度圖；還可以對平面圖像進行手工或半自動的處理，得到偽深度圖。
在對上述現有技術進行分析后，發明人發現 通過現有技術獲得的深度圖通常都會存在許多缺陷，例如深度值不穩定，邊緣不精確，深度圖不能較真實地反應出場景物體的遠近關系等。


發明內容
為了克服直接獲取的深度圖的缺陷，使根據深度圖得到得立體視頻的抖動大大降低，本發明提出了一種深度圖的處理方法及裝置。所述技術方案如下 本發明實施例提供了一種深度圖的處理方法，所述方法包括 提取原深度圖中的物體輪廓； 對提取的所述物體輪廓進行修正，將修正后的所述物體輪廓內外區域用所述區域的原深度值進行填充，得到填充完原深度值的深度圖； 對所述填充完的深度圖進行高斯濾波。
其中，所述方法還包括 對經過高斯濾波后的視頻深度圖序列進行時域上的遞歸濾波。
其中，所述方法還包括將經過濾波后的所述視頻深度圖序列中每一幀和對應的原始圖像進行合成，得到立體圖像序列，最終合成立體視頻。
其中，提取原深度圖中的物體輪廓，具體包括 檢測原深度圖中物體輪廓，計算所述物體輪廓面積，將所述物體輪廓面積大于預設閾值的輪廓作為提取的物體輪廓。
其中，所述物體輪廓用輪廓點序列表示。
其中，所述對物體輪廓進行修正，包括 采用Snake主動輪廓模型對物體輪廓進行修正；所述Snake主動輪廓模型包括GreedySnake模型和GVF snake模型。
其中，當所述原深度圖由人工繪制時，采用所述Greedy Snake模型對所述物體輪廓進行修正； 當所述原深度圖由軟件生成時，采用所述GVF snake模型對所述物體輪廓進行修正。
其中，對填充完的深度圖進行高斯濾波，具體包括 對填充完的深度圖進行高斯非均勻濾波。
其中，所述遞歸濾波為 在當前幀圖像中的像素與上一幀圖像中對應像素的變化在預設閾值T之內時，則 其它情況時， 其中In(x，y)表示當前幀圖像中點(x，y)的灰度值，

表示當前幀圖像濾波后的圖像中點(x，y)的灰度值，

表示當前幀圖像的上一幀圖像經濾波后的圖像中點(x，y)的灰度值，K是權重。
本發明實施例提供了一種深度圖的處理裝置，所述裝置包括提取模塊，修正模塊，填充模塊和第一濾波模塊； 所述提取模塊，用于提取原深度圖中的物體輪廓； 所述修正模塊，用于對所述提取模塊提取的物體輪廓進行修正； 所述填充模塊，用于將所述修正模塊修正后的物體輪廓內外區域用所述區域的原深度值進行填充，得到填充完原深度值的深度圖； 所述第一濾波模塊，用于對所述填充模塊填充完的深度圖進行高斯濾波。
其中，所述裝置還包括第二濾波模塊，用于對經過所述第一濾波模塊高斯濾波后的視頻深度圖序列進行時域上的遞歸濾波。
其中，所述裝置還包括合成模塊，用于將經過濾波后的所述視頻深度圖序列中每一幀和對應的原始圖像進行合成，得到立體圖像序列，最終合成立體視頻。
其中，所述提取模塊包括提取單元和采樣單元； 所述提取單元，用于提取原深度圖中的物體輪廓； 所述采樣單元，用于對所述提取單元提取的物體輪廓進行離散點采樣，得到多個輪廓點。
其中，所述提取模塊具體用于，檢測原深度圖中物體輪廓，計算所述物體輪廓面積，將所述物體輪廓面積大于預設閾值的輪廓作為物體輪廓。
其中，所述修正模塊，具體用于采用Snake主動輪廓模型對物體輪廓進行修正；所述Snake主動輪廓模型包括Greedy Snake模型和GVF snake模型。
其中，當所述原深度圖由人工繪制時，所述修正模塊采用所述Greedy Snake模型對提取的物體輪廓進行修正； 當所述原深度圖由軟件生成時，所述修正模塊采用所述GVF snake模型對提取的物體輪廓進行修正。
與現有技術相比，本發明的有益效果在于通過對原深度圖中的物體輪廓進行修正，并對修正物體輪廓后的深度圖進行濾波處理，處理后的深度圖中的物體輪廓變得比較精確，深度圖的深度值在物體輪廓處的過渡變得比較平滑。



圖1是本發明實施例1提供的一種深度圖的處理方法； 圖2是本發明實施例1提供的平面視頻序列中原圖及其對應的深度圖； 圖3是本發明實施例1提供的提取的物體輪廓； 圖4是本發明實施例1提供的對修正后的物體輪廓內外區域進行深度值填充的示意圖； 圖5是本發明實施例1提供的對填充完深度值的深度圖進行高斯濾波的示意圖； 圖6是本發明實施例1提供的對經過高斯濾波后的深度圖序列進行遞歸濾波的示意圖； 圖7是本發明實施例2提供的一種深度圖的處理裝置結構示意圖； 圖8是本發明實施例2提供的另一種深度圖的處理裝置結構示意圖。

具體實施例方式 為使本發明的目的、技術方案和優點更加清楚，下面將結合附圖對本發明實施方式作進一步地詳細描述。
實施例1 參見圖1，本發明實施例1提供了一種深度圖的處理方法，該方法包括 101提取原深度圖中的物體輪廓； 具體的，可以將提取出的物體輪廓用輪廓點序列的形式來表示，即對提取出的物體輪廓進行離散點采樣，得到N個輪廓點vi，i＝{1，2，...，N}，這些輪廓點之間的間隔不是均勻的。例如，對于水平、豎直或對角線方向上的輪廓，只保留兩端的輪廓點。
參見圖2，圖2(a)為平面視頻序列中的其中一幀圖像的原始圖像，圖2(b)為圖2(a)對應的原始圖像的原深度圖，圖3中的輪廓1是直接提取的原深度圖中的人物輪廓，很顯然，直接提取的輪廓1與圖2(a)的原圖真實輪廓還有一定差距，即原深度圖不是很精確。
102對提取的物體輪廓進行修正，將修正后的物體輪廓內外區域用該區域的原深度值進行填充； 參見圖3，由于直接提取的人物輪廓與人物的真實輪廓還有一定差距，因此需要對圖3中的輪廓1進行修正，圖3中的輪廓2為修正后的人物輪廓，相對于輪廓1，輪廓2與圖2(a)的原始圖像的真實輪廓貼近了很多。
參見圖4，為修正后的人物輪廓內外區域用原先的深度值進行填充的示意圖。
103對填充完的深度圖進行高斯濾波，使深度圖的深度值在物體輪廓處的過渡變得平滑。
具體的，對填充完的深度圖可以進行高斯非均勻濾波，需要說明的是，對填充完的深度圖可以進行高斯均勻濾波，本發明實施例以高斯非均勻濾波為例進行說明。非均勻濾波是指將垂直方向上的標準偏差設置得比水平方向的標準偏差大，非均勻濾波窗口的高度大于寬度，這樣可防止在warping后的圖像中垂直方向上的豎條狀物體出現畸變。通常可以將垂直方向上的標準偏差設置為水平方向上的標準偏差的2倍至4倍，可以將非均勻濾波窗口的高度設置為寬度的2倍至4倍，本實施例中，設水平方向上的標準偏差為σ1，垂直方向上的標準偏差為σ2，非均勻濾波窗口的寬度為h1，非均勻濾波窗口的高度為h2，則σ2通常為σ1的2倍到4倍，h2通常為h1的2倍到4倍。例如，水平方向的標準偏差設為10，非均勻濾波窗口寬度設為31，則垂直方向上的標準偏差可以設為30，非均勻濾波窗口高度可以設為91。經過高斯非均勻濾波后，深度圖中每個點的灰度值應為 式(1)中，I(x，y)表示在填充完的深度圖中點(x，y)的灰度值，

表示在經過高斯非均勻濾波后的深度圖中點(x，y)的灰度值，A＝{(xi，yi)||xi-x|＜h1且|yi-y|＜h2}，#A表示集合A中的元素個數， 式(1)中，K1(xi-x)K2(yi-y)表示高斯非均勻濾波的窗口核函數，xi，yi表示所有位于高斯非均勻濾波窗口中的點，核函數中心為x，y。
參見圖5，為對修正了輪廓的深度圖進行高斯非均勻濾波后的示意圖，對物體輪廓沒有修正之前，物體輪廓的邊緣深度值與背景的過渡特別尖銳，如果不對物體輪廓的邊緣深度值進行修正，利用該深度圖進行視頻的合成后，人眼會感覺到比較刺眼，影像用戶的體驗。圖5可以看出，修正物體輪廓后的深度圖的深度值在物體輪廓處的過渡變得比較平滑，這樣就比較適合人眼觀察。
其中，該方法還包括 對經過高斯濾波后的視頻深度圖序列進行時域上的遞歸濾波，以保證物體輪廓在連續幀之間的一致和連續。
具體的，對經過高斯濾波后的視頻深度圖序列進行的時域上的遞歸濾波可以用數學表達式表示為 式(2)中，In(x，y)表示當前幀圖像中點(x，y)的灰度值，

表示當前幀圖像濾波后的圖像中點(x，y)的灰度值，

表示當前幀圖像的上一幀圖像經濾波后的圖像中點(x，y)的灰度值。K值是權重，代表了相鄰兩幀圖像之差對當前幀圖像的影響，在實際應用中可根據具體情況取不同的值。K值越大，濾波后的圖像中包含了更多以前幀的信息，對在輪廓處出現的隨機抖動能夠起到很好的抑制作用，但有可能會出現拖尾現象。
在物體運動速度較快時，由于兩幀圖像之間的相關性不是很強，采用式(2)進行的遞歸濾波效果將會比較差，因此在物體運動速度較快時，可以用式(3)對經過高斯濾波后的深度圖序列進行時域上的遞歸濾波 式(3)中，在當前幀中的像素與上一幀的對應像素的變化在預設閾值T之內時，對這些像素進行時域遞歸濾波，若當前幀中的某些像素與上一幀的對應像素相比有比較明顯的變化，則不對這些像素進行時域遞歸濾波。本實施例中由于人物運動速度較快，因此采用式(3)進行遞歸濾波，參見圖6，為對經過高斯非均勻濾波后的深度圖進行遞歸濾波的示意圖，從圖6可以看出，通過時域上遞歸濾波，可以使深度圖的輪廓在每相鄰兩幀圖像之間具備相對的一致性和連續性，不會使得相連的兩幀圖像之前有跳躍的感受。
其中，該方法還包括 將經過濾波后的視頻深度圖序列中每一幀和對應的原始圖像進行合成，得到立體圖像序列，最終合成立體視頻。
由于通過現有技術獲得的原深度圖的深度值不穩定，邊緣不精確，原深度圖不能較真實地反應出場景物體的遠近關系等，因此使得利用DIBR技術獲得的立體視頻的抖動性比較嚴重，而抖動性是決定立體視頻總體質量的決定性因素，若立體視頻抖動比較明顯，則大大影響用戶的視覺效果；而本發明實施例通過對提取的物體輪廓進行修正，使原深度圖的輪廓變得比較精確，再對修正了物體輪廓的原深度圖進行高斯濾波和遞歸濾波處理，處理后的深度圖的深度值在物體輪廓處的過渡變得比較平滑，物體輪廓在每相鄰兩幀圖像之間具備相對的一致性和連續性，從而使視頻抖動大大減弱，提高了用戶的視覺效果。
其中，提取原深度圖中的物體輪廓，具體包括 檢測原深度圖中的物體輪廓，計算檢測出的物體輪廓的面積，將物體輪廓面積大于預設閾值的輪廓作為物體輪廓。
其中，對物體輪廓進行修正，具體包括 采用Snake主動輪廓模型對物體輪廓進行修正。
Snake主動輪廓模型是一個曲線，該Snake模型曲線是定義了能量函數的樣條曲線，它能在多種力量的共同作用下自主地變形和移動，最終收斂到能量極小值的狀態。具體來說，該Snake模型曲線同時受到三種力量的影響，內力給它施加了分段光滑的約束，限制了它的形狀；圖像力引導它向著圖像特征移動，如圖像邊緣或線段終端；外力將其推向一個合適的局部極值點。Snake主動輪廓模型包括Greedy Snake模型和GVF snake模型，此處簡單介紹一下這兩個模型 原始的snake主動輪廓模型將輪廓的能量函數定義為其中曲線內部能量v(s)表示物體輪廓的函數，vs(s)和vss(s)分別是對該函數v(s)求一階導和二階導，α和β為輪廓點參數，曲線外部能量Eext包括兩個能量項圖像自身作用力產生的能量Eimg和外部約束力產生的能量Econ，其中外部約束力常常被忽略。
對于灰度圖像I(x，y)，通常選用兩種形式的灰度圖像能量函數Eimg 式(5)中，γ為輪廓點參數。
若采用式(4)作為灰度圖像能量函數后，在將Snake模型曲線的能量函數極小化的過程中，Snake模型曲線將會被吸引到圖像的亮區或暗區；若采用式(5)作為灰度圖像能量函數后，在將Snake模型曲線的能量函數極小化的過程中，Snake模型曲線將被吸引到圖像中梯度最大的區域處，圖像中梯度最大的區域即為物體輪廓。
在原snake主動輪廓模型基礎上，定義一個可以使能量函數 極小化的梯度向量場[u，v]＝[u(x，y)，v(x，y)]其中f(x，y)表示原始圖像的灰度圖像I(x，y)的輪廓圖，用計算出的梯度向量場代替原來的外力，這就是GVF Snake模型。該GVF Snake模型能夠克服傳統Snake主動輪廓模型對初始位置依賴性大、不能收斂到凹形區域和收斂速度較慢等缺點。
而Greedy Snake模型在每一次迭代中并不是一次性計算出snake模型曲線上所有輪廓點的位置，而是分別計算每個輪廓點在這次應移到的位置。具體來說，對于每一個輪廓點，將查找位于該輪廓點一定鄰域范圍內的所有像素，并將該輪廓點移動到該鄰域內其中一個能使能量函數達到最小的位置處。
Greedy Snake模型使用的能量函數與原Snake主動輪廓模型不同，Greedy Snake模型對于某個輪廓點vi，它的總能量Ecomb(vi)由三個加權能量項組成，即 Ecomb(vi)＝αiEela(vi)+βiEcurv(vi)+γiEimg(vi)……………………………………………(6) 式(6)中αiEela(vi)+βiEcurv(vi)表示snake模型曲線的內部能量，αiEela(vi)+βiEcurv(vi)與曲線內部能量相似，是在物體輪廓連續的情況下計算的，而αiEela(vi)+βiEcurv(vi)是在對物體輪廓進行離散化后計算snake模型曲線的內部能量。
式(6)中，Eela(vi)＝d-|vi-vi-1|，d為snake模型曲線上所有相鄰輪廓點之間的平均距離，對v(s)進行離散化后，物體輪廓就變成了一個個離散點vi；Ecurv(vi)＝|vi+1-2vi+vi-1|2；而Eimg(vi)為整條snake模型曲線的能量函數可以表示為 本實施例中，當原深度圖是由半自動或全自動的軟件方法提取時，由于軟件方法提取的深度圖中的物體輪廓精度較差，則采用GVF snake模型對提取的物體輪廓進行修正； 當原深度圖是由人工繪制的時，由于人工繪制的深度圖中的物體輪廓比較精確，可以采用Greedy Snake模型對提取的物體輪廓進行修正。
本實施例中，利用GVF snake模型對提取的物體輪廓進行修正的具體過程為 1)通過利用拉格朗日乘子法對能量函數極小化進行求解，得到兩個迭代式及通過該兩個迭代式計算深度圖對應的原始圖像的灰度圖的梯度向量場[u，v]，其中，fx、fy分別表示原始圖像的灰度圖對應的輪廓圖在水平方向及垂直方向上的梯度，將[u，v]的初始值設置為u0＝fx、v0＝fy，ut、vt表示經過第t輪迭代后所得到的u和v值。本實施例中，迭代次數為40次，當然，迭代次數不限于40次。
2)將迭代次數t的初始值設為0，初始輪廓點為步驟101中求得的輪廓點。
3)用[u，v]代替Snake模型中的

，利用拉格朗日乘子法計算使Esnake最小的解，最終得到 式(7)中，xt、yt表示n個輪廓點在第t次迭代后所處位置，xt、yt分別代表輪廓點的橫坐標及縱坐標，xt、yt都是n維向量，Δt為每次迭代的步長，本實施例中可取Δt＝1，A為矩陣；其中矩陣A是
其中a(vi)＝β(vi-1)，b(vi)＝-2β(vi)-2β(vi-1)-α(vi) c(vi)＝β(vi+1)+4β(vi)+β(vi-1)+α(vi+1)+α(vi) d(vi)＝-2β(vi+1)-2β(vi)-α(vi+1)，e(vi)＝β(vi+1)， 在本實施例中取α(vi)＝α，β(vi)＝β，i＝1，2，…n。
利用迭代式(7)可以得到n個輪廓點新的位置xt+1、yt+1，此時迭代次數加1，即t＝t+1。
若t大于預設閥值，或

小于預設閥值，則迭代過程結束，得到n個輪廓點的最終位置；否則繼續重復步驟3)。其中，vi代表第i個輪廓點的坐標向量(xi，yi)。
本實施例中，利用Greedy Snake模型對提取的物體輪廓進行修正的具體過程為首先為Gσ(x，y)中的σ設置一個初始值，初始輪廓點為步驟101中求得的輪廓點。
1)將迭代次數t的初始值及移動的輪廓點數moved的初始值設為0； 2)在預定的鄰域范圍內，將第一個輪廓點v1移動到使snake主動輪廓模型的能量函數Esnake達到最小的位置處，然后將移動的輪廓點的個數加1，即moved＝moved+1，若該第一個輪廓點v1位置不變，則moved的值不變。其中，計算Esnake時用到的Eimg是深度圖對應的原始圖的灰度圖像能量； 然后，對第2、3、…、n個輪廓點進行同樣的操作后，一次迭代過程完成，將迭代次數加1，即t＝t+1； 3)按照精確計算出各個輪廓點的曲率，若某個輪廓點的曲率為極大值，即比它前面和后面的輪廓點的曲率都要大，并且該曲率大于第一預設閾值，且該輪廓點的梯度幅值大于第二預設閾值時，則將該輪廓點處能量Ecomb的計算式中的βi置為0，保證在該輪廓點處能產生一個角點。
4)當迭代次數t大于第三預設閥值或moved小于第四預設閥值時，此輪迭代過程結束，然后減小σ的值，將該輪迭代結束后得到的n個輪廓點位置作為下輪迭代開始時輪廓點的初始位置，然后重復步驟1)～4)，進行下一輪迭代。當σ值減小到一定程度，如小于1，則所有迭代過程結束，得到n個輪廓點的最終位置。
例如，迭代次數t的第三預設閾值可設為100，moved的第四預設閾值可設為5。
其中，每次減小的σ量可以是相同的，可選為σ最初值的20％即可(保證其為整數)，每次減小σ量可以保證對物體輪廓從粗到細地進行修正。
本發明實施例的有益效果是通過提取原深度圖中物體輪廓，利用主動輪廓模型對提取的物體輪廓進行修正，由于主動輪廓模型在實現邊緣檢測等任務時，并不像傳統方法那樣是自治和自底向上的，而是可以通過交互式操作從上層處理機制獲得人為的信息，回避掉圖像分析和圖像理解中的一些高層智能問題，因此當原深度圖中的背景及物體輪廓比較復雜時，由于本發明實施例使用主動輪廓模型對物體輪廓進行修正，適當加入一些交互式操作，例如給主動輪廓模型人為施加外力，可對檢測出原深度圖中物體輪廓進行更精確地修正，而傳統方法在原深度圖中的背景及物體輪廓比較復雜時將很難實現精確修正；將物體輪廓修正完后，將物體輪廓內外的區域用這些區域的原深度值進行填充，然后進行高斯和遞歸濾波處理，使處理后的深度圖的深度值在物體輪廓處的過渡變得平滑，且使處理后的深度圖的輪廓在每相鄰兩幀圖像之間具備相對的一致性和連續性，因此經過輪廓修正和濾波處理后，根據該處理后的深度圖合成的立體視頻的的抖動性大大降低了，提高了用戶的視覺感受；當原深度圖由人工繪制時，為提高效率，可以允許獲取的物體輪廓與原始圖像中的物體輪廓有一定偏差，從而節省繪制的時間，提高效率；當原深度圖由半自動或全自動的方法獲取時，可適當放寬對深度圖精確性上的要求，以降低算法的復雜度。
實施例2 參見圖7，本發明實施例2提供了一種深度圖的處理裝置，該裝置包括提取模塊201，修正模塊202，填充模塊203及第一濾波模塊204； 提取模塊201，用于提取原深度圖中的物體輪廓； 具體的，提取模塊201可以包括提取單元和采樣單元； 提取單元，用于提取原深度圖中的物體輪廓； 采樣單元，用于對提取單元提取的物體輪廓進行離散點采樣，得到N個輪廓點vi，i＝{1，2，...，N}，這些輪廓點之間的間隔不是均勻的。對于水平、豎直或對角線方向上的輪廓，只保留兩端的輪廓點。
參見圖2，圖2(a)為平面視頻序列中的其中一幀圖像的原始圖像，圖2(b)為圖2(a)對應的原深度圖，圖3中的輪廓1是直接提取的原深度圖中的人物輪廓，很顯然，直接提取的輪廓1與圖2(a)的原圖真實輪廓還有一定差距，即深度圖不是很精確。
修正模塊202，用于對提取模塊201提取的物體輪廓進行修正； 參見圖3，由于直接提取的人物輪廓與人物的真實輪廓還有一定差距，因此需要對圖3中的輪廓1進行修正，圖3中的輪廓2為修正后的人物輪廓，相對于輪廓1，輪廓2與圖2(a)的原圖真實輪廓貼近了很多。
填充模塊203，用于將修正模塊202修正后的物體輪廓內外區域用該區域的原深度值進行填充； 參見圖4，為修正后的人物輪廓內外區域用原先的深度值進行填充的示意圖。
第一濾波模塊204，用于對填充模塊203填充完的深度圖進行高斯濾波，使深度圖的深度值在物體輪廓處的過渡變得平滑。
具體的，第一濾波模塊204對填充模塊203填充完的深度圖進行高斯非均勻濾波，需要說明的是，對填充完的深度圖可以進行高斯均勻濾波，本發明實施例以高斯非均勻濾波為例進行說明。非均勻濾波是指將垂直方向上的標準偏差設置得比水平方向的標準偏差大，非均勻濾波是指將垂直方向上的標準偏差設置得比水平方向的標準偏差大，非均勻濾波窗口的高度大于寬度，這樣可防止在warping后的圖像中垂直方向上的豎條狀物體出現畸變。通常可以將垂直方向上的標準偏差設置為水平方向上的標準偏差的2倍至4倍，可以將非均勻濾波窗口的高度設置為寬度的2倍至4倍，本實施例中，設水平方向上的標準偏差為σ1，垂直方向上的標準偏差為σ2，非均勻濾波窗口的寬度為h1，非均勻濾波窗口的高度為h2，則σ2通常為σ1的2倍到4倍，h2通常為h1的2倍到4倍。例如，水平方向的標準偏差設為10，非均勻濾波窗口寬度設為31，則垂直方向上的標準偏差可以設為30，非均勻濾波窗口高度可以設為91。經過高斯非均勻濾波后，深度圖中每個點的灰度值應為 式(8)中，I(x，y)表示在填充完的深度圖中點(x，y)的灰度值，

表示在經過高斯非均勻濾波后的深度圖中點(x，y)的灰度值，A＝{(xi，yi)||x-xi|＜h1且|y-yi|＜h2}，#A表示集合A的元素個數， 式(8)中，K1(xi-x)K2(yi-y)表示高斯非均勻濾波的窗口核函數，xi，xi表示所有位于高斯非均勻濾波窗口中的點，核函數中心為x，y。
參見圖5，為對修正了輪廓的深度圖進行高斯非均勻濾波后的示意圖，對物體輪廓沒有修正之前，物體輪廓的邊緣深度值與背景的過渡特別尖銳，如果不對物體輪廓的邊緣深度值進行修正，利用該深度圖進行視頻的合成后，人眼會感覺到比較刺眼，影像用戶的體驗。圖5可以看出，修正物體輪廓后的深度圖的深度值在物體輪廓處的過渡變得比較平滑，這樣就比較適合人眼觀察。
其中，參見圖8，該裝置還可以包括第二濾波模塊205，用于對經過第一濾波模塊204高斯濾波后的視頻深度圖序列進行時域上的遞歸濾波，以保證物體輪廓在連續幀之間的一致和連續。
具體的，對經過高斯濾波后的視頻深度圖序列進行的時域上的遞歸濾波可以用數學表達式表示為 式(9)中，In(x，y)表示當前幀圖像中點(x，y)的灰度值，

表示當前幀圖像濾波后的圖像中點(x，y)的灰度值，

表示當前幀圖像的上一幀圖像經濾波后的圖像中點(x，y)的灰度值。K值是權重，代表了相鄰兩幀圖像之差對當前幀圖像的影響，在實際應用中可根據具體情況取不同的值。K值越大，濾波后的圖像中包含了更多以前幀的信息，對在輪廓處出現的隨機抖動能夠起到很好的抑制作用，但有可能會出現拖尾現象。
在物體運動速度較快時，由于兩幀圖像之間的相關性不是很強，采用式(9)進行的遞歸濾波效果將會比較差，因此在物體運動速度較快時，可以用式(10)對經過高斯濾波后的深度圖序列進行時域上的遞歸濾波 式(10)中，在當前幀中的像素與上一幀的對應像素的變化在預設閾值T之內時，對這些像素進行時域遞歸濾波，若當前幀中的某些像素與上一幀的對應像素相比有比較明顯的變化，則不對這些像素進行時域遞歸濾波。本實施例中由于人物運動速度較快，因此采用式(10)進行遞歸濾波，參見圖6，為對經過高斯非均勻濾波后的深度圖進行遞歸濾波的示意圖，從圖6可以看出，通過時域上遞歸濾波，可以使深度圖的輪廓在每相鄰兩幀圖像之間具備相對的一致性和連續性，不會使得相連的兩幀圖像之前有跳躍的感受。
其中，參見圖8，該裝置還可以包括合成模塊206，用于將經過第二濾波模塊205濾波后的視頻深度圖序列中每一幀和對應的原始圖像進行合成，得到立體圖像序列，最終合成立體視頻。
由于通過現有技術獲得的原深度圖的深度值不穩定，邊緣不精確，原深度圖不能較真實地反應出場景物體的遠近關系等，因此使得利用DIBR技術獲得的立體視頻的抖動性比較嚴重，而抖動性是決定立體視頻總體質量的決定性因素，若立體視頻抖動比較明顯，則大大影響用戶的視覺效果；而本發明實施例通過對提取的物體輪廓進行修正，使原深度圖的輪廓變得比較精確，再對修正了物體輪廓的原深度圖進行高斯濾波和遞歸濾波處理，處理后的深度圖的深度值在物體輪廓處的過渡變得比較平滑，物體輪廓在每相鄰兩幀圖像之間具備相對的一致性和連續性，從而使視頻抖動大大減弱，提高了用戶的視覺效果。
其中，提取模塊201具體用于，檢測原深度圖中的物體輪廓，計算檢測出的物體輪廓的面積，將物體輪廓面積大于預設閾值的輪廓作為物體輪廓。
其中，修正模塊202，具體用于采用Snake主動輪廓模型對物體輪廓進行修正。
Snake主動輪廓模型是一個曲線，該Snake模型曲線是定義了能量函數的樣條曲線，它能在多種力量的共同作用下自主地變形和移動，最終收斂到能量極小值的狀態。具體來說，該Snake模型曲線同時受到三種力量的影響，內力給它施加了分段光滑的約束，限制了它的形狀；圖像力引導它向著圖像特征移動，如圖像邊緣或線段終端；外力將其推向一個合適的局部極值點。Snake主動輪廓模型包括Greedy Snake模型和GVF snake模型，此處簡單介紹一下這兩個模型 原始的snake主動輪廓模型將輪廓的能量函數定義為其中曲線內部能量v(s)表示物體輪廓的函數，vs(s)和vss(s)分別是對該函數v(s)求一階導和二階導，α和β為輪廓點參數，曲線外部能量Eext包括兩個能量項圖像自身作用力產生的能量Eimg和外部約束力產生的能量Econ，其中外部約束力常常被忽略。
對于灰度圖像I(x，y)，通常選用兩種形式的灰度圖像能量函數Eimg 式(12)中，γ為輪廓點參數。
若采用式(11)作為灰度圖像能量函數后，在將Snake模型曲線的能量函數極小化的過程中，Snake模型曲線將會被吸引到圖像的亮區或暗區；若采用式(12)作為灰度圖像能量函數后，在將Snake模型曲線的能量函數極小化的過程中，Snake模型曲線將被吸引到圖像中梯度最大的區域處，圖像中梯度最大的區域即為物體輪廓。
在原snake主動輪廓模型基礎上，定義一個可以使能量函數 極小化的梯度向量場[u，v]＝[u(x，y)，v(x，y)]其中f(x，y)表示原始圖像的灰度圖像I(x，y)的輪廓圖，用計算出的梯度向量場代替原來的外力，這就是GVF Snake模型。該GVF Snake模型能夠克服傳統Snake主動輪廓模型對初始位置依賴性大、不能收斂到凹形區域和收斂速度較慢等缺點。
而Greedy Snake模型在每一次迭代中并不是一次性計算出snake模型曲線所有輪廓點的位置，而是分別計算每個輪廓點在這次應移到的位置。具體來說，對于每一個輪廓點，將查找位于該輪廓點一定鄰域范圍內的所有像素，并將輪廓點移動到該鄰域內其中一個能使能量函數達到最小的位置處。
Greedy Snake模型使用的能量函數與原Snake模型不同，Greedy Snake模型對于某個輪廓點vi，它的總能量Ecomb(vi)由三個加權能量項組成，即 Ecomb(vi)＝αiEela(vi)+βiEcurv(vi)+γiEimg(vi)……………………………………………(13) 式(13)中αiEela(vi)+βiEcurv(vi)表示snake模型曲線的內部能量，αiEela(vi)+βiEcurv(vi)與曲線內部能量相似，是在物體輪廓連續的情況下計算的，而αiEela(vi)+βiEcurv(vi)是在對物體輪廓進行離散化后計算snake模型曲線的內部能量。
式(13)中，Eela(vi)＝d-|vi-vi-1|，d為snake模型曲線上所有相鄰輪廓點之間的平均距離，對v(s)進行離散化后，物體輪廓就變成了一個個離散點vi；Ecurv(vi)＝|vi+1-2vi+vi-1|2；而Eimg(vi)為

整條snake模型曲線的能量函數可以表示為 本實施例中，當原深度圖是由人工繪制的時，由于人工繪制的深度圖的輪廓比較精確，修正模塊202采用Greedy Snake模型對提取的物體輪廓進行修正； 當原深度圖是由半自動或全自動的軟件方法提取時，由于軟件方法提取的深度圖的輪廓精度較差，修正模塊202采用GVF snake模型對提取的物體輪廓進行修正。
本發明實施例的有益效果是通過提取原深度圖中物體輪廓，利用主動輪廓模型對提取的物體輪廓進行修正，由于主動輪廓模型在實現邊緣檢測等任務時，并不像傳統方法那樣是自治和自底向上的，而是可以通過交互式操作從上層處理機制獲得人為的信息，回避掉圖像分析和圖像理解中的一些高層智能問題，因此當原深度圖中的背景及物體輪廓比較復雜時，由于本發明實施例使用主動輪廓模型對物體輪廓進行修正，適當加入一些交互式操作，例如給主動輪廓模型人為施加外力，可對檢測出原深度圖中物體輪廓進行更精確地修正，而傳統方法在原深度圖中的背景及物體輪廓比較復雜時將很難實現精確修正；將物體輪廓修正完后，將物體輪廓內外的區域用這些區域的原深度值進行填充，然后進行高斯和遞歸濾波處理，使處理后的深度圖的深度值在物體輪廓處的過渡變得平滑，且使處理后的深度圖的輪廓在每相鄰兩幀圖像之間具備相對的一致性和連續性，因此經過輪廓修正和濾波處理后，根據該處理后的深度圖合成的立體視頻的的抖動性大大降低了，提高了用戶的視覺感受；當原深度圖由人工繪制時，為提高效率，可以允許獲取的物體輪廓與原始圖像中的物體輪廓有一定偏差，從而節省繪制的時間，提高效率；當原深度圖由半自動或全自動的方法獲取時，可適當放寬對深度圖精確性上的要求，以降低算法的復雜度。
以上所述僅為本發明的較佳實施例，并不用以限制本發明，凡在本發明的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發明的保護范圍之內。
權利要求
1.一種深度圖的處理方法，其特征在于，所述方法包括
提取原深度圖中的物體輪廓；
對提取的所述物體輪廓進行修正，將修正后的所述物體輪廓內外區域用所述區域的原深度值進行填充，得到填充完原深度值的深度對所述填充完的深度圖進行高斯濾波。
2.根據權利要求1所述的方法，其特征在于，所述方法包括
對經過高斯濾波后的視頻深度圖序列進行時域上的遞歸濾波。
3.根據權利要求2所述的方法，其特征在于，所述方法包括將經過濾波后的所述視頻深度圖序列中每一幀和對應的原始圖像進行合成，得到立體圖像序列，最終合成立體視頻。
4.根據權利要求1所述的方法，其特征在于，提取原深度圖中的物體輪廓，具體包括
檢測原深度圖中物體輪廓，計算所述物體輪廓的面積，將所述物體輪廓面積大于預設閾值的輪廓作為提取的物體輪廓。
5.根據權利要求1或4所述的方法，其特征在于，所述物體輪廓用輪廓點序列表示。
6.根據權利要求1所述的方法，其特征在于，所述對物體輪廓進行修正，包括
采用Snake主動輪廓模型對物體輪廓進行修正；所述Snake主動輪廓模型包括GreedySnake模型和GVF snake模型。
7.根據權利要求6所述的方法，其特征在于，當所述原深度圖由人工繪制時，采用所述Greedy Snake模型對所述物體輪廓進行修正；
當所述原深度圖由軟件生成時，采用所述GVF snake模型對所述物體輪廓進行修正。
8.根據權利要求1所述的方法，其特征在于，對填充完的深度圖進行高斯濾波，具體包括
對填充完的深度圖進行高斯非均勻濾波。
9.根據權利要求2所述的方法，其特征在于，所述對經過高斯濾波后的視頻深度圖序列進行時域上的遞歸濾波，包括
在當前幀圖像中的像素與上一幀圖像中對應像素的變化在預設閾值T之內時，則
其它情況時
其中In(x，y)表示當前幀圖像中點(x，y)的灰度值，
表示當前幀圖像濾波后的圖像中點(x，y)的灰度值，
表示當前幀圖像的上一幀圖像經濾波后的圖像中點(x，y)的灰度值，K是權重。
10.一種深度圖的處理裝置，其特征在于，所述裝置包括提取模塊，修正模塊，填充模塊和第一濾波模塊；
所述提取模塊，用于提取原深度圖中的物體輪廓；
所述修正模塊，用于對所述提取模塊提取的物體輪廓進行修正；
所述填充模塊，用于將所述修正模塊修正后的物體輪廓內外區域用所述區域的原深度值進行填充，得到填充完原深度值的深度所述第一濾波模塊，用于對所述填充模塊填充完的深度圖進行高斯濾波。
11.根據權利要求10所述的裝置，其特征在于，所述裝置還包括第二濾波模塊，用于對經過所述第一濾波模塊高斯濾波后的視頻深度圖序列進行時域上的遞歸濾波。
12.根據權利要求11所述的裝置，其特征在于，所述裝置還包括合成模塊，用于將經過濾波后的所述視頻深度圖序列中每一幀和對應的原始圖像進行合成，得到立體圖像序列，最終合成立體視頻。
13.根據權利要求10所述的裝置，其特征在于，所述提取模塊包括提取單元和采樣單元；
所述提取單元，用于提取原深度圖中的物體輪廓；
所述采樣單元，用于對所述提取單元提取的物體輪廓進行離散點采樣，得到多個輪廓點。
14.根據權利要求10所述的裝置，其特征在于，所述提取模塊具體用于，檢測原深度圖中物體輪廓，計算所述物體輪廓的面積，將所述物體輪廓面積大于預設閾值的輪廓作為物體輪廓。
15.根據權利要求10所述的裝置，其特征在于，所述修正模塊，具體用于采用Snake主動輪廓模型對物體輪廓進行修正；所述Snake主動輪廓模型包括Greedy Snake模型和GVFsnake模型。
16.根據權利要求15所述的裝置，其特征在于，當所述原深度圖由人工繪制時，所述修正模塊采用所述Greedy Snake模型對提取的物體輪廓進行修正；
當所述原深度圖由軟件生成時，所述修正模塊采用所述GVF snake模型對提取的物體輪廓進行修正。
全文摘要
本發明實施例公開了一種深度圖的處理方法及裝置，屬于計算機多媒體技術領域。所述方法包括提取深度圖中的物體輪廓；對物體輪廓進行修正，將修正后的輪廓內外區域用所述區域的原深度值進行填充；對填充完的深度圖進行高斯濾波。所述裝置包括提取模塊，修正模塊，填充模塊和第一濾波模塊。本發明實施例提供的技術方案通過對深度圖的輪廓進行修正，并對深度圖進行濾波，使深度圖的輪廓變得精確，深度圖的深度值在物體輪廓處的過渡變得平滑，進而可以使得合成的立體視頻的抖動性大大降低。
文檔編號G06T7/00GK101630408SQ20091009126
公開日2010年1月20日 申請日期2009年8月14日 優先權日2009年8月14日
發明者戴瓊海, 希 晏, 汛 曹, 季向陽 申請人:清華大學