一種Kinect深度視頻時空聯(lián)合修復方法
【專利摘要】一種Kinect深度視頻時空聯(lián)合修復方法。基于具有相似顏色的鄰域像素應當具有相似的深度值這一假設，對于第一幀深度圖像和其后所有幀深度圖像中提取出的運動區(qū)域，使用對應彩色圖像的顏色分割圖來引導深度填充。考慮到一些沒有有效深度值的顏色偏暗區(qū)域的存在可能導致上述方法的失敗，先檢測出顏色偏暗區(qū)域，然后用相同顏色偏暗區(qū)域內的有效深度值修復空洞區(qū)域。對于Kinect拍攝到的深度視頻中的靜止區(qū)域，如果當前幀深度圖出現(xiàn)空洞像素，則用前一幀深度圖的對應位置深度值填充。使用基于深度圖像的繪制技術繪制虛擬視點，本發(fā)明提出的方法對應得到的虛擬右視圖的圖像質量明顯高于原始虛擬右視圖的圖像質量，可應用于3D繪制。
【專利說明】一種Kinect深度視頻時空聯(lián)合修復方法
【技術領域】
[0001]本發(fā)明涉及圖像/視頻處理【技術領域】，可應用于3D繪制。
技術背景
[0002]三維立體電視已經(jīng)被許多人認為能帶來更自然、更生活化的視覺娛樂體驗。隨著立體顯示技術和視頻處理技術的發(fā)展，3D視頻技術成為近年來的研究熱點。目前，實現(xiàn)立體視頻系統(tǒng)主要有兩種方案:一種是多視方案，由多個攝像機陣列獲取三維場景，在立體顯示器上播放出來；另一種是“紋理+深度”方案，分別用彩色紋理視頻和深度視頻描述立體場景中的彩色紋理信息和深度信息，結合這兩路視頻信息，采用基于深度圖像的繪制(DIBR)技術繪制虛擬視點，最后將合成的3D視頻顯示在顯示器上。第二種方案相對于第一種方案，有數(shù)據(jù)傳輸帶寬小、易于虛擬視點繪制等優(yōu)點。
[0003]要獲取深度信息，主要有兩種方法:一是采用立體匹配算法被動獲取深度信息，這種方法很難在算法復雜度和獲取深度視頻的質量上取得折中。二是使用深度攝像頭主動獲取深度信息，目前深度攝像頭主要分為兩類，一類是TOF (time of flight)攝像頭，另一類是Kinect，它們都是通過發(fā)射和接收反射光或光斑來計算深度信息以實現(xiàn)深度信息的實時提取，也能夠獲取對應的實時彩色視頻。Kinect因為其價格低廉，并且能提取相對較高分辨率的深度圖，吸引了更多的關注。但是Kinect提取的深度視頻質量較差，在遮擋區(qū)域、光滑物體表面存在較大的深度信息缺失空洞，并且同一靜止區(qū)域的深度值也會隨時間變化而產(chǎn)生變化，因此必須進行填充修復處理。
[0004]在已有的修復算法中，單純的基于空間的修復算法比較多，對于深度視頻中的光學噪聲，一般采取中值濾波，雙邊濾波，聯(lián)合雙邊濾波，線性插值等多種濾波方法進行噪聲消減。例如文獻 I (參見 Massimo Camplani and Luis Salgad0.“EfficientSpatio-temporal Hole Filling Strategy for Kinect Depth Maps，，，in ProceedingsofSPIE, 82900E,2012.)中對于Kinect拍攝到的靜態(tài)場景中空間域和時間域的相鄰像素，迭代的使用一個聯(lián)合雙邊濾波器去修復深度值。這些空間修復方法在消除細小空洞點，保護物體邊界和平滑圖像等方面效果顯著。但是對于顏色偏暗區(qū)域或反光區(qū)域等容易產(chǎn)生大片空洞區(qū)域的填充修復，這些方法的效果并不明顯。如果考慮到相似顏色塊物體應當擁有相似深度值這點，填充修復大塊空洞區(qū)域就可得到解決。另外受到光照影響，Kinect拍攝到的深度視頻中背景物體在不同時刻的深度值并不穩(wěn)定，有時甚至會出現(xiàn)空洞點的現(xiàn)象，因此基于時間的修復方法也需要引進。目前已經(jīng)出現(xiàn)了一些基于時間的修復算法，例如文獻 2 (參見 Sung-Yeol Kim, J1-Ho Cho, Andreas Koschan, and Mongi A.Abidi,“Spatial and temporal enhancement of depth images captured by a time-of-flightdepth sensor，，，in Proc.0f the IEEE International Conference on PatternRecognition(ICPR)，pp.2358-2361,2010.)使用了一個聯(lián)合雙邊濾波器和基于運動估計的時域連續(xù)來修復TOF攝像頭獲取的深度圖像。這種方法能夠有效地減少光學噪聲和修復邊界，但是卻沒有考慮反光和顏色偏暗區(qū)域的深度修復，而且這個方法的效果受到運動估計準確性的影響。
【發(fā)明內容】
[0005]針對大多數(shù)深度視頻修復算法僅僅基于空間進行修復這個現(xiàn)象，本文提出了一種Kinect深度視頻時空聯(lián)合修復方法?；诰哂邢嗨祁伾泥徲蛳袼貞斁哂邢嗨频纳疃戎颠@一假設，對于第一幀深度圖像和其后所有幀深度圖像中提取出的運動區(qū)域，使用對應彩色圖像的顏色分割圖來引導深度填充。考慮到一些沒有有效深度值的顏色偏暗區(qū)域的存在可能導致上述方法的失敗，先檢測出顏色偏暗區(qū)域，然后用相同顏色偏暗區(qū)域內的有效深度值修復空洞區(qū)域。對于Kinect拍攝到的深度視頻中的靜止區(qū)域，如果當前幀深度圖出現(xiàn)空洞像素，則用前一幀深度圖的對應位置深度值填充。概括地說，本發(fā)明給出技術方案實施步驟為:
[0006]步驟S1:對第一巾貞深度圖,通過使用mean-shift算法對彩色圖像進行顏色分割以獲取對應的label圖，接著對label圖進行八聯(lián)通域分割來進一步分離出各個連續(xù)的顏色塊，當每一個顏色塊內有效深度值所占比例超過一定閾值后，用該顏色塊內所有有效深度值的中值填充空洞像素。
[0007]步驟S2:對于經(jīng)過步驟SI修復后的第一幀深度圖，通過將對應原始彩色RGB圖像轉換為YCbCr圖像，對Y，Cb, Cr三分量分別設置閾值，將滿足所有閾值條件的區(qū)域提取出來作為顏色偏暗區(qū)域，并且將空間上相連的區(qū)域標定為同塊區(qū)域，使用同塊區(qū)域內所有有效深度值的中值填充該塊內的空洞像素，最后使用膨脹腐蝕操作修復深度圖像中細小空洞區(qū)域。
[0008]步驟S3:對于第一幀之后的所有深度圖像，通過對前后兩幀彩圖的灰度圖進行差值處理，找出運動像素點，然后再將包含運動像素點的最小矩陣找出來，矩陣區(qū)域即視為運動區(qū)域，最后對運動區(qū)域進行步驟Si使用的空間修復。
[0009]步驟S4:對于第一幀之后的所有深度圖像，在摳出矩形運動區(qū)域后，剩余的部分即是背景靜止區(qū)域。若在靜止區(qū)域出現(xiàn)空洞像素點，則用前一幀修復好的深度圖的對應位置的深度值進行修復。
[0010]區(qū)別于現(xiàn)有技術，上述技術方案體現(xiàn)出具有技術貢獻的關鍵技術要點:
[0011]1、針對大部分Kinect深度圖像修復算法沒有考慮對于顏色偏暗區(qū)域或反光區(qū)域等容易產(chǎn)生大片空洞區(qū)域的填充修復這個問題，本發(fā)明提出了顏色偏暗區(qū)域的空洞修復方法。首先要檢測出顏色偏暗區(qū)域，通過將原始彩色RGB圖像轉換為YCbCr圖像，對Y，Cb7Cr三分量分別設置閾值，將滿足所有閾值條件的區(qū)域提取出來作為顏色偏暗區(qū)域。然后將空間上相連的區(qū)域標定為同塊區(qū)域，使用同塊區(qū)域內所有有效深度值的中值填充該塊內的空洞像素。
[0012]2、本發(fā)明結合了空間修復算法和基于運動區(qū)域檢測的時間修復算法，以解決單純使用空間修復算法可能會出現(xiàn)的修復不準確和修復時間過長的問題，使得修復效果更優(yōu)。
[0013]3、通過對顏色分割后得到的label圖進一步進行八聯(lián)通域分割來分離不連續(xù)分布的顏色塊，使得顏色分割結果更準確。
[0014]4、在基于時間域的修復算法中，對檢測出的運動點，用最小的矩陣區(qū)域包含它們，將矩陣區(qū)域視為運動區(qū)域，方便運動區(qū)域和靜止區(qū)域的區(qū)分修復。[0015]由此，與現(xiàn)有技術相比之，本發(fā)明方法技術方案具有的有益效果:顏色偏暗區(qū)域的空洞修復效果明顯，在保證同樣拍攝場景的前提下，使用本發(fā)明提出的Kinect深度視頻修復方法得到的深度圖像對比于原始深度圖像，修復效果很好。使用基于深度圖像的繪制(DIBR)技術繪制虛擬視點，本發(fā)明提出的方法對應得到的虛擬右視圖的圖像質量也明顯高于原始虛擬右視圖的圖像質量。
【專利附圖】
【附圖說明】
[0016]圖1是本發(fā)明一種Kinect深度視頻時空聯(lián)合修復方法流程圖。
[0017]圖2是本發(fā)明實例Kinect拍攝到的三巾貞連續(xù)的彩色圖像和深度圖像。
[0018]圖3是本發(fā)明實例Kinect拍攝到的第一幀經(jīng)過步驟SI得到的(a)彩色圖像顏色分割圖和(b)修復后深度圖。
[0019]圖4是本發(fā)明實例Kinect拍攝到的第一幀經(jīng)過步驟S2得到的(a)顏色偏暗區(qū)域(不同的顏色代表了不同的顏色偏暗區(qū)域，灰色區(qū)域不是偏暗區(qū)域)和(b)修復后深度圖。
[0020]圖5是本發(fā)明實例經(jīng)過步驟S3得到的(a)第一幀灰度圖，(b)第二幀灰度圖，(c)第二幀的運動點分布圖，(d)第二幀彩色圖中放大后的運動區(qū)域子圖，(e)第二幀運動區(qū)域對應的深度子圖和(f)運動區(qū)域經(jīng)過修復后的深度子圖。
[0021]圖6是本發(fā)明實例最終的效果圖(a)未處理的深度圖像，(b)修復后的深度圖像，(C)未進行深度修復得到的虛擬右視圖，(d)進行深度修復得到的虛擬右視圖，(e)放大的(C)中的顯示器區(qū)域，(f)放大的(d)中的顯示器區(qū)域，(g)放大的(C)中的椅子右腿區(qū)域，(h)放大的(d)中的椅子右腿區(qū)域。
【具體實施方式】
[0022]下面以具體實例結合附圖對本發(fā)明作進一步說明:
[0023]本發(fā)明使用由Kinect拍攝到的一段深度視頻序列和對應的彩色視頻序列來檢測提出方法的效果。視頻序列由100幀圖像組成。圖像分辨率是640X480。所有涉及實例采用MATLAB7作為仿真實驗平臺。
[0024]本發(fā)明的流程圖如圖1所示:對于第一幀深度圖，只使用空間修復。使用其對應彩色圖像的顏色分割圖來引導初始的深度填充，然后對顏色偏暗區(qū)域進行空洞修復以進一步提高深度圖質量。對于第一幀之后的所有深度圖，首先提取出運動區(qū)域，單獨對運動區(qū)域進行空間修復，然后用前一幀修復好的深度圖對應位置的深度值填充余下靜止區(qū)域內的空洞點。下面結合每個步驟詳細描述本實例:
[0025]步驟(I)，對當前需要修復的深度圖像，這里選定實例圖2中的第一幀深度圖(d)，先對其對應的彩色圖像，即實例圖2中的第一幀彩色圖(a)進行mean-shift顏色分割，得到標識顏色信息的label圖和顏色分割圖，即實例圖3(a)。設圖像分辨率為nXm，每個像素點(i，j)都有一個代表顏色塊索引的標簽Lu，是該點的彩色值。對所有顏色數(shù)據(jù)聚類后，滿足空間距離小于hc且顏色空間距離小于K的一些點會被聚類。Cp代表特征集，q是所有特征個數(shù)。g(x)是圖像特征空間中核函數(shù)的負導數(shù)。那么圖像分割后得到的label圖可用下式描述:
【權利要求】
1.一種Kinect深度視頻時空聯(lián)合修復方法,其特征在于，包括步驟有， 步驟S1:對第一巾貞深度圖,通過使用mean-shift算法對彩色圖像進行顏色分割以獲取對應的label圖，接著對label圖進行八聯(lián)通域分割來進一步分離出各個連續(xù)的顏色塊，當每一個顏色塊內有效深度值所占比例超過一定閾值后，用該顏色塊內所有有效深度值的中值填充空洞像素； 步驟S2:對于經(jīng)過步驟SI修復后的第一幀深度圖，通過將對應原始彩色RGB圖像轉換為YCbCr圖像，對Y，Cb, Cr三分量分別設置閾值，將滿足所有閾值條件的區(qū)域提取出來作為顏色偏暗區(qū)域，并且將空間上相連的區(qū)域標定為同塊區(qū)域，使用同塊區(qū)域內所有有效深度值的中值填充該塊內的空洞像素，最后使用膨脹腐蝕操作修復深度圖像中細小空洞區(qū)域； 步驟S3:對于第一幀之后的所有深度圖像，通過對前后兩幀彩圖的灰度圖進行差值處理，找出運動像素點，然后再將包含運動像素點的最小矩陣找出來，矩陣區(qū)域即視為運動區(qū)域，最后對運動區(qū)域進行步驟SI使用的空間修復； 步驟S4:對于第一幀之后的所有深度圖像，在摳出矩形運動區(qū)域后，剩余的部分即是背景靜止區(qū)域； 若在靜止區(qū)域出現(xiàn)空洞像素點，則用前一幀修復好的深度圖的對應位置的深度值進行修復。
【文檔編號】H04N15/00GK103561258SQ201310442055
【公開日】2014年2月5日 申請日期:2013年9月25日 優(yōu)先權日:2013年9月25日
【發(fā)明者】張冬冬, 姚燁, 劉典, 陳艷毓, 臧笛 申請人:同濟大學