基于最短聯合路徑的深度圖上采樣方法
【專利摘要】本發明給出了一種基于最短聯合路徑的深度圖上采樣方法，主要解決通過現有技術得到的上采樣深度圖像中深度邊緣模糊和深度摻混問題。其實現步驟為：1.輸入高分辨彩色圖像和對應的低分辨深度圖，將低分辨深度圖對應到高分辨網格，得到待填充的高分辨深度圖；2.計算歐式距離、顏色差異、梯度差異和邊界四個分量，并通過對它們加權定義最短聯合路徑；3.采用全局遍歷搜索算法，找出到每個目標點有最短聯合路徑的種子點；4.將搜索到的種子點的深度值賦給對應目標點，完成深度圖的上采樣，得到高分辨的深度圖像。本發明能夠快速高效的生成邊緣清晰的上采樣深度圖像，在不同放大倍數下上采樣結果穩定，可用于2D轉3D技術和立體電視。
【專利說明】
基于最短聯合路徑的深度圖上采樣方法
技術領域
[0001]本發明屬于圖像處理技術領域，特別涉及一種深度圖像上采樣方法，可用于2D轉 3D，立體電視。
【背景技術】
[0002] 由于3D視頻可以提供身臨其境的虛擬環境，被認為是未來多媒體的主要發展趨 勢。深度在人機交互、三維重建等3D應用領域中扮演著重要角色，深度圖像的實時捕獲受到 了廣泛關注。但是，深度傳感器生產成本高，且其分辨率的提升速度遠遠低于市場需求，因 此需要通過一些3D技術來獲得高分辨的深度圖。傳統的方法主要有激光掃描法和被動立體 視覺的方法，前者對設備要求高且做不到實時捕獲，后者在圖像渲染過程中不能解決遮擋 區域的信息丟失問題，這兩種方法都沒能得到廣泛應用。
[0003] 近年來，使用深度相機捕獲深度圖像的方法已廣泛應用于立體成像領域，深度相 機由一個彩色攝像機和一個深度傳感器組成，ToF傳感器和Kinect是兩個典型的深度傳感 器。深度相機可以通過彩色攝像機和深度傳感器分別捕獲高分辨彩色圖和低分辨深度圖， 由于捕獲的深度圖像分辨率太低，深度上采樣技術不可或缺并得到廣泛研究。深度圖上采 樣就是基于捕獲的高分辨彩色圖和低分辨深度圖合成高分辨深度圖的過程。
[0004] 2007年，Kopf等人提出了聯合雙邊濾波上采樣（JBU)方法（J.K〇pf，M.F.C 〇hen， D.Lischinski and M.Uyttendaele:Joint bilateral upsampling,ACM Trans.Graph,26, (3)，pp. 1-5,2007)，基于物理距離和顏色變化建立雙邊濾波函數，通過平滑濾波進行深度 圖像上采樣。該算法簡單易行，但是會伴隨比較明顯的深度邊緣模糊和摻混現象。針對這一 問題，S · B · Lee等人提出了一種不連續自適應的深度上采樣（JBLM)方法（S · B · Lee，S · Kwon and Y.S.Ho:Discontinuity adaptive depth upsampling for 3D video acquisition, ELECTRONICS LETTERS 5th，49(25)，pp. 1612-1614,2013)，在JBU算法的基礎上，對深度邊界 上的點采用局部最小濾波函數，即在其鄰域內選取有最小深度值的點并將其替換，這種方 法在一定程度上改善了邊界模糊現象，但是不能解決邊界摻混問題。
[0005] Kang等人在2014年提出了基于馬爾科夫隨機場的深度圖上采樣方法(Y.S.Kang， S.B. Lee and Y.S. Ho:Depth map upsampling using depth local features, Electronics Letters ,50,（3)，pp. 170-171,2014)，利用圖像的局部特征設計目標函數，并 通過優化目標函數得到高分辨深度圖。該算法的缺點是，在優化過程中伴有誤差傳遞并隨 之產生鋸齒效應。
[0006] 2013年，Ming-Yu Liu等人提出了著名的聯合距離上采樣（JGU)方法(M.Y.Liu， 0.Tuzel and Y.Taguchi:Joint Geodesic Upsampling of Depth Images,CVPR,pp.169-176,2013.)，該算法給出了一種聯合距離的定義，并依據該聯合距離計算高分辨網格上每 個目標點到所有種子點的聯合路徑長度，通過對K個有最短聯合路徑的種子點進行高斯濾 波，求取目標點的深度值。其弊端在于，當彩色圖像中被深度邊緣覆蓋的區域顏色相近或顏 色豐富時，會出現明顯的深度摻混現象。
[0007] 上述幾種算法雖說在同質區域能得到較好的上采樣結果，但由于不能充分利用彩 色圖像信息且信息傳遞不具有全局性，導致得到的高分辨深度圖像邊緣不清晰。
【發明內容】
[0008] 本發明的目的針對上述已有技術的不足，提出基于最短聯合路徑的深度圖上采樣 方法，以得到深度邊緣清晰的高分辨深度圖像。
[0009] 實現本發明目的技術方案是:通過定義一種新的聯合距離，全局遍歷搜索出到每 個目標點有最短聯合路徑的種子點，用搜索到的種子點填充對應的目標點，得到邊緣清晰 的高質量上采樣深度圖像。其具體步驟包括如下：
[0010] 1)輸入高分辨彩色圖I和低分辨深度圖IX，將低分辨深度圖IX對應到與彩色圖I有 相同分辨率的高分辨網格上，得到高分辨的待填充圖像D u;將待填充圖像Du中缺少深度信息 的點作為待填充的目標點，即{x|Du( X)=0}，有深度信息的點作為種子點，即{y|Du(y)乒0};
[0011] 2)在待填充圖像Du中，計算任意兩個相鄰像素點p和q之間的歐式距離分量d D(p， q)；
[0012] 3)在高分辨彩色圖I中，計算任意兩個相鄰像素點p和q之間的顏色差異分量cUb， q)；
[0013] 4)對高分辨彩色圖I的灰度圖進行求導，得到梯度圖G，在梯度圖G中，計算任意兩 個相鄰像素點P和q之間的梯度差異分量d c(p，q);
[0014] 5)采用Sobel算子對高分辨彩色圖I進行邊緣提取，并將邊界像素賦值為1，非邊界 像素賦值為〇,得到邊界圖E，在邊界圖E中，計算任意兩個相鄰像素點p和q之間的邊界分量 dE(p，q);
[0015] 6)對上述四個分量進行加權，得到相鄰兩點p和q之間的聯合距離dP,q，
[0016] dP,q = dD(p，q)+a · di(p，q)+P · dc(p，q)+γ · dE(p，q)，
[0017] 其中α，β，γ分別是人為給出的顏色差異分量cU，梯度差異分量dG和邊界分量dE的 權重系數；
[0018] 7)在待填充圖像Du中，依據任意兩點間的聯合距離dP, q，得出任意目標點X到種子 點y的最短聯合路徑長Lx,y:
[0019] 8)在待填充圖像Du中，采用由左上至右下的全局遍歷搜索方式，搜索出經過第一 次遍歷后，到任意目標點X有最短聯合路徑的種子點y 1，并將存儲給目標點X;
[0020] 9)在待填充圖像Du中，采用由右下至左上的全局遍歷搜索方式，再次搜索出經過 第二次遍歷后，到任意目標點X有最短聯合路徑的種子點y 2,將目標點X中存儲的信息更新 為 "Λ.,.:);
[0021] 10)在待填充圖像Du中，重復循環全局遍歷搜索，其中奇數次循環按步驟8)進行， 偶數次循環按步驟9)進行，直到第t次循環后任意目標點X中存儲的種子點/，與t-ι次循環 后目標點X中存儲的種子點yt 1相同時，停止循環；
[0022] 11)將任意目標點X中存儲的種子點，的深度值賦給當前目標點X，完成深度圖的 上采樣，得到最終的高分辨深度圖像Dh。
[0023] 本發明與現有技術相比具有以下特點：
[0024] 1.本發明在聯合距離的定義中，加入了梯度差異分量和邊界分量，可以更準確的 判斷鄰域中哪個點與當前目標點特征更為相似。
[0025] 2.本發明通過對距離分量、顏色差異分量、梯度差異分量和邊界分量進行加權，定 義一種新的聯合距離，該聯合距離能更合理地反映兩點間的真實距離，因此可直接將到達 當前目標點有最短路徑的種子點的深度值賦給該目標點，不需要求取前K個最近點后再平 滑濾波，有效降低了計算復雜度。
[0026] 3.本發明采用由左上至右下、由右下至左上的全局遍歷搜索方式，在整幅圖上搜 索距離目標點有最短聯合路徑的種子點，較局部搜索方法，可以更準確有效的找到最優解。
[0027] 4.本發明通過設置收斂條件，當目標點中的存儲信息不再變化時即停止搜索，能 在保證最優解的同時，有效避免重復操作，節省時間。
[0028] 仿真實驗結果表明，本發明能更準確的找出到達目標點有最短聯合路徑的種子 點，用搜索到的種子點的深度值填充目標點，可以得到邊界清晰的高質量高分辨深度圖像。
【附圖說明】
[0029]圖1是本發明的實現總流程圖；
[0030] 圖2是本發明中由左上至右下、由右下至左上的全局遍歷搜索子流程圖；
[0031] 圖3是仿真實驗中使用的測試圖像；
[0032]圖4是對測試集Laundry，用現有三種典型方法與本發明將低分辨深度圖進行上采 樣的結果對比；
[0033]圖5是對測試集Doll，用現有三種典型方法與本發明將低分辨深度圖進行上采樣 的結果對比；
[0034]圖6是對測試集Doll，用現有五種方法與本發明將低分辨深度圖進行上采樣實驗 結果的數據分析。
【具體實施方式】
[0035]以下結合附圖對本發明的【具體實施方式】和效果做進一步詳細描述：
[0036]參照圖1，本發明的實現步驟如下：
[0037] 步驟1，輸入高分辨彩色圖I和低分辨深度圖Dl，標記種子點與目標點。
[0038] 輸入測試集，包括高分辨彩色圖I和低分辨深度圖IX，將低分辨深度圖IX對應到與 彩色圖I有相同分辨率的高分辨網格上，得到高分辨的待填充圖像D u;
[0039] 將待填充圖像Du中缺少深度信息的點作為待填充的目標點，即{x | Du(x) =0}，將有 深度信息的點作為種子點，即{y|Du(y)#0}，上采樣的目的就是用種子點的深度值填充目 標點。
[0040] 本實例用到的測試集，來源于明德學院，Middlebury 2005dataset，http:// vision.middlebury·edu/stereo/data/〇 [0041 ] 步驟2,計算歐式距離分量dD。
[0042]在高分辨待填充圖像Du中，依據給定的上采樣倍數r，計算任意兩個相鄰像素點p 和q之間的歐式距離分量：
[0043] 步驟3,計算顏色差異分量cU。
[0044] 在高分辨彩色圖I中，求取任意兩個相鄰像素點!)和(1的像素絕對差值，得到任意兩 個相鄰像素點P和q之間的顏色差異分量:(!:(？，(!)= | |l(p)-I(q) | |2。
[0045]步驟4,計算梯度差異分量dG。
[0046]對高分辨彩色圖I的灰度圖進行求導，得到梯度圖G，在梯度圖G中，計算任意兩個 相鄰像素點P和q之間的梯度差異分量:dC(p，q)= | |G(p)_G(q) | |2。
[0047] 步驟5,計算邊界分量dE。
[0048]采用Sobel算子對高分辨彩色圖進行邊緣提取，并將邊界處賦值為1，非邊界處賦 值為〇,得到邊界圖E，計算相鄰兩點p和q之間的邊界分量:dE(p，q)= | |E(P)-E(q) I |2。
[0049] Sobel算子是通過濾波的形式提取邊緣的，參考文獻:P.E.Danielsson，0. Seger, "Generalized and Separable Sobel Operators Machine vision for three-dimensional scenes,Herbert Freeman(ed),Academic Press,1990.
[0050] 此外邊緣提取算子還有robert算子和prewitt算子。Robert算子是一種梯度算子， 它用交叉的差分表示梯度，是一種利用局部差分算子尋找邊緣的算子，對具有陡峭的低噪 聲的圖像效果較好;prewitt算子是加權平均算子，對噪聲有抑制作用，但是像素平均相當 于對圖像進行地同濾波，所以prewitt算子對邊緣的定位不如robert算子。
[0051 ]步驟6,定義聯合距離d。
[0052] 對上述歐式距離分量dD、顏色差異分量cU、梯度差異分量dG和邊界分量d E這四個分 量進行加權，得到相鄰兩點P和q之間的聯合距離dP, q:
[0053] dP，q = dD(p，q)+a · di(p，q)+P · dc(p，q)+γ · dE(p，q)，
[0054] 其中α，β，γ分別是依經驗人為給出的顏色差異分量cU，梯度差異分量dG和邊界分 量dE的權重系數，實驗中取α = 10，β = Γ2, γ =100。
[0055] 步驟7,基于聯合距離定義最短聯合路徑。
[0056] 7a)在待填充圖像Du中，設Pj: {X，mi，Π 12，…!^，y}為任意目標點X到種子點y的一條路 徑，即從目標點X出發，依次經過第一點m，第二點m2,……，第i點nu，共i個點可到種子點y， 其中i為自然數；依據相鄰兩點間的聯合距離d P,q，定義路徑P」的聯合路徑長度： 4 =4,*, +4,,騎:廠即從目標點X逐點到種子點y的聯合距離之和；
[0057] 7b)設從目標點X到種子點y有{Pi，P2，…，Pj，…，PN}共N條路徑，其中j G [ 1，N]，對 應的聯合路徑長度分別為{&,&, ···,&, 則從目標點X到種子點y的最短聯合路徑 長度:4["，[":，···，&，···，..1?).
[0058] 步驟8，由左上至右下的全局遍歷搜索。
[0059] 在待填充圖像Du中，采用由左上至右下的全局遍歷搜索方式，如圖2(a)中的虛線 箭頭所示，搜索出經過第一次遍歷后，到任意目標點X有最短聯合路徑的種子點y 1，并將 卜存儲給巨標點X。
[0060] 8a)找出當前點X斜上方，即正上方和左方的四個鄰域點：{nk| l$k彡4}中的有效 點，有效點nk為已標記過的點，其中存儲的信息是(/a-人)，yk是當前遍歷下到有效點nk有 最短聯合路徑的種子點：
[0061] 參照圖2(a)，對于圖示的4倍上采樣，當前點x斜上方的四個鄰域點ni，n2，n3，ru*， 種子點m和目標點n2、n 3為有效點，ru為無效點；種子點m中存儲的信息是(_>，丨,L"i n )，到種子 點m有最短聯合路徑的種子點是它本身，即yi = m;目標點Π 2中存儲的彳目息是):，是 當前遍歷下已經標記給目標點助的有效信息，同理目標點n3中存儲的信息是
[0062] 8b)計算此時由當前點X途經有效點nk到達種子點yk的最短聯合路徑長度：
[0063] 參照圖2(a)，由當前點X途經有效點m到達種子點yi的最短聯合路徑長度： 4Λ =A,,,.n ，由當前點X途經有效點Π2到達種子點y2的最短聯合路徑 長度：=\,,,2 +(,,:，由當前點X途經有效點n3到達種子點y3的最短聯合路徑長度： Ao, =A,3,v, +d.r."3 ；
[0064] 8c)依據以下公式找出第一次遍歷后，到達當前目標點x有最短聯合路徑的種子點y1:
[0065] J^argmin^)? l<k<4,
[0066] 參照圖2(a)，從途徑有效點m到達當前點x的最短聯合路徑、途徑有效點Π2到 達當前點X的最短聯合路徑Λ和途徑有效點η3到達當前點X的最短聯合路徑4^中，找出最 短的那個聯合路徑：
[0067] 若最短的聯合路徑為久，則到當前點X有最短聯合路徑的點
[0068] 若最短的聯合路徑為
[0069] 若最短的聯合路徑為4,,3唄^二乃；
[0070] 8d)將種子點y1和從目標點X到種子點y1的最短聯合路徑長度即存儲 給目標點X。
[0071 ] 步驟9，進行由右下至左上的全局遍歷搜索。
[0072]在待填充圖像Du中，采用由右下至左上的全局遍歷搜索方式，如圖2(b)中的虛線 箭頭所示，搜索出經過第二次遍歷后，到任意目標點X有最短聯合路徑的種子點y2,將目標 點X中存儲的信息更新為?:
[0073] 9a)參照圖2(b)，找出當前點X斜下方，即正下方和右方的四個鄰域點：{nk| 5彡k彡 8}中的有效點；
[0074] 9b)按照步驟8b)和步驟8c)，找出第二次遍歷后，到任意目標點X有最短聯合路徑 的種子點y2;
[0075] 9c)將目標點X中存儲的信息更新為種子點y2和從目標點X到種子點y2的最短聯合 路徑長度\,:，即
[0076] 步驟10,重復循環至所有目標點中的存儲信息均保持不變。
[0077] 10a)在待填充圖像Du中，重復循環全局遍歷搜索，其中奇數次循環按步驟8)進行， 偶數次循環按步驟9)進行，任意第s次全局遍歷搜索結束時，找出當前循環后到達任意目標 點X有最短聯合路徑的種子點ys，并將目標點X中的存儲信息更新為(.ν'乂,，)：
[0078] 10b)將經過第t次循環與t-ι次循環后結果相比，若所有目標點中存儲的種子點位 置坐標均沒有變化，即ytiyM，則停止循環，此時所有目標點都已找到全局最優解，任意目 標點X中都存儲著到其有最短聯合路徑的種子點y%反之則繼續循環。
[0079]步驟11，填充目標點。
[0080]將待填充圖像中任意目標點X中存儲的種子點yt的深度值賦給當前目標點X，并保 持原有種子點y的深度值不變，完成深度圖的上采樣，得到最終的高分辨深度圖像Dh，即：
[0082] 本發明的效果可以通過以下實驗進一步說明：
[0083] 1.仿真條件：
[0084] 在CPU為Core(TM)、3.20GHZ、內存4.00G、WIND0WS XP系統，Matlab R2012b平臺上 進行了仿真。
[0085] 本發明選擇兩組測試圖像進行仿真，這兩組測試圖像如圖3,其中圖3 (a)是 Laundry測試集的高分辨彩色圖，圖3(b)是Laundry測試集的高分辨深度圖，圖3(c)是Doll 測試集的高分辨彩色圖，圖3(d)是Doll測試集的高分辨深度圖。
[0086] 實驗開始前，對測試集中提供的高分辨深度圖，分別進行2倍，4倍，8倍和16倍的降 采樣處理，得到待上采樣的低分辨深度圖像。
[0087]仿真方法:①雙立方插值BC方法
[0088]②Kopf提出的聯合雙邊濾波上采樣JBU方法
[0089]③S. B. Lee提出的一種不連續自適應的深度圖上采樣JBLM方法
[0090] ④基于馬爾科夫域MRF方法
[0091]⑤Ming-Yu Liu提出的聯合距離上采樣JGU方法
[0092]⑥本發明基于最短聯合路徑的深度圖上采樣方法
[0093] 3.仿真內容：
[0094] 仿真1，對圖3 (a)和圖3 (b)中所示的Laundry測試集分別利用上述JBU，JBLM，J⑶和 本發明方法進行4倍和16倍的深度圖上采樣，結果如圖4,其中：
[0095]圖4(a)是通過JBU方法進行4倍上采樣得到的高分辨深度圖像；
[0096]圖4(b)是通過JBLM方法進行4倍上采樣得到的高分辨深度圖像；
[0097] 圖4(c)是通過JGU方法進行4倍上采樣得到的高分辨深度圖像；
[0098] 圖4(d)是通過本發明方法進行4倍上采樣得到的高分辨深度圖像；
[0099]圖4(e)是通過JBU方法進行16倍上采樣得到的高分辨深度圖像；
[0100]圖4(f)是通過JBLM方法進行16倍上采樣得到的高分辨深度圖像；
[0101] 圖4(g)是通過JGU方法進行16倍上采樣得到的高分辨深度圖像；
[0102] 圖4(h)是通過本發明方法進行16倍上采樣得到的高分辨深度圖像。
[0103] 從圖4(a)，圖4(b)，圖4(c)和圖4(d)中可以看出，當放大倍數較小時，通過四種方 法中的每一種都可以得到質量較高的上采樣圖像；
[0104] 從圖4(e)和圖4(f)中可以看出，基于局部濾波的JBU和JBLM方法，在放大倍數較大 時瓶子周圍會出現明顯的深度模糊現象；
[0105] 圖4(g)所示的JGU方法表明，放大率較大時，紅色衣物處的深度會向周邊摻混；
[0106] 從圖4(e)，圖4(f)，圖4(g)和圖4(h)中可以看出隨著放大倍數增大，本發明表現出 更明顯的優勢，有效解決了深度邊緣模糊和深度摻混現象。
[0107] 仿真2，對圖3(C)和圖3 (d)中所示的Do 11測試集分別利用上述JBU，JBLM，JGU和本 發明方法進行4倍和16倍的深度圖上采樣，結果如圖5,其中：
[0108] 圖5(a)是通過JBU方法進行4倍上采樣得到的高分辨深度圖像；
[0109] 圖5(b)是通過JBLM方法進行4倍上采樣得到的高分辨深度圖像；
[0110] 圖5(c)是通過JGU方法進行4倍上采樣得到的高分辨深度圖像；
[0111] 圖5(d)是通過本發明方法進行4倍上采樣得到的高分辨深度圖像；
[0112] 圖5(e)是通過JBU方法進行16倍上采樣得到的高分辨深度圖像；
[0113] 圖5(f)是通過JBLM方法進行16倍上采樣得到的高分辨深度圖像；
[0114]圖5(g)是通過JGU方法進行16倍上采樣得到的高分辨深度圖像；
[0115]圖5(h)是通過本發明方法進行16倍上采樣得到的高分辨深度圖像。
[0116]從圖5(a)，圖5(b)，圖5(c)和圖5(d)中可以看出，當放大倍數較小時，通過四種方 法中的每一種都可以得到比較清晰的上采樣圖像；
[0117]從圖5 (e)和圖5 (f)中可以看出，JBU和JBLM方法在放大倍數較大時會出現明顯的 上采樣錯誤；
[0118] 圖5(g)所示的JGU方法表明，放大率較大時，深度邊緣摻混現象嚴重；
[0119] 從圖5(e)，圖5(f)，圖5(g)和圖5(h)中可以看出，隨著放大倍數增大，本發明表現 出更明顯的優勢，實驗結果表明上采樣結果穩定。
[0120] 仿真3，對圖3 (b)所示的Do 11測試集圖分別利用BC，JBU，JBLM，MRF和JGU方法與本 發明方法進行2倍，4倍和8倍深度圖上采樣，并針對五個評價指標對實驗結果進行數據分 析。
[0121] 五個指標分別是：
[0122] l)disc，邊界區域的壞值點率，壞值點指與真實像素值相差1以上的點；
[0123] 2)RMS，與真值的均方根誤差；
[0124] 3)SRMS，非邊界區域處與真值的均方根誤差；
[0125] 4)bpr，壞值點率；
[0126] 5) mad，壞值點處與真值的平均絕對值偏差。
[0127] 針對所述五個評價指標進行數據分析，結果如圖6,其中：
[0128] 圖6(a)是針對disc指標的結果分析；
[0129] 圖6(b)是針對RMS指標的結果分析；
[0130]圖6(c)是針對SRMS指標的結果分析；
[0131] 圖6(d)是針對bpr指標的結果分析；
[0132] 圖6(e)是針對mad指標的結果分析。
[0133] 從圖6可以看出，本發明方法不僅能在主觀視覺上得到較好的上采樣結果，客觀分 析也表現出明顯的優勢。
【主權項】
1. 一種基于最短聯合路徑的深度圖上采樣方法，包括： 1) 輸入高分辨彩色圖巧日低分辨深度圖Dl，將低分辨深度圖化對應到與彩色圖I有相同 分辨率的高分辨網格上，得到高分辨的待填充圖像Du;將待填充圖像Du中缺少深度信息的點 作為待填充的目標點，即{x|Du(x)=0}，有深度信息的點作為種子點，即{y|Du(y)^0}; 2) 在待填充圖像Du中，計算任意兩個相鄰像素點P和q之間的歐式距離分量cb(p，q); 3) 在高分辨彩色圖I中，計算任意兩個相鄰像素點P和q之間的顏色差異分量di(p，q); 4) 對高分辨彩色圖I的灰度圖進行求導，得到梯度圖G，在梯度圖G中，計算任意兩個相 鄰像素點P和q之間的梯度差異分量dG(p，q); 5) 采用Sobel算子對高分辨彩色圖I進行邊緣提取，并將邊界像素賦值為1，非邊界像素 賦值為0,得到邊界圖E，在邊界圖E中，計算任意兩個相鄰像素點P和q之間的邊界分量dE(p, q); 6) 對上述四個分量進行加權，得到相鄰兩點p和q之間的聯合距離dp,q， dp,q = dD(p，q)+a*di(p,q)+0*dG(p，q)+Y*dE(p，q)， 其中α，β，丫分別是人為給出的顏色差異分量di，梯度差異分量dG和邊界分量dE的權重 系數； 7) 在待填充圖像Du中，依據任意兩點間的聯合距離dp,q，得出任意目標點巧I刷子點y的 最短聯合路徑長Lx,y: 8) 在待填充圖像Du中，采用由左上至右下的全局遍歷捜索方式，捜索出經過第一次遍歷 后，到任意目標點X有最短聯合路徑的種子點yi，并將(.Vpi、.，,)存儲給目標點X; 9) 在待填充圖像Du中，采用由右下至左上的全局遍歷捜索方式，再次捜索出經過第二次 遍歷后，到任意目標點X有最短聯合路徑的種子點y2,將目標點X中存儲的信息更新為 (沁王巧2 ); 10) 在待填充圖像Du中，重復循環全局遍歷捜索，其中奇數次循環按步驟8)進行，偶數次 循環按步驟9)進行，直到第t次循環后任意目標點X中存儲的種子點yt，與t-1次循環后目標 點X中存儲的種子點yw相同時，停止循環； 11) 將任意目標點X中存儲的種子點yt的深度值賦給當前目標點X，完成深度圖的上采 樣，得到最終的高分辨深度圖像化。2. 根據權利要求1所述的基于最短聯合路徑的深度圖上采樣方法，其中步驟2)中，在待 填充圖像Du中，計算任意兩個相鄰像素點P和q之間的歐式距離分量dD(p，q)，是依據給定上 采樣倍數r，得到任意兩個相鄰像素點P和q之間的歐式距離分量：3. 根據權利要求1所述的基于最短聯合路徑的深度圖上采樣方法，其中步驟3)中，在高 分辨彩色圖I中，計算任意兩個相鄰像素點P和q之間的顏色差異分量di(p，q)，是在高分辨 彩色圖I中，通過求取任意兩個相鄰像素點P和q的像素絕對差值，得到任意兩個相鄰像素點 P和q之間的顏色差異分量:di(p,q) = I I I(p)-I(q) I |2。4. 根據權利要求1所述的基于最短聯合路徑的深度圖上采樣方法，其中步驟4)中，在梯 度圖G中，計算任意兩個相鄰像素點P和q之間的梯度差異分量dG(p，q)，是在梯度圖G中，計 算任意兩個相鄰像素點P和q之間的梯度差異分量:dG(p，q)= ||G(p)-G(q) ||2。5. 根據權利要求1所述的基于最短聯合路徑的深度圖上采樣方法，其中步驟5)中，在邊 界圖E中，計算任意兩個相鄰像素點P和q之間的邊界分量化(p，q)，是在邊界圖E中，計算任 意兩個相鄰像素點P和q之間的邊界分量:dE(p，q)= ||E(p)-E(q)M2。6. 根據權利要求1所述的基于最短聯合路徑的深度圖上采樣方法，其中步驟7)中，在待 填充圖像Du中，依據任意兩點間的聯合距離dp,q，得出任意目標點X到種子點y的最短聯合路 徑長Lx,y，按如下步驟進行： 7a)在待填充圖像Du中，設Pj: {x，mi，m2，···ΠΗ，y}為任意目標點X到種子點y的一條路徑，即從 目標點礎發，依次經過第一點mi，第二點Π 12，......，第i點mi，斯個點可至卿子點y，其中i為自然數； 依據相鄰兩點間的聯合距離dp,q，定義路徑Pj的聯合路徑長度:左C =年+4。,.,,,: +屯，一+武; 7b)設從目標點巧I刷子點y有化，P2，…，Pj，…，Pn}共N條路徑，其中j E [ 1，N]，對應的聯 合路徑長度分別為1? ,?，…，％，…，，則從目標點X到種子點y的最短聯合路徑長： ，左."' ....，L/.，...，）。7. 根據權利要求1所述的基于最短聯合路徑的深度圖上采樣方法，其中步驟8)中，在待 填充圖像Du中，采用由左上至右下的全局遍歷捜索方式，捜索出經過第一次遍歷后，到任意 目標點X有最短聯合路徑的種子點yi，按如下步驟進行： 8a)找出當前點X斜上方，即正上方和左方的四個鄰域點：{nk|l《k《4}中的有效點，其中 有效點nk中存儲的信息是，yk是當前遍歷下到有效點nk有最短聯合路徑的種子點； 8b)計算此時由當前目標點X經有效點nk到種子點yk的最短聯合路徑長度： 二 L"一, + d、'."k ; 8c)依據W下公式找出第一次遍歷后，到達當前目標點X有最短聯合路徑的種子點yi:1 < A < 4。8. 根據權利要求1所述的基于最短聯合路徑的深度圖上采樣方法，其中步驟9)中，在待 填充圖像Du中，采用由右下至左上的全局遍歷捜索方式，再次捜索出經過第二次遍歷后，至U 任意目標點X有最短聯合路徑的種子點y2，按如下步驟進行： 9a)找出當前目標點X斜下方，即正下方和右方的四個鄰域點：{nk|5《k《8}中的有效 點，其中有效點η沖存儲的信息是是當前遍歷下到有效點化有最短聯合路徑的 種子點； 9b)計算此時由當前目標點X經有效點η劇種子點yk的最短聯合路徑長度+聲Λ ; 9c)依據W下公式找出經過第二次遍歷后，到達當前目標點X有最短聯合路徑的種子點y2:
【文檔編號】G06F17/30GK106095773SQ201610334077
【公開日】2016年11月9日
【申請日】2016年5月19日
【發明人】焦李成, 喬伊果, 侯彪, 楊淑媛, 劉紅英, 曹向海, 馬文萍, 馬晶晶, 張丹, 霍麗娜
【申請人】西安電子科技大學