專利名稱：基于半像素精度邊緣和圖像修復(fù)的深度圖像幀內(nèi)預(yù)測方法
技術(shù)領(lǐng)域：
本發(fā)明屬于視頻壓縮技術(shù)領(lǐng)域，尤其是一種基于半像素精度邊緣和圖像修復(fù)的深度圖像幀內(nèi)預(yù)測方法。
背景技術(shù)：
任意視點電視(Free Viewpoint TV，F(xiàn)TV)是多視點視頻的一項重要應(yīng)用。FTV的概念最早由日本的Tanimoto實驗室在2001年提出，其目標(biāo)是使用戶能夠從任意的視角出發(fā)來觀看一個3D的世界。MPEG很快意識到FTV將是3D領(lǐng)域中一項極富挑戰(zhàn)的工作，因此立即著手將其標(biāo)準(zhǔn)化。FTV標(biāo)準(zhǔn)制定的第一階段稱為多視點視頻編碼，其目標(biāo)是有效地編碼多路視頻數(shù)據(jù)，MVC標(biāo)準(zhǔn)已經(jīng)于2009年3月制定完成。目前正在進(jìn)行的FTV第二階段被稱 為3D視頻，這一階段的主要目標(biāo)是使制定的FTV標(biāo)準(zhǔn)能普遍地適用于不同的3D顯示設(shè)備，具體包括根據(jù)需求調(diào)節(jié)深度感覺以及利用有限的數(shù)據(jù)進(jìn)行高質(zhì)量的視點合成等內(nèi)容。一個完整的FTV系統(tǒng)通常包括采集、校正、表示、編碼、傳輸(或存儲)、解碼、合成以及顯示等環(huán)節(jié)。在上述環(huán)節(jié)中，F(xiàn)TV視頻數(shù)據(jù)的表示方法是整個系統(tǒng)的核心，對應(yīng)與不同的表示方式，整個系統(tǒng)的架構(gòu)可能會采取不同的解決方案。目前常見的表示方法包括基于3D模型的表示法，這是傳統(tǒng)的計算機(jī)圖形學(xué)中的處理方法，將場景表示為一個幾何模型和其對應(yīng)的紋理圖像，該方法具有較小的數(shù)據(jù)量，但對于實際場景(而非計算機(jī)模擬的)，得到其精確的幾何描述往往十分困難。此外還有基于光線空間的表示法其將實際場景映射為一種特殊的光線空間，光線空間中的截面即為一個視點，該表不方法獲取任意視點的方式十分簡單，但表示光線空間通常需要大量的數(shù)據(jù)，這些數(shù)據(jù)如何進(jìn)行有效地壓縮尚有待研究?；诙嘁朁c加深度圖像的表示法是上述兩種方案的折衷，它既具有表示場景幾何信息的深度圖像，又具有表示場景紋理信息的普通圖像，并且可以方便采用現(xiàn)有視頻編碼標(biāo)準(zhǔn)進(jìn)行壓縮，因此被FTV參考模型所采納，是目前最為流行表示方法，該表示方法的核心即是深度圖像，深度信息的估計、壓縮以及利用深度信息進(jìn)行視點合成等一系列問題正在被廣泛而深入地研究。本發(fā)明針對的是深度圖像的壓縮問題。深度圖像可以采用業(yè)已存在的編碼標(biāo)準(zhǔn)(如H. 264/AVC)進(jìn)行壓縮。但是，深度圖像的性質(zhì)與普通紋理圖像的區(qū)別較大它具有大片灰度值恒定或者緩慢變化的平滑區(qū)域(同一物體內(nèi)部)以及分割這些區(qū)域的銳利邊緣(各物體間的邊界)。從頻譜上看，深度圖像的頻譜主要分布在低頻和高頻部分，這與紋理圖像差別明顯，更為重要的是，深度圖像中的邊緣在視點合成時具有重要意義，要盡可能予以保留，這是因為邊緣兩側(cè)的物體其深度差別可能非常大(例如前景和背景)，如果在壓縮后的深度圖像中邊緣沒有得到很好的保留，雖然深度圖像的主觀質(zhì)量并不會受到太大影響，但在利用深度圖像進(jìn)行視點合成時不同深度的物體可能混疊在一起，產(chǎn)生嚴(yán)重的噪聲。因此，大多數(shù)深度圖像壓縮的改進(jìn)算法都是基于邊緣的。Y. Morvan等人提出一種稱為Platelet Coding的算法。該算法將深度圖像不斷地劃分為小塊，直到每個小塊內(nèi)的深度可以近似為(I)恒定的；(2)分區(qū)域恒定的；(3)線性的；(4)分區(qū)域線性的；然后采用(I)常函數(shù)；(2)分區(qū)域常函數(shù)(wedgelet函數(shù))；(3)線性函數(shù)；(4)分區(qū)域線性函數(shù)(platelet函數(shù))分別表示上述四種情況，僅編碼這些函數(shù)的系數(shù)，其本質(zhì)上是一種基于模型的方法。從結(jié)果上看，采用傳統(tǒng)的編碼方法，壓縮后的深度圖像在邊緣處都出現(xiàn)了比較明顯的模糊；而Platelet Coding對邊緣的保護(hù)是比較好的。其他一些深度圖像的編碼方法盡管實現(xiàn)手段不同，但思想上與Platelet Coding都是類似的，即保留邊緣。上述算法存在的問題是采用整像素精度邊緣，由于邊緣像素自身所屬的區(qū)域無法明確界定，使得區(qū)域劃分的結(jié)果不夠精確。
發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種設(shè)計合理、精度高、處理速度快的基于半像素精度邊緣和圖像修復(fù)的深度圖像幀內(nèi)預(yù)測方法。本發(fā)明解決其技術(shù)問題是采取以下技術(shù)方案實現(xiàn)的
一種基于半像素精度邊緣和圖像修復(fù)的深度圖像幀內(nèi)預(yù)測方法，包括以下步驟步驟I :在深度圖像中進(jìn)行半像素精度邊緣檢測得到邊緣圖像；步驟2 :根據(jù)邊緣圖像進(jìn)行邊緣的區(qū)域劃分處理和邊緣優(yōu)化處理；步驟3 :根據(jù)是否包含預(yù)測子將待預(yù)測的區(qū)域分為可修復(fù)區(qū)域和不可修復(fù)區(qū)域，對可修復(fù)區(qū)域預(yù)測采用圖像修復(fù)算法實現(xiàn)；對不可修復(fù)區(qū)域預(yù)測采用區(qū)域均值或默認(rèn)值實現(xiàn)；步驟4 :進(jìn)行率失真優(yōu)化算法。而且，所述步驟I中的半像素精度邊緣檢測方法包括以下步驟(I)利用深度圖像X(m，η)求梯度圖像Y(m，η)；(2)將梯度圖像Y(m，η) 二值化得到邊緣圖像Z(m，η)。而且，所述利用深度圖像X(m，η)求梯度圖像Y(m，n)按如下數(shù)學(xué)模型計算Y (2m, 2n) = OY (2m+l, 2n) = |X(m，n)_X(m+l，η) |Y(2m，2n+1) = X (m, n) -X (m, n+1)Y (2m+l, 2n+l) = max (| X (m, n) -X (m+1, n+1) |, X (m+1, n) -X (m, n+1) |)上述四個數(shù)學(xué)模型分別為整像素位置和水平、豎直、對角線邊緣位置；所述的將梯 度圖像Y(m，η) 二值化得到邊緣圖像Z(m，η)采用如下數(shù)學(xué)模型得到
「 ^ 7( 、Jl If Y(u,v)>TZ(M,V) =
[O if Y(u,v)<t其中，τ是由下式確定的閾值τ = mq+0. 6 σ q其中，q表示半像素位置的集合，即q = {7(2 + 1,2/77),7(2 ,2/77 +1),7(2 + 1,2/77 + 1)} /m,n > O其中，m,和σ ,分表表示該集合的均值和標(biāo)準(zhǔn)差。而且，所述步驟I中的邊緣圖像采用專門用于無損壓縮二值圖像的編碼標(biāo)準(zhǔn)JBIG 進(jìn)行壓縮，壓縮采用工具JBIG-KIT作為標(biāo)準(zhǔn)的實現(xiàn).
而且，所述步驟2中邊緣的區(qū)域劃分處理采用區(qū)域生長算法實現(xiàn)，該算法是將待預(yù)測的宏塊劃分為以塊內(nèi)的邊緣和塊邊界為邊界的若干小區(qū)域假設(shè)中心像素位于X(m，η)中的(m,n)處,則候選像素位于(m,n_l)、(m_l,n)、(m+l,n)、(m,n+l)處,而 Z (2m, 2n_l)、Z(2m-l，2n)、Z(2m+l，2n)、Z(2m，2n+1)分別代表著中心像素和候選像素之間潛在的半像素邊緣位置，如果上述4個值中有一個或多個為O,就說明相應(yīng)的候選像素和中心像素之間不存在邊緣，將對應(yīng)的候選像素加入到中心像素所屬的區(qū)域。而且，所述步驟2中的邊緣優(yōu)化處理是將區(qū)域內(nèi)邊緣去除并且只保留不同區(qū)域之間的邊緣。而且，所述步驟3中的圖像修復(fù)算法采用快速圖像修復(fù)算法方法實現(xiàn)，該快速圖像修復(fù)算法以自適應(yīng)預(yù)測初始值作為解拉普拉斯方程的初始條件，該自適應(yīng)預(yù)測初始值為采用區(qū)域所包含的預(yù)測子的均值作為區(qū)域內(nèi)像素的初始值，對于可修復(fù)區(qū)域R，那么區(qū)域R中待預(yù)測像素的初始值Cckk為Cor = mean(f * | dR) 其中mean O表示取均值。而且，所述步驟4中的率失真優(yōu)化算法包括以下步驟(I)根據(jù)預(yù)測塊內(nèi)的邊緣規(guī)則選擇采用的幀內(nèi)預(yù)測模式如果塊內(nèi)的邊緣是規(guī)則的，或者與固定預(yù)測模式中的某種預(yù)測方向一致，那么采用傳統(tǒng)預(yù)測模式，否則采用新預(yù)測模式；(2)如果采用新預(yù)測模式，除了預(yù)測失真、編碼殘差的碼率外，還將包括編碼當(dāng)前塊邊緣、預(yù)測標(biāo)記、當(dāng)前塊預(yù)測均值的碼率的輔助信息計入率失真代價函數(shù)，上述輔助信息將被保留并傳輸?shù)浇獯a端；否則，將上述輔助信息全部清除。本發(fā)明的優(yōu)點和積極效果是本發(fā)明采用邊緣信息作為幀內(nèi)預(yù)測的輔助信息，提高了不規(guī)則區(qū)域的預(yù)測效果，同時由于深度圖像中的邊緣十分重要，編碼邊緣信息也對改善視點合成效果有重要意義。同時本發(fā)明采用半像素精度的邊緣，避免了邊緣像素自身所屬的區(qū)域無法明確界定的問題，使區(qū)域劃分的結(jié)果更為精確。對于包含預(yù)測子的可修復(fù)區(qū)域，使用拉普拉斯方程進(jìn)行預(yù)測，該修復(fù)算法復(fù)雜度相對較低，由于深度圖像幾乎是無紋理的，因此采用此種方法預(yù)測效果良好。對于不可使用圖像修復(fù)算法的區(qū)域，采用均值或默認(rèn)值進(jìn)行預(yù)測，對于深度圖像，很多區(qū)域內(nèi)的像素值為恒定或者緩慢變化，因此預(yù)測效果良好，遠(yuǎn)優(yōu)于使用H. 264/AVC的常規(guī)預(yù)測模式。最后，本針對圖像修復(fù)算法較慢的問題，提出了相應(yīng)的快速圖像修復(fù)算法，使得在保證壓縮后圖像質(zhì)量的情況下預(yù)測的時間效率大大提高，增強(qiáng)了幀內(nèi)預(yù)測方法的實用性。
圖I為半像素精度邊緣檢測示意圖(閾值為3. 42)；圖2為區(qū)域生長算法流程圖；圖3為邊緣優(yōu)化結(jié)果視圖；圖4為像修復(fù)算法的基本場景視圖；圖5為最優(yōu)模式選擇流程圖；圖6為深度圖像幀內(nèi)預(yù)測流程圖7為深度圖像壓縮的PSNR曲線圖；圖8為Ballet序列深度圖像壓縮主觀質(zhì)量示意圖；圖9為合成視點的PSNR曲線圖；圖10為Ballet序列合成視點的主觀質(zhì)量示意圖。
具體實施例方式以下結(jié)合附圖對本發(fā)明實施例做進(jìn)一步詳述一種基于半像素精度邊緣和圖像修復(fù)的深度圖像幀內(nèi)預(yù)測方法，從深度圖像缺少紋理、邊緣銳利的特點出發(fā)，利用半像素精度的邊緣將待預(yù)測的塊分割成不同的小區(qū)域，而、每個區(qū)域內(nèi)部的深度是恒定的或者線性變化的，這些區(qū)域內(nèi)的深度值可以用圖像修復(fù)算法進(jìn)行比較精確的預(yù)測。對于一些不可使用圖像修復(fù)算法的區(qū)域，則提出使用區(qū)域均值或者默認(rèn)值進(jìn)行預(yù)測。對于塊內(nèi)區(qū)域形狀不規(guī)則的情況，上述方法相較于H. 264/AVC中簡單的方向性預(yù)測，其預(yù)測效果有較明顯的改善。同時，由于該方法也是基于塊進(jìn)行處理，因此可以很方便地集成到H. 264/AVC的幀內(nèi)預(yù)測框架中，作為一種獨立的預(yù)測模式，這樣通過率失真優(yōu)化，就能在當(dāng)前算法預(yù)測效果不佳或編碼代價過大時仍然采用傳統(tǒng)的預(yù)測模式。本深度圖像幀內(nèi)預(yù)測方法包括以下步驟步驟I :在深度圖像中進(jìn)行半像素精度邊緣檢測得到邊緣圖像設(shè)原始深度圖像為X(m，η)，其大小為MXN;梯度圖像為Y(m，η)，其大小為(2Μ-1) X (2Ν-1);邊緣圖像為 Z(m，η)，其大小為(2Μ-1) X (2Ν-1)。Y(m，η)和 Z(m，η)中所有坐標(biāo)為(2m，2n)> O的像素與x(m，η)中坐標(biāo)為(m,n)的像素相對應(yīng)。求邊緣圖像Z (m，η)的具體步驟為I、利用深度圖像X(m，n)求梯度圖像Y(m，n)Y (2m, 2n) = OY (2m+l, 2n) = X(m, n)-X (m+1, n)Y(2m，2n+1) = X (m, n) -X (m, n+1)Y (2m+l, 2n+l) = max (| X (m, n) -X (m+1, n+1) |, X (m+1, n) -X (m, n+1) |)第一個公式表示與原始像素的對應(yīng)位置，即整像素位置，其必定不是邊緣。后三個公式表示半像素精度的位置，可能存在邊緣，如果存在邊緣則分別是水平、豎直、對角線邊緣。2、將梯度圖像Y(m，η) 二值化得到邊緣圖像Z (m，η)
r π、Jl if Y(u,v)>tZ(M,V) =
[O if Y(u,v)<t其中，τ是由下式確定的閾值τ = mq+0. 6 σ q其中，q表示半像素位置的集合，即q = {7(2 + 1,2/77),7(2 ,2/77 +1),7(2 + 1,2/77 + 1)} /m,n > O其中，和σ ^分表表不該集合的均值和標(biāo)準(zhǔn)差。
圖I給出了一個檢測半像素精度邊緣的例子，圖I (a)為深度圖像；圖I (b)為梯度圖像，圖1(c)為邊緣圖像。在圖中，較大的方框表示原始像素(在圖1(b)、圖1(c)中是原始像素對應(yīng)位置)，較小的方框表示半像素位置。從圖中可以看出在最終的結(jié)果中檢測出一條水平的半像素精度邊緣，這與圖1(a)中的直觀印象(黑色粗線)是一致的。3、對邊緣圖像進(jìn)行編碼本步驟選擇專門用于無損壓縮二值圖像的編碼標(biāo)準(zhǔn)JBIG對提取出的邊緣圖像進(jìn)行壓縮，壓縮采用工具JBIG-KIT作為標(biāo)準(zhǔn)的實現(xiàn)。為了進(jìn)一步提高效率，對JBIG-KIT的代碼做了下面優(yōu)化(I)該工具生成后綴為jbg”的文件，文件具有20字節(jié)的頭部，其中包括圖像的寬和高以及其他一些編碼配置參數(shù)。對于這些編碼參數(shù)通?？梢圆捎闷淠J(rèn)值，而邊緣圖的寬和高可以由深度圖的寬和高導(dǎo)出，這樣一來這個頭部并不是必需的，可以將其省略。
(2)根據(jù)JBIG標(biāo)準(zhǔn)，在編碼時會將一幅圖像分成若干條帶，各條帶獨立編碼，之間填充有分隔符。JBIG-KIT的條帶數(shù)目的選取是自適應(yīng)的，本發(fā)明將條帶數(shù)目強(qiáng)制設(shè)為1，以節(jié)省分隔符占用的比特。步驟2 :根據(jù)邊緣圖像進(jìn)行邊緣的區(qū)域劃分處理和邊緣優(yōu)化處理在本步驟中，邊緣的區(qū)域劃分采用區(qū)域生長算法實現(xiàn)，將待預(yù)測的宏塊劃分為以塊內(nèi)的邊緣和塊邊界為邊界的若干小區(qū)域假設(shè)中心像素位于X(m，η)中的(m，n)處，則候選像素位于(m,n-l), (m-l,n), (m+1,η), (m,n+l)處。而 Z (2m, 2η_1), Z (2m_l, 2η), Z (2m+l,2η)，Z(2m，2n+1)代表著中心像素和候選像素之間潛在的半像素邊緣位置。如果上述4個值中有一個或多個為0，就說明相應(yīng)的候選像素和中心像素之間不存在邊緣，因此可以將對應(yīng)的候選像素加入到中心像素所屬的區(qū)域(如果候選像素在當(dāng)前塊內(nèi)的話)。如圖2所示，區(qū)域生長算法包括以下步驟(I)依次掃描塊中的所有像素，如果有像素尚未處理，則將未處理的像素作為一個種子點進(jìn)行區(qū)域生長，即執(zhí)行步驟(2) 6);否則結(jié)束算法；(2)將當(dāng)前像素標(biāo)記為已處理的；(3)以當(dāng)前像素為中心像素，依次訪問中心像素的4鄰域像素(將其命名為候選像素)，如果候選像素尚未訪問完畢，執(zhí)行步驟(4) (5)，否則轉(zhuǎn)步驟(6)；(4)如果候選像素尚未處理并且和中心像素之間不存在邊緣或塊邊界，則將該像素歸并到中心像素所屬的區(qū)域中并轉(zhuǎn)步驟(2);(5)轉(zhuǎn)步驟(3);(6)如果中心像素不是種子點，返回；否則轉(zhuǎn)步驟⑴。上述區(qū)域生長算法是一個遞歸過程，從一個種子點出發(fā)的一次區(qū)域生長將劃分出一個區(qū)域。第(4)步中的“轉(zhuǎn)步驟(2)”實際上是進(jìn)行下一層遞歸調(diào)用，而返回上一層遞歸調(diào)用在第(6)步中的“返回”，注意第(6)步返回的實際上是上一層的第(4)步，返回后上層的第(4)步已結(jié)束，將繼續(xù)執(zhí)行上層的第(5)步。下面詳細(xì)闡述第⑷步中邊緣圖像的使用方法假設(shè)中心像素位于X(m，η)中的(m,n)處,則候選像素位于(m,n-l), (m_l,n), (m+1,η), (m,n+l)處。而Z(2m,2n_l),Z(2m_l,2n)，Z(2m+l，2n)，Z(2m，2n+l)代表著中心像素和候選像素之間潛在的半像素邊緣位置。如果上述4個值中有一個或多個為O,就說明相應(yīng)的候選像素和中心像素之間不存在邊緣,因此可以將對應(yīng)的候選像素加入到中心像素所屬的區(qū)域(如果候選像素在當(dāng)前塊內(nèi)的話)。對邊緣的區(qū)域劃分后，并非所有的邊緣都位于區(qū)域的交界處，也有一些邊緣是處于區(qū)域內(nèi)部的。對于區(qū)域內(nèi)部的邊緣，并不能真正起到劃分區(qū)域的作用，而本發(fā)明的預(yù)測是按區(qū)域進(jìn)行的，因此從預(yù)測的角度來看，這些區(qū)域內(nèi)邊緣存在的意義不大；另一方面，這些區(qū)域內(nèi)部的邊緣往往呈“碎片”狀，它們的存在加劇了邊緣的不規(guī)則性，而JBIG-KIT編碼這些“碎片”狀邊緣的效率遠(yuǎn)低于編碼長的、連續(xù)的邊緣。因此從編碼的角度來說，去掉這些區(qū)域內(nèi)邊緣可以在一定程度上減小編碼邊緣信息的開銷。因此，在進(jìn)行區(qū)域劃分后，還需要進(jìn)行邊緣優(yōu)化，即將指區(qū)域內(nèi)邊緣去除，只保留位于不同區(qū)域之間的邊緣，這些邊緣被認(rèn)為是能切實起到劃分區(qū)域的作用。邊緣優(yōu)化的具體方法是依次訪問每一個邊緣像素，考察與其最鄰近的原始像素(對于水平或豎直邊緣，有2個最鄰近的原始像素；對于對角線邊緣，有4個最鄰近的原始像素)，如果它們都屬于同一個區(qū)域，則該邊緣像素屬于區(qū)域內(nèi)邊緣，圖3給出了進(jìn)行邊緣優(yōu)化的結(jié)果。步驟3 :根據(jù)待預(yù)測的區(qū)域是否包含預(yù)測子分為可修復(fù)區(qū)域和修復(fù)區(qū)域，對可修復(fù)區(qū)域預(yù)測采用圖像修復(fù)算法實現(xiàn)；對不可修復(fù)區(qū)域預(yù)測采用區(qū)域均值或默認(rèn)值實現(xiàn)。本步驟根據(jù)待預(yù)測的區(qū)域是否包含預(yù)測子分為可修復(fù)區(qū)域和不可修復(fù)區(qū)域，可修復(fù)區(qū)域是指包含預(yù)測子的區(qū)域，不可修復(fù)區(qū)域是指不含有預(yù)測子的區(qū)域。所謂的預(yù)測子是指用于幀內(nèi)預(yù)測的重構(gòu)像素。I、對可修復(fù)區(qū)域預(yù)測采用圖像修復(fù)算法實現(xiàn)圖像修復(fù)算法的基本場景如圖4所示?，F(xiàn)在考慮待預(yù)測區(qū)域R，它的部分邊界(由O 9，17 26號預(yù)測子構(gòu)成)是已知的，記為dR，將像素值看做像素坐標(biāo)的二元函數(shù)，記f為待預(yù)測的像素值，f*為已重構(gòu)的像素值。那么利用圖像修復(fù)算法進(jìn)行預(yù)測的目標(biāo)就是已知函數(shù)f在故上的取值為找一個滿足某種條件的R上的函數(shù)f。其中的“已知”部分通常稱為邊界條件，圖像修復(fù)算法必須要有已知的邊界條件才能進(jìn)行，這也是區(qū)別對待可修復(fù)區(qū)域與不可修復(fù)區(qū)域的原因。而“某種條件”一般是對待預(yù)測區(qū)域性質(zhì)的某種期望，它直接決定算法的具體實現(xiàn)和效果。假設(shè)用記號YlX來表示定義域X上的函數(shù)Y，本圖像修復(fù)算法使用的條件為
權(quán)利要求
1.一種基于半像素精度邊緣和圖像修復(fù)的深度圖像幀內(nèi)預(yù)測方法，其特征在于包括以下步驟 步驟I:在深度圖像中進(jìn)行半像素精度邊緣檢測得到邊緣圖像； 步驟2 :根據(jù)邊緣圖像進(jìn)行邊緣的區(qū)域劃分處理和邊緣優(yōu)化處理； 步驟3 :根據(jù)是否包含預(yù)測子將待預(yù)測的區(qū)域分為可修復(fù)區(qū)域和不可修復(fù)區(qū)域，對可修復(fù)區(qū)域預(yù)測采用圖像修復(fù)算法實現(xiàn)；對不可修復(fù)區(qū)域預(yù)測采用區(qū)域均值或默認(rèn)值實現(xiàn)； 步驟4:進(jìn)行率失真優(yōu)化算法。
2.根據(jù)權(quán)利要求I所述的基于半像素精度邊緣和圖像修復(fù)的深度圖像幀內(nèi)預(yù)測方法，其特征在于所述步驟I中的半像素精度邊緣檢測方法包括以下步驟 (1)利用深度圖像X(m，n)求梯度圖像Y(m，n)； (2)將梯度圖像Y(m，n)二值化得到邊緣圖像Z(m，n)。
3.根據(jù)權(quán)利要求I所述的基于半像素精度邊緣和圖像修復(fù)的深度圖像幀內(nèi)預(yù)測方法，其特征在于所述利用深度圖像X(m，n)求梯度圖像Y(m，n)按如下數(shù)學(xué)模型計算
4.根據(jù)權(quán)利要求I所述的基于半像素精度邊緣和圖像修復(fù)的深度圖像幀內(nèi)預(yù)測方法，其特征在于所述步驟I中的邊緣圖像采用專門用于無損壓縮二值圖像的編碼標(biāo)準(zhǔn)JBIG進(jìn)行壓縮，壓縮采用工具JBIG-KIT作為標(biāo)準(zhǔn)的實現(xiàn)。
5.根據(jù)權(quán)利要求I所述的基于半像素精度邊緣和圖像修復(fù)的深度圖像幀內(nèi)預(yù)測方法，其特征在于所述步驟2中邊緣的區(qū)域劃分處理采用區(qū)域生長算法實現(xiàn)，該算法是將待預(yù)測的宏塊劃分為以塊內(nèi)的邊緣和塊邊界為邊界的若干小區(qū)域假設(shè)中心像素位于X(m，n)中的(m, n)處,則候選像素位于(m, n_l)、(m_l, n)、(m+1, n)、(m, n+1)處,而 Z(2m,2n_l)、Z (2m-l,2n)、Z (2m+l,2n)、Z (2m, 2n+l)分別代表著中心像素和候選像素之間潛在的半像素邊緣位置，如果上述4個值中有一個或多個為0,就說明相應(yīng)的候選像素和中心像素之間不存在邊緣，將對應(yīng)的候選像素加入到中心像素所屬的區(qū)域。
6.根據(jù)權(quán)利要求I所述的基于半像素精度邊緣和圖像修復(fù)的深度圖像幀內(nèi)預(yù)測方法，其特征在于所述步驟2中的邊緣優(yōu)化處理是將區(qū)域內(nèi)邊緣去除并且只保留不同區(qū)域之間的邊緣。
7.根據(jù)權(quán)利要求I所述的基于半像素精度邊緣和圖像修復(fù)的深度圖像幀內(nèi)預(yù)測方法，其特征在于所述步驟3中的圖像修復(fù)算法采用快速圖像修復(fù)算法方法實現(xiàn)，該快速圖像修復(fù)算法以自適應(yīng)預(yù)測初始值作為解拉普拉斯方程的初始條件，該自適應(yīng)預(yù)測初始值為采用區(qū)域所包含的預(yù)測子的均值作為區(qū)域內(nèi)像素的初始值，對于可修復(fù)區(qū)域R，那么區(qū)域R中待預(yù)測像素的初始值Cckk為Cor= mean{f* | SR) 其中mean ()表示取均值。
8.根據(jù)權(quán)利要求I所述的基于半像素精度邊緣和圖像修復(fù)的深度圖像幀內(nèi)預(yù)測方法，其特征在于所述步驟4中的率失真優(yōu)化算法包括以下步驟 (1)根據(jù)預(yù)測塊內(nèi)的邊緣規(guī)則選擇采用的幀內(nèi)預(yù)測模式如果塊內(nèi)的邊緣是規(guī)則的，或者與固定預(yù)測模式中的某種預(yù)測方向一致，那么采用傳統(tǒng)預(yù)測模式，否則采用新預(yù)測模式； (2)如果采用新預(yù)測模式，除了預(yù)測失真、編碼殘差的碼率外，還將包括編碼當(dāng)前塊邊緣、預(yù)測標(biāo)記、當(dāng)前塊預(yù)測均值的碼率的輔助信息計入率失真代價函數(shù)，上述輔助信息將被保留并傳輸?shù)浇獯a端；否則，將上述輔助信息全部清除。
全文摘要
本發(fā)明公開了一種基于半像素精度邊緣和圖像修復(fù)的深度圖像幀內(nèi)預(yù)測方法，其主要技術(shù)特點是包括以下步驟1、在深度圖像中進(jìn)行半像素精度邊緣檢測得到邊緣圖像；2、根據(jù)邊緣圖像進(jìn)行邊緣的區(qū)域劃分處理和邊緣優(yōu)化處理；3、根據(jù)是否包含預(yù)測子將待預(yù)測的區(qū)域分為可修復(fù)區(qū)域和不可修復(fù)區(qū)域，對可修復(fù)區(qū)域預(yù)測采用圖像修復(fù)算法實現(xiàn)；對不可修復(fù)區(qū)域預(yù)測采用區(qū)域均值或默認(rèn)值實現(xiàn)；4、率失真優(yōu)化算法。本發(fā)明提高了不規(guī)則區(qū)域的預(yù)測效果，避免了邊緣像素自身所屬的區(qū)域無法明確界定的問題，使區(qū)域劃分的結(jié)果更為精確，在保證壓縮后圖像質(zhì)量的情況下提高了預(yù)測的時間效率，增強(qiáng)了幀內(nèi)預(yù)測方法的實用性。
文檔編號H04N13/00GK102685530SQ20121012092
公開日2012年9月19日 申請日期2012年4月23日 優(yōu)先權(quán)日2012年4月23日
發(fā)明者葉鋒, 姜竹青, 張鑫明, 楊波, 林立翔, 王中平, 王遠(yuǎn), 秦婕, 肖賀, 邸金紅, 門愛東, 陳景暉, 陳智豐, 韓睿 申請人:北京郵電大學(xué)