一種3d-jnd閾值計算方法
【技術領域】
[0001] 本發明屬于立體圖像/視頻編碼技術領域，設及立體感知失真建模技術。
【背景技術】
[0002] 傳統的圖像/視頻編碼技術主要針對去除空域和時域統計冗余進行壓縮編碼， 較少考慮圖像/視頻中的視覺冗余。為了進一步提高編碼效率，研究人員開始了致力于 去除視覺冗余的研究。目前一個表征視覺冗余的有效方法就是恰可察覺失真模型CJust notice油ledifference,JND)。傳統的二維JND模型（2D-JND)主要考慮亮度掩蓋效應、對 比度掩蓋效應、多通道分解機制等視覺特性，如文獻1的NAMM模型狂.Yang,W.Lin,Z.Lu，E. P.Ong,andS.Yao,Just-noticeable-distortionprofilewithnonlinearadditivity modelforperceptualmaskingcolorimages"，IEEETrans.CircuitsSyst.VideoTech nol. ,vol. 15,no. 6,卵742-752,Jun. 2005)。
[0003] 隨著立體圖像/視頻應用的日益普及，S維JND模型（3D-JND)受到了越來越多 的關注。立體圖像/視頻除了能夠提供觀看者=維場景的彩色信息，還提供了 =維場景的 空間立體深度信息，因此在3D-JND建模的過程中不僅僅要考慮2D-JND建模的主要因素， 更要考慮人眼視覺系統立體深度感知相關的特性。經典的3D-JND模型通過研究人眼視覺 系統由于雙目抑制效應引起的左右眼亮度自適應和對比度掩蓋等效應的不同，建立非對稱 的雙目JND模型。如文獻2的JJND模型狂.Li，Y.Wang，etal."化int化stnotice油le differencemodelbasedondepthperceptionforstereoscopicimages"，inProc. IE邸VisualCommunicationsandImageProcessing(VCIF〇 , 2011:1-4.)。該模型基于深 度信息重點考慮了人眼對左右視圖中重疊區域的敏感度，但該模型并沒有考慮人眼的立體 視覺注意特性。
[0004] 由于視覺注意研究的發展，近年來，研究人員開始在JND建模的過程中考慮人眼 視覺注意機制對JND闊值的影響。如文獻3 (D.aiang,L.Gao,D.Zang,andY.Sun,"AJND ProfileBasedonHierarchicallySelectiveAttentionforImages",inProc. 2013 IE邸InternationalSymposiumonMultimedia(ISM),I邸E, 2013:263-266.)在 2D-JND建 模過程中，基于二維層次選擇性注意模型和紋理的掩蔽效應模型建立了多層次的調制函 數，對傳統的2D-JND闊值進行調制，從而建立更加精確的2D-JND模型。由于該模型在視覺 注意建模過程中并沒有考慮立體深度該一重要信息，因而此模型不能直接用于3D-JND建 模。文獻 4 (R.Zhong,R.Hu,etal."Justnoticeabledifferencefor3Dimageswith depthsaliency",inProc.AdvancesinMultimediaInformationProcessing-PCM 2012.SpringerBerlinHeide化erg, 2012:414-423.)在傳統 2D-JND模型NAMM的基礎上融 合深度顯著建立了 3D-JND模型。但該模型僅利用了立體圖像的深度信息建立顯著度模型， 沒有考慮彩色等二維特征對立體顯著度建模的影響。而且該模型沒有考慮雙目立體視覺中 的另一重要特性，即雙目抑制效應，因而該模型精度有待進一步提高。
【發明內容】
[0005] 本發明的目的在于提供一種3D-JND闊值計算方法，尤其是基于多層次立體選擇 注意及雙目抑制效應的3D-JND闊值計算方法。
[0006] 為達到上述目的，本發明的解決方案是；首先考慮人眼視覺系統在觀看立體場景 過程中遵循由遠及近、由粗到細的多層次選擇性視覺注意機制，構建了基于顏色、亮度W及 深度特征的四元數，通過在不同分辨率下對所構建的四元數進行基于相位譜的四元傅里葉 變換（PQFT)，建立多層次立體選擇注意模型，并基于此模型構建多層次的顯著區域調制函 數，分別對立體圖像主視圖和輔視圖的2D-JND闊值進行調制；然后進一步考慮雙目抑制效 應，針對輔視圖中的遮擋和非遮擋區域建立分區域調制函數，對輔視圖的JND闊值進行進 一步調制，從而建立更符合雙目立體視覺特性的非對稱的3D-JND模型。
[0007] 進一步，采用W下步驟：
[0008] 步驟S1;對原始的左視和右視圖像分別使用傳統2D-JND模型獲取左、右視圖的 JND基礎闊值。
[0009] 步驟S2;根據輸入圖像的大小設置用于多層次選擇特性建模的層次值L;
[0010] 步驟S3 ;考慮多層次立體選擇注意機制，構建左右視圖不同層次顯著度計算所需 要的彩色圖像和深度圖像，將原始左右視角彩色圖像和其所對應的深度圖像分別下采樣到 不同的分辨率，即原始圖像分辨率的倍大小。不同層次下采樣前的深度圖像獲取 過程如下；在第k化=1~L)層時，圖像分辨率為原始分辨率的（1/2)W倍大小，其對應的 深度值為原始分辨率所對應的實際深度值的k倍，即dk(x，y) =d"g(x，y)*k，其中，dk(x，y) 為第k層（x，y)點處的深度值，d"g(x，y)為原始分辨率下的（x，y)點處的實際深度值，將 dk(x，y)按如下公式進行映射變換，得到第K層下采樣前的深度圖。
[0011]
【主權項】
1. 一種3D-JND閾值計算方法，其特征在于：同時考慮人眼視覺系統在觀看立體場景過 程中遵循由遠及近、由粗到細的多層次立體選擇注意機制，以及雙目立體視覺的雙目抑制 效應這兩個因素進行3D-JND建模。
2. 根據權利要求1所述的方法，其特征在于： 考慮多層次選擇性視覺注意機制：構建基于顏色、亮度以及深度特征的四元數，通過在 不同分辨率下對所構建的四元數進行基于相位譜的四元傅里葉變換，建立多層次立體選擇 注意模型，并基于此模型構建多層次的顯著區域調制函數，分別對立體圖像主視圖和輔視 圖的2D-JND閾值進行調制。
3. 根據權利要求1所述的方法，其特征在于： 考慮雙目抑制效應，針對輔視圖中的遮擋和非遮擋區域建立分區域調制函數，對輔視 圖的JND閾值進行進一步調制，從而建立更符合雙目立體視覺特性的非對稱的3D-JND模 型。
4. 根據權利要求3所述的方法，其特征在于： 在主視圖質量得到保證的前提下可適當降低輔視圖質量而不影響人眼視覺系統對立 體圖像的感知，考慮輔視圖中遮擋區域和非遮擋區域對噪聲的不同感知能力，對輔視圖進 一步建立針對不同區域的依據深度值調整的分區域調制函數。
5. 根據權利要求2所述的方法，其特征在于： 在所建立的多層次立體選擇注意模型基礎上，將不同層次的顯著圖進行嵌套得到綜合 的顯著區域圖，并建立對應的多層次顯著區域調制函數，分別對立體圖像主視圖和輔視圖 的基礎JND閾值進行調制。
6. 根據權利要求1所述的方法，其特征在于：包括： 步驟Sl :對原始的左視和右視圖像分別使用傳統2D-JND模型獲取左、右視圖的JND基 礎閾值； 步驟S2 :根據輸入圖像的大小設置用于多層次選擇特性建模的層次值L ; 步驟S3 :考慮多層次立體選擇注意機制，構建左右視圖不同層次顯著度計算所需要的 彩色圖像和深度圖像，將原始左右視角彩色圖像和其所對應的深度圖像分別下采樣到不同 的分辨率，即原始圖像分辨率的（1/2)°~^倍大小； 步驟S4 :構建基于亮度、顏色以及深度特征的四元數，將顏色特征RG、BY及亮度特征I 作為虛部，深度特征D作為實部，構造的四元數如下式所示： q (x, y) = D (x, y) +RG (x, y) μ !+BY (x, y) μ 2+I (x, y) μ 3 其中，D(x，y)為深度圖在（x，y)點處的值，RG(x，y)、BY(x，y)、I (x，y)分別是 點（x，y)處的紅綠顏色特征值、藍黃顏色特征值及亮度特征值，虛部單位滿足Ui2 =-1，μ21 μ 3, μι丄 μ 3, μ3= μ ιμ2, μι丄 μ 2; 步驟S5 :在不同層次下，對所構建的四元數進行PQFT變換，以獲取左右視角不同層次 的顯著圖，并將左右視角不同分辨率下的顯著圖上采樣到原始圖像分辨率大小； 步驟S6 :使用大津法將每個層次的顯著圖分割為顯著區域和非顯著區域，再將所有分 割后的顯著圖依照層次越小越重要的方式從大到小進行嵌套，得到多層次的顯著分割圖； 步驟S7 :建立多層次顯著區域調制函數，對步驟Sl得到的左右視圖的基礎JND閾值進 行調制； 步驟S8 :考慮雙目抑制效應，選擇左右視角中一個作為輔視，基于輔視角的深度圖及 攝像機相關參數計算其對應視差圖，并在此基礎上對輔視圖進行遮擋區域和非遮擋區域檢 測，得相應的分割圖； 步驟S9 :針對步驟S8中輔視圖的遮擋和非遮擋區域建立調制函數；遮擋區域使用低于 1的調制因子以保證質量，對非遮擋區域建立依賴于深度值的調制函數；并對步驟S7得到 的輔視JND閾值進一步進行分區域調制。
7. 根據權利要求1所述的方法，其特征在于： 步驟S3中，不同層次下采樣前的深度圖像獲取過程如下：在第k(k = 1~L)層時，圖像 分辨率為原始分辨率的（1/2)η倍大小，其對應的深度值為原始分辨率所對應的實際深度 值的k倍，即dk(x，y) = dOTg(x，y)*k，其中，dk(x，y)為第k層（x，y)點處的深度值，dOTg(X，y) 為原始分辨率下的（x，y)點處的實際深度值，將d k(x，y)按如下公式進行映射變換，得到第 k層下采樣前的深度圖：
8. 根據權利要求1所述的方法，其特征在于： 步驟S7中，調制函數公式如下： Fhs (X，y) = 1+ (1-S (X，y)) * a *uk 其中，S(x，y)為基于步驟S6的多層次顯著分割圖對所有層次的顯著圖嵌套后的多層 次顯著圖在（x，y)處的值；α為調制常數；Uk是基于多層次顯著分割圖的第k層的自適應 調制因子，定義如下：
9. 根據權利要求1所述的方法，其特征在于： 步驟S8中，計算公式如下：
其中，V (x，y)是左視角的灰度圖根據左視差圖偏移得到的在（x，y)處的像素值， Y1Xx, y)為右視角的灰度圖在（x，y)處的像素值；Th值為檢測閾值。
10. 根據權利要求1所述的方法，其特征在于： 步驟S9中，在（X，y)點處的區域調制值Fsm(X，y)公式如下：
其中，DnOT(x，y)為深度圖歸一化后在（X，y)處的值，β為小于1的調制因子。
【專利摘要】本發明公開了一種3D-JND閾值計算方法，同時考慮人眼視覺系統在觀看立體場景過程中遵循由遠及近、由粗到細的多層次立體選擇注意機制，以及雙目立體視覺的雙目抑制效應這兩個因素進行3D-JND建模。本發明因為同時考慮了多層次立體選擇注意機制及雙目立體視覺的雙目抑制效應兩個因素進行3D-JND建模，因而相比較于傳統的3D-JND模型更符合人眼的立體視覺系統。本發明提出的計算方法，不但可以容納更多的噪聲，而且具有更好的視覺質量。該模型可以用于3D圖像/視頻的感知編碼，以去除圖像/視頻中的視覺冗余。
【IPC分類】H04N13-00
【公開號】CN104754320
【申請號】CN201510140610
【發明人】張冬冬, 陳勇
【申請人】同濟大學
【公開日】2015年7月1日
【申請日】2015年3月27日