像素域內基于層次選擇性視覺注意力機制的圖像jnd閾值計算方法
【專利摘要】一種像素域內基于層次選擇性視覺注意力機制的圖像JND閾值計算方法,屬于圖像/視頻編碼【技術領域】。采用的技術方案包括步驟:步驟S1:對原始輸入圖像計算背景亮度自適應閾值。步驟S2:對圖像計算基于邊緣的紋理掩蔽閾值。步驟S3:將步驟S1和S2得到的亮度自適應閾值和紋理掩蔽閾值相加,并減去二者重疊的部分,得到基本的JND閾值。步驟S4:根據輸入圖像的大小,設置層次選擇性的層次值。步驟S5:將原始輸入圖像下采樣到不同的分辨率,并在不同的分辨率下對圖像利用PQFT顯著性檢測方法進行顯著圖檢測。步驟S6:將不同分辨率下的顯著圖上采樣到原始圖像分辨率大小。等等。本發明可容納更多的噪聲,且具有更好的視覺質量。
【專利說明】像素域內基于層次選擇性視覺注意力機制的圖像JND閾值計算方法
【技術領域】
[0001]本發明涉及圖像/視頻編碼【技術領域】。
技術背景
[0002]傳統的圖像/視頻編碼技術主要針對空間域冗余、時間域冗余以及統計冗余進行壓縮編碼,但很少考慮到人眼視覺系統特性和心理效應,因此大量視覺冗余數據被編碼并傳輸,為了進一步提高編碼的效率,研究人員開始了致力于去除視覺冗余的研究。目前一個表征視覺冗余的有效方法就是基于心理學和生理學的最小可察覺失真模型,簡稱JND模型,也可稱為恰可察覺失真模型,即人眼不能感知的變化,由于人眼的各種屏蔽效應,人眼只能覺察超過某一閾值的噪聲,該閾值就是人眼的恰可覺察失真,代表著圖像中的視覺冗余度。JND模型常用來指導圖像或視頻的感知編碼和處理,如預處理、自適應量化、碼流控制、運動估計等。
[0003]現有的恰可察覺失真(JND)模型可以大致分為像素域JND模型和變換域內的JND模型,像素域的JND模型由于計算簡單,得到廣泛使用,其基本原理大多是通過表征亮度自適應效應和紋理掩蔽效應來建模,例如文獻I (參見X.Yang,W.Lin,Z.Lu,E.P.0ng,and S.Yao, “Just-noticeable-distortion profile with nonlinear additivitymodel for perceptual masking color images”, IEEE Trans.Circuits Syst.Video Technol.,vol.15,n0.6,pp742_752,Jun.2005)中提出了基于空間域的彩色圖像JND模型,近年來隨著視覺注意力模型的發展,學者們開始提出多種視覺注意力檢測方法,例如文獻2 (L.1tti, C.Koch, E.Niebur, et al., “A model of saliency-based visualattention for rapid scene analysis,,,? IEEE Trans, on Pattern Analysis andMachine Intelligence, vol.20, n0.11, pp.1254 - 1259, 1998.)基于該視覺顯著性檢測模型,有學者開始將視覺注意力機制應用到圖像的JND建模中,例如文獻3(Z.Chen andC.Guillemont, “Perceptually-friendly H.264/AVC video coding based on foveatedjust-noticeable-distortion model,,, IEEE Trans Circuits Syst Video Technol.,vol.20, n0.6, June 2010),該文獻中的JND模型首先通過文獻2中的視覺顯著性模型計算得到圖像的顯著點,然后計算給定像素點和顯著點之間的距離,以及給定像素點相比于顯著點的偏心率,然后基于偏心率和觀測距離的關系,構造了一個調制函數,對文獻I中的JND模型進行調制,得到基于視網膜中央凹的JND模型,但是一方面由于文獻2中的視覺顯著性檢測方法沒有考慮人眼在觀測圖像 過程中的層次選擇性特性,另一方面對于高清圖像,使用基于視網膜偏心率和可視距離關系的調制函數計算得到的調制系數對文獻I中的JND閾值進行調制,可能會由于顯著點和像素點之間的距離較遠而調制超過實際可能容忍的噪聲,所以該模型并不能準確計算人眼對圖像的視覺冗余閾值。相比于文獻2,文獻4 (C.L.Guo and L.M.Zhang, “A novel multiresolution spatiotemporal saliencydection model and its applications in image and video compression,,,IEEE TransImage processing, vol.19, n0.1, Jan 2010)中的 PQFT (Quaternion Fourier phasespectrum)圖像顯著性檢測方法通過在不同的分辨率下計算圖像的顯著區域,能夠很好地模擬人眼在觀測圖像過程中的層次選擇性特性。
【發明內容】
[0004]在現有技術Yang (文獻I)的模型的基礎上本發明結合層次選擇性視覺注意力機制提出了一個新的像素域內圖像JND模型建模方法,通過仔細考慮人眼在觀察圖像過程的層次選擇性視覺注意力機制,并將該視覺注意力機制和基于紋理的掩蔽效應相結合建立了多層次的調制函數,對傳統的JND閾值進行調制,從而建立更加精確的JND模型。
[0005]為此,本發明給出技術方案實施步驟為:
一種像素域的圖像恰可覺察失真度計算方法,采用如下技術方案,包括以下步驟:
步驟S1:對原始輸入圖像計算背景亮度自適應閾值。
[0006]步驟S2:對圖像計算基于邊緣的紋理掩蔽閾值。
[0007]步驟S3:將步驟SI和S2得到的亮度自適應閾值和紋理掩蔽閾值相加,并減去二者重疊的部分,最終得到基本的JND閾值。
[0008]步驟S4:根據輸入圖像的大小,設置層次選擇性的層次值L,在本發明中對于類似于512*512大小的圖像,層次值L=2,對于720 X 1280,L=3,而對于更大的圖像,L=4。
[0009]步驟S5:將原始輸入圖像下采樣到不同的分辨率,該分辨率分別是原始圖像(1/2) 倍大小,并在不同的分辨率下對圖像利用PQFT顯著性檢測方法進行顯著圖檢測。
[0010]步驟S6:將不同分辨率下的顯著圖上采樣到原始圖像分辨率大小。
[0011]步驟S7:利用自適應閾值確定法——大津法得到每個顯著圖的閾值T1,并利用該閾值將顯著圖分割為顯著區域和非顯著區域。
[0012]步驟S8:將所有的分割完后的顯著圖按照從大到小的嵌套方式,得到多層次的顯著性掩蔽圖。
[0013]步驟S9:對原始圖像利用canny邊緣檢測器進行檢測,將圖像分為紋理區,邊緣區,平滑區。
[0014]步驟SlO:基于步驟S8和S9以及S6得到的多層顯著區和紋理等特性,建立多層次的綜合掩蔽調制函數,對S3得到的閾值進行調制,得到最終的JND閾值。
[0015]已知,人眼的視覺系統在視覺注意過程中具有層次選擇性,即視覺注意從物體群組-群組中的物體-物體特征-空間點的由粗到細的層次選擇過程。因此,人眼觀察圖像時首先會捕捉圖片中的全局顯著區域,而后會對全局顯著區域進行從粗到細逐層分析觀察,結合這一生物學性質,本發明提出了一種基于多層次視覺注意檢測的JND模型,本發明方法技術方案為實現發明任務還體現出的貢獻性的關鍵技術要點:
1、針對傳統圖像恰可察覺失真模型沒有考慮層次選擇性視覺注意力機制這個問題,本發明通過在不同分辨率大小下進行顯著性檢測,并將這些顯著圖進行嵌套從而得到多層顯著區域,模擬人眼在觀察圖像過程中從粗到精的觀測過程。
[0016]2、本發明基于人眼在觀察圖像過程中的層次選擇性注意力特性,建立了一個基于多層顯著區域的掩蔽調制函數。
[0017]3、本發明在綜合的掩蔽調制函數中不僅考慮了層次選擇性注意力機制,并且考慮了邊緣區,紋理區以及平滑區對噪聲的不同掩蔽能力。
[0018]4、本發明針對不同分辨率大小的圖像設置不同的層次選擇值,使得本模型可以應用于不同大小的圖像。
[0019]本發明方法的有益效果為:使用考慮了層次選擇性視覺注意力機制的多層次調制函數計算得到的值對傳統的JND閾值進行調制,最終得到更加準確的JND閾值。相比于Yang的計算模型,在保證同樣的視覺主觀質量的前提下,本發明提出的圖像JND閾值計算方法實現的模型可以容納更多的噪聲;相比于Chen的模型,本發明提出的計算方法,不但可以容納更多的噪聲,而且具有更好的視覺質量。
【專利附圖】
【附圖說明】
[0020]圖1是本發明像素域的基于層次選擇性視覺注意力機制的圖像恰可覺察失真度模型框圖。
[0021 ]圖2是本發明實例測試圖像。
[0022]圖3是本發明實例測試圖像在原始圖像分辨率下的顯著圖。
[0023]圖4是本發明實例測試圖像的原始圖像1/2倍大小分辨率下的顯著圖。
[0024]圖5是本發明實例測試圖像在原始分辨率下進行顯著區域分割的圖像。
[0025]圖6是本發明實例測試圖像的原始圖像1/2倍大小分辨率下的顯著區域分割結果。
[0026]圖7是本發明實例測試圖像基于圖5和圖6的嵌套后的多層次顯著區域分割結果。
[0027]圖8是基于canny算子得到的紋理區,平滑區,邊緣區的分塊結果。
[0028]圖9為本發明JND閾值計算方法流程圖。
【具體實施方式】
[0029]下面以具體實例結合附圖對本發明作進一步說明:
本發明提供的實例采用MATLAB7作為仿真實驗平臺,以768*512的bmp彩色圖像(如圖2所示)作為選定的測試圖像,下面結合每個步驟詳細描述本實例:
步驟(1)~(3)計算基本JND閾值,計算方法和現有技術文獻I中Yang等人提出JND模型閾值計算方法相同。
[0030]步驟(1),選定768*512的bmp彩色圖像作為輸入測試的圖像,對圖像計算基于背景亮度的自適應閾值,取背景亮度模型和空間掩膜模型的最大值作為自適應閾值。其計算公式如下:
Ti CXj) = max{ /i(6g(y),h( I )
其中知'UW和分別是背景平均亮度值和背景亮度變化方向加權平均的最大值。而表示空間掩膜模型,由像素周圍的背景平均亮度值和亮度差值決定。它表示紋理區域相對平滑區域能夠容忍更大的失真。^(知和背景亮度、背景亮度變化關系如下:
/)) = mS (X y)<bg(x, 7)) + (bgx, /))( 2 )
【權利要求】
1.一種像素域內基于層次選擇性視覺注意力機制的圖像JND閾值計算方法,采用如下技術方案,包括以下步驟: 步驟S1:對原始輸入圖像計算背景亮度自適應閾值; 步驟S2:對圖像計算基于邊緣的紋理掩蔽閾值; 步驟S3:將步驟SI和S2得到的亮度自適應閾值和紋理掩蔽閾值相加,并減去二者重疊的部分,最終得到基本的JND閾值; 步驟S4:根據輸入圖像的大小,設置層次選擇性的層次值L, 對于類似于512*512大小的圖像,層次值L=2, 對于 720X1280, L=3, 而對于更大的圖像,L=4 ; 步驟S5:將原始輸入圖像下采樣到不同的分辨率,該分辨率分別是原始圖像(1/2)cfH倍大小,并在不同的分辨率下對圖像利用PQFT顯著性檢測方法進行顯著圖檢測; 步驟S6:將不同分辨率下的顯著圖上采樣到原始圖像分辨率大小; 步驟S7:利用自適應閾值確定法得到每個顯著圖的閾值/;.,并利用該閾值將顯著圖分割為顯著區域和非顯著區域; 步驟S8:將所有的分割完后的顯著圖按照從大到小的嵌套方式,得到多層次的顯著性掩蔽圖; 步驟S9:對原始圖像利用canny邊緣檢測器進行檢測,將圖像分為紋理區,邊緣區,平滑區; 步驟SlO:基于步驟S8和S9以及S6得到的多層顯著區和紋理等特性,建立多層次的綜合掩蔽調制函數,對S3得到的閾值進行調制,得到最終的JND閾值。
【文檔編號】H04N19/147GK103607589SQ201310563526
【公開日】2014年2月26日 申請日期:2013年11月14日 優先權日:2013年11月14日
【發明者】張冬冬, 高利晶, 臧笛, 孫杳如 申請人:同濟大學