基于jnd因子的超像素高斯濾波預處理方法

基于jnd因子的超像素高斯濾波預處理方法
【技術領域】
[0001] 本發明涉及視頻預處理領域，特別是涉及到基于JND因子的超像素高斯濾波預處 理方法。 技術背景
[0002] 隨著信息技術的發展，尤其是高清視頻和移動互聯網的發展，多媒體視頻的數量 以及需求呈現快速的膨脹。新一代視頻編碼標準HEVC的發展較上一代的標準已經降低了 50%的碼率，發展下一代新的視頻編碼標準并帶到實際的應用中仍然需要較長的發展時間， 而通過結合視頻預處理的技術，可以明顯地提升視頻編碼的效率和提升其主觀質量。
[0003] 視頻預處理技術是在視頻進行編碼前，對其進行的一系列處理操作，主要目的是 為了降低碼率和提升質量。經過多年的研宄發展，視頻預處理技術主要包括傳統的濾波、插 值和去隔行等方法。基于感興趣區域的編碼和JND相結合的預處理方法都可以有效地提升 視頻編碼的質量和效率。
[0004] 在常見的濾波操作中，可以濾除引入的噪聲，同時也可以去除視覺冗余信息。然而 整幅圖像中人眼對各個區域的敏感程度不同，每個區域的平滑度和紋理復雜度也不相同， 在常用的濾波操作中，雖然可以明顯地降低碼率，但是也會帶來嚴重的主觀質量的下降。

【發明內容】

[0005] 本發明所要解決的技術問題是，提供一種基于JND因子的超像素高斯濾波預處理 方法，以便能帶來明顯的碼率的下降而不引起主觀質量的損失。
[0006] 為解決上述技術問題，本發明采用如下技術方案：一種基于JND因子的超像素高 斯濾波預處理方法，其包括如下步驟： 步驟一、讀入視頻圖像數據：逐幀讀入視頻圖像數據進行處理； 步驟二、超像素劃分：基于SLIC超像素方法將該圖像分割成為預定大小且由相似像素 組成的超像素，使得每個超像素內的各像素具有相似的平滑度和紋理區域； 步驟三、JND因子計算：計算超像素內每個像素點的基于視覺信息的JND因子并獲得其 平均值，并得出該平均值與圖像紋理和平滑度的關聯，所計算的JND因子為加權亮度平均 差； 步驟四、超像素的自適應高斯濾波：根據超像素內JND因子的平均值確定該超像素的 高斯濾波參數，再采用所述高斯濾波參數對對應的超像素進行高斯濾波操作，即獲得預處 理后的視頻幀。
[0007] 進一步地，步驟三中，所述JND因子的計算公式為：
而訴（〖,/)為濾波器，/(X..V)表示(+Y,V)位置的像素值。
[0008] 進一步地，步驟四中，根據超像素內JND因子的平均值并采用如下階梯函數公式 確定該超像素的高斯濾波參數：
其中，5；表示該超像素區域內的像素的JND因子的平均值，Treshold1(we，和 TresholduppOT為設定的該平均值的兩個閾值，而b和c為該梯度函數的常量參數。
[0009] 進一步地，步驟四中，超像素的邊界區域綜合所屬超像素的系數的平均和。
[0010] 通過采用上述技術方案，本發明具有以下技術效果：本發明通過將圖像分割為相 似像素組成的超像素，由于每個超像素內的像素具有相似的平滑度和紋理區域，因此進行 濾波操作時，以超像素為單位，即超像素內的所有像素享有相同的濾波強度；并基于視覺的 JND因子與圖像平滑度關聯，確定超像素高斯濾波參數進行濾波處理，而且本發明將超像素 內的JND因子的平均值與高斯濾波方差關聯起來，量化決定超像素進行高斯濾波操作的方 差，該方差隨著超像素的紋理和平滑度能自適應變化。從而，本發明最終可以通過結合人眼 對圖像區域的敏感程度對視頻進行自適應的濾波操作，可以帶來明顯的碼率的下降而不引 起主觀質量的損失，在碼率上，相同參數下獲得了平均9. 3%、最高29%的碼率下降，并且主 觀質量無明顯下降。
【附圖說明】
[0011] 圖1是本發明基于JND因子的超像素高斯濾波預處理方法的框架圖。
[0012] 圖2是本發明一實施例中將視頻幀劃分為平均大小為16x16的超像素的示意圖。
[0013] 圖3是本發明計算加權亮度平均值的濾波器示意圖。
[0014] 圖4是本發明基于加權亮度平均值的重建圖。
[0015] 圖5是本發明加權亮度平均值重建圖三個選取區域值。
[0016] 圖6是本發明lena圖像以及三個區域的高斯濾波對比。
[0017] 圖7是本發明預處理后的圖像主觀質量與原始圖像。
【具體實施方式】
[0018] 需要說明的是，在不沖突的情況下，本申請中的實施例及實施例中的特征可以相 互結合，下面結合附圖和具體實施例對本發明作進一步詳細說明。
[0019] 所述預處理方法的實施是基于一個基于JND因子的超像素高斯濾波預處理系統， 而該系統包含三個主要模塊：一個基于SLIC超像素（Superpixel)的圖像分割模塊，一個基 于視覺的JDN因子計算模塊，一個基于JND因子的適應高斯濾波模塊。
[0020] 本發明提供一種基于JND因子的超像素高斯濾波預處理方法，主要步驟如下： 步驟一、讀入視頻圖像數據：逐幀讀入視頻圖像數據進行處理； 步驟二、超像素劃分：采用基于SLIC超像素（Superpixel)的方法將該圖像分割成為預 定大小的超像素； 步驟三、JND因子計算：計算超像素內每個像素點的基于視覺信息的JND因子(加權亮 度平均差）并獲得其平均值，并得出該平均值與圖像紋理和平滑度的關聯； 步驟四、超像素的自適應高斯濾波：根據超像素內JND因子的平均值確定該超像素的 高斯濾波參數，再采用所述高斯濾波參數對對應的超像素進行高斯濾波操作，其中，超像素 的邊界區域綜合所屬超像素的系數的平均和。
[0021] 在具體實施時，步驟一中，在讀入視頻幀時，不需要考慮前后幀之間的時域相關信 息。
[0022] 而在步驟二中，優選采用基于SLIC超像素的方法(可參考Achanta R，Shaji A, Smith K, et al. SLIC superpixels compared to state-of-the-art superpixel methods[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012，34(11) : 2274-2282.)將圖像分割成平均大約為16x16大小(一個宏塊大小）的超像 素，當然，根據實際情況及需求，也可以考慮將超像素的大小設定為其他數值。由圖2可以 看出，圖像被分割為由相似像素組成的超像素，每個超像素內的像素都有相似的平滑度和 紋理區域。
[0023] 實施步驟三時，在現有的JND計算方法中，JND主要包含兩個因子，分別是平均 背景亮度和加權亮度平均差，本發明采用加權亮度平均差G (x，y)(具體的計算方法可 以參考以下文獻：文獻 1、Yang X, Lin ff, Lu Z, et al. Motion-compensated residue preprocessing in video coding based on just-noticeable-distortion profile[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2005, 15(6): 742-752.;文獻2、Chou C H, Li Y C. A perceptually tuned subband image coder based on the measure of just-noticeable-distortion profile[J]. IEEE Transactions on Circuits and Systems for Video Technology, 1995, 5(6): 467-476.)，其計算公式如 下：
而為濾波器，?TCf)表示(I,