一種基于視差最小可察覺誤差模型的感知立體視頻編碼的制作方法
【技術領域】
[0001] 本發明屬于視頻處理技術領域，具體涉及一種感知立體視頻編碼方法，特別是一 種基于視差最小可察覺誤差模型的感知立體視頻編碼方法。
【背景技術】
[0002] 由于逼真的視覺體驗需求逐漸增強，近年來3D電視技術的發展十分迅速。由不同 視點的多臺攝像機從不同視角捕獲同一個場景所產生的多視點視頻，可以給用戶帶來更生 動的視覺體驗。然而，隨著攝像機數量的增多，在存儲和傳輸3D立體視頻時所需的存儲空 間和帶寬需要成倍的增加才能保持視頻圖像的質量。因此，有效的立體視頻編碼方法是十 分必要的。
[0003] 立體視頻編碼就是要消除視頻序列的空間、時間和視間冗余等，在不損失視頻質 量的前提下減少碼率。由于視頻信號的最終接收者通常是人類視覺系統（HVS)，所以人類視 覺感知因子和視頻編碼的融合將能夠更好地維持視頻的感知質量。目前，大量的感知視頻 編碼方法被提出。其中結合人類視覺系統掩蔽機能的最小可察覺誤差模型（JND)的編碼方 法起到了重要作用。JND模型通過模擬人類視覺感知冗余得到一個靈敏度閾值，當編碼失真 低于這個閾值時是不能被肉眼所感知的。該失真閾值是每個編碼信號上客觀存在的可用于 重新分配碼率從而達到減少碼率的目的。
[0004] 現有的最小可察覺誤差模型，通常包括像素域JND模型和變換域JND模型。變換域 JND模型考慮了通道間的交互作用，結合了人類視覺頻率效應，空間對比度敏感效應和時間 對比度敏感效應。它利用每個頻率段敏感度的對比靈敏度函數（CSF)把人眼的視覺特性融 入了模型中，但是算法相對像素域較為復雜。
[0005]ShangX，WangY和LuoL等在IEEEInternationalConferenceICIP上名為 "Perceptualmultiviewvideocodingbasedonfoveatedjustnoticeabledistortion profileinDCTdomain"的論文中提出了一種DCT域的中央凹JND模型。它采用了與水平 和垂直頻率，偏心率，等相關的對比度閾值得到該JND模型，并與時空JND模型相結合。可 有效用于多視點視頻編碼，但是變換域的計算量較大。
[0006] 像素域JND模型算法簡單。最廣泛的有空間-時間JND模型、視網膜中央凹JND 模型以及基于深度圖的JND模型。空間-時間JND模型有效的體現了亮度、紋理和時域掩 蔽效應。視網膜中央凹JND模型集成了傳統的視覺敏感度特征和視網膜中央凹特征，表現 了中央凹掩蔽效應。這兩個模型有效的描述了時間和空間冗余特性但不能體現視間冗余的 特性，不適用于立體視頻編碼。基于深度圖的JND模型考慮了深度掩蔽效應，可用于消除立 體視頻圖像的感知冗余。但是這個模型適用的前提是已知視頻的深度圖序列。
[0007] 2013年在名為"一種基于雙目恰可察覺失真的立體視頻碼率控制方案"的 NO.CN103414889A專利中提出了一種基于亮度JND模型的雙目恰可察覺失真模型。該方法 通過分別計算視點層，圖像組層，幀層和宏塊層的目標碼率來實現碼率控制，以左視點基礎 上偏移一個視差矢量位置上的左視像素亮度的對比度得到該JND模型，實現了碼率控制， 它會過分依賴于左視點，基于左視得到的閾值用于右視圖，并不能充分體現雙目視差冗余 信息。
[0008] 2012年在名為"一種基于中心凹恰可覺察失真模型的深度視頻編碼方法"的 NO.CN102724525A的專利中提出了一種基于中心凹的恰可覺察失真模型。其根據左右視點 和左右視點深度序列繪制得到每個像素的全局恰可覺察失真和中間虛擬視點視頻。從而用 左視點深度序列的最大可容忍失真視頻獲取該深度序列的編碼量化參數，用于視頻編碼， 達到了較好的立體視頻編碼效果。但是該方法需要先計算立體視頻的深度圖序列，或者用 于深度圖已知的立體視頻，使得編碼軟件的編碼效率降低。
【發明內容】
[0009] 本發明的目的在于針對上述現有方法的不足，提出了一種基于視差最小可察覺誤 差模型的感知立體視頻編碼方法，根據左、右視點的視差信息得到一個獨立的JND閾值，不 依賴于左視點或者右視點的殼度?目息，僅與視差相關，能有效的消除雙視立體視頻的視間 感知冗余，并且基本不帶來立體感知質量的下降。
[0010] 實現本發明目的的技術方案是：一種基于視差最小可察覺誤差模型的感知立體視 頻編碼方法，基于左、右視點的視間感知冗余，包括如下步驟：
[0011] ⑴視差估計：
[0012] la)分別讀入雙目立體視頻左、右視點對應的每一幀圖像4和IlR，并采用基于均 值漂移彩色分割的方法對其進行分割預處理，得到圖像I'i和I'lR ;
[0013]lb)對I' &和I'lR進行立體匹配，得到左、右視點間的視差d(x，y);
[0014] ⑵基于視差的JND模型估計：
[0015] 根據由輸入視頻序列得到的視差序列信息和人類視覺靈敏度之間的關系，分別計 算輸入的每一幀視頻圖像在各個像素點的視差JND閾值JNDdis(x，y):
[0016] JNDdis(x，y) = Ψ · e d(x'y)+(j)
[0017] ψ=17，Φ= 3。
[0018] (3)計算亮度，紋理和時間加權JND模型：
[0019] 3a)分別計算左、右視點在各個像素點的亮度JND閾值JNDjx，y)，它是由亮度掩 蔽效應和背景亮度對比度決定的；
[0020] 3b)分別計算左、右視點在各個像素點的紋理JND閾值JNDT(x，y)，它和紋理掩蔽 效應以及圖像邊緣結構緊密相關，并利用非線性加性模型將其和JNDjx，y)結合構成空域 JND模型JNDs(x，y):
[0021]非線性加性模型：JNDS=JNDL+JNDT- Φ·min {JNDL，JNDT};
[0022] 3c)分別計算左、右視點在各個像素點的時間加權JND閾值JNDTEM(x，y)，它由根 據視頻序列幀間亮度差異所得到的時間掩蔽效應決定，并將其和JNDs(x，y)相融合得到空 域-時域JND模型JNDST(x，y):
[0023]加權模型：JNDST =JNDS ·JNDTEM;
[0024] (4)利用非線性加性模型將基于視差的JND模型和空域-時域JND模型JNDST(x，y) 結合，得到基于視差的雙目立體JND模型JNDSTERE。(x，y):
[0025] JNDstereo(X，y) = JNDst+JNDdis_ Θ · min {JNDST，JNDdis}
[0026] (5)將基于視差的雙目立體JND模型JNDSTE_(x，y)用于立體殘差預處理器：
[0027] 5a)分別計算出左、右視點每個BXB塊的平均JND閾值平方和，B根據不 同的塊大小取不同的值：
[0028]
[0029] 5b)分別計算出左、右視點每個ΒΧΒ塊的平均殘差f:
[0030]
[0031] 5c)分別計算出左、右視點每個像素點殘差信號的方差
[0032]
[0033]
[0034] 5d)根據率失真最優化（RD0)原理：min(J) =min(D+X·R)計算出優化參數ν， 它可以用于平衡碼率和失真之間的關系：
[0035]
[0036]
[0037]
[0038]
[0039] 5e)利用（4)中所得到的JND閾值JNDSTE_(x，y)以及從5a)_5d)得到的各個參 數值對視頻序列原始的殘差ROT1 (X，y)進行重置，得到新的殘差RN (X，y)，達到節省碼率的目 的：
[0040
[0041] 所述步驟（la)中分別讀入雙目立體視頻左、右視點對應的每一幀圖像込和IlR， 并采用基于均值漂移彩色分割的方法對其進行分割預處理，得到圖像I'α和I' lR，按如下 步驟進行：
[0042] (lal)分別對左、右視點對應的每一幀圖像進行均值漂移濾波，得到所有子空間收 斂點的信息；
[0043] (la2)通過將通過均值漂移濾波的描繪相同領域的像素點集群組合在一起，得到 分割區域。
[0044] 所述步驟（lb)中對和I'lR進行立體匹配，得到左、右視點間的視差d(x，y)， 按如下步驟進行：
[0045] (lbl)采用局部立體匹配可得：
[0046]d(x,y) =a·x+b·y+c,
[0047] 其中，a，b，c，是三個指定視差平面的參數，它們決定了每個參考像素（x，y)的視 差d(x,y)；
[0048] (lb2)計算每個像素點的絕對誤差和：
[0049]
[0050] (lb3)由分割區域內每個像素點的絕對誤差和的最小化得到視差平面和三個參數 的值：
[0051] vc-，（ y
[0052] 所述步驟（3a)所述的分別計算左、右視點在各個像素點的亮度JND閾值 JND^ (X,y)，按如下步驟進行：
[0053] (3al)在以（X，y)為中心的5X5像素域內計算背景亮度的平均值：
[0054]
[0055] 其中，I(X，y)為該像素點的亮度，B(i，j)是一個加權低通濾波器；
[0056] (3a2)由亮度掩蔽效應和I(X，y)得到亮度JND閾值：
[0057]
[0058] 所述步驟（3b)所述的分別計算左、右視點在各個像素點的紋理JND閾值 JNDT(x,y)，按如下步驟進行：
[0059]C3bl)計算像素點（x，y)周圍的梯度：
[00