用于多視點深度視頻編碼的拉格朗日乘子修正方法
【專利摘要】本發明公開了一種用于多視點深度圖編碼的拉格朗日乘子修正方法，主要解決現有技術中沒有考慮到同視點紋理質量對深度圖拉格朗日乘子的影響，而導致3D視頻的整體編碼性能不高的問題。其實現方案是：在多視點深度視頻編碼前，根據待編碼深度視頻的量化參數Qd以及同視點紋理視頻編碼所采用的量化參數Qt，構建修正因子；用該修正因子對現有深度編碼所采用的拉格朗日乘子進行修正；將修正后的拉格朗日乘子用于深度圖編碼的率失真優化過程中。本發明提升了3D視頻的整體編碼性能，可用于對任意紋理和深度量化參數QP組合方式的3D視頻進行編碼。
【專利說明】
用于多視點深度視頻編碼的拉格朗日乘子修正方法
技術領域
[0001] 本發明屬于視頻編碼技術領域，特別涉及一種拉格朗日乘子的選擇方法，可用于 多視點視頻深度序列編碼的率失真優化過程中。
【背景技術】
[0002] 3D視頻所帶來的真實的深度感知與身臨其境的視覺享受使人們對三維應用的需 求急劇上升，3D應用、多視點視頻技術、虛擬視點合成等成為目前學術與商用研究與發展的 熱點之一。國際運動圖像專家組MPEG和視頻編碼專家組VCEG這兩大視頻標準化機構聯合成 立的3D視頻編碼聯合小組JCT-3V，旨在讓該聯合小組開發基于高效視頻編碼標準HEVC的下 一代3D視頻編碼標準3D-HEVC。
[0003] 3D-HEVC標準以多視點加深度MVD格式作為其數據格式。MVD數據格式通常包含多 個視點的紋理視頻以及對應的深度視頻，編碼這些數據得到的比特流發送到解碼端。利用 基于深度圖的視點合成DIBR技術，解碼端將不同視點的重建紋理視頻與深度視頻合成出所 需虛擬視點的紋理視頻。從理論上講，每個視點的編碼都可以同時利用HEVC的編碼框架進 行編碼，但是針對深度圖自身特有的一些特征，新的編碼工具被開發用以提高3D視頻的整 體編碼性能。
[0004] 3D-HEVC的編碼框架如附圖1所示，首先對基本視點的紋理進行編碼，然后再對其 深度圖進行編碼，基本視點一幀圖像編碼后，再依次編碼各個非基本視點的紋理和深度，如 此循環直至編碼完所有視頻序列。由于多視點視頻之間存在很大的交叉冗余信息，在編碼 非基本視點時會利用視點間信息來提高壓縮效率。目前3D-HEVC的通用測試環境中，基本視 點的紋理與深度的量化參數QP是一組固定的組合，如表1所示。非基本視點的紋理與深度的 QP在基本視點對應QP值的基礎上加△ QP，△ QP默認為3,該值可在編碼配置文件中設置。
[0005] 在深度圖編碼過程中，通過率失真優化的方法來選擇最佳編碼模式和參數，即選 擇率失真代價J = D+A · R最小的編碼模式作為最終的編碼模式，其中，D表示當前編碼模式 下帶來的失真，R表示當前編碼模式下所需的編碼比特數，λ為拉格朗日乘子。
[0006] 由于深度視頻并不是用于直接觀看，而是用來合成虛擬視圖以供終端用戶觀看。 最終編碼深度圖的目的是獲得一定質量的虛擬視圖。而影響虛擬視圖質量的因素不僅僅只 有深度圖，還有很多其他的因素，比如用于合成的紋理視頻質量、合成過程中的取整操作都 會引入失真，只將深度圖自身的失真作為率失真優化過程中的失真衡量是不恰當的。所以 把當前編碼深度塊引入的合成視點失真也作為率失真優化過程中的失真衡量。
[0007] 在3D-HEVC的深度編碼過程中，把視點合成失真變化SVDC引入率失真優化中進行 選擇深度圖的編碼模式。由于失真機制的改變，率失真優化過程中深度圖所用的拉格朗日 乘子也應作相應的修正。目前3D-HEVC參考軟件中，將深度圖率失真優化過程中的拉格朗日 乘子用一個與深度圖量化參數QP相關的縮放因子進行修正。
[0008] 拉格朗日乘子可以表示為用于編碼的一個比特的價值大小。通常人們認為由紋理 編碼和深度編碼分別引入的視點合成失真之間是相互獨立的，然而紋理視頻質量直接影響 合成視圖質量，在紋理編碼質量較低時，即使增加用于深度編碼的比特數，對合成視圖質量 帶來的提升也微乎其微，這時候應該增大深度編碼時的拉格朗日乘子來避免不必要的比特 開銷。從理論上講，基本視點可以用任意QP組合進行編碼。當采用紋理QP變化，而深度QP不 變進行編碼時，目前編碼標準中深度圖的拉格朗日乘子只與深度QP有關，并沒有考慮紋理 質量對其的影響。基于以上分析，單方面考慮拉格朗日乘子與深度圖QP的關系不具有準確 性和普適性，在紋理QP變化編碼時會降低3D視頻的整體編碼性能。
[0009]表1基本視點紋理與深度的量化參數
【發明內容】
[0011] 本發明為克服現有技術的不足，在考慮紋理視頻質量的情況下，提供一種用于多 視點深度視頻編碼的拉格朗日乘子修正方法，以提升3D視頻的整體編碼性能。
[0012] 本發明的思路是：在目前3D-HEVC的編碼框架下，當采用紋理QP變化，而深度QP不 變進行編碼時，深度圖的拉格朗日乘子只與深度QP有關。意味著不同的紋理QP編碼情況下， 相同深度QP編碼的過程并沒有考慮到紋理質量對拉格朗日乘子的影響。從理論上講，多視 點紋理視頻和深度視頻可以采用任意QP組合進行編碼。當紋理視頻質量較好，即紋理QP較 小時，深度圖質量對合成視圖的質量貢獻很大，這時深度圖編碼比特可適當增加，相當于使 拉格朗日乘子變小，即用少量的深度比特來換取較大的合成視點質量提升。而當紋理視頻 質量不夠好，即紋理QP較大時，由于合成視圖的質量主要由失真的紋理視頻決定，即使深度 編碼比特再大也不能帶來合成視圖質量的急劇提升，因此應增大拉格朗日乘子來避免不必 要的比特開銷。
[0013]為實現上述目的，本發明的技術方案如下：
[0014] (1)在編碼基本視點的深度圖前，對其采用的拉格朗日乘子進行修正：
[0015] (la)根據同視點紋理視頻編碼所采用的量化參數Qt以及待編碼深度的量化參數 Qd，構建修正因子為：
[0016] k(Qt,Qd) = 2aQt+bQd+c <1>
[0017] 其中，a、b、c為修正因子中三個數值不同的常量系數，a = 0.3421、b = _0.2402、c = -4.543；
[0018] (lb)用修正因子對深度圖編碼率失真優化中用到的拉格朗日乘子進行修正，得到 修正后的拉格朗日乘子為：
[0019] λ7depth = k(Qt,Qd) · ^depth <2>
[0020] 其中，Ad(3pthS3D-HEVC中深度圖編碼所采用的拉格朗日乘子，其計算方式為：
[0021] Adepth = P.W.2((Qd-12V3.0)
[0022] 其中，W為加權因子，該值由編碼配置和編碼圖像在圖像組GOP中所處的位置決定； β為尺度參數，其取值依賴于當前圖像是否作為參考圖像，當作為非參考圖像時，取值為 1.〇，當作為參考圖像時，取值為1.〇_(：1丨？3(0.0,0.5,0.05.地），其中地表示圖像組60?中8 幀參考圖像的個數。
[0023] (lc)由式〈1>和式〈2>，得到深度圖修正后的拉格朗日乘子為：
[0024] 入~印也二杉· W· 2a,Qt+b,Qd+c,
[0025] 其中，Y、1/、(/為拉格朗日乘子中三個數值不同的常量系數Χ = =
[0026] (Id)根據修正后的拉格朗日乘子λ'depth，得到運動估計中使用的拉格朗日乘子 -^?motion ：
[0028] (2)將修正后的拉格朗日乘子Y depth集成到高效視頻編碼標準的3D擴展3D-HEVC參 考軟件中，得到修正后的高效視頻編碼標準的3D擴展3D-HEVC參考軟件B;
[0029] (3)用修正后的參考軟件B對3D視頻序列進行編碼。
[0030]本發明與現有技術相比，具有以下優點：
[0031]第一，本發明根據待編碼深度圖的量化參數Qd和同視點已編碼紋理的量化參數Qt， 構建修正因子，以對拉格朗日乘子進行修正，用修正后的拉格朗日乘子對深度圖進行編碼， 克服了現有技術中沒有考慮到深度編碼采用的拉格朗日乘子與對應視點紋理質量的關系， 提升3D視頻的整體編碼性能，并可用于對任意紋理深度QP組合方式的3D視頻進行編碼。 [0032]第二，在考慮紋理視頻質量變化的情況下，用已修正的參考軟件B對不同的3D標準 測試序列進行編碼，與用原始參考軟件編碼的結果相比，相同合成視圖質量下，平均能節省 1.3%的總碼率。
【附圖說明】
[0033] 圖1為現有3D-HEVC的編碼框架。
[0034]圖2是本發明的實現流程圖。
【具體實施方式】
[0035]以下結合附圖和實例對本發明作進一步詳細描述。
[0036]參照圖2,本發明多視點深度視頻編碼的拉格朗日乘子修正方法，包括如下步驟： [0037]步驟1，確定深度圖拉格朗日乘子的修正因子與紋理量化參數Qt、深度量化參數Qd 的關系。
[0038] (la)設定修正因子k為2X形式，變量X以0.5為間隔變化在[_6，-1]范圍之內，得到 11個不同的修正因子，用這些修正因子分別修正高效視頻編碼標準的3D擴展3D-HEVC參考 軟件中深度編碼采用的拉格朗日乘子，得到11個修正后的參考軟件；
[0039] (lb)用上述修正后的參考軟件對多個3D標準測試序列的兩個視點情況預編碼97 幀，其中采用的紋理深度 QP 組合[Qt，Qd]分別為：[23,34]、[25,34]、[27,34];[28,39]、[30， 39]、[32,39];[33,42]、[35,42]、[37,42];[38,45]、[40,45]、[42,45];
[0040] (lc)將解碼端重建的多視點紋理和深度視頻利用視點合成算法合成出多視點間 的虛擬視點視圖，與原始3D-HEVC參考軟件在相同QP組合下編碼的結果以BDBR的形式進行 比較，將性能最好的結果所對應的k作為該QP組合的最優k。
[0041] 所述視點合成算法為3D-HEVC標準采用的基于深度圖像繪制DIBR算法；
[0042]所述BDBR形式，表示在相同客觀質量下，用修正后的軟件編碼得到的視頻相對于 原始軟件在碼率上的變化情況；
[0043] (Id)將每個紋理深度QP組合與其對應的最優修正因子k進行曲線擬合，得到如下 關系：
[0044] k = 2aQt+bQd+c <1>
[0045]其中，Qt為紋理量化參數，Qd為深度量化參數，a、b、c為修正因子中三個數值不同的 常量系數，其取值均由預編碼測試而得，不同的測試配置方案結果會有偏差，本實施例取a =0.3421、b = -0.2402、c = -4.543。
[0046] 步驟2,修正深度編碼采用的拉格朗日乘子。
[0047] (2a)用步驟1中得到的修正因子k對深度圖編碼率失真優化中用到的拉格朗日乘 子進行修正，得到修正后的拉格朗日乘子為：
[0048] λ'depth = k · Adepth <2>
[0049] 其中，Ad(3pth為現有3D-HEVC中深度圖編碼所采用的拉格朗日乘子，其計算方式為：
[0050] Adepth = 0 · ff · 2((Qd-12)/3·0)
[0051] 其中，W為加權因子，該值由編碼配置和編碼圖像在圖像組GOP中所處的位置決定； β為尺度參數，其取值依賴于當前圖像是否作為參考圖像，當作為非參考圖像時，取值為 1.〇，當作為參考圖像時，取值為1.〇_(：1丨？3(0.0,0.5,0.05.詠），其中詠表示圖像組60?中8 幀參考圖像的個數；
[0052] (2b)由式〈1>和式〈2>，將深度圖修正后的拉格朗日乘子寫為如下形式：
[0053] 入~印也二杉· W· 2a,Qt+b,Qd+c,
[0054] 其中，Y、(/為拉格朗日乘子中三個數值不同的常量系數，
[0055] (2c)根據修正后的拉格朗日乘子λ'depth，得到運動估計中使用的拉格朗日乘子 Λ / Λ motionl
[0057] 步驟3,將修正后的拉格朗日乘子Ydepth集成到高效視頻編碼標準的3D擴展3D-HEVC參考軟件HTM13.0中，得到修正后的高效視頻編碼標準的3D擴展3D-HEVC參考軟件B。
[0058] 步驟4,用修正后的參考軟件B對3D視頻序列進行編碼。
[0059] 本發明的效果通過以下測試進一步說明：
[0060] 測試內容1:
[0061 ]用修正后的參考軟件B對3D標準測試序列在3D-HEVC通用測試環境CTC中進行編 碼，其中紋理深度QP組合[Qt，Qd]為[25，34]、[30,39]、[35，42]、[40,45];用原始參考軟件 HTM13.0在相同紋理深度QP組合下對3D標準測試序列進行編碼。
[0062]將上述兩者的編碼結果以BDBR的形式進行性能比較，得出在相同合成視圖質量下 的編碼紋理和深度的總碼率結果，如表2。
[0063]所述BDBR形式，表示在合成視圖質量下，用修正后的軟件編碼得到的結果相對于 原始軟件在碼率上的變化情況，負號表示碼率節省量。
[0064] 測試內容2:
[0065]用修正后的參考軟件B對3D標準測試序列在紋理深度QP組合[Qt，Qd]:[23,34]、
[28.39] 、[33,42]、[38,45]下進行編碼；用原始參考軟件取￥13.0在相同紋理深度0?組合下 對3D標準測試序列進行編碼。
[0066]將上述兩者的編碼結果以BDBR的形式進行性能比較，得出在相同合成視圖質量下 總碼率的變化情況，如表2。
[0067] 測試內容3:
[0068]用修正后的參考軟件B對3D標準測試序列在紋理深度QP組合[Qt，Qd]:[27,34]、
[32.39] 、[37,42]、[42,45]下進行編碼；用原始參考軟件取￥13.0在相同紋理深度0?組合下 對3D標準測試序列進行編碼。
[0069]將上述兩者的編碼結果以BDBR的形式進行性能比較，得出在相同合成視圖質量下 總碼率的變化情況，如表2。
[0070] 測試內容4:
[0071]用修正后的參考軟件B對3D標準測試序列在紋理深度QP組合[Qt，Qd]:[21，34]、
[26.39] 、[31，42]、[36,45]下進行編碼；用原始參考軟件取￥13.0在相同紋理深度0?組合下 對3D標準測試序列進行編碼。
[0072]將上述兩者的編碼結果以BDBR的形式進行性能比較，得出在相同合成視圖質量下 總碼率的變化情況，如表2。
[0073] 測試內容5:
[0074]用修正后的參考軟件B對3D標準測試序列在紋理和深度QP組合[Qt，Qd]:[29,34]、
[34.39] 、[39,42]、[44,45]下進行編碼；用原始參考軟件取￥13.0在相同紋理深度0?組合下 對3D標準測試序列進行編碼。
[0075]將上述兩者的編碼結果以BDBR的形式進行性能比較，得出在相同合成視圖質量下 總碼率的變化情況，如表2。
[0076]表2性能比較結果
[0078]由表2可以看出，對不同的3D標準測試序列，在相同合成視圖質量下，測試內容1的 平均總碼率基本不變，測試內容2的結果平均能節省0.6%的總碼率，測試內容3的結果平均 能節省0.7%的總碼率，測試內容4的結果平均能節省2.6%的總碼率，測試內容5的結果平 均能節省2.5%的總碼率。
[0079]以上內容是結合具體的優選實施方式對本發明所作了詳細說明，但本發明不限于 上述實施方式。在所屬技術領域的普通技術人員所具備的知識范圍內，還可以在不脫離本 發明思路的前提下做出各種變化，都應當視為屬于本發明的保護范圍。
【主權項】
1. 一種用于多視點深度視頻編碼的拉格朗日乘子修正方法，包括： (1) 在編碼多視點視頻的深度圖前，對其采用的拉格朗日乘子進行修正： (la) 根據同視點紋理視頻編碼所采用的量化參數Qt以及待編碼深度的量化參數Qd，構 建修正因子為：其中，a、b、c為修正因子中三個數值不同的常量系數，a = 0.3421、b = -0.2402、c = _ 4.543； (lb) 用修正因子對深度圖編碼率失真優化中用到的拉格朗日乘子進行修正，得到修正 后的拉格朗日乘子為：其中，Ade3pth為現有3D-HEVC中深度圖編碼所采用的拉格朗日乘子，其計算方式為：其中，W為加權因子，該值由編碼配置和編碼圖像在圖像組GOP中所處的位置決定;β為 尺度參數，其取值依賴于當前圖像是否作為參考圖像，當作為非參考圖像時，取值為1.0,當 作為參考圖像時，取值為1.〇-(^?3(0.0,0.5,0.05?詠），其中詠表示圖像組60?中8幀參考 圖像的個數； (lc) 由式〈1>和式〈2>，將深度圖修正后的拉格朗日乘子寫為如下形式：其中，Y、(/為拉格朗日乘子中三個數值不同的常量系數4； (ld) 根據修正后的拉格朗日乘子Vdepth，得到運動估計中使用的拉格朗日乘子Ymcitlcin:(2) 將修正后的拉格朗日乘子λ' depth集成到高效視頻編碼標準的3D擴展3D-HEVC參考軟 件中，得到修正后的高效視頻編碼標準的3D擴展3D-HEVC參考軟件B; (3) 用修正后的參考軟件B對3D視頻序列進行編碼。2. 根據權利要求1所述的方法，其中步驟(Ia)中修正因子通過以下步驟確定： (Ial)設定多個不同的修正因子，用這些修正因子分別修正高效視頻編碼標準的3D擴 展3D-HEVC參考軟件中深度編碼采用的拉格朗日乘子，得到修正后的參考軟件； (la2)用上述修正后的參考軟件對3D標準測試序列在不同的紋理深度QP組合下進行預 編碼； (la3)將解碼端重建的多視點紋理和深度視頻利用視點合成算法合成出多視點間的虛 擬視點視圖，與原始3D-HEVC參考軟件在相同QP組合下編碼的結果進行比較，將性能最好的 結果所對應的修正因子k作為該QP組合的最優修正因子。 (la4)將每個紋理深度QP組合與其對應的最優修正因子k進行曲線擬合，得到修正因子 與紋理量化參數Qt、深度量化參數Qd的關系：
【文檔編號】H04N19/70GK106028046SQ201610517428
【公開日】2016年10月12日
【申請日】2016年7月4日
【發明人】霍俊彥, 莫冬春, 楊付正
【申請人】西安電子科技大學