基于雙目恰可覺察失真的多視點彩色視頻快速編碼方法
【專利摘要】本發明公開了一種基于雙目恰可覺察失真的多視點彩色視頻快速編碼方法，其首先利用左視點視頻和右視點視頻的視差信息確定右視點視頻中的每幀右視點圖像中的非邊界區域內的每個宏塊的雙目恰可覺察失真值，其次根據雙目恰可覺察失真值的大小提前終止宏塊模式選擇，該快速編碼方法在不造成率失真性能下降的基礎上，能夠有效地提高多視點彩色視頻的編碼效率，節約的編碼時間可達66.48%到71.90%，平均節約編碼時間68.46%。
【專利說明】基于雙目恰可覺察失真的多視點彩色視頻快速編碼方法
【技術領域】
[0001]本發明涉及一種多視點彩色視頻信號的處理方法，尤其是涉及一種基于雙目恰可覺察失真的多視點彩色視頻快速編碼方法。
【背景技術】
[0002]三維電視與自由視點電視廣泛使用多視點彩色視頻進行場景描述。多視點彩色視頻包括多個視點的彩色，通過編碼、傳輸、解碼后在顯示端進行虛擬視點繪制。在多視點彩色加深度視頻中，多視點彩色視頻編碼已經得到廣泛的研究，其中較為適用的編碼平臺有聯合多視點視頻模型和聯合多視點視頻編碼。但是由于有關人眼視覺的特性的研究正在發展中，因此在多視點彩色視頻的壓縮中利用人眼視覺系統的感知特性有待進一步的研究。
[0003]目前，研究人眼視覺系統的諸多特性中，恰可覺察失真是廣大研究者所傾向的特征之一。恰可覺察失真表征人眼觀看一幅圖像時對圖像像素的變化所能感知的可見閾值，主要依賴于圖像的亮度和對比度。Liu等人利用恰可覺察失真模型區分圖像的邊界和紋理區域。最近，一些針對人眼感知三維圖像和視頻的可見閾值的研究正在盛行，如深度恰可覺察失真和雙目恰可覺察失真。深度恰可覺察失真表征的是深度視頻中最小能被感知的閾值，因此可將深度視頻中低于該閾值的像素進一步進行壓縮。雙目恰可覺察失真是利于基于雙眼的亮度掩蔽和對比度掩蔽實驗得到的模型，其表示在其中一個視點的圖像或視頻的失真低于雙目恰可覺察失真時，雙目不會覺察到該圖像或視頻的失真。
[0004]為了進一步壓縮多視點彩色加深度視頻龐大的數據量，適用的編碼平臺采用全搜索模式選擇，確定宏塊的最小率失真代價，從而確定最佳預測模式。針對全搜索模式較高的計算復雜度，研究人員提出了一些快速模式選擇算法。Shen等人提出了一種低復雜度模式選擇算法，包括四種有效地模式選擇技術，預先判定SKIP模式，自適應提前終止，快速模式大小選擇和有選擇的幀內編碼方法，這種方法有效地節約了多視點彩色視頻的編碼時間，同時能夠保持幾乎和全搜索模式選擇相同的編碼結果。Zeng等人利用量化步長和率失真代價之間的關系作為閾值，利用相鄰塊的運動矢量計算當前塊的運動矢量。上述的方法都能在不降低編碼質量的前提下有效地節約編碼復雜度，然而在多視點彩色視頻的編碼過程中，人眼的視覺特性并不能完全利用到這些方法中，關于感知方向的多視點彩色視頻依然有很多的研究空間。
【發明內容】
[0005]本發明所要解決的技術問題是提供一種基于雙目恰可覺察失真的多視點彩色視頻快速編碼方法，其能夠在維持重建視點視頻性能的基礎上，有效地減少多視點彩色視頻的編碼時間。
[0006]本發明解決上述技術問題所采用的技術方案為:一種基于雙目恰可覺察失真的多視點彩色視頻快速編碼方法，其特征在于包括以下步驟:
[0007]①將多視點彩色視頻的左視點視頻記為{Q(k)}，將多視點彩色視頻的右視點視頻記為{cK(k)}，其中，ClGO表示{ClGO}中的第k幀左視點圖像，Ck(k)表示Ick(k)}中的第k幀右視點圖像，I ≤ k ≤ K, K表示左視點視頻和右視點視頻中包含的圖像的幀數；
[0008]②將{CK(k)}中的每幀右視點圖像劃分為邊界區域和非邊界區域，其中，邊界區域由右視點圖像中的第一行宏塊、最后一行宏塊、第一列宏塊和最后一列宏塊構成；然后計算{CK(k)}中的每幀右視點圖像中的非邊界區域內的每個宏塊的雙目恰可覺察失真值，假設{CK(k)}中的第k幀右視點圖像CK(k)中坐標位置為(i，j)的宏塊屬于{CE(k)}中的第k幀右視點圖像Ck(k)中的非邊界區域，則將{CK(k)}中的第k幀右視點圖像CK(k)中坐標位置為(i，j)的宏塊的雙目恰可覺察失真值記為，其中，2≤i≤W/16-1, 2≤j≤H/16-1，i的初始值為1，j的初始值為1，W表示{Cjk)}中的每幀左視點圖像和ICk (k)}中的每幀右視點圖像的寬度，H表示{Cjk)}中的每幀左視點圖像和{cr (k)}中的每巾貞右視點圖像的聞度；
[0009]③在多視點視頻編碼校驗模型JMVC上，采用HBP預測編碼結構對{Q(k)}中的每幀左視點圖像中的每個宏塊和{CK(k)}中的每幀右視點圖像中的每個宏塊進行編碼，在編碼過程中為每個宏塊選擇最優宏塊編碼模式的過程為:
[0010]③-1、將當前待編碼的宏塊定義為當前宏塊；
[0011]③-2、當當前宏塊為{Q(k)}中的宏塊時，編碼器采用H.264的模式選擇過程搜索SKIP、Inter 16X 16、Interl6X8、Inter8X 16、Inter8X8、Inter8X8Frext、Intral6X 16、Intra8X8和Intra4X4宏塊編碼模式，從這些宏塊編碼模式中選出率失真代價最小的宏塊編碼模式作為當前宏塊的最優宏塊編碼模式進行編碼；
[0012]當當前宏塊為{CK(k)}中的宏塊時，判斷當前宏塊屬于邊界區域還是屬于非邊界區域，如果當前宏塊屬于邊界區域，則編碼器采用H.264的模式選擇過程搜索SKIP、Inter 16 X16> Interl6 X 8> Inter8 X16> Inter8 X 8> Inter8 X 8Frext> Intral6 X16>Intra8X8和Intra4X4宏塊編碼模式，從這些宏塊編碼模式中選出率失真代價最小的宏塊編碼模式作為當前宏塊的最優宏塊編碼模式進行編碼；如果當前宏塊屬于非邊界區域，則再判斷當前宏塊的雙目恰可覺察失真值是否大于或等于設定的判定閾值，如果是，則編碼器采用H.264的模式選擇過程搜索SKIP、Interl6X16、Interl6X8、Inter8X16、Inter8 X 8、Inter8 X 8Frext、Intral6 X 16、Intra8X8 和 Intra4X4 宏塊編碼模式，從這些宏塊編碼模式中選出率失真代價最小的宏塊編碼模式作為當前宏塊的最優宏塊編碼模式進行編碼；否則，編碼器采用H.264的模式選擇過程只搜索SKIP和InterieX 16宏塊編碼模式，從這兩種宏塊編碼模式中選出率失真代價最小的宏塊編碼模式作為當前宏塊的最優宏塊編碼模式進行編碼；
[0013]③_3、將下一個待編碼的宏塊作為當前宏塊，然后返回步驟③-2繼續執行，直至{CL(k)}中的每幀左視點圖像中的每個宏塊和{CK(k)}中的每幀右視點圖像中的每個宏塊均完成編碼。
[0014]所述的步驟②中{CK (k)}中的第k幀右視點圖像CK(k)中坐標位置為(i，j)的宏塊的雙目恰可覺察失真值
【權利要求】
1.一種基于雙目恰可覺察失真的多視點彩色視頻快速編碼方法，其特征在于包括以下步驟: ①將多視點彩色視頻的左視點視頻記為ICJk)}，將多視點彩色視頻的右視點視頻記為ICk(k)}，其中，ClGO表示{ClGO}中的第k幀左視點圖像，Ck(k)表示{cK(k)}中的第k中貞右視點圖像，I ≤ k ≤ K, K表不左視點視頻和右視點視頻中包含的圖像的巾貞數； ②將{cK(k)}中的每幀右視點圖像劃分為邊界區域和非邊界區域，其中，邊界區域由右視點圖像中的第一行宏塊、最后一行宏塊、第一列宏塊和最后一列宏塊構成；然后計算{CK(k)}中的每幀右視點圖像中的非邊界區域內的每個宏塊的雙目恰可覺察失真值，假設{CK(k)}中的第k幀右視點圖像CK(k)中坐標位置為(i，j)的宏塊屬于{CE(k)}中的第k幀右視點圖像Ck(k)中的非邊界區域，則將{CK(k)}中的第k幀右視點圖像CK(k)中坐標位置為(i，j)的宏塊的雙目恰可覺察失真值記為/?/Α7);)(//)，其中，2≤i≤W/16-1, 2≤j≤H/16-1，i的初始值為1，j的初始值為1，W表示{Cjk)}中的每幀左視點圖像和ICk (k)}中的每幀右視點圖像的寬度，H表示{Cjk)}中的每幀左視點圖像和{cr (k)}中的每巾貞右視點圖像的聞度； ③在多視點視頻編碼校驗模型JMVC上，采用HBP預測編碼結構對{Q(k)}中的每幀左視點圖像中的每個宏塊和{CK(k)}中的每幀右視點圖像中的每個宏塊進行編碼，在編碼過程中為每個宏塊選擇最優宏塊編碼模式的過程為: ③-1、將當前待編碼的宏塊定義為當前宏塊； ③-2、當當前宏塊為{Cjk)}中的宏塊時，編碼器采用H.264的模式選擇過程搜索SKIP、Inter 16X 16、Interl6X8、Inter8X 16、Inter8X8、Inter8X8Frext、Intral6X 16、Intra8X8和Intra4X4宏塊編碼模式，從這些宏塊編碼模式中選出率失真代價最小的宏塊編碼模式作為當前宏塊的最優宏塊編碼模式進行編碼； 當當前宏塊為{CK(k)}中的宏塊時，判斷當前宏塊屬于邊界區域還是屬于非邊界區域，如果當前宏塊屬于邊界區域，則編碼器采用H.264的模式選擇過程搜索SKIP、Interl6 X16> Inter 16 X 8> Inter8 X16> Inter8 X 8> Inter8 X 8Frext> Intral6 X16>Intra8X8和Intra4X4宏塊編碼模式，從這些宏塊編碼模式中選出率失真代價最小的宏塊編碼模式作為當前宏塊的最優宏塊編碼模式進行編碼；如果當前宏塊屬于非邊界區域，則再判斷當前宏塊的雙目恰可覺察失真值是否大于或等于設定的判定閾值，如果是，則編碼器采用H.264的模式選擇過程搜索SKIP、Interl6X16、Interl6X8、Inter8X16、Inter8 X 8、Inter8 X 8Frext、Intral6 X 16、Intra8X8 和 Intra4X4 宏塊編碼模式，從這些宏塊編碼模式中選出率失真代價最小的宏塊編碼模式作為當前宏塊的最優宏塊編碼模式進行編碼；否則，編碼器采用H.264的模式選擇過程只搜索SKIP和InterieX 16宏塊編碼模式，從這兩種宏塊編碼模式中選出率失真代價最小的宏塊編碼模式作為當前宏塊的最優宏塊編碼模式進行編碼； ③-3、將下一個待編碼的宏塊作為當前宏塊，然后返回步驟③-2繼續執行，直至{CL(k)}中的每幀左視點圖像中的每個宏塊和{CK(k)}中的每幀右視點圖像中的每個宏塊均完成編碼。
2.根據權利要求1所述的基于雙目恰可覺察失真的多視點彩色視頻快速編碼方法，其特征在于所述的步驟②中{cK(k)}中的第k幀右視點圖像CK(k)中坐標位置為(i，j)的宏塊的雙目恰可覺察失真值
3.根據權利要求2所述的基于雙目恰可覺察失真的多視點彩色視頻快速編碼方法，其特征在于所述的控制右視點噪聲影響的參數λ取值為1.25。
4.根據權利要求3所述的基于雙目恰可覺察失真的多視點彩色視頻快速編碼方法，其特征在于所述的{Q(k)}中的第k幀左視點圖像Q(k)中坐標位置為(i+d，j)的宏塊的噪聲幅值nL(i+d，j)取值為0.3。
5.根據權利要求1至4中任一項所述的基于雙目恰可覺察失真的多視點彩色視頻快速編碼方法，其特征在于所述 的步驟③-2中設定的判定閾值取值為5。
【文檔編號】H04N13/00GK103442226SQ201310325370
【公開日】2013年12月11日 申請日期:2013年7月30日 優先權日:2013年7月30日
【發明者】蔣剛毅, 朱亞培, 郁梅, 邵楓, 彭宗舉, 陳芬, 王曉東, 李福翠 申請人:寧波大學