視頻圖像質量增強的編解碼裝置與編解碼方法

文檔序號：7650793閱讀：157來源：國知局

專利名稱：視頻圖像質量增強的編解碼裝置與編解碼方法
技術領域：
本發明涉及圖像信息處理，特別是視頻圖像質量增強的編解碼裝置與編解碼方法。
技術背景視頻編碼技術經歷了底層、中層和高層編碼三個階段。傳統的壓縮編碼是基于數據統計的、用統計概率模型來描述信源，消除圖像數據的相關冗余，在低速率視頻編碼時有嚴重的局限性；后來根據人類的視覺、生理、心理特性研究成果的拓展，提出了基于內容的(Content-based)編碼，去掉的是圖像/視頻信號內容的冗余，稱為中層壓縮編碼方法；而基于語義的(Semantics-based) 方法稱為高層壓縮編碼方法。近年來，隨著3G、 IPTV、數字廣播、互聯網等的流媒體應用的不斷發展，對其視頻質量的需求也越來越突出。可拍照手機常用于光線條件較差的地方，如KTV、酒吧、音樂會或體育比賽現場。所謂視頻圖像質量增強技術就是無論光線和條件如何，使它都應該能夠顯示出色彩逼真且清晰的圖像。目前業界對提高視頻圖像質量的研究大致分為以下幾個方面的成果對視頻信號處理LSI的研究，通過數字技術在模擬電視中實現高圖像質量；中小型液晶顯示面板圖像質量的新技術；嵌入式圖像信號處理器，將圖像傳感器陣列與圖像信號處理器內嵌在一起，能在各種光線條件下獲得高質量圖像；高畫質^L頻信號處理產品；壓縮域的圖像增強，基于宏塊MB的時間-空間的增強和平滑。然而以上這些方法主要都是從應用的角度出發，通過預處理或者后處理技術來力圖使本來質量較差的視頻圖像有更加賞心悅目的效果，但是他們都沒有考慮信源編解碼的效率。因此，有必要提供一種既可以解決圖像質量的增強問題，又考慮到了編碼器的效率的編解碼裝置及編解碼方法。發明內容本發明的目的是提供一種視頻圖像質量增強的編解碼裝置與編解碼方法，在使圖像質量增強的同時，編碼效率也得到了有效的控制。為了實現上述目的，本發明提供了一種視頻圖像質量增強的編碼方法，其中，包括步驟A，根據視頻圖像質量選擇增強處理技術，對增強處理組采用不同的圖像增強技術進行增強處理；步驟B,圖像質量增強處理后，若編碼器效率得到提高的情況下，編碼器基本層直接對增強后的增強圖像組進行編碼；否則，在基本層對原始圖像增強處理組編碼，在增強層，對增強后的增強處理組與原始增強處理組的質量殘差，并對所述質量殘差的能量最小化表達進行編碼。上述的編碼方法，其中，所述步驟A具體包括步驟Al,將視頻序列中屬于同一場景的視頻序列組合作為增強處理組；步驟A2，確定增強處理組的視頻圖像質量；步驟A3,根據增強處理組的視頻圖像質量確定該增強處理組的增強處理技術后，采用選擇的增強處理技術結合視頻模型對增強處理組進行增強處理。上述的編碼方法，其中，所述步驟B中，增強處理后的編碼效率降低時增強層的處理具體為獲取增強處理組中每一幀圖像增強后的質量增益；將增強處理組中第一幀以外的其他幀的質量增益與增強處理組中第一幀的質量增益作殘差，并用一個矢量集表示；通過能量最小化運算求得所述矢量集的一個坐標變換的標準正交基；將該標準正交基作為用戶數據編碼。上述的編碼方法，其中，將該標準正交基采用位平面方法編碼。為了更好的實現上述目的，本發明還提供了一種視頻圖像質量增強的編碼裝置，其中，包括增強模塊，用于根據視頻圖像質量選擇增強處理技術對增強處理組進行增強處理；編碼器，用于在增強處理后的編碼效率提高時，在基本層對增強后的增強處理組進行編碼,否則，在基本層對原增強處理組編碼，在增強層，對增強后的增強處理組與原始增強處理組的質量殘差，并對所述質量殘差的能量最小化表達進行編碼。上述的編碼裝置，其中，所述增強模塊具體包括視頻場景分割模塊，用于將視頻序列中屬于同一場景的視頻序列組合作為增強處理組；視頻質量分析模塊，用于確定增強處理組的視頻圖像質量；增強處理技術選擇及增強處理模塊，用于根據增強處理組的視頻圖像質量確定該增強處理組的增強處理技術后，采用選擇的增強處理技術結合視頻模型對增強處理組進4于增強處理。上述的編碼裝置，其中，所述編碼器的增強層具體包括質量增益獲取模塊，用于獲取增強處理組中每一幀圖像增強后的質量增益；質量增益殘差獲取模塊，用于將增強處理組中第一幀以外的其他幀的質量增益與增強處理組中第一幀的質量增益作殘差，并用一個矢量集表示；標準正交基獲取4莫塊，用于通過能量最小化運算獲取所述矢量集的一個坐標變換的標準正交基；編碼模塊，用于將所述標準正交基作為用戶數據編碼。上述的編碼裝置，其中，所述編碼模塊采用位平面方法編碼。為了更好的實現上述目的，本發明還提供了一種視頻圖像質量增強的解碼方法，其中，包括基本層解碼重建步驟，用于對基本層編碼數據進行解碼，重建基本層圖像；質量增益解碼步驟，用于對增強層編碼數據進行坐標逆變換后獲取增強處理組中每一幀圖像增強后的質量增益與增強處理組中第一幀圖像增強后的質量增益的殘差對應的圖像；補償步驟，用于利用該質量增益解碼模塊得到的圖像作為補償圖像來對基本層圖像進行補償，獲取增強后的圖像。為了更好的實現上述目的，本發明還提供了一種視頻圖像質量增強的解碼裝置，其中，包括基本層解碼重建模塊，用于對基本層編碼數據進行解碼，重建基本層圖像；質量增益解碼才莫塊，用于對增強層編碼數據進^f于坐標逆變換后獲取增強處理組中每一幀圖像增強后的質量增益與增強處理組中第一幀圖像增強后的質量增益的殘差對應的圖像；補償模塊，用于利用該質量增益解碼模塊得到的圖像作為補償圖像來對基本層圖像進行補償，獲取增強后的圖像。上述的視頻圖像質量增強的解碼裝置，其中，基本層解碼模塊具體包括形狀解碼模塊，用于對編碼碼流的形狀信息結合前一重構幀進行形狀解碼；運動解碼;漠塊，用于對編碼碼流中的運動信息進行運動解碼后，結合形狀解碼模塊的輸出進行運動補償；紋理解碼模塊，用于對編碼碼流中的紋理信息結合形狀解碼模塊的輸出進行解碼操作；所述基本層圖像重建及補償模塊根據運動解碼模塊和紋理解碼模塊的輸出重建基本層圖像。本發明的裝置和方法具有以下的有益效果1、通過圖像質量增強處理能有效地提高視頻質量；2、采用增強處理組作為處理單位，克服了單幀圖像處理中信息量少、計算量大的問題，得到計算量低、信息量大、質量最優的視頻圖像質量的增強；3、編碼器端，增強層的用戶數據是一個標準正交基，然后針對基于該正交基的能量最小矢量參數集的編碼，不會增加太多的碼字，提高了編碼效率；4、編碼過程中，質量增益的信息已經包含在基本層或增強層當中，所以在解碼端不需要額外的后處理過程，降低了終端設備的計算復雜度、功耗。

圖1為本發明的視頻圖像質量增強的編碼方法的流程示意圖；圖2為隨時間變化的狀態轉移的視頻模型的示意圖；圖3為本發明的視頻圖像質量增強的編碼裝置的結構示意圖；圖4為本發明的編碼器的結構示意圖；圖5為本發明的解碼器的結構示意圖。
具體實施方式
本發明通過對質量較差的視頻圖像進行視頻質量分析后確定相應的增強處理手段，進而分析該增強處理手段的編碼效率，根據編碼效率采用對應的編解碼，在實現質量提高的同時考慮了系統的處理效率。如圖l所示，本發明的視頻圖像質量增強的編碼方法包括如下步驟視頻模型確立步驟，建立用于增強處理的視頻模型；視頻場景分割步驟，將視頻序列中屬于同一場景的視頻序列組合作為增強處理組；后續的處理步驟均以增強處理組作為處理的基本單位。視頻質量分析步驟，用于確定增強處理組的視頻圖像質量；增強處理技術選擇及增強處理步驟，用于根據增強處理組的視頻圖像質量確定該增強處理組的增強處理技術后，采用選擇的增強處理技術結合視頻模型對增強處理組進^f于增強處理；編碼效率分析步驟，獲取并判斷增強處理后的增強處理組的第一編碼效率與不采用增強處理技術對增強處理組進行處理的第二編碼效率之間的關系；編碼步驟，在第一編碼效率高于第二編碼效率時，則直接在編碼器基本層對增強后的增強處理組進行編碼，否則在基本層對原視頻圖像編碼，在增強層，對增強后的增強處理組與原始增強處理組的差值(即質量增益部分)使用改進的編碼方式編碼。下面對每個步驟分別進行描述。視頻模型確立步驟需要建立用于增強處理的視頻模型，在此，可根據視頻的信息量大、相關性強的特點來建立該視頻模型。如圖2所示為1個隨時間變化的狀態轉移的視頻模型，其中，對于圖像中像素的集合或者區域，I-State表示沒有參考圖像的增強計算區域；P-State表示有參考圖像的增強計算區域；O-State表示不需做任何增強計算的區域，該像素集合或區域與編碼過程中Micro-Block的大小可以不一樣，隨時間的狀態轉移與Micro-Block的編碼類型也不一樣，主要是通過場景分析來判定的。當然，圖l僅僅是示出了一種視頻模型，本發明也可以釆用其他的視頻模型來進行處理。視頻模型的建立是為了利用視頻與圖像相比具有信息量大并且相關性強的特點，從而降低3見頻增強處理中的計算量和」提高視頻編碼的效率。在可視電話的應用中，可以把現有的人臉模型或人體模型作為基于內容的視頻模型。本發明的視頻圖像質量增，強的編碼方法中，包括如下的步驟視頻質量分析步驟，用于確定增強處理組的視頻圖像質量；增強處理技術及增強處理步驟，用于根據增強處理組的視頻圖像質量確定該增強處理組的增強處理技術后，采用選擇的增強處理技術結合視頻模型對增強處理組進行增強處理。下面就如何確定視頻圖像質量及如何根據視頻圖像質量確定該增強處理組的增強處理技術進行詳細說明。一般來講，影響視頻圖像質量的有幾個主要方面曝光不均、噪聲、圖像模糊、色彩不鮮艷等。視頻質量分析步驟就是分別針對影響圖像質量的這幾個主要方面進行分析、判斷，不同的方面分別采用不同的判斷算法；而且、可以才艮據一個增強組中的前一或兩幀進行分析，從而得到一個質量增強組的圖像質量判斷結果。例如通過^f莫糊聚類的算法，判斷出一個增強組中第一幀如果有曝光不足現象，就對整個增強組進行MSR( Multi-scale Rentix)曝光補償增強處理；如果第一幀中圖像協方差過大，說明噪聲較大，就對整個增強組進行降噪處理。對于其它的圖像質量方面的不足也可以采用對應的增強處理技術，在此，該增強處理技術包括亮度、對比度增強，用直方圖拉伸處理來增強視頻的對比度和亮度；縮放增強，通過對視頻圖^象的放大與縮小的增強處理，消除圖像分辨率的變化所帶來的視頻質量的下降；平滑去噪，選用中值濾波去除高頻噪聲；色彩增強，如藍天、草原、皮膚等，用人們已經習慣的色彩代替由于采集條件帶來的色彩失真，從而得到令人賞心悅目的彩色視頻圖像；邊緣增強及清晰度增強，用平滑、銳化和細化等技術來增強視頻圖像的清當然，該增強處理技術不僅僅限于以上的舉例，還可以是曝光不均補償處理等其他的增強處理技術。具體的視頻質量的增強過程可以用視頻處理的離散模型表達為下式 G(x， y, t) = Z Z F(s, 7)H(x, y; s， 7)d— t = 1，…N其中，H(x;;:,//)為二維系統的脈沖響應，F(s,;/)是位于X-Y平面上"/;)坐標處的脈沖的加權因子。在確定增強處理技術后，采用增強處理技術先對該增強處理組的第一幀圖像增強，得到增強后的質量增益圖像，然后利用圖1的視頻模型和得到的該質量增益圖像，對該增強處理組的其他視頻序列進行增強處理，具體過程如下所述在對增強處理組進行增強處理時，第一幀做無任何參考信息的增強處理，視為增強處理的I幀圖像，得到質量的增益。然后利用視頻模型求得增強處理組的其他幀的質量增益，有的直接參考前一幀圖像的增益，有的需要重新計算增益等。編碼效率分析步驟中可以利用編碼成本判別函數，例如計算信息熵，根據信息熵的增加或減少，計算、判斷視頻增強前后對圖像編碼效率的影響。編碼步驟中根據增強處理的編碼效率進行分別對待增強處理后如果編碼效率高，則直接在編碼器基本層對增強后的增強處理組進行編碼，增強層內容為空，否則在基本層對原始增強處理組編碼，在增強層，對增強后的增強處理組與原始增強處理組的視頻圖像質量的增益使用改進的編碼方式編碼。該編碼器在增強層具有最小的能量表達，其處理過程如下所述獲取增強后的增強處理組與原始增強處理組的質量殘差；對上述的質量殘差通過能量最小化運算獲取質量殘差的能量最小化表達后進行編碼。對于增強處理組中每一幀圖像增強后的質量增益，與增強處理組中第一幀的質量增益作殘差，用一個矢量集來表示；然后通過能量最小化運算求得該矢量集的一個坐標變換的標準正交基(利用該標準正交基得到的新坐標系將矢量集進行坐標變換即可得到一個能量最小化的矢量表達)；編碼時，把該標準正交基作為用戶數據采用位平面的方法編碼，然后傳輸。本發明的視頻圖像質量增強的編碼裝置如圖3所示，包括如下視頻模型確立模塊，用于建立增強處理的視頻模型；視頻場景分割模塊，用于將視頻序列中屬于同一場景的視頻序列組合作為增強處理組；后續的處理步驟均以增強處理組作為處理的基本單位。視頻質量分析模塊，用于確定增強處理組的視頻圖像質量；增強處理技術選擇及增強處理模塊，用于根據增強處理組的視頻圖像質量確定該增強處理組的增強處理技術后，采用選擇的增強處理技術結合視頻模型對增強處理組進行增強處理；編碼效率分析模塊，獲取并判斷增強處理后的增強處理組的第一編碼效率與不采用增強處理技術對增強處理組進行處理的第二編碼效率之間的關系；編碼模塊，在第一編碼效率高于第二編碼效率時，則直接在編碼器基本層對增強后的增強處理組進行編碼，否則在基本層對原視頻圖像編碼，在增強層，對增強后的增強處理組與原始增強處理組的差值(即質量增益部分)使用改進的編碼方式編碼。由于分別對每一個增強處理組進行視頻圖像質量的判定與分析，進而根據視頻圖像質量確定采用的增強技術，因此，同一個序列的不同增強處理組最后采用的增強技術是不同的，使本發明具有自適應性、可擴展性。下面對本發明的編碼器進行詳細描述。如圖4所示，本發明的編碼器包括2部分基本層編碼模塊和增強層編碼模塊，其中基本層編碼模塊包括DCT單元、量化單元、逆量化單元、IDCT單元、基本參考層獲取單元、第一運動補償單元和VLC，其中DCT單元將基本層的當前一幀與前一幀的預測圖像的殘差進行離散余弦變換，量化單元對DCT單元的輸出信號進行量化處理后發送給VLC處理后輸出基本層的比特流；逆量化單元、IDCT單元對量化單元的輸出信號進行逆量化處理和反離散余弦變換處理后，與第一運動補償單元的輸出(即參考預測圖像)的和，發送到基本層參考獲取單元，得到當前幀的重建圖像，由動補償單元進行預測，得到參考預測圖像。增強層編碼模塊包括坐標變換單元、BP、 IBP,坐標逆變換單元、增強層參考獲取單元，第二運動補償單元，增強層的基本原理和過程與基本層相似，其中坐標變換單元輸出的是矢量參數集和能量的最小化表達結果，然后利用 BP方式編碼輸出增強層碼流。本發明的解碼裝置如圖5所示，包括基本層解碼模塊，用于對基本層編碼模塊發送的數據進行解碼；質量增益解碼模塊，用于對增強層編碼模塊發送的數據進行坐標逆變換后獲取增強處理組中每一幀圖像增強后的質量增益與增強處理組中第一幀的質量增益作殘差后得到的矢量集；基本層圖像重建及補償模塊，用于根據基本層解碼模塊的輸出重建基本層圖像后，利用該質量增益解碼才莫塊得到的矢量集作為補償圖像來對基本層圖像進行補償獲取增強后的圖像輸出。其中，基本層解碼重建模塊包括形狀解碼模塊，用于對編碼碼流中的形狀信息結合前一重構幀進行形狀解碼；運動解碼模塊，用于對編碼碼流中的運動信息進行運動解碼后，結合形狀解碼模塊的輸出進行運動補償；紋理解碼模塊，用于對編碼碼流中的紋理信息結合形狀解碼模塊的輸出進行解碼操作。.同時，基本層圖像重建及補償模塊根據運動解碼模塊和紋理解碼模塊的輸出重建基本層圖像。本發明的視頻圖像質量增強的解碼方法包括如下步驟基本層解碼重建步驟，對基本層編碼模塊發送的數據進行解碼，重建基本層圖像；質量增益解碼模塊，用于對增強層編碼模塊發送的數據進行坐標逆變換后獲取增強處理組中每一幀圖像增強后的質量增益與增強處理組中第一幀的質量增益作殘差后得到的矢量集；補償模塊，用于利用該質量增益解碼模塊得到的矢量集作為補償圖像來對基本層圖像進行補償獲取增強后的圖像輸出。在圖像需要放大縮小的視頻增強處理的編解碼的例子中在放大、縮小處理后，增強視頻圖像的質量，使在分辨率發生變化時也能保證圖像的質量。基本層的碼流經過解碼后得到原始分辨率的圖像，經過上采樣或下采樣得到變分辨率的圖像；然后通過增強層解碼后的不同分辨率的增益圖像進行補償，得到質量增強的、放大或者縮小的圖像。最后應該說明的是，以上實施例僅用以說明本發明的技術方案而非限制，盡管參照較佳實施例對本發明進行了詳細說明，本領域的普通技術人員應當理解，可以對本發明的技術方案進行修改或者等同替換，而不脫離本發明技術方案的精神和范圍，其均應涵蓋在本發明的權利要求范圍當中。
權利要求
1. 一種視頻圖像質量增強的編碼方法，其特征在于，包括步驟A，根據視頻圖像質量選擇增強處理技術，對增強處理組采用不同的圖像增強技術進行增強處理；步驟B，圖像質量增強處理后，若編碼器效率得到提高，編碼器基本層直接對增強后的增強圖像組進行編碼；否則，在基本層對原始圖像增強處理組編碼，在增強層，對增強后的增強處理組與原始增強處理組的質量殘差，并對所述質量殘差的能量最小化表達進行編碼。
2. 根據權利要求1所迷的編碼方法，其特征在于，所述步驟A具體包括步驟Al,將視頻序列中屬于同一場景的視頻序列組合作為增強處理組；步驟A2，確定增強處理組的視頻圖像質量；步驟A3,根據增強處理組的視頻圖像質量確定該增強處理組的增強處理技術后，采用選擇的增強處理技術結合視頻模型對增強處理組進行增強處理。
3. 根據權利要求1所述的編碼方法，其特征在于，所述步驟B中，增強處理后的編碼效率降低時增強層的處理具體為獲取增強處理組中每一幀圖像增強后的質量增益；將增強處理組中第一幀以外的其他幀的質量增益與增強處理組中第一幀的質量增益作殘差，并用一個矢量集表示；通過能量最小化運算求得所述矢量集的一個坐標變換的標準正交基；將該標準正交基作為用戶數據編碼。
4. 根據權利要求3所述的編碼方法，其特征在于，將該標準正交基采用位平面方法編碼。
5. —種視頻圖像質量增強的編碼裝置，其特征在于，包括增強模塊，用于根據視頻圖像質量選擇增強處理技術對增強處理組進行增強處理；編碼器，用于在增強處理后的編碼效率提高時，在基本層對增強后的增強處理組進行編碼，否則，在基本層對原增強處理組編碼，在增強層，對增強后的增強處理組與原始增強處理組的質量殘差，并對所述質量殘差的能量最小化表達進行編碼。
6. 根據權利要求5所述的編碼裝置，其特征在于，所述增強模塊具體包括視頻場景分割模塊，用于將視頻序列中屬于同一場景的視頻序列組合作為增強處理組；視頻質量分析模塊，用于確定增強處理組的視頻圖像質量；增強處理技術選擇及增強處理模塊，用于根據增強處理組的視頻圖像質量確定該增強處理組的增強處理技術后，采用選擇的增強處理技術結合視頻模型對增強處理組進行增強處理。
7. 根據權利要求5所述的編碼裝置，其特征在于，所述編碼器的增強層具體包括質量增益獲取模塊，用于獲取增強處理組中每一幀圖像增強后的質量增益；質量增益殘差獲取4莫塊，用于將增強處理組中第一幀以外的其他幀的質量增益與增強處理組中第一幀的質量增益作殘差，并用一個矢量集表示；標準正交基獲取模塊，用于通過能量最小化運算獲取所述矢量集的一個坐標變換的標準正交基；編碼模塊，用于將所述標準正交基作為用戶數據編碼。
8. 根據權利要求7所述的編碼裝置，其特征在于，所述編碼模塊采用位平面方法編;s馬。
9. 一種視頻圖像質量增強的解碼方法，其特征在于，包括基本層解碼重建步驟，用于對基本層編碼數據進行解碼，重建基本層圖像；質量增益解碼步驟，用于對增強層編碼數據進行坐標逆變換后獲取增強處理組中每一幀圖像增強后的質量增益與增強處理組中第一幀圖像增強后的質量增益的殘差對應的圖^f象；補償步驟，用于利用該質量增益解碼模塊得到的圖像作為補償圖像來對基本層圖像進行補償，獲取增強后的圖像。
10. —種視頻圖像質量增強的解碼裝置，其特征在于，包括基本層解碼模塊，用于對基本層編碼數據進行解碼；質量增益解碼模塊，用于對增強層編碼數據進行坐標逆變換后獲取增強處理組中每一幀圖像增強后的質量增益與增強處理組中第一幀圖像增強后的質量增益的殘差對應的圖^^;基本層圖像重建及補償模塊，用于根據基本層解碼模塊的輸出重建基本層圖像后，利用該質量增益解碼模塊得到的矢量集作為補償圖像來對基本層圖像進行補償獲取增強后的圖像輸出。
11.根據權利要求10所述的視頻圖像質量增強的解碼裝置，其特征在于，所述基本層解碼模塊具體包括形狀解碼模塊，用于對編碼碼流的形狀信息結合前一重構幀進行形狀解碼；運動解碼模塊，用于對編碼碼流中的運動信息進行運動解碼后，結合形狀解碼模塊的輸出進行運動補償；紋理解碼模塊，用于對編碼碼流中的紋理信息結合形狀解碼模塊的輸出進行解碼操作；所述基本層圖像重建及補償模塊根據運動解碼模塊和紋理解碼模塊的輸出重建基本層圖像。
全文摘要
本發明公開了視頻圖像質量增強的編解碼裝置與編解碼方法，其中的編碼方法，包括步驟A，根據視頻圖像質量選擇增強處理技術，對增強處理組采用不同的圖像增強技術進行增強處理；步驟B，圖像質量增強處理后，若編碼器效率得到提高，編碼器基本層直接對增強后的增強圖像組進行編碼；否則，在基本層對原始圖像增強處理組編碼，在增強層，對增強后的增強處理組與原始增強處理組的質量殘差，并對所述質量殘差的能量最小化表達進行編碼。本發明的裝置和方法能有效地提高視頻質量的同時提高了編碼效率。
文檔編號H04N7/26GK101272489SQ200710089640
公開日2008年9月24日申請日期2007年3月21日優先權日2007年3月21日
發明者輝金申請人:中興通訊股份有限公司

完整全部詳細技術資料下載