專利名稱：三維小波視頻編碼中的自適應幀分組算法的制作方法
技術領域：
本發明涉及視頻編碼領域中的幀分組算法，具體為一種三維小波視頻編碼中的自適應幀
分組算法。
扭旦灶士 冃爾忟不
由于小波變換的多尺度分析特性，基于三維小波變換的視頻序列壓縮方法能夠提供質量、 空間、時間可擴展性。在現行的技術上，三維小波變換通過一維時域小波變換加二維空域小 波變換的方式實現。在進行一維時域小波變換時， 一般采用結合運動補償的時域濾波技術。 運動補償時域濾波技術使得時域小波變換在具有較強相關性的像素間進行，從而有效地去除 各幀之間的相關性，提升編碼效率。
由于存儲和編解碼的限制，在對視頻序列進行時域一維小波變換時首先需要對序列進行 分組(Gro叩of Picture, GOP)，然后再對每個GOP進行多級時域一維小波變換。在進行多級 時域小波變換時，每一級變換均對上一級變換得到的低頻幀進行運動補償時域濾波，直至只 剩下一個低頻幀，附圖1示出了G0P大小為16時的這一過程。因此，當時域小波變換進行到 較高級時需要對在時域上相隔較遠的幀進行運動補償小波變換。例如，當G0P大小為16時， 第四級時域Harr小波變換是在基于原序列的第1幀和第9幀所得到的兩個低頻幀之間進行 的。因此，若視頻序列具有較強的運動，則相隔較遠的兩幀之間的運動補償效果會變差，從 而降低編碼效率。然而，目前的大部分三維小波視頻編碼方案并沒有很好地考慮到這一特性， 主要采用兩種方法確定GOP大小方法一是采用固定大小(一般為8或者16)的G0P對視頻 序列進行處理；方法二是根據當前GOP的運動情況去判定下一個GOP的大小。方法一不能隨 視頻序列的運動變換情況而自適應地改變GOP大小。方法二雖能自適應地改變GOP大小，但 不能很好地跟蹤視頻序列的運動變化。因此，這兩種分組算法都可能造成潛在的編碼性能下 降。
另一方面，運動補償時域Harr小波變換具有如下特性 一個大小為2* = 1,2,3,…)的 G0P的運動補償時域Harr小波變換可以通過如下方式實現首先將該G0P按前后順序分為兩 個大小為W的子GOP，再對兩個子GOP分別進行運動補償時域Harr小波變換，最后再對得到 兩個子G0P的低頻幀丄u和丄,進行一級運動補償時域Harr小波變換。由上述步驟得到的1個 低頻幀和2 + AT-l個高頻幀即為原GOP的運動補償時域Harr小波變換結果。附圖2示出了此 特性在7^ = 4時的一個例子。同理， 一個大小為7V的G0P可以由其兩個大小為AT/2的子G0P 的進行上述的合并而實現。因此， 一個大小為2、/^ = 2，3,4,...)的GOP可以由其大小為2的子GOP開始，通過逐級對連續的且大小一致的子GOP的低頻幀進行運動補償時域Harr小波變換
而進行合并的方式得到最終的運動補償時域Harr小波變換結果。
發明內容
為克服背景技術中所敘述的分組算法的不足，本發明的目的在于，提供一種能自適應視
頻序列變化情況的三維小波視頻編碼中的自適應幀分組算法，其具體技術方案如下
一種應用于三維小波視頻編碼中的自適應幀分組算法，首先確定一個最大GOP大小，通
過逐級合并子GOP的方式，實現最大GOP的運動補償時域Harr小波變換，并在每次合并的過 程中檢驗需要進行的運動補償是否有效，即能否準確地對高頻幀像素進行預測，以此確定是 合并兩個子G0P，從而得到兩個子GOP所組成的GOP的運動補償時域Harr小波變換結果，還 是保持兩個子GOP不變而得到兩個獨立的子GOP，從而將最大GOP劃分為若干獨立子GOP，得 到自適應的GOP結構，其特征在于，具體包括下列步驟
基于背景技術中所描述的運動補償時域Harr小波變換的特性，在確定最大GOP的大小為 ^max(W顯== 4，5，6，…)并將視頻序列劃分為連續的大小為Wmax的GOP后，采用如下過程 實現每個最大GOP運動補償時域Harr小波變換首先將最大GOP劃分為若干大小為2的子 GOP,并對這些子GOP進行運動補償時域Harr小波變換，然后再對兩個連續且大小為2的子 GOP的低頻幀進行運動補償時域Harr小波變換。兩個大小為2的子GOP進行上述步驟后，將 得到由二者合并所得的大小為4的子GOP的運動補償時域Harr小波變換結果。完成合并大小 為2的子GOP之后，再合并連續的兩個大小為4的子G0P，得到大小為8的子GOP的運動補 償時域Harr小波變換結果，重復對得到的子GOP進行上述合并過程，直至得到原GOP的運動 補償時域Harr小波變換結果。
為了得到自適應的幀分組結構，在進行上述的對連續的兩個大小一致的子GOP的低頻幀 進行運動補償時域Harr小波變換，合并兩個子GOP的過程中，需要檢驗在兩個低頻幀間進行 的運動補償過程是否有效，即能否準確地對高頻幀像素進行預測，并由此確定是對兩個子GOP 的低頻幀進行運動補償時域Harr小波變換，從而合并兩個子GOP并得到兩個子GOP所組成的 GOP的運動補償時域Harr小波變換結果，還是保持兩個子GOP不變而得到兩個獨立的子GOP。 在進行上述判斷時，若運動補償效率較低，則不合并兩個子G0P，保持兩個子GOP的低頻幀 不變，從而得到兩個獨立的子G0P，否則若能有效進行運動補償，則對兩個子GOP的低頻幀 進行運動補償時域Harr小波變換，從而合并兩個子G0P，得到兩個子GOP所組成的GOP的運 動補償時域Harr小波變換的結果。對于一個最大G0P，從大小為2的子GOP開始重復進行上 述的檢測、合并的步驟，直至不能合并任何兩個子GOP或者只存在一個GOP，得到最終的GOP 結構。
由前述可知，本發明具有如下有益效果直接依據運動補償的效果將最大GOP分解為若
干合適大小的子GOP，得到優化的分組結構；在得到分組結構的同時已經對各子GOP進行了
運動補償時域Harr小波變換，可以直接進行后續的處理過程；僅在判斷結果為不合并子GOP
時增加一次運動補償過程，因此本發明只會少量地增加編碼算法的變換復雜度。
圖1， G0P大小為16時的運動補償時域Harr小波變換過程。
圖1示出了 G0P大小為16時的運動補償時域Harr小波變換過程。在圖1中，1代表未 進行變換之前G0P中的各幀；2和3分別代表第一級運動補償時域Harr小波變換后所得到的 低頻幀和高頻幀；4和5分別代表第二級運動補償時域Harr小波變換后所得到的低頻幀和高 頻幀；6和7分別代表第三級運動補償時域Harr小波變換后所得到的低頻幀和高頻幀；8和 9分別代表了第四級運動補償時域Harr小波變換后所得到的低頻幀和高頻幀；如圖所示，原 G0P —共需要進行四級運動補償時域Hair小波變換，最終得到的1個低頻幀8， 8個高頻幀3, 4個高頻幀5， 2個高頻幀7和1個高頻幀9，即原G0P經過運動補償時域Harr小波變換后得 到1個低頻幀和15個高頻幀。
圖2, G0P大小為8時分解為子G0P實現運動補償時域Harr小波變換的過程。
圖2示出了大小為8的G0P分解為兩個子G0P實現運動補償時域Harr小波變換的過程。 在圖2中，10和11分別表示由原G0P的前4幀和后4幀所組成的子G0P中的各幀；12和13 分別表示第一個子GOP第一級運動補償時域Harr小波變換后所得的低頻幀和高頻幀；14和 15分別表示第二個子GOP第一級運動補償時域Harr小波變換后所得的低頻幀和高頻幀；16 和17分別表示第一個子GOP第二級運動補償時域Harr小波變換后所得的低頻幀和高頻幀； 18和19分別表示第二個子GOP第二級運動補償時域Harr小波變換后所得的低頻幀和高頻幀； 20和21分別表示對第一個子GOP和第二個子GOP的運動補償時域Harr小波變換過程；22和 23表示對兩個子GOP的低頻幀進行運動補償時域Harr小波變換后所得到的低頻幀和高頻幀； 如圖所示，大小為8的GOP的運動補償時域Harr小波變換可以通過對其大小為4的子GOP的 低頻幀作一次運動補償時域Harr小波變換而實現。
圖3，分組算法實施過程和結果。
圖3示出了本發明所述分組算法的一次具體實施過程和結果。圖中24至31代表將原GOP 按順序劃分所得的8個大小為2的子GOP; 32代表對GOP作運動補償時域Harr小波變換的過 程；對子G0P24，子G0P25，子G0P26，子G0P27，子G0P28,子G0P29，子G0P30，子GOP31 進行由32所表示的運動補償時域Harr小波變換，其結果分別由33， 34， 35， 36， 37， 38, 39， 40所表示；42， 43， 44, 45代表分別由子G0P24和子GOP25，子G0P26和子G0P27，子G0P28和子G0P29，子G0P30和子G0P31合并后所得的大小為4的子GOP的運動補償時域Harr 小波變換結果；46代表由子G0P28，子G0P29,子G0P30，子G0P31合并后所得的大小為8的 子GOP的運動補償時域Harr小波變換結果；41代表一個判決器，用來判定兩個子GOP的低 頻幀進行一次運動補償時域Harr小波變換時的運動補償是否有效，從而決定是否合并兩個子 G0P。
具體實施例方式
根據前述的描述，以下給出發明者的對所發明的算法的一個具體實施流程，但本專利所 保護的范圍并不限于該實施流程。
1) 設定最大的GOP大小為UA^ =2*^ = 4，5,6，...)，并將視頻序列劃分為連續的大
2) 對于每個大小為7V^的G0P,將其劃分為W^/2個大小為2的子GOP，并對每個子
GOP進行時域Harr小波變換后標記為非獨立GOP;
3) 若存在未被標記為獨立GOP的子GOP，則轉第4歩，否則轉第5步；
4) 從第一個未被標記為獨立GOP的子GOP開始，對連續的兩個子GOP，若二者中至少有 一個被標記為獨立GOP或二者大小不一致，則將兩個GOP均標志為獨立GOP并轉到第5歩， 否則先保留它們的低頻幀丄。，A ，再對A)和A進行時域Harr小波變換，得到一個低頻幀ZZ和
一個高頻幀丄//，檢查新得到的高頻幀丄/z與變換之前的幀i:,是否滿足下式
<『 (1)
上式中，M4S()表示求該幀所有像素的平均絕對值，r表示一個閾值，取值為0.06，
那么有如下兩種結果
今若丄,和丄//能夠滿足(1)式，則用ZX和丄/Z取代丄。和A并合并這兩個子GOP，并將新 的GOP標記為非獨立G0P;
今若A和不能夠滿足(1)式，則丄。和^保持不變，并將這兩個子GOP標記為獨立GOP;
5)若所有的子GOP都被標志為獨立G0P或者只存在一個子G0P且該G0P大小為Wraax則 結束分組，否則轉到第3步。
在上述實施例中，式(i)中的閾值r是基于對大量標準測試序列進行測試所取得的。這個
取值能夠對大部分的測試序列取得優化編碼效率的效果。
圖中24至31代表原G0P按順序劃分的8個大小為2的子G0P
附圖3示出了本發明依據上述流程對一個G0P進行分組的過程和結果。圖中所述的最大 G0P的大小為16。如圖所示，首先對最大GOP進行劃分，得到由24至31所代表的原G0P按
順序劃分的8個大小為2的子G0P，隨后分別對子G0P24， G0P25，子G0P26，子G0P27,子 G0P28，子G0P29，子G0P30，子G0P31進行由32所表示的運動補償時域Har:r小波變換，得 到分別由33， 34， 35， 36， 37， 38， 39， 40所表示的結果。接下來，33和34， 35和36， 37 和38， 39和40均經過判決器41以判定是否合并子GOP。四個判決器的結果均為進行合并， 得到42， 43， 44， 45所表示的分別由子G0P24和子G0P25， 子G0P26和子G0P27,子G0P28 和子G0P29,子G0P30和子GOP31合并后所得到的大小為4的子GOP的運動補償時域Harr小 波變換結果。接著，42和43再經過判決器41，判決結果為不進行合并，42和43保持不變； 44和45也經過判決器41，判決結果為進行合并，得到46所表示的由子G0P28，子G0P29, 子G0P30，子G0P31合并所組成的大小為8的子GOP的運動補償時域Harr小波變換結果。接 下來無法再繼續進行合并操作，分組過程結束。原大小為16的GOP被劃分為兩個分別由子 G0P24和子G0P25，子G0P26和子G0P27所組成的大小為4的子G0P，以及一個由G0P28,子 G0P29，子G0P30，子G0P31所組成的大小為8的子GOP.
權利要求
1.一種三維小波視頻編碼中的自適應幀分組算法，首先確定一個最大GOP大小，通過逐級合并子GOP的方式，實現最大GOP的運動補償時域Harr小波變換，并在每次合并的過程中檢驗需要在兩個低頻幀間進行的運動補償是否有效，即能否準確地對高頻幀像素進行預測，以此確定是合并兩個子GOP，從而得到兩個子GOP所組成的GOP的運動補償時域Harr小波變換結果，還是保持兩個子GOP不變而得到兩個獨立的子GOP，從而將最大GOP劃分為若干獨立子GOP，得到自適應的GOP結構。
2. 根據權利l所述的三維小波視頻編碼中的自適應幀分組算法，其特征在于所敘述的最大 G0P的大小A^^為24 , AT為大于3的整數。
3. 根據權利l所述的三維小波視頻編碼中的自適應幀分組算法，其特征還在于通過逐級合 并子GOP的方式，實現運動補償時域Harr小波變換的過程首先是將最大GOP劃分為若干大小 為2的子G0P，并對這些子GOP進行運動補償時域Harr小波變換，然后合并連續的兩個大小 為2的兩個子G0P，得到大小為4的子G0P的運動補償時域Harr小波變換結果，再合并連續 的兩個大小為4的子GOP，得到大小為8的子G0P的運動補償時域Harr小波變換結果，重復 對得到的子GOP進行上述合并過程，直至得到原GOP的運動補償時域Harr小波變換結果。
4. 根據權利l所述的三維小波視頻編碼中的自適應幀分組算法，其特征還在于所敘述的合 并子GOP是指對兩個子GOP的低頻幀進行運動補償時域Harr小波變換，得到由二者合并所得 的GOP的運動補償時域Harr小波變換結果。
5. 根據權利l所述的三維小波視頻編碼中的自適應幀分組算法，其特征還在于根據運動補 償是否有效，以確定是否合并子GOP的過程是指若運動補償效率較低，則不合并兩個子GOP， 保持兩個子GOP的低頻幀不變，從而得到兩個獨立的子G0P，否則若能有效進行運動補償， 則對兩個子GOP的低頻幀進行運動補償時域Harr小波變換，從而合并兩個子GOP,得到兩個 子GOP所組成的GOP的運動補償時域Harr小波變換的結果。
全文摘要
本發明涉及視頻編碼領域中的一種三維小波視頻編碼中的自適應幀分組算法。該算法包括如下步驟首先將最大GOP劃分為大小為2的子GOP，再采用逐級合并連續且大小一致的子GOP的方式實現最大GOP的運動補償時域Harr小波變換；在每次合并子GOP前，檢驗將進行的運動補償是否有效，并以此確定是合并子GOP，還是不合并子GOP而得到獨立的子GOP；重復上述過程直至不能合并任何子GOP或者只剩下一個子GOP，得到最終的GOP結構。該算法能夠自適應視頻序列的變換，將最大GOP劃分為一個或者若干個獨立GOP，提升編碼性能。
文檔編號H04N7/26GK101184243SQ20071019542
公開日2008年5月21日 申請日期2007年11月28日 優先權日2007年11月28日
發明者凃國防, 吳偉仁, 孫應飛, 燦 張, 康 陳 申請人:中國科學院研究生院