專利名稱：基于子波分解的視頻編碼方法
技術領域：
本發明涉及一種應用于被細分成幀的組(GOF)的視頻序列的并基于在線處理的編碼方法，包括以下步驟-初始化步驟，用于規定其進行編碼處理所需的輸入參數；-運動估算/補償步驟，用于進行在連續的成對幀之間的運動估算和補償；-時空分解步驟，用于進行三維的(3D)子波分解，其中在利用在初始化步驟中規定的加權常數的所謂的提升方案(lifting schemeitself)中使用雙正交濾波器組；-編碼步驟，用于利用適用于3D分解的編碼方法編碼這樣獲得的變換系數。
背景技術：
在視頻壓縮方法中，主要通過兩類方法實現暫時冗余度的減小。在第一種方法，即所謂的“混合”或預測方法中，根據先前傳輸的幀計算當前幀的預測，并且只有預測誤差被內部編碼并被傳輸。在第二種方法中，暫時冗余度借助于時間變換被使用，其是一種3D(或2D+t)方法，其類似于用于除去冗余的空間技術。按照所述后一種方法，幀的序列作為3D容積被處理，并且通過使用可分離的變換(例如，借助于濾波器組執行的子波或子波包變換)在圖像編碼中通常使用的標準的子帶分解因而可被擴展為3D時空數據。顯然，在3D結構中，具有各向異性，不過其可以通過沿時間和空間方向使用不同的濾波器組加以考慮(通常，使用Haar濾波器進行時間濾波，這是因為使用較長的濾波器產生的附加延遲是不希望的；此外，它們是兩個抽頭的濾波器，并且是沒有邊界效應的唯一的完好的重構正交濾波器。)這種3D編碼方法的編碼效率可以通過在每個時間分解級在低的時間子帶中進行運動估算/補償來改善。3D子帶分解被應用于幀的被補償組(幀的這個組必須含有幀的二進制的冪，通常是16)，并且，在最后的時間分解級，在最低的時間子帶中具有兩個幀。在時間子帶的每個幀中，進行空間分解。
子帶編碼數據的三維結構可以作為空間子帶編碼技術的擴展來實現。一種用于圖像壓縮的最有效的基于子波的方法基于2D SPIHT算法，在A.Said和W.A.Pearlman的文章“A new，fast，and efficientimage codec based on set partitioning in hierarchicaltrees(＝SPIHT)”，IEEE Transactions on Circuits and Systems forVideo Technology，vol.6，June 1996，pp.243-250中描述了，并且最近又擴展到3D結構。在這種3D編碼技術中的基本構思如下相應于同一位置的時空樹被在子波域內形成，此時在這些樹中的子波變換系數被分成由在其幅值的位平面表示中的最高有效位的級限定的組，并且最后，最高的其余的位平面被編碼，并傳輸所得到的位。
原始的SPIHT算法基于正交分解的假設，按照這種假設，重構誤差等于作為子帶畸變之和測量的量化誤差(這就是能夠根據每個子帶的能量分配位積聚的原因)。還已經表明，利用正交濾波器不會得到在圖像和視頻編碼中的最好的結果，但是雙正交濾波器能夠得到(這是由于這樣的事實，雙正交濾波器的對稱性在和其原始波相同的空間位置產生子波系數)。不過，雙正交濾波器不保留量化誤差的L2范數，為進行正交變換而推斷的位的重新分配不應當導致最小的重構誤差。
此外，雙正交濾波器被確定等于一個乘法常數，因此，當利用唯一的完美的重構條件時，可以設計無窮大的濾波器組。如果使用濾波器組的提升實施，則已知多相矩陣總能被分解成系數P(z)=Πi=1m1Si(z)0110ti(z)1K001/K,]]>其中ti和si是勞倫多項式，K是實常數。在這種情況下，相應于合成部分的雙多相矩陣被給出如下P~(z)=Πl=1m10-si(z-1)11-ti(z-1)011/K00K]]>對于所有的K，都能確保完好的重構，因為P(z)P~(z-1)t=I]]>
這種分解通過
圖1和圖2所示的雙重方法來實現。因此，相應于不同的系數化和常數K的不同的值，具有無窮個實現。從編碼的觀點看來，這些濾波器組不都是等效的。用于選擇這個乘法常數的一個常用的準則是使多相矩陣的行列式等于1，但是這種選擇對于編碼性能可能不是最好的(這就是大多數常用算法基于接近正交的雙正交變換的原因)。
發明概述因此，本發明的目的在于提供一種用于改善視頻編碼方法的高度非正交的子波變換的可應用性的技術，該技術基于3D子波分解和自動的位分配機理。
為此，本發明涉及一種例如在本說明書的引言部分中所限定的編碼方法，并且，此外，其特征在于，所述方法還包括由離線計算構成的離線處理，所述離線處理包括以下子步驟-除去加權常數之外，確定相同類型的輸入參數用于這些離線計算；-執行隨機的GOF產生子步驟，產生的GOF含有適用于原始序列的表示的平均和標準偏差的白的、高斯噪聲；-根據所述提升方法并使用沒有任何加權常數的相同的濾波器組，執行3D子波分解；-計算由所述3D分解得到的時空子帶的標準偏差；-由噪聲的標準偏差除所述標準偏差，在所述除法子步驟的輸出可以得到最佳的加權常數，并發送給所述濾波器組，以便能夠加權時空子帶的輸出。
根據子帶中的能量的重新分配，這樣確定用于3D分解中的雙正交濾波器的最佳加權。基于松弛(relaxation)算法的一些復雜的方法已經在用于選擇圖像編碼的框架中的這些常數的文獻中使用過，例如在IEEE Transactions on Image Processing，vol.4，n°9，September1995，pp.1269-1281，P.Moulin的文章“A multiscale relaxationalgorithm for SNR maximization in non-orthogonal subbandcoding”中所述的方法。還具有使用人類視覺系統，以便使重構誤差在主觀上更能夠接受的技術，例如在IEEE Transactions onInformation Theory，vol.38，n°2，March 1992，pp.897-904，P.Desarte等人的文章“Signal-adapted moltiresolutiontransform for image coding”中所述的技術。不過，所有這些現有的算法都針對圖像編碼，而本發明提出的方法-一種把先前的方法向3D子波分解的情況的擴展-專門用于視頻編碼。這種方法可用于任何類型的線性濾波器，尤其可用于運動補償的時間濾波器的框架中。
附圖詳細說明下面以舉例方式參照附圖詳細說明本發明，其中圖1是基于3D子波分解，后面是SPIHT狀的編碼算法的整體視頻編碼方法；圖2給出所述整體視頻編碼方法，按照本發明，其包括優化濾波器組的步驟，其本身被分成為計算用于3D空間時間分解的最佳的加權常數而執行的相繼的操作。
本發明的詳細說明一種常規的基于3D子波分解，后面是SPIHT狀的編碼算法的視頻編碼方法如圖1所示。包括連續的幀F(1)，F(2)，…，F(n)的原始視頻序列被細分成具有和在壓縮時使用的大小相同的幀組(GOF)，其中含有高斯白噪聲(隨機變量無關，按正態分布率同一地分布)。在初始化步驟11(INIT)規定輸入參數(GOF幀的數量，子波類型，次最佳加權)，這種編碼方法還包括相繼的運動估算/補償步驟12(MECP)，3D時空分解步驟13(STDE)，其中使用具有次最佳常數的濾波器組，以及SPIHT狀的編碼步驟14(SENC)，在其輸出可以得到編碼的位流(ENCB)。
按照本發明端面的整體視頻編碼方法，如圖2所示，其中包括和步11到步14類似的步驟21，22，23，24，以下述方式被修正相對于按照圖1的相繼的步驟進行的在線計算ONLC，引入離線計算，以便優化在3D時空分解步驟中使用的加權系數的計算操作。這個分解步驟，現在標號為23，使用利用最佳常數加權的濾波器組。下面說明這些出現在圖2的左部分中的模塊230中的離線計算OFLC。
首先，如圖1所示的方法那樣，在定義子步驟231(INIT)期間，規定輸入參數(GOF幀數，子波類型，…)，接著進行隨機GOF產生子步驟232(GOFG)。關于高斯白噪聲，因為原始圖像用8位表示(即利用由0到255范圍內的值)，選擇了平均偏差為128，標準偏差為32的高斯分布。因此，每個幀內部的值滿足下式F(m，n)＝(32×N(m，n))+128其中N(m，n)是平均偏差為0和標準偏差為單位1的高斯白噪聲。這個條件確保幾乎所有產生的值都在間隔(0，255)內，系數的輸入值位于在此間隔內(不過，可以注意到，所述分布的平均偏差和標準偏差的精確的值并不重要，只要滿足幾乎系數的整個的動態范圍被包括在一般的置信區間內這個條件即可)。
然后進行子波分解子步驟233(WAVD)，其中例如使用在BillLaboratories technical report，Lucent Technologies，1996，I.Daubechies和W.Sweldens的文章“Factoring wavelettransforms into lifting steps”所述的提升方案(liftingscheme)。隨機產生的GOF利用沒有任何加權常數(K＝1)的濾波器來分解。然后，子步驟234(STDC)允許計算所得的時空子帶的標準偏差，這些標準偏差被32除，以便在除法子步驟235(DIV)的輸出獲得被發送給分解步驟23的最佳的加權(的確，由相應于子帶的標準偏差除每個子帶中的系數導致每個子帶的一個標準單位標準偏差，這意味著在每個子帶中的能量等于所述的標準單位，如同在標準正交分解的情況那樣)。
這最佳的能量重新分配最后在編碼步驟24中允許在和由標準正交分解隱含的相同的假設下使用SPIHT算法系數按逐個位平面發送，并且重構誤差等于量化誤差。對于給定的濾波器組，這導致最大的編碼增益。
由上可見，為了計算加權系數，本技術已經被應用于原始的隨機GOF，而不進行運動估算和補償。一旦得到這些常數，便對運動補償的GOF進行時空分解。這種技術被這樣的事實證明是合適的，即時間分解在運動的方向上必須是正交的。的確，通過在運動補償之后進行時間濾波，只有屬于同一個軌跡的點被濾除。
權利要求
1.一種應用于被細分成幀的組(GOF)的視頻序列的并基于在線處理的編碼方法，包括以下步驟-初始化步驟，用于規定其進行編碼處理所需的輸入參數；-運動估算/補償步驟，用于在連續的成對幀之間進行運動估算和補償；-時空分解步驟，用于進行三維的(3D)子波分解，其中在利用在初始化步驟中規定的加權常數的所謂的自舉方案中使用雙正交濾波器組；-編碼步驟，用于編碼這樣獲得的變換系數，所述方法的特征在于，其還包括由包括以下子步驟的離線計算構成的離線處理-除去加權常數之外，確定相同類型的輸入參數，用于這個離線處理；-執行隨機的GOF產生子步驟，產生的GOF含有適用于原始序列的表示的平均和標準偏差的白的、高斯噪聲；-根據所述提升方案并使用沒有任何加權常數的相同的濾波器組，執行3D子波分解；-計算由所述3D分解得到的時空子帶的標準偏差；-由噪聲的標準偏差除所述標準偏差，在所述除法子步驟的輸出可以得到最佳的加權常數，并發送給所述濾波器組，以便能夠加權時空子帶的輸出。
2.按照權利要求1所述的編碼方法，其中所述編碼方法是所謂的SPIHT算法。
3.如權利要求1和2任何一個所述的編碼方法，其中對于以8位表示的具有從0到255的原始的視頻序列，使用等于128的平均偏差和等于32的標準偏差用于亮度分量，使用等于128的平均偏差和等于20的標準偏差用于色度分量。
全文摘要
本發明涉及一種用于編碼被細分為幀的組的視頻序列的方法。所述方法包括在線處理，其中進行三維子波分解，所述子波分解在使用最佳的加權常數的提升方案中涉及雙正交濾波器組。這些常數被確定是由于附加的離線處理，其中進行類似的分解，但是沒有任何加權常數。
文檔編號H04N7/30GK1393110SQ01802967
公開日2003年1月22日 申請日期2001年7月23日 優先權日2000年8月8日
發明者B·佩斯奎特－珀佩斯庫 申請人:皇家菲利浦電子有限公司