專利名稱：視頻圖像序列的編碼方法和裝置的制作方法
技術領域：
本發明涉及由離散子波分解運動補償的時間濾波實現的視頻圖像的編碼和解碼(譯碼)的方法和裝置。
更確切地說，本發明屬于運用一種運動補償和一些通過離散地變換成子波的時間變換的數字圖像序列的編碼范圍。
目前，為了給視頻圖像序列編碼而使用的大部分編碼器產生一個唯一的數據流，對應于被編碼的視頻圖像序列的完整性。當一個客戶希望開發一個被編碼的視頻圖像序列時，他應該收到和處理被編碼的視頻圖像序列的整體。
然而，在電信網絡，例如因特網里，客戶具有不同的特點。這些特點是例如在電信網絡中被分配給客戶的帶寬和/或它們的電信終端的處理容量。另一方面，在某些情況下，客戶們希望在第一時間里使視頻圖像序列在一個弱的分辨率和(或)質量下快速顯象，顯象的質量這在以后是在一種最理想的質量和分辨率下顯象。
為了暫時應付這些問題，出現了稱為可分級的視頻圖像序列的編碼算法，也就是說具有時空可變的質量和(或)分辨率的，在這些算法中，數據流按照好幾層被編碼，這些層的每一層都被嵌入到上級層里。例如包括具有一個更低的質量和(或)分辨率的被編碼的視頻圖像序列的數據流的一部分，被送到特性很有限的客戶那里，包括在質量和(或)分辨率上一些補充數據的數據流的另一部分被唯一地送到特性很強的客戶那里，而這沒有要求以不同的方式給視頻圖像序列編碼。
新近出現了用離散的子波分解(英文為“ Discrete WeveletTransform”ou DWT)運動補償的時間濾波的算法。這些算法首先用視頻圖像序列的那些圖像之間的子波進行時間變換，然后在空間上分解那些合成的時間分波段。更確切地說，視頻圖像序列被分解成兩組圖像偶數圖像和奇數圖像，當用子波進行時間變換時，在每一個偶數圖像和奇數圖像之間或那些最接近被使用的奇數圖像之間一個運動受到重視。那些偶數圖像和奇數圖像反復地彼此互相運動補償以便取得一些時間分波段。可以重復進行創建圖像組和運動補償過程，以便產生不同級別的子波變換。借助于子波分析濾波器那些時間圖像隨后被空間地濾波。
分解結束后得到一組空間-時間分波段。運動場和空間-時間分波段最終按層被編碼和傳遞，這些層對應于目標的分辨率水平。這些算法中的某一些進行時間濾波是根據1997年W.Sweldens，Sium J.Anal的出版物中推薦的技術，(在第29卷，第二期，第511-546頁中，以英語“Lifting”(面部去皺紋手術)而著名的。)在這些算法中間，這曾在題目為“3D Subband Video codingUsing Barbell Lifting；MSRA Asia；Contribution S05 au CFPMPEG-21 SVC”的出版物里被推薦用奇數圖像的像素當場顯示偶數圖像的像素，通過重新使用在從偶數圖像出發的奇數圖像的期望值時使用的奇數圖像的像素的權重，以便利用這些權重進行加權后的顯示。與一個權重W一起的期望值作出貢獻的一個偶數圖像的一點P(x，y)對一個奇數圖像的一點Q’(x’，y’)將與權重W的加權后點Q’(x’，y’)的貢獻一起被顯示。
這種解決辦法是不能令人滿意的。事實上，許多問題都沒有用這種算法解決。在那些偶數圖像里存在一些沒有被顯示的像素。這種像素的未被顯示被稱作“孔”，它使不完全反轉顯象的運動場顯示，并在客戶的譯碼器上圖像重建的時候產生一些贗象。還有，對于通過一個偶數圖像的像素，多樣性顯示的某些像素來說，這種顯示不是標準化的。這種標準化的缺失也產生一些贗象，例如一些超前和(或)落后的回波，當在客戶的譯碼器上重建圖像時。
本發明的目的在于通過提出視頻圖像序列的編碼和譯碼的一種方法和裝置解決現有技術的缺陷。此方法和此裝置是通過用離散的子波分解運動地補償時間濾波，在這當中，在譯碼器上重建的圖像已經沒有了技術狀況的贗象。
為此目的，根據一個第一方面，本發明推薦通過用離散的子波分解運動地補償時間濾波對一個視頻圖像序列進行編碼的方法，一種離散的子波分解的方法包括把視頻圖像序列分成兩組圖像的步驟，至少一個確定步驟，此步驟從至少由稱作源組的圖像組之一的像素組成的一個圖像出發，確定稱作目的組的另一圖像組的一個圖像的一個具有代表性的圖像。其特征在于具有代表性的圖像包括一些像素和一些子像素，它們是從源組的至少一個圖像的通過過采樣獲得的像素和子像素出發確定的。
相應地，本發明涉及一個視頻圖像序列編碼裝置，此裝置利用了離散的子波分解運動地補償時間濾波，此裝置包括一些離散的子波分解的設備，它們包括一些把視頻圖像序列分成兩個圖像組的設備，一些人稱作源組的圖像組之一的像素組成的至少一個圖像出發確定稱作目的組的圖像組之一的像素組成的至少一個圖像出發，確定稱作目的組的另一個圖像組的一個圖像的具有代表性的圖像的設備，其特征在于編碼裝置包括為了形成具有代表性圖像的一些設備，此具有代表性圖像包括一些從通過源組的至少一個圖像的過采樣設備取得的像素和子像素出發所決定的像素和子像素。
因此，可能進行視頻圖像序列的編碼，通過用離散的子波分解運動補償的時間濾波，它可以對一個子像素進行運動評估，并能因此避免信息損失和由于分辨率的變化而引起的一種產生準光譜現象，如果運動是收縮的或是膨脹的。
根據本發明的另一方面，源組的那些圖像是通過子波分解至少一次合成被過采樣的。
因此，當編碼在一個空間的亞分辨率下進行時，子波合成就特別與過采樣相適應，這種合成是子波分解的倒置。
根據本發明的另一方面，在源組的圖像和為了確定圖像使用的目的組圖像的每一個圖像之間確定一個運動場，并且從被確定的運動場出發，把為了預言圖像使用的源組的每一個圖像的至少一個像素和(或)子像素與目的組的圖像的具有代表性的圖像的每一個像素和每一個子像素相關聯。
因此，運動場是完全可能反轉顯象的，沒有可能創造出一些贗象的任何與技術狀況的孔相關的問題，當視頻圖像序列譯碼時。
根據本發明的另一方面，目的組圖像的具有代表性的圖像的每個像素和每個子像素的數值的取得是通過把每個像素和子像素的數值與目的組的圖像的具有代表性的圖像的上述像素和子像素關聯求和，并通過把這個和數除以與目的組的圖像的具有代表性的圖像的上述像素或上述子像素關聯的像素和子像素數目。
因此，那些贗象(例如超前和(或)落后的回波)被大大地減少，當視頻圖像序列擇碼時。
根據本發明的另一方面，目的組圖像的具有代表性的圖像被一個低通濾波器濾波。
因此，與收縮的運動相聯系的問題被減少了。
根據本發明的另一方面，目的組圖像的具有代表性的圖像通過至少一次離散的子波分解被欠采樣，為了取得一個與目的圖像組的圖像有同樣分辨率的欠采樣圖像，目的圖像組的圖像是具有代表性的。
本發明還涉及通過用離散的子波分解運動補償的時間濾波視頻圖像序列的譯碼方法，離散的子波分解包括把視頻圖像序列分成兩個圖像組的一個步驟，至少一個確定步驟，此步驟從被稱作源組的圖像組之一的像素組成的，至少一個圖像出發，確定被稱作目的組的另一組圖像的一個圖像的一個具有代表性圖像。其特征在于此具有代表性的圖像包括從用源組的至少一個圖像的過采樣取得的像素和子像素出發所確定的一些像素和子像素。
相應地，本發明涉及一個通過用離散的子波分解運動補償的時間濾波視頻圖像序列的譯碼裝置，此裝置包括一些離散的子波分解的設備，它們包括一些把視頻圖像序列分成兩個圖像組的設備，一些確定設備，這些確定設備從被稱作源組的圖像組之一的像素組成的至少一個圖像出發，確定被稱作目的組的另一圖像組的一個圖像的一個具有代表性的圖像，其特征在于譯碼裝置包括一些為了形成具有代表性的圖像的設備。此圖像包括從用源組的至少一個圖像的過采樣設備，取得的一些像素和子像素出發確定的一些像素和一些子像素。
本發明還涉及一種信號，它包括用離散的子波分解運動補償的時間濾波編碼的一個視頻圖像序列，該信號包括一些通過把視頻圖像序列分成兩個圖像組和通過從被稱作源組的圖像組之一的像素組成的至少一個圖像出發，確定被稱作目的組的另一個圖像組的一個圖像的一個具有代表性的圖像而取得的高頻和低頻圖像，其特征在于這些高頻和低頻圖像是從一些像素和子像素出發而取得的，這些像素和子像素是以通過源組的至少一個圖像的過采樣取得的像素和子像素出發被確定的。
本發明還涉及一種信號的傳送方法，該信號包括用離散的子波分解運動補償的時間濾波編碼的一個視頻圖像序列，其特征在于，此種信號包括一些通過把視頻圖像序列分成兩個圖像組和從被稱作源組的圖像組之一的像素組成的至少一個圖像出發確定一個被稱作目的組的另一圖像組的一個圖像的一個具有代表性的圖像而取得的高頻和低頻圖像，在該信號中，那些高頻和低頻圖像是從一些像素和子像素出發取得的，這些像素和子像素是從用源組的至少一個圖像的過采樣取得的像素和子像素出發而確定的。
本發明還涉及一種信號的存儲方法，該信號包括一個用離散的子波分解運動補償的時間濾波編碼的視頻圖像序列，其特征在于，該信號包括一些高頻和低頻圖像，它們是通過把視頻圖像序列分成兩個圖像組和從被稱作源組的圖像組之一的像素組成的至少一個圖像出發確定一個被稱作目的組的另一圖像組的一個圖像的一個具有代表性的圖像而取得的。而在這個信號中，那些高頻和低頻圖像是從一些像素和子像素出發而取得的，這些像素和子像素是從源組的至少一個圖像的過采樣取得的像素和子像素出發而確定的。
此存儲方法、譯碼裝置和信號的優點與編碼方法和裝置的優點是同樣的，這些優點就不再進行說明。該信號包括在一個存儲設備上傳送和(或)存儲的視頻圖像序列。
本發明還涉及在一個信息介質上存儲的計算機程序，上述程序包括一些指令，這些指令執行以前描述過的那些方法，當它們被一個信息系統裝載和執行時。
上述提及的本發明的這些特點以及其它特點將更清楚地出現在對下面的一個實施例子描述的閱讀中，上述的描述是與那些附圖相關而寫的。在這些附圖中-
圖1表示具有運動補償的時間濾波的一個視頻編碼器的方框圖；-圖2表示當Haar濾波器被使用在子波分解里時，圖1的視頻編碼器的運動補償的時間濾波的方框圖；-圖3表示能夠執行符合作為參考在圖4和圖8上所描述的算法的編碼和譯碼算法的一個信息的和(或)電信的裝置的方框圖；-圖4表示從一個軟件出發當運動補償的時間濾波被執行時，由一個處理器執行的編碼算法，在這當中，一些Haar濾波器被用在子波分解中；
-圖5表示，根據本發明的具有運動補償的時間濾波的一個視頻譯碼器的方框圖；-圖6表示當Haar濾波器被使用在子波分解中時，圖5的視頻譯碼器的反向運動補償的時間濾波方框圖；-圖7表示當從一個軟件出發反向運動補償的時間濾波被執行時，由一個處理器執行的譯碼算法，在這軟件中，一些Haar濾波器被使用在子波分解當中。
圖1表示具有運動補償的時間濾波的一個視頻編碼器的方框圖。
具有運動補償的時間濾波的視頻編碼器(10)能夠把一個視頻圖像序列(15)編成一個可分級的數據流(18)。一個可分級的數據流是這樣一個流量，在它里面，那些數據被以下列方式安排的它能夠傳遞描述圖像分辨率和(或)質量的信息，這種描述根據接收那些數據的應用類型是可變化的。包括在這個可分級的數據流中的這些數據被編碼，以便保證無論在質量上，還是在分辨率上以分級的方式或用英語術語“Scalable”(可分級的)傳遞視頻圖像序列，而不需要進行視頻圖像序列的各種不同編碼。這可能只有一部分可分級的數據流(18)存儲在數據載體上和(或)朝一個電信終端傳遞，當電信的網絡流量不大時和(或)當電信終端不需要高質量和(或)高分辨率時。這也可能存儲在一個數據載體上和(或)把可分級的數據流(18)全部朝著一個電信終端傳遞，當電信網絡的流量很大時，和當電信終端要求高質量和(或)高分辨率時，這出自同一個可分級的數據流(18)。
根據本發明，具有運動補償的時間濾波的視頻編碼器(10)包括一個運動補償的時間濾波模塊(100)，此模塊(100)把N個圖像的一組變成兩個圖像組，例如一組(N+1)/2個低頻圖像和一組N/2個高頻圖像，并從通過具有運動補償的時間濾波(10)的視頻編碼器的運動估計模塊(11)而進行的一個運動估計出發變換這些圖像。運動估計模塊(11)在每個被標記為x2[m，n]的偶數圖像和被標記為x1[m，n]的前一個奇數圖像之間進行運動估計，甚至可能跟圖像序列的該偶數圖像之后的奇數圖像一起進行運動估計。運動補償的時間濾波模塊(100)運動補償偶數圖像x2[m，n]，以便時間濾波是最可能有效的。實際上，一個圖像的預期值和這個圖像之間的差別越小，它將可能更有效的被壓縮，也就是說，在流量和圖像畸變之間有個良好折衷，或者以等效的方式表述壓縮率與重建質量有個良好比例。
對于每一對偶數和奇數圖像來說，運動估計模塊(11)計算例如一個運動場，并以非限制性的方式，通過從一個奇數圖像朝著一個偶數圖像建立整體聯系。這項技術以英語術語“信息決匹配”被認知。當然，其它的技術能夠被使用例如用點陣結構進行運動估計技術。因此，偶數源圖像的某些像素跟奇數圖像的一些像素就建立起一種聯系。在用信息塊估計的特殊情況下，信息塊的運動的值可能受到影響，在奇數圖像的信息塊的每個像素和每個子像素上。以不同的說法，信息塊的加權的運動矢量以及鄰近的信息塊的加權的運動矢量都受影響，根據以OBMC(Overlapped Block Motion Compensation)(重疊的信息塊運動補償)命名的著名技術在信息塊的每個像素上。
運動補償時間濾波模導體(100)進行圖像的離散子波分解，為了把視頻圖像序列分解成多個時間分波段分布在一個或多個分辨率水平上。只要所希望的分解水平沒達到，離散的子波分解就被自動循環地實施在時間分波段的低頻分波段上。具有運動補償時間濾波的視頻編碼器(10)的判定模塊(12)確定所希望的分解水平達到與否。
通過運動補償時間濾波模塊(100)取得的那些各種不同的頻率分波段被轉移到一個可分級的數據流(13)的生成模塊上。運動估計模塊(11)轉移那些運動估計到一個可分級的數據流的生成模塊(13)上，它從那些各種不同的頻率分波段和運動估計出發，組成一個可分級的數據流(18)。
圖2表示圖1的視頻編碼器的運動補償時間濾波模塊的方框圖，當一些Haar濾波器被使用在子波分解中時，運動補償時間濾波模塊(100)根據術語“Lifting”(面部去皺紋手術)而知名的技術進行一種時間濾波。這種技術能進行一種簡單的，靈活并且完全可換向的濾波，相當于一種子波濾波。
源偶數圖像x2[m，n]被合成模塊(110)過采樣，通過根據本發明進行一種離散子波變換合成或SDWT。實際上，通過把離散子波變換合成使用到內插位置上，預期的差別就被大大地減小了。主要是如果圖像x2[m，n]是通過離散的子波分解取得的。
對于運動補償時間濾波模塊(100)的部分來說，源圖像是由(110至116)模塊構成的偶數圖像x2[m，n]。
被過采樣的偶數圖像x2[m，n]是新的一次被內插模塊(111)過采樣的。內插模塊(111)進行內插，以便取得一個例如具有四分之一像素的解析圖像。內插是例如一個雙線性內插，在這當中，距離正在處理中的像素最近的那些像素是由一些系數加權的，這些系數的總和等于1，并且這些系數相對于正在處理的像素的距離有一個線性的遞減。作為變型，內插是一個雙立方的內插或一個用基本正弦的內插。因此，標記成x2[m，n]的圖像被合成模塊(110)和內插模塊(111)變換成一個x’2[m’，n’]圖像，具有例如四分之一像素的分辨率。
運動補償時間濾波模塊(100)也包括初始運動的連接模塊(121)。這個初始運動的連接模塊(121)形成一個圖像x’1[m”，n”]，它包括至少比目的圖像x1[m，n]多四倍的像素。圖像x’1[m”，n”]是通過x1[m，n]的內插或通過任何其它方法形成的，并把例如由包括這些像素和子像素的初始運動的連接模塊(121)估計的信息塊的運動矢量，目的圖像對于運動補償時間濾波模塊(100)這部分來說是由(110到116)模塊組成的，即奇數圖像x1[m，n]。
這里我們用圖像x’2[m’，n’]的像素表示圖像x’2[m’，n’]的一個像素，這與圖像x2[m，n]的一個像素有同樣的位置。我們用圖像x’2[m’，n’]的子像素表示圖像x’2[m’，n’]的一個像素，它是由DWT(離散子波變換)合成和(或)一個內插創建的。我們用圖像x’1[m”，n”]的像素表示圖像x’1[m”，n”]的一個像素，它與圖像x1[m，n]的一個像素有同樣的位置。我們用圖像x’1[m”，n”]的子像素表示圖像x’1[m”，n”]的一個子像素，它是通過DWT合成和(或)一個內插創建的。
運動補償時間濾波模塊(100)包括一個運動場致密化模塊(112)。這個運動場致密化模塊(112)從通過初始運動的連接模塊(121)建立的連接出發，把源圖像x’2[m’，n’]的至少一個像素連接到目的圖像x’1[m”，n”]的每個像素和子像素。
當所有的連接都被進行時，累加模塊(113)創建一個累加圖像Xa’[m”，n”]，它們大小就是圖像x’1[m”，n”]的大小。累加圖像Xa’[m”，n”]的每個像素和子像素的值等于源圖像x’2[m’，n’]的像素和子像素的值的總和。這些像素和子像素連接著在目的圖像x’1[m”，n”]里對應的像素或子像素，這個總和被連接在對應于圖像x’1[m”，n”]里的像素或子像素的源圖像x’2[m’，n’]的像素和子像素的數目標準化或更確切地說被除。這種除法使得能避免一些贗象，例如一些超前和(或)置后回波效應出現，當圖像序列譯碼時。
在本發明的一種實施變型里，標記成Wconnex的一個權重被賦予每個關聯上。對圖像Xa’[m’，n’]的每個像素或子像素來說顯示的值將根據下列公式計算Maj=(ΣassociationsWconnex*Valsrc)/Wconnex]]>在此算式中，Maj是圖像xa’[m”，n”]的一個像素或子像素的值，而Valsrc是連接在目的圖像x’1[m”，n”]的像素或子像素的源圖像x2[m，n]的像素的值。
圖像Xa’[m”，n”]然后被一個標記為(114)的低通濾波器濾波。這個低通濾波器(114)有取消圖像xa’[m”，n”]的某些高頻成份的作用以便避免任何與一個譜的折迭相聯系的贗象當由模塊(115)進行的圖像欠采樣時。
通過在圖像Xa’[m”，n”]的像素和子像素整體上進行低通濾波，圖像Xa’[m”，n”]的某些細節被保存下來。
被濾波的圖像Xa’[m”，n”]然后被模塊(115)欠采樣。模塊(115)包括一個第一欠采樣器和一個離散子波分解的模塊，這些對圖像xa’[m”，n”]進媾行欠采樣，以便這個圖像與圖像x1[m，n]有同樣的分辨率。被欠采樣的圖像xa’[m”，n”]然后用減法器(116)從圖像x1[m，n]中減去，以便形成一個標記為H[m，n]的圖像。此圖像包括一些高頻分量。圖像H[m，n]然后被轉移到可分級數據流生成模塊(13)和合成模塊(130)上。
源圖像對于運動補償時間濾波模塊(100)的部分來說是由(130)至(136)模塊構成的，即圖像H[m，n]。
源圖H[m，n]是根據本發明通過進行離散子波變換合成或SDWT被合成模塊(130)過采樣的。
被過采樣的源圖像H[m，n]是被內插模塊(131)再一次過采樣的，以便取得一個源圖像H’[m’，n’]。內插模塊(131)進行內插以便取得一個分辨率圖像，例如具有四分之一像素的。內插是例如一個跟用內插模塊(111)進行的那個一樣的內插。
運動補償時間濾波模塊(100)也包括一個運動場致密化模塊(132)。
運動場致密化模塊(132)把初始連接在由初始運動的連接模塊產生的圖像x’1[m”，n”]和x’2[m’，n’]之間倒置，為了把它們貼在源圖像H’[m’，n’]和目的圖像x’2[m”，n”]之間。目的圖像對于運動補償時間濾波模塊(100)的部分來說，是由(130)到(136)模塊構成的，即圖像x2[m，n]或x’2[m”，n”]。
運動場致密化模塊(132)把至少源圖像H’[m’，n’]的一個像素與目的圖像x’2[m”，n”]的每個像素和子像素相關聯，從通過初始運動的連接模塊(121)建立的連接出發。
這里應該注意目的圖像x’2[m”，n”]的某些像素和(或)子像素不被連接在源圖像H’[m’，n’]的一些像素或子像素上。這些像素或子像素使運動場變得不可完全地反轉的，并將產生一些贗象，當在客戶的譯碼器那里圖像重建時。運動場致密化模塊(132)根據本發明為這些孔建立一些關聯。為此，運動場致密化模塊(132)重復地并用越來越近的傳播方法，把與最鄰近的像素或子像素連接的源圖像H’[m’，n’]的像素與目的圖像x’2[m”，n”]的每個像素和子像素相關聯，這個只要目的圖像x’2[m”，n”]的所有像素和子像素都沒有被源圖像H’[m’，n’]的至少一個像素或子像素連接。這里應該注意在一個實施的特殊方式里，當目的圖像x’2[m”，n”]的一個像素或子像素被連接到源圖像H’[m’，n’]的一個預定數目的像素時，例如與4個像素聯系，對于上述這個像素來說沒有任何新的關聯被進行。
當所有的關聯被進行時，累加模塊(133)創建一個累加圖像Xb’[m”，n”]。這個累加圖像Xb’[m”，n”]和目的圖像x’2[m”，n”]有同樣的大小，并且它的像素和子像素的每一個的值等于與在圖像x’2[m”，n”]里的對應的像素或子像素被連接的源圖像的像素和子像素的值的總和，這個和被在源圖像H’[m’，n’]對應的像素或子像素相關聯的圖像x’2[m”，n”]的像素和子像素的數目相除。這個除法使得避免一些贗象出現，例如一些超前和(或)滯后回波的效應當圖像序列的譯碼時。
在本發明的一個實施變型中，一個標記為Wconnex的權重被賦予關聯的每一個上，對于圖像Xb’[m”，n”]的每個像素或子像素來說，這個顯示值將根據下列公式被計算Maj=(ΣassociationsWconnex*Valsrc)/Wconnex]]>在這當中，Maj是圖像Xb’[m”，n”]的一個像素或子像素的值，而Valsrc是與目的圖像x’2[m”，n”]的像素或子像素聯系的源圖像H’[m’，n’]的像素的值。
圖像Xb’[m”，n”]然后被標記為(134)的一個低通濾波器濾波。低通濾波器(134)有取消圖像Xb’[m”，n”]的某些高頻分量的功能，以便當被模塊(135)進行圖像欠采樣時避免任何與一個譜折迭相聯系的贗象，通過在圖像Xb’[m”，n”]的像素和子像素整體上進行一次低通濾波，圖像Xb’[m”，n”]的某些細節被保存。
濾波的圖像Xb’[m”，n”]然后被模塊(115)欠采樣。模塊(135)包括一個第一欠采樣器和一個離散子波分解的模塊，它們欠采樣圖像Xb’[m”，n”]以便這個圖像與圖像x2[m，n]有同樣的分辨率。欠采樣的圖像Xb’[m”，n”]然后以一半被加法器(136)加在圖像X2[m，n]上，以便形成一個標記為L[m，n]的圖像，它包括一些低頻分量。圖像L[m，n]然后被轉移到可分級數據流的生成模塊(13)。
圖像L[m，n]然后被轉移到運動補償時間濾波的視頻編碼器(10)的判定模導體(12)，當所希望的分辨率水平被取得或為了一個新的分解，被運動補償時問濾波模塊(100)再處理時。當一個新的分解應該被進行時，圖像L[m，n]以與上面描述方式同樣的方式被運動補償時間濾波模塊(100)處理。
因此，運動補償時間濾波模塊(100)形成一些下列形式的高頻和低頻圖像，例如當Haar濾波器被使用時H[m，n]＝x1[m，n]-(W2-＞1x2[m，n]L[m，n]＝(x2[m，n]+1/2(W1-＞2H[m，n])在這里Wi-j表示圖像i在圖像j上的運動補償。
圖3表示能夠執行符合以圖4和圖8作為參考所描述的算法的編碼和譯碼算法的一個信息裝置和(或)電信裝置的方框圖。
這個信息裝置和(或)電信裝置(30)適合從一個軟件出發在一個圖像序列上進行運動補償時間濾波。裝置(30)也適合從一個軟件出發，在一根據本發明的被編碼的圖像序列上進行反向的運動補償時間濾波。
裝置(30)是例如一個微型計算機。它也可以被納入到一個視頻圖像序列的顯象設備里，例如一臺電視機、手機或任何其它的以終端接收器為目的的整體信息的生成裝置。
裝置(30)包括一個通信總線(301)，在它上連接著一個處理器(300)，一個只讀存儲器(302)，一個隨機存取存儲器(303)，一個屏幕(304)，一個鍵盤(305)一個硬盤(308)，一個數字視頻盤的放錄機或DVD(309)，一個與電信網連接的通信接口(306)。
硬盤(308)貯存實施本發明的程序以及那些根據本發明命名得能編碼和(或)譯碼的數據。
更普遍地，根據本發明的程序被存儲在一個存儲設備里。這個存儲設備是可讀的，用一個計算機或一個微處理器(300)。這個存儲設備是被納入或不被納入到裝置里，并且可以是可拆換的。
當裝置(30)加電時，根據本發明的程序被轉移到隨機存取存儲器(303)里，它包括本發明的可執行的編碼以及執行本發明需要的數據。
通信接口(306)能接收一個根據本發明的編碼的可分級數據流以便于這些數據譯碼。通信接口(306)也能把一個根據本發明編碼的可分級數據流傳送到一個電信網。
圖4表示從一個軟件出發，當運動補償時間濾波被執行時被一個處理器執行的編碼算法，在這當中，一些Haar濾波器被用在子波分解中。
編碼和(或)譯碼裝置(30)的處理器(300)根據以術語“Lifting”(面部去皺紋手術)而著名的技術進行一時間濾波。
在E400步驟，源圖像是被處理器(300)過采樣的，通過根據本發明進行一個離散地子波變換的合成。對于本算法的本描述來說，源圖像是偶數圖像x2[m，n]。
在E401步驟，被過采樣的源圖像x2[m，n]是通過進行一次內插又一次被過采樣的。內插是例如一個雙線性內插或雙立方體內插或一個基本正弦的內插。因此，圖像x2[m，n]被變換成一個圖像x’2[m’，n’]，具有例如像素的四分之一的一個分辨率。
在E402步驟，是否在偶數圖像x2[m，n]和正在處理中的目的圖像x1[m，n]之間已經進行了一種運動估計，這是要被檢驗的。目的圖像在這里是奇數圖像x1[m，n]。
如果是肯定的話，處理器(300)就閱讀在裝置(30)的存儲器RAM(303)里存儲的運動估計，并過渡到E405步驟。如果是否定的，處理器就過渡到E403步驟。
在此步驟，處理器(300)計算一個運動場，例如以非限制性方式，通過使源圖像的信息塊和目的圖像對應。當然，其它技術也能被使用，例如用點陣結構的運動估計技術。
這種操作被進行，處理器(300)過渡到下一步驟E404，此步驟在于建立在E403步驟上取得的初始運動的一種連接。處理器(300)使例如包括這些像素的信息塊的矢量與目的圖像x1[m，n]的每個像素或目的圖像x’1[m”，n”]的每個子像素相關聯，當目的圖像是被過采樣的時候。
目的圖像對于本算法的本描述來說是奇數圖像x1[m，n]。
處理器(300)然后在E405步驟進行連接的致密化。這種致密化是以與用運動場致密化模塊(112)進行的致密化同樣的方式進行的。
這種操作被進行，處理器(300)在E406步驟以用累加模塊(113)同樣的方式進行的操作創建一個累加圖像Xa’[m”，n”]。
圖像Xa’[m”，n”]然后在E4 07步驟通過進行一個低通濾波以便取消圖像Xa’[m”，n”]的某些高頻分量和避免當圖像以后的欠采樣時與一譜折迭相聯系的任何贗象。
被濾波的圖像Xa’[m”，n”]然后在E408步驟被欠采樣，通過進行一次欠采樣和一次圖像Xa’[m”，n”]的離散的子波分解，以便這個圖像與圖像x1[m，n]有同樣的分辨率。被欠采樣的圖像Xa’[m”，n”]然后在E409步驟被從圖像x1[m，n]減去，以便形成一個標記為H[m，n]的圖像，它包括一些高頻分量。圖像H[m，n]然后被轉移到可分級數據流的生成模塊(13)。
處理器(300)重新進行E400到E409各個步驟，通過把圖像H[m，n]當作源圖像和把圖像x2[m，n]當作目的圖像。
處理器在E400和E401步驟，在圖像H[m，n]上進行的操作與在圖像x2[m，n]上進行的那些操作是同樣的。它們將不被更多地描述了。
在E405步驟，處理器(300)用與被前面描述過的運動場致密化模塊(132)進行的同樣方法進行一次連接的致密化。
當所有的關聯被進行時，處理器(300)在E406步驟創建一個圖像Xb’[m”，n”]以與為累加模塊(133)描述的同樣的方法。
處理器(300)在圖像Xb’[m”，n”]上在E407，E408步驟進行與在圖像Xa’[m”，n”]上進行的操作同樣的操作，它們將不被更多地描述了。
當這些操作被進行完時，處理器(300)把被濾過波的和被欠采樣的圖像Xb’[m”，n”]的一半加到圖像x2[m，n]，以便形成一個低頻分量的圖像L[m，n]。
當所希望的分辨率水平取得或為了一個新的分解被本算法再處理之后，圖像L[m，n]然后被轉移到具有運動補償時間濾波視頻編碼器(10)的判定模塊(12)上。當新的分解應該被進行時，圖像L[m，n]以與前面描述過的方法同樣的方法被處理。
圖5表示根據本發明的具有運動補償時間濾波的一個視頻譯碼器的方框圖。
具有運動補償時間濾波的視頻譯碼器(60)能把一個可分級的數據流(18)解碼成一個視頻圖像序列(65)，包括在這個可分級的數據流里的數據被一個如同圖1上描述的編碼器來編碼。
具有運動補償時間濾波的視頻譯碼器(60)包括數據流(18)的一個分析模塊(68)。這個分析模塊(68)分析數據流(18)并從中提取每個分解電平的每個高頻圖像以及包括最低分解電平的低頻分量的圖像。分析模塊(68)轉移包括高頻分量(66)和低頻分量(67)的圖像到反向運動補償時間濾波模塊(600)。分析模塊(68)也從數據流(18)中提取由圖1的編碼器(10)進行的運動場的各種不同的估計，并把它們轉移到運動場的存儲模塊(61)。
反向運動補償時間濾波模塊(600)以重復的方式變換高頻圖像和低頻圖像，為了形成對應于高級分解電平的低頻圖像的一個偶數圖像和一個奇數圖像。反向運動補償時間濾波模塊(600)從在模塊(41)里的存儲的運動估計出發形成一個視頻圖像序列。這些運動估計是一些在由本發明的編碼器(10)編碼的視頻圖像序列的每個偶數圖像和下一個奇數圖像之間的估計。
反向運動補償濾波模塊(600)進行圖像L[m，n]和H[m，n]的離散的子波合成以便形成一個視頻圖像序列。離散子波合成自動循環地被靠在時間的低通段的低頻圖像上，只要反希望的分解電平沒有達到。具有反向運動補償時間濾波的視頻解碼器(600)的判定模塊(62)確定所希望的分解電平是否達到。
圖6表示圖5的視頻解碼器的反向運動補償時間濾波模塊方框圖，當Haar濾波器在子波分解中被使用時。
反向運動補償時間濾波模塊(600)根據“Lifting”(面部去皺紋手術)技術進行時間濾波，以便重建用本發明的編碼器編碼的視頻圖像序列的各種不同的圖像。
圖像H[m，n]或源圖像被合成模塊(610)過采樣。合成模塊(610)與圖2的合成模塊(130)是同樣的，這樣不被更多地描述了。
被過采樣的圖像H[m，n]重新用內插模塊(611)過采樣，為了形成一個圖像H’[m’，n’]。內插模塊(611)是與圖2中的內插模塊(131)同樣的，這將不被更多地描述了。
運動補償時間濾波模塊(100)也包括一個初始運動的連接模塊(621)，它與圖2中的初始運動的連接模塊(121)相同，這將不被更多地描述了。
反向運動補償時間濾波模塊(600)包括了一個反向的運動場致密化模塊(612)，此模塊與圖2中的運動場致密化模塊(132)是同樣的，它將不被更多地描述了。
反向運動補償時間濾波模塊(600)包括一個與圖2中的累加模塊(133)同樣的一個累加模塊(613)，這樣不被更多地描述了。累加模塊(613)創建一個累加圖像Xb’[m”，n”]。
反向運動補償時間濾波模塊(600)包括一個濾波模塊(614)和一個離散的子波分解模塊(615)它們分別地與濾波模塊(134)和離散的子波分解模塊(135)是同樣的，它們將不被更多地描述了。
反向運動補償時間濾波模塊(600)包括一個加法器(616)，它在圖像L[m，n]上減去被濾波的和被欠采樣的圖像Xb’[m”，n”]的一半，以便形成一個標記為x2[m，n]的偶數圖像。
圖像x2[m，n]或源圖像被合成模塊(630)過采樣。合成模塊(630)與圖6中的合成模塊(610)是同樣的，這將不被更多地描述了。
過采樣的圖像x2[m，n]重新被內插模塊(631)過采樣，以便形成一個圖像x’2，[m’，n’]。內插模塊(631)與圖2中的內插模塊(111)是同樣的，這將不被更多地描述了。
反向運動補償時間濾波模塊(600)包括一個反向的運動場致密化模塊(632)。這個模塊(632)與圖2中的運動場致密化模塊(112)是同樣的，這將不被更多地描述了。
反向運動補償時間濾波模塊(600)包括一個與圖2中的累加模塊(113)同樣的累加模塊(633)，這將不被更多地描述了。累加模塊(633)創建一個累加圖像Xa’[m”，n”]。
反向運動補償時間濾波模塊(600)包括一個濾波模塊(634)和一個離散的子波分解模塊(635)分別地與濾波模塊(114)和離散的子波分解模塊(114)是同樣的，它們將不被更多地描述了。
反向運動補償時間濾波模塊(600)包括一個加法器(636)，它把濾波過和欠采樣過的圖像Xa’[m”，n”]加在圖像H[m，n]上，以便形成一個標記為x1[m，n]的奇數圖像。這個奇數圖像被轉移到判定模塊(62)。根據所希望的分解電平，圖像x1[m，n]和x2[m，n]被交織，以便產生一個重新被引入的圖像L[m，n]或不與更高電平的圖像H[m，n]一起。在反向運動補償時間濾波模塊(600)里的可分級的數據流(18)里被讀到的圖像。
圖7表示當從一個軟件出發反向運動補償時間濾波被執行時，由一個處理器執行的譯碼算法，在這當中一些Haar濾波器被使用在子波分解當中。
編碼和(或)譯碼裝置(30)的處理器(300)根據以術語“Lifting”(面部去皺紋手術)而著名的技術進行一個時間濾波。
處理器(300)通過把圖像H[m，n]當作源圖像和把圖像L[m，n]當作目的圖像進行從E800到E807的步驟。
在E800步驟上，源圖像H[m，n]用處理器(300)被合成模塊過采樣，同時根據本發明進行一個SDWT(離散子波變換合成)。
在E801步驟上，被過采樣的源圖像H[m，n]被再一次過采樣，通過進行一次內插，以與在圖4的E401步驟上作為參考描述的內插同樣方式為了形成一個圖像H’[m’，n’]。
在E802步驟上，處理器(300)讀出在可分級的數據流(18)里對應的運動場，并建立一些初始連接。這個步驟是與圖4中的E404步驟同樣的，它將不被更多地描述了。
進行了這種操作，處理器(300)過渡到下一個步驟E803，并建立致密連接。處理器(300)從由初始運動的連接模塊(621)建立的連接出發把目的圖像L[m，n]的至少一個像素連接到源圖像H’[m’，n’]的每一個像素和子像素上。致密的連接建立在源圖像和目的圖像的像素和子像素之間以與用圖2中的致密化模塊(132)所作的方式同樣的方式進行。
當所有的關聯被進行后，處理器(300)過渡到E804步驟，并創建一個累加圖像Xb’[m”，n”]。這個累加圖像Xb’[m”，n”]被以與圖2中的累加模塊(133)描述的方式同樣的方式創建，它將不被更多地描述了。
圖像Xb’[m”，n”]然后通過進行低通濾波在E805步驟被濾波，以便取消圖像Xb’[m”，n”]的某些高頻分量，并避免任何與譜折迭相聯系的贗象，當圖像的以后的欠采樣時。
被濾波的圖像Xb’[m”，n”]然后在E806步驟通過進行一次欠采樣被欠采樣然后進行一次圖像Xb’[m”，n”]的離散的子波分解以便這個圖像與圖像L[m，n]有同樣的分辨率。
被欠采樣的圖像Xb’[m”，n”]然后在E807步驟上以一半在圖像L[m，n]上被減去以便形成一個標記為x2[m，n]的圖像。
通過把圖像x2[m，n]當成源圖像和把圖像H[m，n]當成目的圖像，處理器(300)重新進行從E800到E807的步驟。
處理器在從E800到E802步驟上，在源圖像x2[m，n]上進行與源圖像H[m，n]上以前進行的操作同樣的操作，它們將不被更多地描述了。
在E803步驟上，處理器(300)以與用前面描述過的運動場致密化模塊(112)進行的方式同樣的方式進行一次連接的致密化。
當所有的關聯被進行之后，處理器(300)在E804步驟上，創建一個圖像Xa’[m”，n”]以與為了累加模塊(113)描述過的方式同樣的方式，
處理器(300)在E805和E806步驟上，在圖像Xa’[m”，n”]上進行與在圖像Xb’[m”，n”]上進行過的操作同樣的操作，它們將不被更多地描述了。
當這些操作被進行以后，處理器(300)把被濾過波的和被欠采樣的圖像Xa’[m”，n”]加到圖像H[m，n]上，以便形成一個奇數圖像x1[m，n]。圖像x1[m，n]和x2[m，n]根據所希望的分解電平重新被引入或不引入到反向運動補償時間濾波模塊(600)里。
本發明被推薦到Haar濾波器使用的范圍里。其它的濾波器例如以5/3濾波器命名的或以9/7濾波器命名的熟悉的濾波器也被使用在本發明中。這些濾波器使用數目更多的源圖像以便預估一個目的圖像。
這些濾波器在文獻M.B Adams《可逆子波變換和在埋置圖像壓縮里的應用》中被描述，這是1998年維多利亞BC大學，電學和計算機工程系M.A.S.C的論文。
傳統地，視頻編碼器的運動補償時間濾波模塊的(110)到(116)模塊是一些為了預估一個目的圖像的模塊，而視頻編碼器的運動補償時間濾波模塊的(130)到(136)模塊是一些為了顯示一個目的圖像的模塊。反向運動補償時間濾波模塊的(610)到(616)模塊是一些為了顯示一個目的圖像的模塊，而視頻編碼器的運動補償時間模塊的(630)到(636)模塊是一些為了預估一個目的圖像的模塊。
如同在本發明是描述的編碼和譯碼裝置，對于每個由一個源圖像和一個目的圖像構成的對子來說，形成一個累加圖像，它符合前面所介紹的。這些累加圖像中每一個都對目的圖像的預估和(或)顯示負責。
這樣形成的累加圖像然后被加在目的圖像上，或從目的圖像上減去。
當然，本發明并非局限于在此所述的實施方式，而是包括本領域普通技術人員可以設想范圍內的任何變型。
權利要求
1.視頻圖像序列的編碼方法，該方法通過利用離散的子波分解來進行運動補償的時間濾波，離散的子波分解包括把視頻圖像序列分成兩組圖像的步驟，至少一個步驟，從被稱作源組的圖像之一的像素組成的至少一個圖像出發來確定被稱作目的組的另一組圖像中的一個圖像的具有代表性圖像，其特征在于，該具有代表性的圖像包括從用源組的至少一個圖像的過采樣取得的像素和子像素出發而確定的一些像素和子像素。
2.根據權利要求1的方法，其特征在于，源組的那些圖像是通過進行至少一個子波分解合成被過采樣的。
3.根據權利要求1或2的方法，其特征在于，該方法還包括下面的步驟-在目的組的圖像和為確定圖像而使用的圖像的源組的每個圖像之間一個運動場的確定；-從被確定的運動場出發，把為預言圖像而使用的源組的每一個圖像的至少一個像素和(或)子像素與目的組的圖像的具有代表性的圖像的每個像素和每個子像素相關聯。
4.根據權利要求3的方法，其特征在于，目的組圖像的具有代表性的圖像的每個像素和每個子像素的值是通過與目的組圖像的具有代表性的圖像上述的像素和子像素關聯的每個像素和子像素的值求和，并再通過把這和除以與目的組的圖像的具有代表性的圖像的上述的像素或子像素關聯的像素和子像素數目取得的。
5.根據權利要求1到4中任何一項的方法，其特征在于，目的組圖像的具有代表性圖像被一個低通濾波器濾波。
6.根據權利要求5的方法，其特征在于，目的組圖像的具有代表性的圖像用至少一次離散的子波分解被欠采樣以便取得一個與以目的組圖像有同樣分辨率的欠采樣的圖像，這樣的圖像是具有代表性的。
7.通過用離散的子波分解運動補償時間濾波的視頻圖像序列的譯碼方法，一種離散的子波分解包括一個把視頻圖像序列分成兩個圖像組的步驟和從被稱作源組的圖像組之一的像素組成的至少一個圖像出發的被稱作目的組的另一組圖像的一個圖像的具有代表性圖像的至少一個確定步驟，其特征在于，具有代表性的圖像包括從通過源組的至少一個圖像的過采樣而取得的像素和子像素出發而確定的一些像素和子像素。
8.根據權利要求7的方法，其特征在于，源組的那些圖像通過進行至少一種子波分解的合成被過采樣。
9.根據權利要求7或8的方法，其特征在于，該方法還包括以下步驟-在源組圖像和為了確定圖像而使用的圖像的目的組的每一個圖像之間一個運動場的確定；-從被確定的運動場出發，為了預言圖像所使用的源組的每一個圖像的至少一個像素和(或)子像素到目的組圖像的具有代表性圖像的每個像素和每個子像素的關聯。
10.根據權利要求9的方法，其特征在于，目的組圖像的具有代表性圖像的每個像素和每個子像素的值是通過與目的組的圖像的具有代表性圖像的上述像素和子像素關聯的每個像素和子像素的值求和并通過用與目的組圖像的具有代表性圖像的上述像素或上述子像素連接的像素和子像素數目除所述和而取得的。
11.根據權利要求7到10中任何一項的方法，其特征在于，目的組的圖像的具有代表性圖像被一個低通濾波器濾波。
12.根據權利要求11的方法，其特征在于，目的組圖像的具有代表性圖像被一次離散的子波分解欠采樣，以便取得一個與目的圖像組的圖像同樣分辨率的欠采樣的圖像，它是具有代表性的。
13.用離散的子波分解運動補償時間濾波的視頻圖像序列的編碼裝置，此裝置包括一些離散的子波分解的設備，這些設備包括一些將視頻圖像序列分成兩個圖像組的設備，此裝置還包括一些從被稱作源組的圖像組之一的像素組成的至少一個圖像出發，確定被稱作目的組的另一組圖像的一個圖像的具有代表性圖像的設備，其特征在于，編碼裝置包括一些為了形成具有代表性圖像的設備，而具有代表性圖像又包括從用源組的至少一個圖像的過采樣設備取得的像素和子像素出發而確定的像素和子像素。
14.用離散的子波分解運動補償時間濾波的視頻圖像序列的譯碼裝置，此裝置包括一些離散的子波分解的設備，這些設備包括將視頻圖像序列分成兩個圖像組的設備，此裝置還包括一些從被稱作源組的圖像組之一的像素所組成的至少一個圖像出發確定被稱作目的組的另一圖像組的一個圖像的一個代表性圖像的確定設備，其特征在于，譯碼裝置包括一些為了形成具有代表性的圖像的設備，此具有代表性的圖像包括從用源組的至少一個圖像的過采樣設備取得的像素和子像素出發而確定的一些像素和子像素。
15.被存儲在信息介質上的計算機程序，上述程序包括當它被信息系統裝載和執行時能實施根據權利要求1到6中任何一項的方法的指令。
16.被存儲在信息介質上的計算機程序，上述程序包括當它被信息系統裝載和執行時能實施根據權利要求7到12中任何一項的方法的指令。
17.包括利用離散的子波分解進行運動補償時間濾波的視頻圖像序列的信號，該信號包括通過把視頻圖像序列分成兩個圖像組和通過被稱作源組的圖像組之一的像素組成的至少一個圖像出發，確定被稱作目的組的另一組圖像的一個圖像的具有代表性的一個圖像而取得的一些高頻和低頻圖像，其特征在于，這些高頻和低頻圖像是從用源組的至少一個圖像的過采樣取得的像素和子像素確定的像素和子像素出發而取得的。
18.信號的傳送方法，所述信號包括通過用離散的子波分解運動補償時間濾波來編碼的視頻圖像序列，其特征在于，該信號包括高頻和低頻圖像，這些圖像是通過把視頻圖像序列分成兩個圖像組和通過從被稱作源組的圖像組之一的像素組成的至少一個圖像出發確定一個被稱作目的組的另一圖像組的一個圖像的一個具有代表性的圖像而取得的，而在這個信號當中，那些高頻和低頻圖像是從用源組的至少一個圖像的過采樣取得的像素和子像素而確定的像素和子像素出發而取得的。
19.信號的存儲方法，該信號包括一個用離散的子波分解運動補償時間濾波而編碼的視頻圖像序列，其特征在于，該信號包括高頻和低頻圖像，這些圖像是通過把視頻圖像序列分成兩個圖像組，和通過從被稱作源組的圖像組之一的像素組成的至少一個圖像出發確定被稱作目的組的另一組圖像的一個圖像的一個具有代表性的圖像而取得的，而在這個信號中，那些高頻和低頻圖像是從用源組的至少一個圖像的過采樣取得的像素和子像素而確定的像素和子像素出發而取得的。
全文摘要
本發明涉及一種視頻圖像序列的編碼方法和裝置，這由離散的子波分解的運動補償的時間濾波(110)實現，離散子波分解包括把視頻圖像序列分成兩組圖像和從至少由被稱作源組圖像組之一的像素組成的一個圖像開始的叫作目的組的另一組圖像的一個圖像的代表性的一個圖像的確定(112，113，114，115)，其特征在于有代表性的圖像包括由通過至少源組的一個圖像的過采樣(110，111)取得的像素和子像素出發確定的一些像素和子像素。本發明還涉及譯碼方法和相關的譯碼器。
文檔編號H04N7/26GK101019436SQ200580023502
公開日2007年8月15日 申請日期2005年6月28日 優先權日2004年7月13日
發明者S·帕特尤克斯, S·克瓦德克, I·阿默諾 申請人:法國電訊公司