對原始圖像序列進行圖像編碼的可縮放的方法以及與此相關的圖像解碼方法、編碼裝置...的制作方法

專利名稱：對原始圖像序列進行圖像編碼的可縮放的方法以及與此相關的圖像解碼方法、編碼裝置 ...的制作方法
技術領域：
本發明涉及按照權利要求1的前序部分的方法和按照權利要求8的前序部分的圖像解碼方法。此外本發明還涉及按照權利要求9的前序部分的編碼裝置，以及按照權利要求10的前序部分的解碼裝置。
按照[1]，高效率編碼圖像序列的視頻編碼方法利用特定的信號特性。在此利用單個圖像或者該圖像的圖像點的位置和時間的依賴性。圖像或者視頻編碼方法越能夠較好利用單個圖像或者圖像點之間的該依賴性，那么一般就越能夠獲得更大的壓縮率。
在當前視頻編碼技術中，基本上分為兩種方法混合編碼方法，例如ITU-TH.263或者ITU-T H.264標準[2，3]，和所謂的三維頻率編碼方法。雖然兩種方法都試圖無論以位置方式還是時間方式編碼由圖像序列組成的視頻信號，但是人們在混合方法中首先利用在時間方向上的運動補償的預測和接著例如借助二維離散余弦變換(DCT-離散余弦變換)對于所產生的差分圖像進行二維變換，以便由此消除在該差分圖像內的相鄰圖像點之間的位置相關。
在三維頻率編碼方法，例如運動補償的、時間上濾波的分頻帶編碼中，與混合編碼方法相反，不執行時間預測，而在時間軸的方向上執行“真正的”變換，以便由此利用相繼圖像的時間相關。在這樣的分頻帶編碼中，圖像序列在位置的二維去相關之前被分類為多個“時間的”頻帶，例如在兩個頻帶的場合分類為為時間上高頻的和低頻的圖像部分的高頻帶和低頻帶。在譜拆分的情況下在這些頻帶內出現的頻率的分配極大地依賴在視頻信號中出現的運動的大小。只要所考慮的視頻信號不具有運動的或者變化的元素，則所有高頻的“時間譜部分”等于零，全部能量集中在低頻帶上。然而在正常情況下在一個圖像序列中總能看到時間上的圖像變化，例如局部的物體移動、物體大小的改變或者場景變換。這導致在多個譜系數上的能量分配，在此也出現高頻的部分。
為減少在時間的高頻帶中的譜分量，從而把能量集中在時間的低頻帶上，在時間上濾波視頻信號前在多個“時間的”頻帶內執行在時間上要被濾波的圖像的運動估計和運動補償。
根據[4]，運動補償的、時間上濾波的分頻帶編碼也可以用于建立可縮放的視頻數據流。例如由此能夠獲得時間的、定性的、或者還有位置的可縮放性。此外在[4]中第3.2.4章提供一種組合的縮放。在此借助混合編碼方法獲得兩個不同的基本質量(L0，L1)。為獲得改善的圖像質量，接受附加的被縮放過的視頻數據流，例如L2、L3、L4和/或L5。這些附加的經縮放過的視頻數據流(L2，…，L5)在[4]中借助一種運動補償的、時間上濾波的分頻帶編碼產生。從而知道，借助按照一種運動補償的、預測編碼的第一編碼方法和按照一種運動補償的、時間上濾波的分頻帶編碼的第二編碼方法可以產生一個可縮放的視頻數據流。
本發明的技術問題在于提供一種用于圖像編碼和圖像解碼的方法、一種編碼以及解碼裝置，它們能夠以簡單而有效的方式使用一種運動補償的、時間上濾波的分頻帶編碼方法并借助一種運動補償的、預測的編碼方法來實現對原始圖像序列的圖像編碼和解碼。
該該技術問題從按照權利要求1的前序部分的圖像編碼方法出發通過其特征部分的特征以及從按照權利要求8的前序部分的圖像解碼方法出發通過其特征部分的特征得以解決。此外，該任務從按照權利要求9的前序部分的編碼裝置出發通過其特征部分的特征以及從按照權利要求10的前序部分的解碼裝置出發通過其特征部分的特征得以解決。
在對原始圖像序列進行圖像編碼的方法中，從原始圖像序列中借助按照運動補償的、預測編碼的第一編碼方法產生已解碼圖像的一個序列，在圖像編碼前，通過按照運動補償的、時間上被濾波的分頻帶編碼的第二編碼方法根據為產生該要編碼的圖像組的一個低分辨率級的一個輸出圖像而使用的、被解碼的圖像的已確定的編碼特性來確定要編碼的彼此相繼的原始圖像的圖像組的開始圖像，其中，在圖像編碼時，從該要編碼的圖像組的彼此相繼的原始圖像中和從每一分辨率級的至少一個已解碼的圖像中產生至少一個輸出圖像。
通過本發明的用于圖像編碼的方法在通過第二編碼方法編碼原始圖像時考慮由通過第一編碼方法產生的已解碼圖像的已確定的編碼特性。由此為第二編碼方法改善了壓縮特性，例如壓縮率或者在保持相同壓縮率的圖像質量。
此外，通過為通過第二編碼方法的圖像編碼適當選擇開始圖像，減小通過第二編碼方法產生的圖像信息的易錯性(錯誤漂移)，由此提高圖像質量。
此外本發明的方法能夠自由選擇對按照第一和/或第二編碼方法產生的單個圖像的訪問。
當編碼特性的確定表明所使用的、已解碼的圖像的至少一個圖像塊被INTRA編碼時，優選根據使用的、已解碼的圖像確定開始圖像。因為INTRA編碼的圖像塊經常以較高的圖像質量編碼，并在INTRA編碼的圖像塊中不出現錯誤漂移，從而為低分辨率級的輸出圖像的至少一個圖像部分獲得減小的信號能量，并由此能夠獲得改善的壓縮特性。不出現錯誤漂移，因為在INTRA編碼時不從先前的圖像進行預測，從而不接收任何錯誤。
作為可選的方案，當編碼特性的確定表明所使用的、已解碼的圖像的規定數目的圖像塊被INTRA編碼時，根據使用的、已解碼的圖像確定開始圖像。由此能夠提高第二編碼方法的壓縮效率，因為低分辨率級的輸出圖像的多個圖像部分具有小的信號能量并因此能夠高效率地編碼。
作為可選的方案，當編碼特性的確定表明所使用的、已解碼的圖像的所有圖像塊被INTRA編碼時，根據使用的、已解碼的圖像確定開始圖像。由此能夠極大地提高第二編碼方法的壓縮效率，因為低分辨率級的輸出圖像的所有圖像部分都具有特別小的信號能量并能夠非常有效地壓縮。
最好，取決于已確定的編碼特性建立圖像組的多個要編碼的、彼此相繼的原始圖像。由此實現可以建立圖像組的這些彼此相繼的原始圖像，使得能夠為低分辨率級的輸出圖像建立一個差分圖像而分配那些已解碼的圖像，它們獲得非常小的要編碼的信號能量。
此外如果以每一分辨率級(R1，R2)產生至少一個中間圖像(Z1，Z2，Z3)，并壓縮該中間圖像和低分辨率級的輸出圖像，那么能夠減少該中間圖像和低分辨率級的輸出圖像的數據量。如果附加地，按照基于小波的變換進行壓縮，則由此能夠特別有效地減少該中間圖像和低分辨率級的輸出圖像的數據量。
本發明還涉及一種解碼至少一個通過圖像編碼方法編碼的圖像的圖像解碼方法。由此實現能夠解碼無論第一編碼方法的已編碼圖像還是第二編碼方法的中間圖像和低分辨率級的輸出圖像，所述圖像按照用于圖像編碼的方法產生。
此外本發明涉及一種編碼裝置，具有用于對原始圖像序列進行圖像編碼的單元。由此能夠在一種設備例如移動電話中實施圖像編碼方法。
此外本發明還包括一種解碼裝置，具有用于實施圖像解碼方法的單元。由此能夠在一種設備例如為移動電話實現的設備中實施圖像解碼方法。
本發明的另外的單元以及優點根據

圖1到圖5說明。在各圖中圖1大致示出編碼一個原始圖像序列，這些原始圖像采用按照一種運動補償的、預測編碼的第一編碼方法壓縮，且它們用按照一種運動補償的、時間上濾波的分頻帶編碼的第二編碼方法通過考慮第一編碼方法的已解碼的圖像被編碼，圖2詳細表示借助第二編碼方法準備一個中間圖像和一個輸出圖像，它們在多個處理步驟中在第一分辨率級內從兩個輸入圖像產生，在此在建立時考慮第一編碼方法的一個已編碼的圖像，圖3大致示出在低分辨率級內的處理步驟，在此使用兩個輸入圖像和兩個已編碼的圖像產生一個輸出圖像，圖4大致示出用于執行本發明的方法的編碼裝置、解碼裝置和傳輸介質，圖5大致示出使用第一和第二編碼方法壓縮一個原始圖像序列，其中通過第二編碼方法壓縮多個各具有不同數目的要編碼的原始圖像的圖像組。
具有同樣功能和作用方式的單元在圖1到圖5中附以相同的附圖標記。
在圖1中可以看到根據本發明的方法的一個實施例。在此采用第一編碼方法CV1和第二編碼方法CV2壓縮原始圖像O1、…、ON的序列。這些原始圖像O1、…、ON例如由照相機K產生，并以具有亮度分量Y和兩個Crominanz分量CR、CB的顏色格式在一個具有640×480個圖像點的圖像尺寸中提供。此外，原始圖像O1、…、ON可以在其編碼前可以接受例如噪聲抑制或者邊緣清晰處理。
首先，第一編碼方法CV1執行原始圖像O1、…、ON的移動補償的、預測編碼。從[5]知道這種移動補償的、預測編碼方法，例如ITU-T H.263標準。由此可以從原始圖像O1、…、ON使用INTRA編碼方式和/或INTER編碼方式產生已編碼的圖像B1、…、BM。INTRA編碼方式編碼各原始圖像O1、…、ON的單個的圖像塊而不考慮其他的原始圖像O1、…、ON。與此相反，在INTER編碼方式中考慮一個或者多個已經被編碼的圖像B1、…、BM壓縮各原始圖像O1、…、ON的單個圖像塊。另外，在INTER編碼方式中在編碼前有利地執行原始圖像O1、…、ON的各要被編碼的圖像塊的運動估計，然后僅在運動補償后編碼該圖像塊。運動估計或者運動補償的方法從[5]得知。此外，已編碼圖像B1、…、BM的數目M可以與原始圖像O1、…、ON的不同，因為例如并非所有的原始圖像O1、…、ON都被編碼。
在下一步驟中從已編碼的圖像B1、…、BM借助第一編碼方法建立已解碼的圖像D1、…、DM的一個序列。此外，可以為每一已解碼的圖像D1、…、DM準備一個自己的解碼列表，它說明各已解碼的圖像D1、…、DM的哪些圖像塊用INTRA編碼方式編碼和哪些用INTER編碼方式編碼。這些已解碼的圖像D1、…、DM在隨后的處理步驟中由第二編碼方法考慮。對于按照圖1所示的實施例，給其所有圖像塊用INTRA編碼方式產生的那些已解碼的圖像D1、…、DM用“I”標記，給其至少一個圖像塊借助INTER編碼方式編碼的那些用“P”標記。
在下一步驟中借助第二編碼方法CV2編碼每一個圖像組GOP的所有彼此相繼的原始圖像O1、…、ON。在本實施例中看到3個不同的圖像組GOP1、GOP2、GOP3。在此，第二圖像組GOP2的要編碼的原始圖像的數目選擇為4。每一圖像組GOP的要編碼的原始圖像的數目可以改變，例如在各圖像組GOP1、GOP2、GOP3中先編碼2個原始圖像，然后是4個，再然后是8個。于是例如第二圖像組GOP2的第一個要編碼的原始圖像是第三原始圖像O3。每一圖像組GOP的各第一原始圖像下面稱為開始圖像BSP。
在本發明的范圍內運動補償的、時間上濾波的分頻帶編碼是指以下一種編碼方法其中以多個分辨率級從各至少兩個輸入圖像每次至少產生一個輸出圖像。另外也可以建立中間圖像。每一中間圖像表示第一分頻帶的與此相關的輸入圖像的運動補償的部分。各輸出圖像包括第二分頻帶的與此相關的輸入圖像的運動補償的部分。第一分頻帶例如包括高頻部分，第二分頻帶包括低頻部分。在每一較低分辨率級內較高分辨率級的至少兩個輸出圖像與輸入圖像相對。
在圖1中繪制的第二編碼方法CV2在第二圖像組GOP2中由兩個分辨率級R1、R2組成。在第一分辨率級R1內從各兩個輸入圖像E1和E2、E3和E4和兩個與此相關的已解碼的圖像D4、D6分別產生一個中間圖像Z1、Z2和各一個輸出圖像A1、A2。兩個輸出圖像A1、A2作為下一分辨率級R2的輸入圖像E5、E6使用。以在在本實施例中是低分辨率級的第二分辨率級R2，從輸入圖像E5、E6連同已解碼的圖像D3、D5產生一個第三中間圖像Z3和一個第三輸出圖像A3。在該實施例中低分辨率級R2同時表示最低的分辨率級。最低的分辨率級指在圖像組GOP內僅產生一個輸出圖像的分辨率級。借助圖2和圖3舉例詳細說明各分辨率級R1、R2的作用方式。
在圖2中可以看到兩個輸入圖像E1、E2，它們相應于原始圖像O3或者O4。第二輸入圖像E2例如細分為多個圖像塊Q1、…、Q9。這些圖像塊Q1、…、Q9，它們例如相應于從[5]中知道的宏塊，可以包括16×16圖像點。首先第二編碼方法CV2為第二輸入圖像E2的至少一個圖像塊Q1、…、Q9例如為圖像塊Q5在第一輸入圖像E1上執行運動估計。為執行運動估計的可能的策略從[5]中獲知。如果在第一輸入圖像E1內找到一個匹配的圖像區域，則把該找到的圖像區域在運動補償MC后用第二輸入圖像E2的圖像塊Q5在時間上高通濾波，例如通過減去各圖像點。找到的運動矢量被匯集到一個第一運動矢量列表ML1中。
如果對于圖像塊Q1、…、Q9找不到任何好的運動估計，則可以為這些圖像塊Q1、…、Q9為在時間上低通濾波而從屬于第二輸入圖像E2的已解碼的圖像D4抽出一個相應的圖像塊R1、…、R9。例如如果對于圖像塊Q6在第一輸入圖像E1內找不到任何匹配的圖像區域，則第四已解碼的圖像D4的圖像塊R6用第二輸入圖像E2的圖像塊Q6濾波。
由此通過時間上高通濾波產生一個第一中間圖像Z1。通過在建立第一中間圖像Z1時另外使用第四已解碼的圖像D4做到，該第一中間圖像Z1具有較小的信號能量，從而通過一種隨后的壓縮方法，例如基于小波的變換，能夠獲得較高的壓縮率，或者在保持相同的壓縮率的情況下獲得較高的圖像質量。
在下一步驟中以圖像塊方式產生第一輸出圖像A1。為此，借助第一輸入圖像E1產生的第一中間圖像Z1的各圖像塊，通過使用考慮第一運動矢量列表ML1的逆運動補償IMC(ML1)，用第一輸入圖像E1在時間上低通濾波。時間上的低通濾波可以通過把第一中間圖像Z1的逆運動補償后的圖像塊的各圖像點和第一輸入圖像E1的圖像塊相加執行。第一輸出圖像A1包含輸入圖像E1、E2的“時間的”低通部分。第二輸出圖像A2以同樣的方式從輸入圖像E3和E4產生。在此產生一個第二運動矢量列表ML2。
在本實施例中根據具有3×3圖像塊的圖像說明了為執行本發明的方法的優選方式。一般，圖像塊的數目可以是任意的，例如4×4、8×9或者11×9。此外，已解碼的圖像和輸入圖像的圖像塊的數目也可以不同。
下面借助圖3詳細說明相應于低分辨率級的第二分辨率級R2的單個的處理步驟。借助相應于前一分辨率級R1的第一和第二輸出A1、A2的第五和第六輸入圖像E5、E6并通過使用屬于第六輸入圖像E6的已解碼的圖像D5在運動估計和運動補償MC(ML3)后產生第三中間圖像Z3。在此產生一個第三運動矢量列表ML3。此外，在逆運動補償IMC(ML3)后和考慮第三輸入圖像E3而建立臨時的第三輸出圖像A3V。第三中間圖像Z3包括時間上濾波的輸入圖像E5、E6的高頻部分。此外，臨時的第三輸出圖像A3V包括時間上濾波的輸入圖像E5、E6的低通部分。如果共同考慮分辨率級R1、R2，則臨時的第三輸出圖像A3V表示彼此相繼的原始圖像O3、O4、O5、O6的第二圖像組GOP2的“時間的”低通部分。在另一個處理步驟中，通過預測，例如圖像點方式的差分圖像，臨時的第三輸出圖像A3V和與此相關的第三已解碼的圖像D3，產生第三輸出圖像A3。
該第三輸出圖像A3和中間圖像Z1、Z2、Z3可以在向解碼裝置DV傳輸前被壓縮，例如借助小波變換。
按照圖1的實施例，開始圖像BSP的分配為按照第二編碼方法CV2的圖像編碼這樣選擇，使其相應于第三原始圖像O3。因為第二圖像組GOP2的要編碼的原始圖像O3、…、O6的數目在本實施例中選擇為4，所以共同編碼原始圖像O3、O4、O5、O6。在它們被壓縮后，可以接著把以第七原始圖像O7開始的后4個原始圖像按照第二編碼方法CV2壓縮。這可以在直到要編碼的原始圖像O1、…、ON的序列的末端之前繼續進行。然而第二編碼方法CV2也可以在一個圖像組GOP中匯集更多或者更少彼此相繼的原始圖像O1、…、ON編碼。
根據本發明的方法，在圖像編碼前通過按照一種運動補償的、時間上濾波的分頻帶編碼的第二編碼方法CV2，根據一個為產生該要編碼的圖像組GOP的低分辨率級R2的一個輸出圖像A3使用的、已解碼的圖像D3的一個已確定的編碼特性，確定一個要編碼的彼此相繼的原始圖像O1、…、ON的圖像組GOP的開始圖像BSP。因為低分辨率級的輸出圖像，在本實施例中它是第二分辨率級R2的第三輸出圖像A3，的質量依賴于與此相關的已解碼的圖像，例如第三已解碼的圖像D3，所以與此相關的已解碼的圖像的圖像質量具有極大的意義。與此相關的已解碼的圖像的圖像質量主要依賴于該已解碼的圖像在其由第一編碼方法CV1建立時所遵從的編碼特性。因此，通過依賴于對于低分辨率級的輸出圖像使用的、已解碼的圖像的編碼特性選擇圖像組GOP例如第二圖像組GOP2的開始圖像BSP，能夠極大地影響低分辨率級的輸出圖像的圖像質量。在為圖像組GOP最優選擇開始圖像BSP時，例如為第三輸出圖像A3產生一個具有較低信號能量的圖像，其可以被有效地壓縮。
編碼特性可以通過評估屬于各已解碼的圖像的解碼列表確定。此外，編碼特性也可以通過分析屬于要使用的、已解碼的圖像的已編碼的圖像獲得。于是例如可以通過分析第一已編碼圖像B1確定，在第一已解碼的圖像D1中哪些圖像塊MBI借助INTRA或者INTER編碼方式壓縮。
另外，當編碼特性確定表明，所使用的、已解碼的圖像例如D3的至少一個圖像塊MBI被INTRA編碼時，根據所使用的、已解碼的圖像D3確定開始圖像BSP。圖像塊MBI例如指由16×16圖像點形成的圖像區域。因為INTRA編碼的圖像塊MBI例如比該圖像塊MBI被INTER編碼的情況下處于較小的量子化下，所以為所使用的、已解碼的圖像D3的圖像塊MPI產生比在INTER編碼時較高的圖像質量。因此能夠為第三輸出圖像A3獲得一個具有較小信號能量的差分圖像，其例如可以通過一個后接的小波壓縮被非常有效地壓縮。此外使用INTRA編碼的圖像塊MBI也是有利的，因為例如在已編碼的圖像B1、…、BM的序列內出現的解碼錯誤不通過被INTRA編碼的圖像塊MBI從一個先前編碼的圖像B1、…、BM中接收，從而圖像錯誤也不在與此相關的已解碼的圖像D1、…、DM中出現。
此外，當編碼特性確定表明，所使用的、已解碼的圖像D3的規定塊數AM的圖像塊MPI被INTRA編碼時，可以根據所使用的、已解碼的圖像D3確定開始圖像BSP。如果例如存在多個可能的開始圖像可用，則通過本發明方法的該變體為通過第二編碼方法CV2編碼圖像組GOP選擇這樣的開始圖像BSP，通過該開始圖像BSP可以找到與此相關的已解碼的圖像D1、…、DM的可預先給定的最小數目AM的被INTRA編碼的圖像塊MBI。這點在下面的例子中說明。應該這樣選擇開始圖像BSP，使得對于第三輸出圖像A3使用的、已解碼的圖像包括至少20個圖像塊MBI，它們借助INTRA編碼方式被壓縮。作為開始圖像BSP可以選擇第三或者第四原始圖像O3、O4。屬于第三和第四原始圖像O3、O4的已解碼的圖像是第三和第四已解碼的圖像D3、D4。在第三已解碼的圖像D3中存在25個INTRA編碼的圖像塊MBI，在第四已解碼的圖像D4中存在19個INTRA編碼的圖像塊MBI。因此作為為編碼原始圖像O1、…、ON的序列的第二圖像組GOP2的開始圖像BSP選擇第三原始圖像O3。
在本發明的方法的另一個可能的變體中，當編碼特性確定表明，所使用的、已解碼的圖像D3的所有圖像塊MBI被INTRA編碼時，根據使用的、已解碼的圖像D3確定開始圖像BSP。這是有利的，因為由此能夠為整個第三輸出圖像A3找到一個帶有小信號能量的小的差分信號。在此開始點與一個用“I”標記的已解碼的圖像D1、…、DM重合。
此外，可能需要，在確定開始圖像BSP時，不僅要考慮編碼特性K1，而且要考慮彼此相繼的原始圖像O1、…、ON的最大數目，在此例如不允許超過該最大數目。例如應該根據編碼特性確定這樣選擇下一要編碼的圖像組例如GOP2的開始圖像BSP，使得一個當前要編碼的圖像組例如GOP1應該包括十個原始圖像。然而每一圖像組的最大數目被限制到6個原始圖像。因此例如把當前要編碼的圖像組GOP1分成兩個子組，使得在各一個圖像組中先編碼6個然后是4個原始圖像。
在本發明的方法的一個變體中，可以依賴于已確定的編碼特性K1建立圖像組GOP的一些要編碼的彼此相繼的原始圖像O1、…、ON。這點借助圖5詳細說明，其中根據已確定的編碼特性K1作為開始圖像BSP總使用這樣的原始圖像O1、…、ON，其中與此相關的已解碼的圖像D1、…、DM的所有圖像塊MPI被INTRA編碼。這些已解碼的圖像D1、…、DM用“I”表征。首先作為為編碼原始圖像O1、…、ON的第一圖像組GOP1的開始圖像BSP使用第一原始圖像O1。在此產生輸出圖像A11和中間圖像Z11。按照第二編碼方法CV2的編碼已經在第二原始圖像O2后被中斷。因為與第三原始圖像O3一起存在用“I”標記的已解碼的圖像D3可用，因此編碼特性K1表明，這里應該為第二圖像組GOP2設置一個新的開始圖像BSP。在第二圖像組GOP2后編碼第三圖像組GOP3，在此例如建立輸出圖像A21。因此第一圖像組GOP1包括兩個、第二圖像組GOP2包括4個原始圖像，它們通過第二編碼方法CV2編碼。
在該實施例中專門研究原始圖像O3、O4、O5和O6的編碼。第一和第二編碼方法CV1、CV2在此建立了多個已編碼的圖像信息。在此已編碼的圖像信息例如包括中間圖像Z1、…、Z3、第三輸出圖像A3、已編碼的圖像B3、B4、B5、B6、和運動矢量列表ML1、ML2、ML3。此外，還在編碼時產生另外的信息，例如在第一編碼方法中的運動矢量。為編碼原始圖像O1、…、ON的整個序列，按照第一和第二編碼方法CV1、CV2產生大量已編碼的圖像信息，它們以類似方式對本實施例產生。
圖4表示編碼裝置EV、解碼裝置DV和用于從編碼裝置EV到解碼裝置DV傳輸信息的傳輸介質UEM。編碼裝置EV包括第一視頻編碼模塊VE1，借助它把原始圖像O1、…、ON的一個序列按照第一編碼方法CV1變換為已編碼的圖像B1、…、BM的一個序列，并從它產生已解碼的圖像D1、…、DM的一個序列。此外，編碼裝置EV包括第二視頻編碼模塊VE2，用于按照第二編碼方法CV2考慮已解碼的圖像D1、…、DM執行原始圖像O1、…、ON的編碼，變換為中間圖像Z1、Z2、Z3、輸出圖像A1、A2、A3，和產生多個運動矢量列表ML1、ML2、ML3。此外編碼設備EV具有第一存儲裝置S1，它為處理組織存儲各種圖像，例如原始圖像O1、…、ON。另外編碼裝置EV包括發送單元SE，用于傳輸已編碼的圖像信息，例如已編碼的圖像B1、…、BM。發送單元SE、第一存儲裝置S1、第一視頻編碼模塊VE1和第二視頻編碼模塊VE2通過第一連接網絡VN1為交換數據和控制信息彼此連接。
解碼裝置DV具有第一視頻解碼模塊VD1，用于解碼已編碼的圖像B1、…、BM，其按照第一編碼方法CV1建立。此外解碼裝置DV具有第二視頻解碼模塊VD2，用于解碼通過第二編碼方法CV2建立的壓縮圖像，例如中間圖像Z1、Z2、Z3和/或第三輸出圖像A3。此外，還使用運動矢量列表ML1、…、ML3來重建原始圖像O3、O4、O5、O6。此外解碼裝置DV包括接收單元EE，用它接收已編碼的圖像信息例如已編碼的圖像B1、…、BM并在第二存儲裝置S2中為繼續處理存儲。最后解碼裝置DV還包括第二存儲模塊S2，其內存儲各種信息和數據，例如運動矢量列表ML1、…、ML3。接收單元EE、第二存儲裝置S2、第一視頻解碼模塊VD1和第二視頻解碼模塊VD2通過第二連接網絡VN2用于交換數據和控制信息彼此連接。
傳輸介質UEM用于從編碼裝置EV向解碼裝置DV傳輸已編碼的圖像信息。
編碼裝置EV和/或解碼裝置DV可以安裝在按照GSM標準(GSM-GlobalSystem for Mobile Communications)或者UMTS標準(UMTS-Universal MobileTelecommunications Systems)的移動無線電設備內以及可集成到便攜設備中的計算機單元內。為在編碼裝置EV和解碼裝置DV之間傳輸已編碼的圖像信息例如可以使用無線的無線電網絡例如按照GSM標準，也可以使用有線連接的傳輸介質例如基于IP的網絡(IP-Internet Protokoll)或者ISDN(ISDN-IntegratedService Digital Network)。
除了能夠從編碼裝置EV向解碼裝置DV發送已編碼的圖像信息之外，實際上可以適宜地把已編碼的圖像信息存儲在一種存儲介質例如CD(CD-Compact Disk)或者視頻服務器內以便以后使用。
此外本發明還包括一種圖像解碼方法，其中用于圖像編碼原始圖像O1、…、ON的序列的方法可解碼。例如首先通過第一視頻解碼模塊VD1解碼已編碼的圖像B1、…、BM的序列為一個已解碼的圖像D1、…、DM的序列。接著第二視頻解碼模塊VD2使用中間圖像Z1、Z2、Z3和第三輸出圖像A3以及借助運動矢量列表ML1、…、ML3和已解碼的圖像D1、…、DM產生原始圖像O1、…、ON的序列的一個重建的圖像R1、…、RM的序列。
在一個可能的變體中，把通過第二視頻解碼模塊VD2產生的重建的圖像R1、…、RN在一個輸出介質DD上進行重放，例如監視器。另外可選或者附帶地也可以把通過第一視頻解碼模塊VD1產生的已解碼的圖像D1、…、DM在監視器上進行重放。例如已解碼的圖像D1、…、DM僅包括降低的圖像質量，與此相反，重建的圖像R1、…、RM表示高質量的圖像質量。因此例如可以由用戶選擇應當在輸出介質上重放較低圖像質量的還是較高圖像質量的圖像序列。
文獻目錄[1]K.Hanke，RWTH-Aachen，http:/www.ient.rwth-aachen.de/forschung/pdf/3D-videocodierung.pdf[2]Videocodierstandard ITU-T H.263，″Videocoding for LowBitrate Communication″，02/1998[3]Videocodierstandard ITU-T H.264，″Advanced Video Codingfor Generic Audio Visual Services″，05/2003[4]H.Schwarz，D.Marpe und T.Wigand，Fraunhofer Institutfür Telekommunikation，Heinrich Herz Institut，″Sca-lable Extension of H.264/AVC″，ISO/IEC JTC1/SC29/WG11，MPEG04/M10569/S03，Mrz 2004.S.Jun，S.Huifang，″Image and Video Compression forMultimedia Engineering″，CRC-Press，2000
權利要求
1.對原始圖像(O1，…，ON)的序列進行圖像編碼的方法，該方法包括下述步驟a)借助按照運動補償的、預測編碼的第一編碼方法(CV1)，從原始圖像(O1，…，ON)的序列中產生已解碼圖像(D1，…，DM)的一個序列；b)在圖像編碼前，通過按照運動補償的、時間上濾波的分頻帶編碼的第二編碼方法(CV2)根據為產生該有待編碼的圖像組(GOP)的一個低分辨率級(R2)的一個輸出圖像(A3)而使用的、被解碼的圖像(D3)的已確定的一個編碼特性(K1)來確定要編碼的彼此相繼的原始圖像(O3，…，O6)的圖像組(GOP)的開始圖像(BSP)，其中，在圖像編碼時，從該要編碼的圖像組(GOP)的彼此相繼的原始圖像(O3，…，O6)中和從每一分辨率級(R1，R2)的至少一個已解碼的圖像(D3，…，D6)中產生至少一個輸出圖像(A1，A2，A3)。
2.根據權利要求1的方法，其特征在于，當編碼特性的確定表明所使用的、已解碼的圖像(D3)的至少一個圖像塊(MBI)被INTRA編碼時，根據所使用的、已解碼的圖像(D3)來確定開始圖像(PSB)。
3.根據上述權利要求之一的方法，其特征在于，當編碼特性的確定表明所使用的、已解碼的圖像(D3)的規定塊數(AM)的圖像塊(MBI)被INTRA編碼時，根據所使用的、已解碼的圖像(D3)來確定開始圖像(BSP)。
4.根據上述權利要求之一的方法，其特征在于，當編碼特性的確定表明所使用的、已解碼的圖像(D3)的所有圖像塊(MBI)被INTRA編碼時，根據所使用的、已解碼的圖像(D3)來確定開始圖像(BSP)。
5.根據上述權利要求之一的方法，其特征在于，取決于已確定的編碼特性(K1)建立圖像組(GOP)的多個要編碼的、彼此相繼的原始圖像(O1，…，ON)。
6.根據上述權利要求之一的方法，其特征在于，以每一分辨率級(R1，R2)產生至少一個中間圖像(Z1，Z2，Z3)，壓縮中間圖像(Z1，Z2，Z3)和低分辨率級(R2)的輸出圖像(A3)。
7.根據權利要求6的方法，其特征在于，按照基于小波的變換進行壓縮。
8.圖像解碼方法，其特征在于，具有用于解碼至少一個按照根據上述權利要求之一的方法編碼的圖像的步驟，特別是一個中間圖像(Z1，Z2，Z3)和/或低分辨率級(R2)的輸出圖像(A3)。
9.編碼裝置(EV)，用于編碼原始圖像(O1，…，ON)的一個序列，具有用于執行根據權利要求1到7之一的方法的單元。
10.解碼裝置(DV)，具有用于執行根據權利要求8的圖像解碼方法的單元。
全文摘要
在對原始圖像序列進行圖像編碼的方法中，借助按照運動補償的、預測編碼的第一編碼方法從原始圖像序列中產生一個已解碼的圖像序列，在圖像編碼前通過按照運動補償的、時間上濾波的分頻帶編碼的第二編碼方法，根據一個為產生該要編碼的圖像組的一個低分辨率級的一個輸出圖像所使用的、被解碼的圖像的已確定的分辨率，確定要編碼的彼此相繼的原始圖像的圖像組的開始圖像，其中，在圖像編碼時從要編碼的圖像組的彼此相繼的原始圖像和從在每一分辨率級內的至少一個已解碼的圖像產生至少一個輸出圖像。在用于圖像編碼原始圖像序列的方法中，從原始圖像序列借助按照運動補償的、預測編碼的第一編碼方法產生一個已解碼的圖像的序列，在圖像編碼前通過按照一種運動補償的、時間上濾波的分頻帶編碼的第二編碼方法，根據一個為產生該要編碼的圖像組的一個低分辨率級的一個輸出圖像使用的、被解碼的圖像的一個已確定的分辨率，確定要編碼的彼此相繼的原始圖像的圖像組的開始圖像，其中，在編碼時從要編碼的圖像組的彼此相繼的原始圖像和在每一分辨率級內的至少一個已解碼的圖像產生至少一個輸出圖像。此外，本發明包括一種圖像解碼方法，用它可解碼通過用于圖像編碼的方法獲得的已編碼的圖像信息。最后本發明還包括解碼裝置和解碼裝置，用于執行圖像編碼或者圖像解碼的方法。例如已解碼的圖像僅包括降低的圖像質量，與此相反，重建的圖像表示高質量的圖像質量。
文檔編號H04N7/50GK1993991SQ200580021878
公開日2007年7月4日 申請日期2005年6月13日 優先權日2004年6月29日
發明者P·阿蒙, G·巴塞, A·胡特, J·龐德爾, B·蒂默曼 申請人:西門子公司