專利名稱：采用混合預測碼執行多描述運動補償的方法和裝置的制作方法
技術領域：
本發明總體上涉及對網絡上或其它類型通信介質上傳輸的數據、語音、圖像、視頻和其它類型信號進行多描述編碼(MDC)。
在當今網絡上傳送的大部分信息甚至會在劣化條件下使用。例子包括語音、音頻、靜止圖像和視頻。當此類信息遭受分組丟失時，因實時約束而無法進行重傳。總傳輸速率、失真和時延方面的優越性能有時可通過在比特流中增加冗余而非重發丟失分組來實現。
可以通過多描述編碼(MDC)方法在比特流中添加冗余，在MDC中，數據被分解成幾個流，且這些流帶有一些冗余。當收到所有流時，可以以比專為壓縮而設計的系統稍高的比特率為代價來確保低失真度。另一方面，當只收到其中一些流時，重建的質量會適度下降，而對專為壓縮而設計的系統而言這幾乎不可能發生。不像多分辨率或分層信源編碼，沒有描述層次；因此多描述編碼適用于不提供優先級的擦除信道或分組網絡。
多描述編碼可以多種方式來實現。一種方式是通過在編碼器分別收集奇幀序列和偶幀序列并獨立地對所得的經時間上二次抽樣的序列進行編碼，從而將輸入視頻流分解到任意的信道子集中。當解碼器上收到二次抽樣序列之一時，可以以一半幀速率將視頻流解碼。由于視頻流的相關特性，僅收到一個二次抽樣序列允許使用運動補償差錯消除技術來恢復中間幀。此技術的更詳細描述可參見Wenger等人的“H.263+中的容錯彈性(error resilience)支持”(“Error resiliencesupport in H.263+”，IEEE Transactions on Circuits and Systems for VideoTechnology，pp.867-877，November 1998)。
為了實現容錯彈性，Wang和Lin所著的題為“采用多描述運動補償的容錯彈性視頻編碼”(“Error resilient video coding using multipledescription motion compensation”，IEEE Transactions on Circuits andSystems for Video Technology，vol.12，no.6，pp.4348-52，June 2002)的論文描述了一種用于實現多描述編碼的方法。根據此方法，時間預測器允許編碼器在編碼時利用過去的偶幀和奇幀，因而在解碼器上只收到一個描述時在編碼器和解碼器之間造成一種失配。為克服此問題可將這種失配誤差進行顯式編碼。允許編碼器同時將奇幀序列和偶幀序列用于預測的主要好處在于編碼效率。通過改變時間濾波器的抽頭，可以控制冗余量。所公開的方法在冗余量和容錯彈性之間提供合理的靈活性。
Wang和Lin所提出的方法的一個缺陷是該方法局限于僅I和P幀(沒有B幀)。該方法的另一個缺陷是它不允許像在H.26L中那樣進行多幀預測。這些缺陷限制了MDMC的編碼效率，而且還要求完全的專有實現而非采用可用的編解碼器模塊。
本發明提供了一種改進的多描述編碼(MDC)方法和裝置，這種方法和裝置克服了上述缺陷。具體地說，本發明的編碼方法通過允許多幀預測而擴展了多描述運動補償(MDMC)，且不僅限于I幀和P幀。此外，本發明的編碼方法將MDMC擴展用于任何常規的預測性編解碼器，如MPEG2/4和H.26L。
根據本發明的第一方面，提供了一種改進的MDMC編碼器，它包括三個預測性編碼器，即上預測性編碼器、中預測性編碼器和下預測性編碼器。輸入幀以三個獨立輸入的形式提供給所述編碼器。輸入幀提供給中間編碼器。此外，輸入幀分成兩個子幀流，第一子幀流只包括奇幀，而第二子幀流則只包括偶幀。由偶幀組成的第一子幀流輸入上編碼器進行編碼，以得到編碼的偶幀序列；而由奇幀組成的第二子幀流輸入下編碼器進行編碼，以得到編碼的奇幀序列。注意，其它實施例可使用不同的準則來對幀進行劃分，例如可采用不均衡劃分，其中，三個幀中每兩個幀由上編碼器編碼，而每第三個幀由下編碼器編碼。原始的未經分割的輸入幀流加到中央編碼器，由其根據偶幀計算奇幀的預測。此外，中央編碼器根據奇幀單獨計算偶幀的預測。隨后分別計算中央編碼器與第一側編碼器和第二側編碼器之間的預測殘余。本發明的MDMC編碼器輸出與偶幀預測相對應的第一計算預測殘余連同上編碼器的輸出，以及輸出與奇幀預測相對應的第二計算預測殘余連同下編碼器的輸出。
根據本發明的第二方面，提供了一種對表示幀序列的視頻信號進行編碼的方法，所述方法包括將所述幀序列分成第一子序列和第二子序列，將第一子序列加到第一側編碼器，將第二子序列加到第二側編碼器，將原始的未分割幀序列加到中央編碼器，計算第一側編碼器輸出和中央編碼器輸出之間的第一預測殘余，計算第二側編碼器輸出和中央編碼器輸出之間的第二預測殘余，將第一預測殘余和第一側編碼器的輸出合并成第一數據子流，將第二預測殘余和第二側編碼器的輸出合并成第二數據子流，然后分開發送第一數據子流和第二數據子流。
本發明的優點包括(1)可以將任何常規預測性編碼器用作上編碼器和下編碼器。此外，上預測性編碼器和下預測性編碼器可有利地包括B幀和多預測運動補償；(2)上預測性編碼器、中間預測性編碼器和下預測性編碼器中的任一編碼器可以是可擴展編碼器(例如，首先發送運動矢量(MV))、采用時域分級(temporal scalability)等技術的類似FGS(精細分級編碼)或類似數據分割的編碼器)。例如，在只有中間編碼器是可擴展編碼器的情況中，中間編碼器將只發送信道允許數量的信息。在確定可用帶寬非常少的極端情況下，將只發送由側編碼器編碼的信息。當其它帶寬變為可用時，則將使用可擴展的中間編碼器發送信道允許數量的失配信號。
(3)為了限制系統的復雜性，用于確定失配信號的根據當前偶/奇幀的奇/偶幀序列的預測可以根據B幀得到。
(4)不是像常規一樣計算側預測誤差(即用于側編碼器的偶幀和奇幀之間的誤差)并對其編碼進行，而是還計算側預測誤差和中央誤差(即當前幀和根據前兩幀的預測之間的誤差)之間的失配，或計算中央誤差(central error)。
現參考附圖，附圖中的同樣標號表示對應的裝置
圖1表示根據本發明一個實施例的MDMC編碼器。
多描述編碼(MDC)指一種壓縮形式，其目的是將一個輸入流編碼成多個分開的比特流，其中，所述多個分開的比特流常常稱為多個描述。這些分開的比特流均具有可彼此獨立地加以解碼的特性。具體地說，如果解碼器收到任何一個比特流，則它可以將該比特流解碼，以得到有用信號(無需訪問任何其它比特流)。MDC還具有如下特性解碼信號質量會隨更多比特流被正確接收而改善。例如，假定采用MDC將一個視頻編碼成總共N個流。只要解碼器收到這N個流中的任何一個流，它就可以解碼得到該視頻的一個有用版本。如果該解碼器接收到兩個流，則它可以解碼得到比只收到一個流的情況有所改善的視頻版本。這種質量上的改善一直持續到收到所有N個流，這時它可以重建最佳質量。
有許多種實現MDC視頻編碼的方法。一種方法是獨立地將不同幀編碼成不同的流。例如，每個視頻序列幀可以只采用幀內編碼如JPEG、JPEG-2000或任何只使用I幀編碼的視頻編碼標準(如MPEG-1/2/4、H.26-1/3)編碼成一個幀(獨立于其它幀)。例如，所有偶幀序列可以在流1中發送，而所有奇幀序列可以在流2中發送。因為每個幀可獨立于其它幀進行解碼，所以每個比特流也可以獨立于其它流進行解碼。MDC視頻編碼的這種簡單形式具有如上所述的特性，但因缺少幀內編碼而導致壓縮效率不很高。
在詳細描述圖1之前，先回憶有關MPEG2標準中采用的數字化圖像內像素的分層結構和預測策略的一些定義。亮度和色度樣本(像素)二者組成塊，每塊由8×8矩陣(每個塊含8行像素，每行又含8個像素)構成；一定數量的亮度和色度塊(如4個亮度數據塊和2個對應的色度數據塊)形成一個宏塊；數字化的圖像于是包括宏塊構成的矩陣，其大小取決于所選擇的類(即，取決于分辨率)和電源頻率例如，在50赫茲的電源頻率下，其大小可從最小18×32的宏塊到最大72×120的宏塊。圖像又可以具有幀結構(其中順序行的像素附屬于不同場)或場結構(其中所有像素附屬于同一場)。因此，宏塊也可以具有幀結構或場結構。圖像又組織成圖像組，其中，第一圖像總是I圖像，其后是若干B圖像(雙向內插的圖像，它們服從前向或后向預測或二者，“前向”指預測基于前一圖像，而“后向”指預測基于未來的參考幀)，然后是P圖像，P圖像用于預測B圖像，將在I圖像之后立刻被編碼。
現參考圖1，一個未顯示的信號源為編碼器200提供一個已按編碼順序(即使參考圖像可用的順序)排列的幀序列201(即幀結構)，之后，這些幀序列可用于圖像預測。完整的幀序列201由運動估計單元(未顯示)接收，該估計單元用于計算正在編碼的圖像中每個宏塊的一個或多個運動矢量及與所述或每個矢量相關聯的代價或誤差，并將其輸出。編碼器200包括第一側編碼器(側編碼器1)202、中央編碼器204和第二側編碼器206。完整的幀序列201全部加到中央編碼器204。完整幀序列201的第一子集210在本實施例中由完整幀序列201的偶幀子序列210子集構成，它加到第一側編碼器202。完整幀序列201的第二子集220在本實施例中由完整幀序列201的奇幀序列220子集構成，它加到第二側編碼器206。
下面概述預測編碼操作。
A.第一側編碼器202包括輸入序列201的子集的奇幀子序列210加到第一側編碼器202。應注意，第一側編碼器202可以有利地實現為任何常規預測性編解碼器(如MPEG-1/2/4、H.26-1/3)。第一側編碼器202對奇幀子序列210進行編碼，輸出編碼的奇幀子序列211。編碼的奇幀子序列211作為要輸出的分量包含在第一數據子流245中。編碼的奇幀子序列211還作為輸入提供給中央編碼器子模塊230，下面將會描述。
B.第二側編碼器206包括輸入序列201的子集的偶幀子序列220加到第二側編碼器206。應注意，第二側編碼器206類似于第一側編碼器202可以有利地實現為任何常規預測性編解碼器(如MPEG-1/2/4、H.26-1/3)。第二側編碼器206對偶幀子序列220進行編碼，輸出編碼的偶幀子序列212。編碼的偶幀子序列212作為要輸出的分量包含在第二數據子流255中。編碼的偶幀子序列212還作為輸入提供給中央編碼器子模塊232，下面將會描述。
C.中央編碼器204完整的幀序列201被加到中央編碼器204上。
中央編碼器子模塊250計算第一組運動矢量214，而且還計算偶幀預測序列215并對其進行編碼，該偶幀預測序列215由根據輸入序列201的奇幀作出的偶幀預測構成。中央編碼器子模塊250輸出偶幀預測序列215和第一運動矢量序列214，這兩個序列均作為輸入提供給中央編碼器子模塊230。
中央編碼器子模塊260計算第二組運動矢量216，而且還計算奇幀預測序列217并對其進行編碼，該奇幀預測序列217由根據輸入序列201的偶幀作出的奇幀預測構成。中央編碼器子模塊260輸出奇幀預測序列217和第二運動矢量序列216，這兩個序列均作為輸入提供給中央編碼器子模塊232。
中央編碼器子模塊230執行兩種功能或處理。第一種處理是對從子模塊250接收的第一組運動矢量214進行編碼，以輸出第一組編碼的運動矢量218。第二種功能或處理是計算第一預測殘余221，這可以按如下方式計算第一預測殘余＝ec-es(1)其中，ec＝偶幀預測幀序列215，以及
es＝編碼的奇幀子序列211。
中央編碼器子模塊230輸出包括編碼的第一預測殘余221連同第一組編碼的運動矢量218。這些輸出與編碼的奇幀序列211(點A)合并，共同作為第一數據子流245輸出。
類似地，按如下方式計算第二預測殘余，以便包括在第二數據子流255中第二預測殘余＝ec-es(2)其中，ec＝奇幀預測幀序列217，以及es＝編碼的偶幀子序列212。
中央編碼器子模塊232輸出包括編碼的第二預測殘余222連同第二組編碼的運動矢量219。這些輸出與編碼的偶幀序列212(點B)合并，作為第二數據子流255輸出。
以上對本發明優選實施例的描述用于示意和說明。所述優選實施例不用于窮舉或將本發明限制于所公開的精確形式，根據以上教導顯然可以作出許多種修改和變化。這類修改和變化對本技術領域中的技術人員而言是顯而易見的，并且包括在如所附權利要求書所限定的本發明范圍中。
權利要求
1.一種用于對輸入幀序列(201)進行編碼的編碼方法，所述方法包括下列步驟a)對來自所述輸入幀序列(201)的第一子幀序列(210)編碼，以得到編碼的第一子幀序列(211)；b)對來自所述輸入幀序列(201)的第二子幀序列(220)編碼，以得到編碼的第二子幀序列(212)；c)由所述第二子幀序列(220)計算第一預測幀序列(215)；d)由所述第一子幀序列(210)計算第二預測幀序列(217)；e)由所述第一預測幀序列(215)計算第一組運動矢量(214)；f)由所述第二預測幀序列(217)計算第二組運動矢量(216)；g)將第一預測殘余計算為所述第一預測幀序列(215)和所述編碼的第一子幀序列(211)之間的誤差；h)將第二預測殘余計算為所述第二預測幀序列(217)和所述編碼的第二子幀序列(212)之間的誤差；i)對所述第一預測殘余、所述第二預測殘余、所述第一組運動矢量(214)和所述第二組運動矢量(216)進行編碼；j)確定網絡條件；k)根據所述確定的網絡條件可擴展地將所述編碼的第一預測殘余(218)、所述編碼的第一組運動矢量(221)和所述編碼的第一子幀序列(211)合并成第一數據子流(245)；l)根據所述確定的網絡條件可擴展地將所述編碼的第二預測殘余(219)、所述編碼的第二組運動矢量(222)和所述編碼的第二子幀序列(212)合并成第二數據子流(255)；以及m)獨立地發送所述第一和第二數據子流(245，255)。
2.如權利要求1所述的方法，其特征在于所述確定的網絡條件為信道帶寬測定數據。
3.如權利要求1所述的方法，其特征在于包括在所述步驟(a)之前的將所述輸入幀序列(201)按預定編碼順序排列的預備步驟。
4.如權利要求1所述的方法，其特征在于所述第一子幀序列(210)只包括來自所述輸入幀序列(201)的奇幀。
5.如權利要求1所述的方法，其特征在于所述第二子幀序列(220)只包括來自所述輸入幀序列(201)的那些偶幀。
6.如權利要求1所述的方法，其特征在于所述第二子幀序列(220)包括來自所述輸入幀序列(201)而又未包括在所述第一子幀序列(210)中的那些幀。
7.如權利要求1所述的方法，其特征在于所述第一和第二子幀序列(210，220)是根據用戶偏好來選擇的。
8.如權利要求1所述的方法，其特征在于所述輸入幀序列包括幀內幀(I)、預測幀(P)和雙向幀(B)。
9.一種用于對輸入幀序列(201)進行編碼的編碼器200，所述編碼器(200)包括a)在第一側編碼器(202)中對來自所述輸入幀序列(201)的第一子幀序列(210)編碼；b)在第二側編碼器(206)中對來自所述輸入幀序列(201)的第二子幀序列(220)編碼；c)在中央編碼器(204)中由所述第二子幀序列(220)計算第一預測幀序列(215)；d)在所述中央編碼器(204)中由所述第一子幀序列(210)計算第二預測幀序列(217)；e)在所述中央編碼器(204)中由所述第一預測幀序列(215)計算第一組運動矢量(214)；f)在所述中央編碼器(204)中由所述第二預測幀序列(217)計算第二組運動矢量(216)；g)在所述中央編碼器(204)中將第一預測殘余計算為所述第一預測幀序列(215)和所述編碼的第一子幀序列(211)之間的誤差；h)在所述中央編碼器(204)中將第二預測殘余計算為所述第二預測幀序列(217)和所述編碼的第二子幀序列(212)之間的誤差；i)在所述中央編碼器(204)中對所述第一預測殘余、所述第二預測殘余、所述第一組運動矢量(214)和所述第二組運動矢量(216)進行編碼；j)確定網絡條件；k)根據所述確定的網絡條件可擴展地將所述編碼的第一預測殘余(218)、所述編碼的第一組運動矢量(221)和所述編碼的第一子幀序列(211)合并成第一數據子流(245)；l)根據所述確定的網絡條件可擴展地將將所述編碼的第二預測殘余(219)、所述第二組運動矢量(222)和所述編碼的第二子幀序列(212)合并成第二數據子流(255)；以及m)從所述編碼器(200)獨立地發送所述第一和第二數據子流(245，255)。
10.如權利要求9所述的編碼器，其特征在于所述第一側編碼器(202)、所述第二側編碼器(206)和所述中央編碼器(204)是常規的預測性編碼器。
11.如權利要求10所述的編碼器200，其特征在于所述第一側編碼器(202)、所述第二側編碼器(206)和所述中央編碼器(204)是可擴展的編碼器。
12.如權利要求10所述的編碼器，其特征在于所述常規預測性編碼器是從包括下列編碼器組中選擇的編碼器MPEG1、MPEG2、MPEG4、MPEG7、H.261、H.262、H.263、H.263+、H.263++、H.26L和H.26L編碼器。
13.如權利要求9所述的編碼器，其特征在于所述編碼器(200)包含在無線網絡的電信發射機內。
14.一種用于對輸入幀序列(201)進行編碼的系統，所述系統包括用于對來自所述輸入幀序列(201)的第一子幀序列(210)編碼，以得到編碼的第一子幀序列(211)的裝置；用于對來自所述輸入幀序列(201)的第二子幀序列(220)編碼，以得到編碼的第二子幀序列(212)的裝置；用于由所述第二子幀序列(220)計算第一預測幀序列(215)的裝置；用于由所述第一子幀序列(210)計算第二預測幀序列(217)的裝置；用于由所述第一預測幀序列(215)計算第一組運動矢量(214)的裝置；用于由所述第二預測幀序列(217)計算第二組運動矢量(216)的裝置；用于將第一預測殘余計算為所述第一預測幀序列(215)和所述編碼的第一子幀序列(211)之間的誤差的裝置；用于將第二預測殘余計算為所述第二預測幀序列(217)和所述編碼的第二子幀序列(212)之間的誤差的裝置；用于對所述第一預測殘余、所述第二預測殘余、所述第一組運動矢量(214)和所述第二組運動矢量(216)進行編碼的裝置；用于確定網絡條件的裝置；用于根據所述確定的網絡條件可擴展地將所述編碼的第一預測殘余(218)、所述編碼的第一組運動矢量(221)和所述編碼的第一子幀序列(211)合并成第一數據子流(245)的裝置；用于根據所述確定的網絡條件可擴展地將所述編碼的第二預測殘余(219)、所述編碼的第二組運動矢量(222)和所述編碼的第二子幀序列(212)合并成第二數據子流(255)的裝置；以及用于獨立地發送所述第一和第二數據子流(245，255)的裝置。
15.如權利要求15所述的系統，其特征在于還包括用于按預定順序排列所述輸入幀序列(201)的裝置。
全文摘要
提供了一種改進的多描述編碼(MDC)方法和裝置，這種方法和裝置通過允許多幀預測擴展了多重描述運動補償(MDMC)，且不僅限于I幀和P幀。此外，本發明的編碼方法將MDMC擴展用于任何常規的預測性編解碼器，例如MPEG2/4和H.26L。所述改進的MDC允許將任何常規的預測性編碼器用作上預測性編碼器和下預測性編碼器。此外，所述上預測性編碼器和下預測性編碼器可有利地包括B幀和多重預測運動補償。而且，上預測性編碼器、中預測性編碼器和下預測性編碼器中任一編碼器可以是可擴展編碼器((例如，首先發送運動矢量(MV))、采用時域分級等技術的類似FGS(精細分級編碼)或類似數據分割的編碼器)。
文檔編號H04N7/46GK1672421SQ03818196
公開日2005年9月21日 申請日期2003年7月24日 優先權日2002年7月31日
發明者M·范德沙爾, D·D·S·圖拉加 申請人:皇家飛利浦電子股份有限公司