專利名稱：增強層中的參考幀放置的制作方法
技術領域：
本發明涉及多媒體編碼和經編碼的多媒體內容的傳送。
背景技術：
數字多媒體能力可并入到廣泛范圍的裝置中，包括數字電視、數字直接廣播系統、無線通信裝置、無線廣播系統、個人數字助理(PDA)、膝上型計算機或臺式計算機、數碼相機、數字記錄裝置、視頻游戲裝置、視頻游戲控制臺、蜂窩式電話或衛星無線電話等。數字多媒體裝置可實施例如MPEG-2、 MPEG-4或H.264/MPEG-4第10部分增強型視頻編碼(AVC)的編碼技術以較有效地發送并接收數字視頻數據。這些編碼技術可經由空間和時間預測來執行壓縮以減小或移除多媒體序列中的冗余。
某視頻編碼利用可縮放技術。舉例來說，可縮放視頻編碼(SVC)是指其中使用基礎層和一個或-一個以上可縮放增強層的編碼。對于SVC來說，基礎層通常以基礎水平質量載送多媒體數據。--個或一個以上增強層載送額外多媒體數據以支持較高空間、時間和/或信噪比(SNR)水平。作為一實例，基礎層可以比增強層的傳輸可靠的方式來傳輸。增強層可向基礎層的幀添加空間分辨率、添加額外幀以增加整體幀速率，或添加額外位以改進信噪比。在一個實例中，經調制的信號的最可靠部分可用以傳輸基礎層，而經調制的信號的較不可靠部分可用以傳輸增強層。
SVC可用于廣泛各種編碼應用中。通常使用SVC技術的一個特定領域是在無線多媒體廣播應用中。多媒體廣播技術的實例包括被稱為僅前向鏈路(FLO)、數字多媒體廣播(DMB)和手持式數字視頻廣播(DVB-H)的技術。
發明內容
在本發明的某些方面中， 一種用于處理多媒體數據的方法包含編碼多媒體數據的多個幀，其中所述多個幀包括一個或一個以上參考幀；以及在基礎層位流與至少一個增強層位流之間分配所述多個幀中的每一者以使得所述一個或一個以上參考幀中的至少一者被分配給增強層位流。
在本發明的某些方面中， 一種用于處理多媒體數據的設備包含編碼模塊，其編碼多媒體數據的多個幀，其中所述多個幀包括一個或一個以上參考幀；以及分配模塊，其在基礎層位流與至少一個增強層位流之間分配所述多個幀中的每一者以使得所述一個或一個以上參考幀中的至少一者被分配給增強層位流。
在本發明的某些方面中， 一種用于處理多媒體數據的設備包含用于編碼多媒體數據的多個幀的裝置，其中所述多個幀包括一個或一個以上參考幀；以及用于在基礎層位流與至少一個增強層位流之間分配多個幀中的每一者以使得所述一個或一個以上參考幀中的至少一者被分配給增強層位流的裝置。
在本發明的某些方面中， 一種用于處理多媒體數據的計算機程序產品包含在上而具有指令的計算機可讀媒體。所述指令包含用于編碼多媒體數據的多個幀的代碼，其中所述多個幀包括一 個或 一 個以上參考幀；以及用于在基礎層位流5至少 一 個增強層位流之間分配所述多個幀中的毎 一 者以使得所述 一 個或 一 個以上參考幀中的至少 一 者被分配給增強層位流的代碼。
在本發明的某些方面中， 一種用于處理多媒體數據的方法包含識別可縮放編碼方案的基礎層位流的參考增強層位流的參考幀的至少 部分的至少 一個幀；以及當接收到所述增強層位流時，使用由所述基礎層位流的經識別的幀參考的所述增強層位流的所述參考幀的所述部分來解碼基礎層位流的所述經識別的幀。
在本發明的某些方面中， 一種用于處理多媒體數據的設備包含參考數據分析模塊，其識別可縮放編碼方案的基礎層位流的參考增強層位流的參考幀的至少 一 部分的至少一個幀；以及解碼模塊，當接收到所述增強層位流吋，其使用由所述基礎層位流的經識
別的幀參考的所述增強層位流的所述參考幀的所述部分來解碼基礎層位流的所述經識別的幀。
在木發明的某些方面'中， 一種用于處理多媒體數據的設備包含用于識別可縮放編碼方案的基礎層位流的參考增強層位流的參考I l'貞的至少 一 部分的至少 一 個幀的裝置；以及用于當接收到所述增強層位流時使用由所述基礎層位流的經識別的幀參考的所述增強層位流的所述參考幀的所述部分來解碼基礎層位流的所述經識另lj的幀的裝置。
在本發明的某些方面中， 一種用于處理多媒體數據的計算機程序產品包含在上面具有指令的計算機可讀媒體。所述指令包含用于識別可縮放編碼方案的基礎層位流的參考增強層位流的參考幀的至少一部分的至少一個幀的代碼；以及用于當接收到所述增強層位流時使用由所述基礎層位流的經識別的幀參考的所述增強層位流的所述參考幀的所述部分來解碼基礎層位流的所述經識別的幀的代碼。
在附圖和以下描述內容中闡述一個或一個以上實例的細節。其它特征、目的和優點從描述內容和圖式以及從權利要求書將顯而易見。
圖1是說明支持編碼可縮放性的實例多媒體編碼系統的框圖。圖2是說明形成圖1的系統的一部分的實例編碼裝置的框圖。圖3是說明形成圖1的系統的一部分的實例解碼裝置的框圖。
圖4是說明在增強層位流中放置恰在內幀之前的參考幀的實例經編碼的多媒體序列
的一部分的圖。
圖5是說明在增強層位流中放置恰在信道切換幀之前的參考幀的另 一 實例經編碼的多媒體序列的一部分的圖。
圖6是說明在增強層位流「r'放置位于數據區段的末端處的參考幀的另-實例經編碼
的多媒體序列的一部分的圖。
圖7是說明根據本發明的技術編碼裝置在分配 一 個或 一 個以上參考幀時的示范性操作的流程圖。
閣8是說明解碼裝置在選擇性地解碼基礎層的幀吋的示范性操作的流程圖。
具體實施例方式
本發明描述用于在可縮放編碼方案(例如，可縮放視頻編碼(svc))屮在至少兩個層之間分配多媒體序列的數據的幀的技術。在svc中，經編碼的多媒體序列包括基
礎層和一個或一個以上增強層。出于說明的目的，將參考一基礎層和僅一個增強層來描述木發明的技術。然而，所屬領域的技術人員應了解，所述技術可延伸到利用一個以上
增強層的svc方案。
基礎層是指載送用于多媒體解碼的最小量數據且提供基礎水平質量的位流。增強層是指載送額外數據的位流，所述額外數據增強經解碼的多媒體的質量。--般來說，增強層位流僅可結合基礎層而解碼，即，增強層的幀含有對經解碼的基礎層的一個或一個以上幀的參考。然而，在其它方面中，可在無基礎層的情況下至少部分地解碼增強層。
使用階層式調制，可在相同載波或副載波上但以導致不同可靠性的不同傳輸特性來傳輸基礎層和增強層。換句話說，經由經調制的信號的較可靠部分來傳輸基礎層，而經由經調制的信號的較不可靠部分來傳輸增強層。舉例來說，可以不同包錯誤率(PER)來傳輸基礎層和增強層。特定來說，可以較低PER傳輸基礎層以用于貫穿覆蓋區域的較可靠接收，而以較高PER傳輸增強層。以此方式，載送用于解碼基礎層的數據的位流具有較可靠接收，進而允許用戶在原本將不提供接收的區域中檢視多媒體序列的內容(即使以較低水平質量)。
在未接收到增強層的狀況下，解碼裝置可僅解碼基礎層。另外，當接收到基礎層和增強層兩者時，解碼裝置可解碼基礎層加上增強層以提供較高質量。
本發明提議用于在基礎層與一個或一個以上增強層之間分配數據的幀的技術。本文中所描述的技術允許在基礎層與增強層之間的幀的選擇性放置以較好地利用增強層中的未使用的帶寬。在某些方面中，編碼裝置可將在時間上位于幀內編碼幀之前和附近的參考幀分配給增強層。因為幀內編碼幀是在未參考任何其它在時間上定位的幀的情況下來編碼，所以移動在時間上位于幀內編碼幀之前和附近的參考幀并不影響后續幀的解碼。
在其它方面中，編碼裝置可將位于包括多個幀的數據區段(例如，超幀)的末端附近的參考幀分配給增強層。在此狀況下，基礎層中的幀對移動到增強層的參考幀的參考可經消除以減小對后續幀的解碼的影響。或者，基礎層屮的幀對移動到增強層的參考幀的參考可保持，且解碼裝置可基于是否接收到增強層而選擇性地解碼接收到的幀。所描述的技術可用以幫助平衡基礎層與 一 個或 一 個以上增強層之問的帶寬。
圖1是說明支持視頻可縮放性的示范性多媒體編碼系統IO的框圖。多媒體編碼系統IO包括由網絡16連接的編碼裝置12和解碼裝置14。編碼裝置12從至少一個源18獲得數字多媒體序列，編碼數字多媒體序列且在網絡16上將經編碼的序列傳輸到解碼裝置14。
在某些方面中，源18可包含一個或一個以上視頻內容提供者，所述一個或一個以上視頻內容提供者(例如，經由衛星)而廣播數字多媒體序列。在其它方面中，源18可包含俘獲數字多媒體序列的圖像俘獲裝置。在此狀況下，圖像俘獲裝置可集成于編碼裝置12內或耦合到編碼裝置12。雖然源18在圖1中被說明為外部源，但在某些實施例屮，編碼裝置12可從編碼裝置12內或耦合到編碼裝置12的存儲器或檔案庫接收多媒體序列。
多媒體序列可包含待編碼且作為廣播或按需序列而傳輸的直播實時或近實時視頻和/或音頻序列，或可包含待編碼且作為廣播或按需序列而傳輸的預先記錄且存儲的視頻
16和/或音頻序列。在某些方面中，可由計算機產生多媒體序列的至少一部分，例如，在游戲狀況下。
可依據圖片序列而描述從源18接收到的數字多媒體序列，所述圖片序列包括幀(整個圖片)或域(field)(例如，圖片的交替奇數或偶數線的域)。另外，每一幀或域可進一步包括幀或域的兩個或兩個以上片段或子部分。如本文中所使用，術語"幀"可指代圖片、幀、域或其片段。
編碼裝置12編碼多媒體序列以用于傳輸到解碼裝置14。編碼裝置12可根據視頻壓縮標準來編碼多媒體序列，例如，移動圖片專家組(MPEG) -1、 MPEG-2、 MPEG-4、國際電信聯盟標準化組(ITU-T) H.263或ITU-T H.264 (其對應于MPEG-4第10部分增強型視頻編碼(AVC))。此類編碼和通過延伸的解碼方法可針對壓縮幀的內容以用于傳輸和/或存儲的無損耗或有損耗壓縮算法。壓縮可大體被視為從多媒體數據移除冗余的處理。
在某些方面中，本發明預期應用于增強型H.264視頻編碼，其用于在陸地移動多媒體多播(TM3)系統中使用僅前向鏈路(FLO)空中接口規范"陸地移動多媒體多播的僅前向鏈路仝'中接口規范(Forward Link Only Air Interface Specification for TerrestrialMobile Multimedia Multicast)" (2006年8月作為技術標準T1A-1099 ("(FLO規范)FLOSpecification")公開)來傳遞實時多媒體服務。然而，本發明中所描述的信道切換技術并不限于任一特定類型的廣播、多播、單播或點對點系統。
由ITU-T視頻編碼專家組(VCEG)與ISO/IEC移動圖片專家組(MPEG)編制H.264/MPEG-4 (AVC)標準，作為被稱為聯合視頻工作組(JVT)的集體合作伙伴關系的產物。由ITU-T研究組于2005年3月在ITU-T建議H.264，一般視聽服務的高級視頻編石馬(Advanced video coding for generic audiovisual services) 中描述H.264標準，其在本文屮可被稱為H.264標準或H.264規范或H.264/AVC標準或規范。
聯合視頻工作組(JVT)繼續致力于H.264/MPEG-4AVC的可縮放視頻編碼(SVC)延伸。演進SVC延伸的規范呈聯合草案UD)的形式。由JVT產生的聯合可縮放視頻模型(JSVM)實施用于可縮放視頻中的工具，其可在系統10內用于本發明中所描述的各種編碼任務。關于精細粒度SNR可縮放性(FGS)編碼的詳細信息可查閱聯合草案文獻，例如査閱聯合草案6(SVC JD6)，托馬斯.韋根(Thomas Wiegand)、加里々少利文(GarySullivan)、朱利安.賴歇爾(Julien Reichel)、海科'史華慈(Heiko Schwarz)和馬蒂亞斯-維恩(Mathias Wien)的"聯合草案6:可縮放視頻編碼(Joint Draft 6: Scalable VideoCoding)", JVT-S 201， 2006年4月，日內瓦(Geneva)和聯合草案9 (SVC JD9)，托
馬斯'韋根、加里々少利文、朱利安'賴歇爾、海科.史華慈和馬蒂亞斯.維恩的"SVC修正的聯合草案9 (Joint Draft 9 of SVC Amendment)", JVT-V 201, 2007年1月，摩洛哥的馬拉喀什(Marrakech， Morocco)。
編碼裝置12使用一個或一個以上編碼技術來編碼序列的幀中的每一者。舉例來說，編碼裝置12可使用幀內編碼技術來編碼幀中的一者或一者以上。通常被稱為幀內("I")幀的使用幀內編碼技術來編碼的幀在未參考其它幀的情況下來編碼。然而，使用幀內編碼來編碼的幀可使用空間預測以利用位于同一幀中的其它多媒體數據中的冗余。
編碼裝置12還可使用幀間編碼技術來編碼幀中的一者或一者以上。使用幀間編碼技術來編碼的幀參考本文中被稱為參考幀的一個或一個以上其它幀來編碼。幀間編碼的幀可包括一個或一個以上預測("P")幀、雙向("B")幀或其組合。P幀參考至少一個在時間上先前的幀來編碼，而B幀參考至少- 個在時間上未來的幀和至少 - 個在吋間上先前的幀來編碼。在時間上先前的幀和/或在時間上未來的幀被稱為"參考幀"。以此方式，幀間編碼越過時間幀而利用多媒體數據中的冗余。
編碼裝置12可進一步經配置以通過將幀分割為多個像素子集且單獨編碼像素了-集中的每一者而編碼序列的幀。這些像索-子集可被稱為區塊或宏區塊，且可包括(例如)16x16像素子集，16x16像素子集包括16行像素和16列像素。編碼裝置12可進--步將每一區塊分割為兩個或兩個以上子區塊。作為一實例，16x16區塊可包含四個8x8子區塊，或其它子分割區塊。舉例來說，H.264標準準許編碼具有各種不同大小(例如，16x16、16x8、 8x16、 8x8、 4x4、 8x4和4x8)的區塊。另外，通過延伸，任何大小的子區塊可包括于區塊內，例如，2x16、 16x2、 2x2、 4x16、 8x2等。大于16行或列的區塊也是—口I能的。如本文巾所使用，術語"區塊"可指任何大小的區塊或子區塊。
無關于幀是使用幀內編碼還是使用幀間編碼來編碼，序列的幀中的每 一 者可被表征為參考幀或非參考幀。如上所述，術語"參考幀"是指包括多媒體數據的幀，所述多媒體數據由編碼裝置12使用以用于壓縮幀中的另一者的至少一部分。換句話說，參考幀用于成功解碼依賴于參考幀的幀。參考幀可為幀內編碼幀或幀間編碼幀，即，I幀、B幀或P幀。相反，術語"非參考幀"是指未由編碼裝置12用于壓縮其它幀的幀。換句話說，無其它幀依賴于來自非參考幀的多媒體數據來用于成功解碼。因此，如果在傳輸中丟失非參考幀，那么將不存在對解碼序列的其它幀的影響。類似于參考幀，非參考幀可為幀內編碼幀或幀間編碼幀。然而，通常僅使用P幀和B幀作為非參考幀。
為了支持可縮放視頻，編碼裝置12在基礎層位流(本文中被稱為"基礎層")與至少一個增強層位流(本文中被稱為"增強層")之間分配經編碼的幀。如上所述，基礎層載送用于多媒體解碼的最小量數據。因而，基礎層經由經調制的信號的較可靠部分(例如)以較低PER來傳輸。增強層載送增強基礎層的經解碼的多媒體的質量的額外數據。增強層經由經調制的信號的較不可靠部分(例如)以較高PER來傳輸。在某些狀況下，增強層可能僅可結合基礎層來解碼，S卩，增強層的幀含有對經解碼的基礎層的一個或一個以上幀的參考。然而，在其它狀況下，可在無基礎層的情況下至少部分地解碼增強層。
在某些方面中，例如根據FLO空中接口規范，可能需要基礎層的大小與增強層的大小為大體上相同的。換句話說，編碼裝置12可在增強層中傳輸大體上與在基礎層中傳輸的位的數目相同的數目的位。在幀的初始分配導致層的大小之間的不平衡的狀況下，編碼模塊12可根據本文中所描述的技術來重新分配幀。如下所述的幀的重新分配消除編碼模塊12浪費帶寬以發送填充位(即，經添加以平衡層的大小但未由解碼模塊14使用的信息)的需要。雖然本文中所描述的實例針對將來自基礎層的幀重新分配給增強層，但類似技術可用于將來自增強層的幀初始分配給基礎層。
本文中所描述的技術允許在基礎層或增強層內的幀的選擇性放置以在基礎層與增強層之間重新分配幀。特定來說，在某些方面中，可將至少一個參考幀從基礎層移動到增強層以便在不同層之間實現數據的較好平衡。在某些方面'中，編碼裝置12可移動在時間上位于幀內編碼幀之前和附近的參考幀。舉例來說，編碼裝置12可移動在時間上恰位于幀內編碼幀之前的參考幀。在其它方面中，編碼裝置12可移動位于包括多個幀的數據區段(例如，超幀)的末端附近的參考幀。所描述的技術可幫助平衡棊礎層々一個或 一 個以上增強層之間的帶寬。
編碼裝置12在網絡16上將經編碼的序列傳輸到解碼裝置14以用于解碼和呈現給解碼裝置14的用戶。網絡16可包含一個或一個以上有線或無線通信網絡，包括以太網、電話(例如，POTS)、電纜、電力線和光纖系統和/或無線系統'i'的一者或一者以上，所述無線系統包含以下各物中的一者或一者以上碼分多址(CDMA或CDMA2000)通信系統、頻分多址(FDMA)系統、正交頻分多址(OFDM)系統、時分多址(TDMA)系統(例如，GSM/GPRS (通用分組無線業務)/EDGE(增強型數據GSM環境))、TETRA(陸地集群無線電)移動電話系統、寬帶碼分多址(WCDMA)系統、高數據速率(lxEV-DO或lxEV-DO黃金(Gold )多播)系統、IEEE 802.11系統、FLO系統、數字媒體廣播(DMB)系統、手持式數字視頻廣播(DVB-H)系統、陸地集成服務數字廣播(ISDB-T)系統等。
在某些方面中，編碼裝置12可編碼、組合并傳輸在一時間周期內接收到的幀。舉例來說，在某些多媒體編碼系統中，多媒體數據的多個幀被一起分組為有時被稱為"超
19幀"的多媒體數據區段。如本文中所使用，術語"超幀"是指在一時間周期或時窗內所收集以形成數據區段的幀群組。在利用FLO技術的編碼系統中，超幀可包含可標稱地具有30個幀的二分之一數據區段。然而，超幀可包括任何數目的幀。所述技術還可用于編碼、組合并傳輸其它數據區段，例如，用于在可能為或可能不為固定時間周期的不同時間周期內接收到的數據區段，或用于個別幀或數據幀的集合。換句話說，超幀可經界定以涵蓋大于或小于二分之一時間周期的時間間隔或甚至可變時間間隔。注意，貫穿本發明，特定多媒體數據區段(類如，類似于超幀的概念)是指特定大小和/或持續時間的任何多媒體數據塊(chimk)。
在某些方面中，編碼裝置12可形成用以廣播多媒體數據的一個或一個以上信道的廣播網絡組件的一部分。因而，經編碼的序列中的每一者可對應于多媒體數據的信道。多媒體數據信道中的每一者可包含一基礎層和至少一個增強層。作為一實例，編碼裝置12可形成用以將經編碼的多媒體數據的一個或一個以上信道廣播到無線裝置的無線基站、服務器或任何基礎架構節點的一部分。在此狀況下，編碼裝置12可將經編碼的數據傳輸到例如解碼裝置14的多個無線裝置。然而，為了簡單起見，在圖1中說明單一解碼裝置14。
解碼裝置14從網絡16接收經編碼的序列且解碼經編碼的序列。依據解碼裝置14相對于網絡16的位置，解碼裝置14可能或可能不接收增強層。舉例來說，在無線情形下，當解碼裝置14較接近網絡16內的傳輸塔時，解碼裝置14可接收基礎層和增強層兩者。然而，當解碼裝置14進一步遠離網絡16內的傳輸塔時，解碼裝置14可僅接收基礎層。換句話說，當解碼裝置14在適用覆蓋區域內時，由解碼裝置14較可靠地接收基礎層，因為基礎JS是以較高功率來傳輸。
在未接收到增強層的狀況下，解碼裝置14可僅解碼基礎層。在此狀況下，解碼裝置14能夠呈現由基礎層提供的多媒體序列的內容(雖然是以最低質量水平)。然而，當接收到基礎層和增強層兩者時，解碼裝置14能夠解碼并組合基礎層和增強層的數據以呈現較高質量的視頻。因此，由解碼裝置14獲得的視頻在增強層可被解碼且添加到基礎層以增加經解碼的視頻的質量的意義上為可縮放的。然而，可縮放性僅在增強層數據存在時為可能的。
解碼裝置14可(例如)實施為以下各物的 -部分數字電視、無線通信裝置、游戲裝置、便攜式數字助理(PDA)、膝上型計算機或臺式計算機、數字音樂和視頻裝置(例如，以商標"iPod"出售的裝置)或無線電話(例如，蜂窩式、衛星或基于陸地的無
線電話)，或經裝備以用r視頻和/或音頻串流、視頻電話或兩者的其它無線移動終端。解碼裝置14可與移動裝置或固定裝置相關聯。在其它方面中，解碼裝置14可包含耦合 到有線網絡的有線裝置。
圖2是進一步詳細說明編碼裝置12的框圖。如圖2中所示，編碼裝置12包括編碼 模塊20、分配模塊22、參考數據產生器24和調制器/傳輸器26。編碼模塊20包括幀內 編碼模塊28和幀間編碼模塊29。
編碼模塊20從源18 (圖1)接收一個或一個以上輸入多媒體序列且選擇性編碼接 收到的多媒體序列的幀。特定來說，幀內編碼模塊28在未參考其它幀的情況下編碼序 列的幀中的一者或一者以上。幀內編碼模塊28可(例如)在視頻序列開始時或在場景 改變時將序列的幀編碼為I幀。或者或另外，幀內編碼模塊28可幀內編碼幀以用于幀內 再新或用于信道切換。如上所述，幀內編碼模塊28可使用空間預測以利用位于同一幀 中的其它多媒體數據中的冗余而編碼幀。
幀間編碼模塊29參考一個或一個以上其它在時間上定位的幀而編碼序列的幀中的 一者或一者以上，即，編碼為I幀、P幀、B幀或其組合。幀間編碼模塊29可利用其它 在時間上定位的幀(即，參考幀)(例如，在幀的時問序列中彼此接近的一個或一個以 上幀)中的冗余。參考幀可具有為與待編碼的幀的 一 個或 一 個以上區塊的匹配或至少部 分匹配的一個或一個以上區塊。在此狀況下，幀間編碼模塊29可越過時間幀參考數據 的區塊使用運動補償預測而編碼幀。具體來說，幀間編碼模塊29可將幀編碼為包含用 于幀的特定分割的一個或一個以上運動向量和殘余的數據。
參考數據產生器24可產生指示由編碼模塊20產生的經幀內編碼和經幀問編碼的多 媒體數據的位置的參考數據。由參考數據產生器24產生的參考數據可(例如)識別幀 是I幀、P幀、B幀還是其它類型幀。另外，參考數據可包括識別區塊的一個或一個以 上區塊識別符和用以編碼幀內的區塊的編碼類型。參考數據還可包括幀序號，所述幀序 號識別多媒體序列內的一個或-一個以上參考幀的位置。
分配模塊22在基礎層位流與至少一個增強層位流之間分配經編碼的幀。在某些方 面中，分配模塊22基于幀是否被用作參考幀而分配幀。分配模塊22可(例如)最初將 參考幀指派給基礎層且將非參考幀指派給增強層。因為B幀通常并未被用作參考幀且通 常參考先前和后續P幀，所以此分配方案通常將I幀和P幀分配給基礎層且將B幀分配 給增強層。然而，編碼裝置12可將I幀或P幀編碼為非參考幀且將非參考I幀或P幀指 派給增強層。類似地，編碼裝置12可將一個或一個以上B幀編碼為參考幀且將參考B 幀指派給基礎層。此外，分配模塊22可使用初始分配方案，在所述初始分配方案中將 一個或一個以上非參考幀初始指派給基礎層。舉例來說，分配模塊22可將所有I幀和P幀初始分配給基礎層，而無論P幀為參考幀還是非參考幀。此外，分配模塊22可進一 步將一個或一個以上非參考B幀初始分配給基礎層。
在某些方面中，例如根據FLO空中接口規范，可能需要基礎層與增強層大體上為相 同大小。在常規編碼系統中，編碼裝置可通過在大體上較小的層的位流中并入填充位 (即，基礎層與增強層中的位數目之間的差異超出預定閾值)而平衡基礎層與增強層。 填充位在解碼處理期間被解碼器忽略。本文中所描述的技術允許在基礎層與增強層之間 選擇性放置幀以在層之間較好地分配位。
特定來說，分配模塊22可分析基礎層與增強層之間的多個幀的分配且在基礎層與 增強層之間重新分配幀中的一者或一者以上。分配模塊22試圖最小化基礎層與增強層 的大小之間的差異。舉例來說，如果基礎層的位流中的位數目(即，大小)小于增強層 的位流中的位數目一預定裕度或閾值，那么分配模塊22可將增強層的幀中的一者或一 者以上重新指派給基礎層。或者，編碼模塊20可編碼額外幀以包括于基礎層中。以此 方式，分配模塊22平衡基礎層與增強層的大小以使得大小大體上相同。編碼模塊20可 另外將填充位添加到基礎層或增強層以使得層為相同大小。然而，層之問的差異越小， 由填充位浪費的帶寬越少。
如果增強層的位流的位數目(即，大小)小于基礎層的位數目一預定裕度或闊值， 那么分配模塊2 2可將基礎層的幀中的 一 者或 一 者以上重新指派給增強層以使得大小為 大體上相同。如果在基礎層屮存在非參考幀，那么分配模塊22可將非參考幀重新指派 給增強層。通過將非參考幀移動到增強層，」":1解碼裝置14未接收到增強層吋，不存在 對解碼后續幀的影響。
如果在基礎層中不存在非參考幀，那么分配模塊22選定至少一個參考幀以從基礎 層移動到增強層。在某些方而中，分配模塊22可移動在時間上位于幀內編碼幀之前和 附近的參考幀。舉例來說，分配模塊22可重新指派在時間上恰位于I幀或信道切換幀 (CSF)之前的參考幀。CSF—般將被幀內編碼以有助于立即存取信道。因為幀內編碼幀 是在未參考任何其它在時間上定位的幀的情況下來編碼，所以移動在時間上恰位于幀內 編碼幀之前的參考幀并不影響后續幀的解碼。此外，就參考幀是由增強層中的一個或一 個以上幀參考來說，如果接收到依賴于參考幀的增強層中的幀，那么將接收到參考幀。 在其它方面屮，分配模塊22可移動在時間上位于幀內編碼幀之前和附近的參考幀，例 如，幀內編碼幀之前的兩個或三個幀。
在其它方面中，分配模塊22可移動位于超幀或其它數據區段的末端附近的參考幀。 在此狀況下，編碼裝置12可調整一個或一個以上參考數據。舉例來說，分配模塊22可請求編碼模塊20重新編碼基礎層的依賴于經重新指派的參考幀的一個或一個以上幀以 包括對基礎層中的不同幀的參考。或者，如果依賴于經重新指派的幀的幀是使用多個參 考幀來編碼的，那么參考數據產生器24可僅移除對重新指派給增強層的參考幀的參考。 當解碼基礎層的后續幀時，調整參考數據可減小未接收到增強層的影響。然而，在某些 方面中，編碼裝置12可不調整任何參考數據，且改為僅留下對經重新指派的幀的參考。 在此狀況下，如果接收到具有參考幀的增強層，那么解碼裝置14可正常解碼數據。如 果未接收到包括參考幀的增強層，那么解碼裝置14可執行錯誤校正以計及參考幀的遺 失數據。
在基礎層與增強層之間分配幀之后，編碼裝置12經由調制器/傳輸器26在網絡16 (圖l)上傳輸幀。調制器/傳輸器26可包括適當的調制解調器、放大器、濾波器和頻率 轉換組件以支持在網絡16上調制和無線傳輸經編碼的多媒體序列。如上所述，調制器/ 傳輸器26可使用階層式調制以在相同載波或副載波上但以導致不同可靠性的不同傳輸 特性來傳輸基礎層和增強層。換句話說，經由經調制的信號的較可靠部分來傳輸基礎層， 而經由經調制的信號的較不可靠部分來傳輸增強層。舉例來說，可采用不同的PER來傳 輸基礎層和增強層，使得較可靠地接收到基礎層。在某些方面中，編碼裝置12可經裝 備以用于雙向通信，且因此可包括發射組件和接收組件兩者且能夠編碼并解碼多媒體數 據。
前述技術可個別實施于編碼裝置12屮，或此類技術屮的兩者或兩者以上或全部此 類技術可一起實施于編碼裝置12中。編碼裝置12中的組件是適用于實施本文中所描述 的技術的組件的示范。然而，編碼裝置12可包括許多其它組件(如果需要)以及組合 上述模塊中的一者或一者以上的功能性的較少組件。然而，為了易于說明，在圖2中未 展示此類組件。
編碼裝置12中的組件可實施為一個或^個以上處理器、數字信號處理器、專用集 成電路(ASIC)、現場可編程門陣列(FPGA)、離散邏輯、軟件、硬件、固件或其任何 組合。將不同特征描繪為模塊旨在強調編碼裝置12的不同功能方面且未必暗示此類模 塊必須由單獨硬件或軟件組件來實現。事實上，與一個或一個以上模塊相關聯的功能性 可集成于共同或單獨硬件或軟件組件內。因此，本發明不應限于編碼裝置12的實例。
圖3是進一步詳細說明解碼裝置14的框圖。解碼裝置14包括解調器/接收器30、 選擇性解碼模塊32和參考數據分析模塊38。解調器/接收器30經由網絡16而接收經編 碼的幀序列。類似于調制器/傳輸器26，解調器/接收器30可包括適當調制解調器、放大 器、濾波器和頻率轉換組件以支持來自網絡16 (圖1)的經編碼的多媒體序列的接收和解調。在某些方面中，解碼裝置14可經裝備而用于雙向通信，且因此可包括發射組件 和接收組件兩者且能夠編碼并解碼多媒體數據。
如上所述，編碼裝置12可使用階層式調制以傳輸具有導致不同可靠性的不同傳輸 特性的基礎層和增強層中的經編碼的幀序列。因此，在某些情況下，例如，當解碼裝置 14遠離網絡16的傳輸塔時，解碼裝置14可僅接收基礎層的經編碼的幀。在其它情況下， 例如，當解碼裝置14較接近網絡16的傳輸塔時，解碼裝置14可從基礎層和增強層兩 者接收幀。
選擇性解碼模塊32解碼接收到的序列的經編碼的幀。特定來說，如果接收到增強 層，那么選擇性解碼模塊32解碼基礎層的幀和增強層的幀。在解碼經編碼的幀時，選 擇性解碼模塊32使用用于編碼幀的冗余而解碼幀。特定來說，選擇性解碼模塊32使用 同一幀內的空間冗余以解碼幀內編碼幀。類似地，選擇性解碼模塊32使用一個或一個 以上參考幀的時間冗余以解碼幀間編碼'頃。
選擇性解碼模塊32根據來自參考數據分析模塊38的參考數據而解碼序列的經編碼 的幀。參考數據分析模塊38識別指示接收到的經編碼的多媒體序列中的幀內編碼幀或 區塊和幀間編碼幀或區塊定位之處的參考數據。另外，參考數據分析模塊38可識別指 示幀間編碼幀的參考幀的位置的參考數據。選擇性解碼模塊32使用經識別的參考幀(如 果可用)來解碼幀間編碼幀。
如上所述，增強層包括從基礎層移動以平衡基礎層與增強層的大小的至少-個參考 幀。必要時，當接收到增強層時，選擇性解碼模塊32使用增強層中的參考幀的數據來 解碼基礎層的至少一個幀。然而，當未接收到增強層時，選擇性解碼模塊32不具有來 自增強層中的參考幀的數據來成功解碼基礎層的幀。在某些方面中，選擇性解碼模塊32 可解碼與幀對應的CSF，所述幀包括對增強層的遺失參考幀的參考。在另--實例中，參 考遺失參考幀的幀可參考多個參考幀來編碼，且選擇性解碼模塊32可僅使用其它參考 幀而解碼參考遺失參考幀的幀。另外，錯誤校正模塊(未圖示)可使用一個或一個以上 錯誤校正算法以試圖校正錯誤。
當增強層數據為可用的，即，當已成功接收到增強層數據時，選擇性解碼模塊32 組合給定幀或宏區塊的基礎層和增強層多媒體數據。因此，當接收到基礎層和增強層兩 者時，選擇性解碼模塊32組合所述層以提供高于當僅接收到基礎層吋的質量的質量。
前述技術可個別實施于解碼裝置14中，或此類技術中的兩者或兩者以上或全部此 類技術可一起實施于解碼裝置14中。解碼裝置14中的組件示范適用于實施本文中所描 述的技術的組件。然而，解碼裝置14可包括許多其它組件(如果需耍)以及組合上述
24模塊中的一者或一者以上的功能性的較少組件。此外，解碼裝置14可包括用于發射和 接收經編碼的視頻的適當調制組件、解調組件、頻率轉換組件、濾波組件和放大器組件， 包括射頻(RF)無線組件和天線(適用時)。然而，為了易于說明，在圖3中未展示此 類組件。
解碼裝置14中的組件可實施為一個或一個以上處理器、數字信號處理器、ASIC、 FPGA、離散邏輯、軟件、硬件、固件或其任何組合。將不同特征描繪為模塊希望強調 解碼裝置14的不同功能方面且未必暗示此類模塊必須由單獨硬件或軟件組件實現。事 實上，與一個或一個以上模塊相關聯的功能性可集成于共同或單獨硬件或軟件組件內。 因此，本發明不應限于解碼裝置14的實例。
圖4是說明示范性經編碼的多媒體序列40的一部分的圖。圖4中所示的經編碼的 序列40可對應于多媒體數據的信道。作為一實例，經編碼的序列40可對應于ESPN、 FOX、 MSNBC或另一電視信道。雖然圖4中所說明的實例展示用于僅一個信道的經編 碼的序列40，但本發明的技術適用于用于任何數0的信道的任何數0的經編碼的序列。
經編碼的序列40包括多個經編碼的幀。經編碼的幀表示由各種幀問編碼技術或幀 內編碼技術編碼的相應輸入幀的經壓縮的型式。在圖4的實例中，經編碼的序列40包 括1幀h、 P幀Pi到Ps和B幀Bi到B7。幀I,和P！到Ps為參考幀。換句話說，經編碼 的序列40中的至少一個其它幀具有對幀h和Pi到P5中的每一者中的數據的至少一個區 塊的參考。作為一實例，幀P4可為幀B4和Bs的參考幀。另方面，幀B,到B7為非參 考幀，即，無其它幀具有對幀Bt到B7的任何區塊數據的參考。在參看圖4所描述的實 例中，雖然所有P幀和I幀為參考幀且所有B幀為非參考幀，但一個或一個以上P或I 幀可為非參考幀且一個或一個以上B幀可為參考幀。
如上所述，分配模塊22在基礎層位流42與增強層位流44之間分配經編碼的幀。 雖然在圖4的實例"1'僅展示一個增強層，但本文中所描述的技術可用以將來自基礎層的 幀分配到一個以上增強層或在增強層之間分配米自基礎層的幀。基礎層位流42初始包 括參考幀I,和Pi到Ps。增強層位流44初始包括非參考幀B！到B7。以虛線說明的幀(即， 參考幀P4)指示幀的初始位置。雖然圖4中所說明的幀的初始分配使得基礎層42包括 所有參考幀且增強層44包括所有非參考幀，但分配模塊22可將一個或-一個以上非參考 幀(例如，圖4的實例中的幀B i到B7屮的- 者)初始指派給基礎層42 。
如上所述，分配模塊22可分析棊礎層42々增強層44之間的幀的分配且基于分析 而重新分配一個或一個以上幀。舉例來說，當增強層44含有大體上少于基礎層42的位 的位時，分配模塊22可將來自基礎層42的幀中的一者或一者以上重新分配給增強層44。具體來說，當基礎層42中的位數目超出增強層44中的位數目一閾值時，分配模塊22 可重新分配一個或一個以上幀。最初，分配模塊可將位于基礎層42中的任何非參考幀 重新指派給增強層44。在圖4的實例中，未有非參考幀被初始指派給基礎層42。因此， 分配模塊22選擇參考幀中的至少一者以從基礎層42移動到增強層44。
如圖4中所示，分配模塊將參考幀P4從基礎層42移動到增強層44。參考幀P4在時 間上恰位于幀內編碼幀(即，幀I,)之前。因為經幀內編碼的(I)幀是在未參考任何其 它在時間上定位的幀的情況下來編碼，所以移動恰在幀內編碼幀之前的參考幀并不會不 利地影響后續幀(即，幀L)的解碼。然而，當未接收到增強層44時，移動參考幀P4 可在解碼裝置14處導致稍慢的幀速率且因此在經解碼的多媒體序列40中產生某些輕微
假象。如上所述，參考幀P4可充當非參考幀B4和Bs的參考幀。參考幀P4可繼續充當 那些幀的參考幀，因為如果接收到包括對幀P4的參考的非參考幀B4和B5，那么將有可 能接收到參考幀P4。
說明于圖4中的經編碼的序列40僅出于示范性口的。如上所述，經編碼的序列40 可包括幀的不同布置和類型。舉例來說，經編碼的序列可包括參考幀和非參考幀的不同 布置。此外，在時間上位于幀h之前和附近的參考幀中的任一者可從基礎層42移動到 增強層44。在其它狀況下，例如，幀P2或P3中的--者可從基礎層42移動到增強層44。 然而，在將P2移動到增強層之前首先將最接近幀I i而定位的參考幀移動到增強層(即， 將P3移動到增強層)可為有利的。
圖5是說明另一示范性經編碼的多媒體序列50的一部分的圖。經編碼的多媒體序 列50大體上與圖4的經編碼的多媒體序列40 —致，只是經編碼的多媒體序列50并不 包括I幀。事實上，圖4的幀I,由另一 P幀(即，幀P6)替代。不同于幀h，幀P6并 非幀內編碼幀，而是為包括對幀P4的至少一個參考的幀間編碼幀。
經編碼的多媒體序列50還包括信道切換幀(CSF。。在此實例'l'， CSF,為相應輸入 幀的至少一部分的經幀內編碼的型式。換句話說，CSF!是在未參考其它幀的情況下來編 碼，且因此為可獨立解碼的。在某些方面中，CSF、可以低于經編碼的序列50的其它幀 的質量的質量來編碼。此外，在序列內的CSFi的時間位置對應于同一多媒體序列中的 對應幀間編碼幀的時間位置的意義上，C S F,可與幀間編碼幀的對應 一 者在時間上共同定 位。在圖5屮說明的實例屮，CSF,與幀P6共同定位。在此狀況下，CSF,可被看作對應 幀P6中編碼的多媒體數據的至少一部分的第二經幀內編碼的型式。
在某些方面中，解碼裝置14可依據是否接收到增強層44而選擇性地解碼經編碼的 多媒體序列50。特定來說，當接收到增強層44時，解碼裝置14可將幀P4用作幀P6的參考幀的來解碼幀P6。因此，位于基礎層42中的幀P6參考增強層44中的幀。然而， 如果解碼裝置14未接收到增強層44,那么解碼裝置14可解碼CSF!而非幀P"因為CSF, 為幀內編碼幀，所以將參考幀P4移動到增強層44并不影響后續幀的解碼。
說明于圖5中的經編碼的序列50僅出于示范性目的。如上所述，經編碼的序列50 可包括幀的不同布置和類型。舉例來說，經編碼的序列可包括參考幀和非參考幀的不同 布置。此外，在時間上位于CSFi之前和附近的參考幀中的任一者可從基礎層42移動到 增強層44。舉例來說，幀Ps (即，對應于CSF!的時間位置的幀)可被移動到增強層位 流44。在其它狀況下，例如幀P2或P3的其它參考幀可從基礎層42移動到增強層44。 在這些狀況下，如果解碼裝置14未接收到增強層44，那么解碼裝置14可解碼后續CSF (即，CSFt)。
圖6是說明另一示范性經編碼的多媒體序列60的一部分的圖。經編碼的多媒體序 列60大體上分別與圖4的經編碼的多媒體序列40和圖5的經編碼的多媒體序列50 — 致，只是經編碼的多媒體序列60不包括幀內編碼幀(即，I幀或CSF)。事實上，說明 于圖6中的多媒體序列60的所述部分包括基礎層42和包括全部幀問編碼幀的增強層44。
多媒體序列60的所述部分包括兩個數據區段(例如，超幀SF,和SF2)的一部分。 超幀SF!至少包括幀Pt到P4和幀B,到B4。超幀SF2至少包括幀P5和P6以及幀Bs到 B7。然而，超幀SF,和SF2可包括更多或更少幀。另外，超幀SF!和SF2可包括一個或 一個以丄幀內編碼幀(例如，I幀或CSF)。
如圖6中所說明，如由箭頭62所表示，超幀SF2的第一幀(即，P5)參考超幀SF! 的最后幀(即，P4)。換句話說，編碼模塊20使用幀P4中的時間冗余而編碼幀Ps的一 個或一個以上區塊。根據本發明的技術，分配模塊22可將來自基礎層42的參考幀P4 重新指派給增強層44以平衡層的大小。
在某些狀況下，編碼裝置12可在將幀P4從基礎層42移動到增強層44后調整幀P5 之前向參考。在某些方面中，編碼模塊20可參考基礎層42的幀中的另一幀來重新編碼 幀P5。在所說明的實例中，如由箭頭64所表示，編碼裝置20可使用幀P3中的時間兀 余來重新編碼幀P5。在其它方面中，編碼模塊20可初始參考在時間上先前的一個以上
幀(即，幀P3和P4)來編碼幀Ps。在此狀況下，編碼模塊20可能不重新編碼幀P5，而 是消除對P4的參考。
在其它狀況下，編碼裝置12可不調整幀P5的前向參考。事實上，編碼裝置12可留 下對P4的參考，即使P4位于增強層44中也如此。在此狀況下，解碼裝置14可基于是 否接收到增強層44而選擇性地解碼接收到的序列。當接收到增強層44時，解碼裝置14
27參考增強層中的幀P4而解碼幀P5。然而，當未接收到增強層44時，解碼裝置14使用 一個或一個以上錯誤校正技術以重建幀Ps或等待幀內編碼幀。
說明于圖6中的經編碼的序列60僅出于示范性目的。如上所述，經編碼的序列60 可包括幀的不同布置和類型。舉例來說，經編碼的序列可包括參考幀和非參考幀的不同 布置。此外，雖然在圖6中所說明的實例中，超幀SFi的最后參考幀被重新分配給增強 層44，但參考幀中的任一者可從基礎層42移動到增強層44。
圖7是說明根據本發明的技術的編碼裝置(例如，編碼裝置12)重新分配一個或一 個以上參考幀的示范性操作的流程圖。最初，分配模塊22在基礎層位流與至少一個增 強層位流之間分配經編碼的幀(70)。在某些方面中，分配模塊22基于幀是否被用作參 考幀而分配幀。分配模塊22可(例如)最初將參考幀指派給基礎層且將非參考幀指派 給增強層。或者，分配模塊22可使用初始分配方案，在所述初始分配方案中一個或一 個以上非參考幀被初始指派給基礎層。
分配模塊22分析所述幀在基礎層與增強層之間的分配以確定基礎層與增強層是否 為大體上相同的大小(72)。當增強層與基礎層并非為大體上相同大小時，分配模塊22 確定增強層是否小于基礎層達 一 預定裕度或閾值(73)。當增強層大于基礎層達 一 預定 閾值(即，增強^包括較多位)時，分配模塊22將來Q增強^的至少一個幀重新分配 給基礎層(74)。如果存在初始分配給增強層的任何參考幀，那么分配模塊22可首先重 新分配一個或-個以上參考幀。否則，分配模塊22可重新分配以非參考I幀和非參考P 幀開始的非參考幀。
當增強層小于基礎層達一預定閾值(即，基礎層包括較多位)時，分配模塊22確 定在基礎層中是否存在任何非參考幀(75)。當在基礎層中存在非參考幀時，分配模塊 22將來自基礎層的非參考幀重新分配給增強層(76)。通過將非參考幀移動到增強層， -,解碼裝置14未接收到增強層時不存在對解碼后續幀的影響。
如果在基礎層中不存在非參考幀，那么分配模塊22將來自基礎層的至少一個參考 幀重新分配給增強層(77)。在某些方面中，分配模塊22可移動在時間上位于幀內編碼 幀(即，l幀或信道切換幀(CSF))之前和附近的參考幀。舉例來說，分配模塊22可移 動在時間上恰位于幀內編碼幀之前的參考幀。因為幀內編碼幀是在未參考任何其它在時 間上定位的幀的情況下來編碼的，所以移動在時間上恰位于幀內編碼幀之前的參考幀并 不影響后續幀的解碼。在其它方面中，分配模塊22可移動位于超幀或其它數據區段的 末端附近的參考幀。
編碼裝置12可調整包括對經重新分配的參考幀的參考的一個或一個以上幀的參考數據(78)。舉例來說，分配模塊22可請求編碼模塊20重新編碼基礎層的依賴于經重 新指派的參考幀的一個或一個以上幀以包括對基礎層中的不同幀的參考。或者，如果依 賴于經重新指派的幀的幀是使用多個參考幀來編碼的，那么參考數據產生器24可僅移 除對重新指派給增強層的參考幀的參考。然而，編碼裝置12可不調整任何參考數據， 且改為僅留下對經重新指派的參考幀的參考。在此狀況下，如果接收到具有參考幀的增 強層，那么解碼裝置14可正常解碼數據。如果未接收到包括參考幀的增強層，那么解 碼裝置14可執行錯誤校正以計及參考幀的遺失數據。以此方式，分配模塊22平衡基礎 層與增強層的大小。
當基礎層與增強層為大體上相同的大小時，編碼裝置12傳輸所述層的幀(79)。調 制器/傳輸器26可使用階層式調制以在相同載波或副載波上但以導致不同可靠性的不同 傳輸特性來傳輸基礎層和增強層。舉例來說，基礎層和增強層可以不同PER來傳輸，使
得較可靠地接收到基礎層。
圖8是說明解碼裝置(例如，解碼裝置14)選擇性地解碼基礎層的幀的示范性操作 的流程圖。解碼裝置14接收多媒體序列幀(80)。如上所述，解碼裝置14可依據解碼 裝置14相對于網絡16 (圖1)的位置而僅接收基礎層的經編碼的幀或接收基礎層和增 強層兩者的經編碼的幀。
解碼裝置14識別基礎層中的參考增強層中的幀的內容的幀(82)。解碼裝置14可 分析接收到的參考數據以識別所關注的幀。解碼裝置"確定是否接收到增強層(84)。 。接收到增強層時，解碼裝置14使用增強層中的對應參考幀的數據來解碼基礎層中的 經識別的幀(86)。
當未接收到增強層時，解碼裝置14確定是否存在對應于經識別的幀或在經識別的 幀之后的CSF (87)。當存在對應于經識別的幀或在經識別的幀之后的CSF時，解碼裝 置14解碼CSF而非解碼經識別的幀(88)。當不存在對應于經識別的幀的CSF時'，解 碼裝置14在不具有來自增強層中的參考幀的數據的情況下解碼幀(89)。在某些方面中， 例如，當經識別的幀包括對一個以上幀的參考時，解碼裝置14可使用其它參考幀的數 據來解碼經識別的幀。在其它方面中，解碼裝置14可使用一個或一個以上錯誤校正技 術來重建經識別的幀。
基于本文屮所描述的教示，應了解，本文屮所揭示的方面可獨立于任何其它方面而 實施且這些方面中的兩者或兩者以上方面可以各種方式進行組合。本文中所描述的技術 可以硬件、軟件、固件或其任一組合實施。如果以硬件實施，那么可使用數字硬件、模 擬硬件或其組合來實現所述技術。如果以軟件實施，那么可至少部分地由包括計算機可讀媒體的計算機程序產品來實現所述技術，計算機可讀媒體上面存儲一個或一個以上指 令或代碼。
以實例且并非限制的方式，此類計算機可讀媒體可包含RAM (例如，同步動態隨 機存取存儲器(SDRAM))、只讀存儲器(ROM)、非易失性隨機存取存儲器(NVRAM)、 ROM、電可擦除可編程只讀存儲器(EEPROM)、可擦除可編程只讀存儲器(EPROM)、 快閃存儲器、CD-ROM或其它光盤存儲裝置、磁盤存儲裝置或其它磁性存儲裝置，或可 用以載送或存儲呈指令或數據結構形式的所要程序代碼且可由計算機存取的任何其它 有形媒體。
與計算機程序產品的計算機可讀媒體相關聯的指令或代碼可由計算機來執行，例 如，由一個或一個以上處理器(例如， 一個或一個以上數字信號處理器(DSP))、通用 微處理器、ASIC、 FPGA或其它等效集成或離散邏輯電路來執行。
己描述若干方面和實例。然而，對這些實例的各種修改是可能的，且本文中呈現的 原理也可應用于其它方面。這些和其它方面在所附權利要求書的范圍內。
權利要求
1.一種用于處理多媒體數據的方法，所述方法包含編碼多媒體數據的多個幀，其中所述多個幀包括一個或一個以上參考幀；以及在基礎層位流與至少一個增強層位流之間分配所述多個幀中的每一者以使得所述一個或一個以上參考幀中的至少一者被分配給所述增強層位流。
2. 根據權利要求1所述的方法，其中分配所述幀包含將在時間上恰位于所述幀中的幀 內編碼幀之前的所述一個或一個以上參考幀中的所述至少一者分配給所述增強層 位流。
3. 根據權利要求2所述的方法，其中分配在時間上恰位于所述幀中的所述幀內編碼幀 之前的所述一個或一個以上參考幀中的所述至少一者包含將在時間上恰位于信道 切換幀之前的所述一個或一個以上參考幀中的所述至少一者分配給所述增強層位 流。
4. 根據權利要求1所述的方法，其中分配所述幀包含將對應于信道切換幀的所述一個 或一個以上參考幀中的所述至少一者分配給所述增強層位流。
5. 根據權利要求1所述的方法，其進一步包含將所述幀中的至少某些幀進行分組以形 成數據區段，其中分配所述幀包含將位于所述數據區段的末端陽近的所述一個或一 個以上參考幀中的所述至少一者分配給所述增強層位流。
6. 根據權利要求1所述的方法，其中分配所述幀包含分析所述幀在所述基礎層位流與所述增強層位流之間的初始分配；以及 基丁-所述分析將來自所述基礎層位流的所述一個或一個以上參考幀中的所述至 少一者重新分配給所述增強層位流。
7. 根據權利要求6所述的方法，其中重新分配所述 -個或--個以上參考幀屮的所述至 少一者包含^所述基礎層位流中不存在非參考幀時，將來自所述基礎層位流的所述 一個或一個以上參考幀中的所述至少一者重新分配給所述增強層位流。
8. 根據權利要求6所述的方法，其中分析所述初始分配包含將所述增強層位流的大小與所述基礎層位流的大小進行 比較；且重新分配所述一個或一個以上參考幀中的所述至少一者包含當所述增強層位流 的大小小于所述基礎層位流的大小達一閾值時，將來自所述基礎層位流的所述一個 或一個以上參考幀中的所述至少一者重新分配給所述增強層位流。
9. 根據權利要求6所述的方法，其進一步包含將來自所述基礎層位流的幀重新分配給 所述增強層位流直到所述基礎層的大小與所述增強層的大小之間的差異被最小化 為止。
10. 根據權利要求1所述的方法，其進一步包含移除所述基礎層位流中的所述幀中的后 續 一 者對分配給所述增強層位流的所述 一 個或 一 個以上參考幀中的所述至少 一 者 的參考。
11. 根據權利要求10所述的方法，其中移除所述幀中的所述后續一者對所述一個或一 個以上參考幀中的所述至少 一 者的所述參考包含重新編碼所述基礎層位流中的所 述幀中的所述后續 一 者以排除對分配給所述增強位流的所述 一 個或 一 個以上參 考幀中的所述至少一者的所述參考。
12. 根據權利要求1所述的方法，其中將所述一個或一個以上參考幀中的所述至少一者 分配給所述增強層位流包含將預測(P)幀和幀內(I)幀中的一者分配給所述增強
13. 根據權利要求1所述的方法，其進一步包含經由經調制信號的較可靠部分來傳輸所述基礎層；以及 經由所述經調制信號的較不可靠部分來傳輸所述增強層。
14. 一種用于處理多媒體數據的設備，所述設備包含編碼模塊，其編碼多媒體數據的多個幀，其中所述多個幀包括一個或一個以上參 考幀；以及分配模塊，其在基礎層位流與至少一個增強層位流之間分配所述多個幀中的每一 者以使得所述一個或一個以上參考幀中的至少一者被分配給所述增強層位流。
15.根據權利要求14所述的設備，其中所述分配模塊將在時間上恰位于所述幀中的幀 內編碼幀之前的所述一個或一個以上參考幀中的所述至少一者分配給所述增強層 位流。
16. 根據權利要求15所述的設備，其中所述分配模塊將在時間上恰位于信道切換幀之 前的所述一個或一個以上參考幀中的所述至少一者分配給所述增強層位流。
17. 根據權利要求14所述的設備，其中所述分配模塊將對應于信道切換幀的所述一個 或一個以上參考幀中的所述至少一者分配給所述增強層位流。
18. 根據權利要求14所述的設備，其中所述編碼模塊將所述幀'l'的至少某些幀進行分組以形成數據區段，且 所述分配模塊將位于所述數據區段的末端附近的所述 一 個或 一 個以上參考幀中 的所述至少一者分配給所述增強層位流。
19. 根據權利要求14所述的設備，其中所述分配模塊分析所述幀在所述基礎feH立流與 所述增強J3位流之間的初始分配，且基于所述分析將來自所述基礎/3位流的所述一 個或 一 個以上參考幀中的所述至少 一 者重新分配給所述增強層位流。
20. 根據權利要求19所述的設備，其中當所述基礎層位流中不存在非參考幀時，所述 分配模塊將來G所述基礎)S位流的所述 一 個或 一 個以卜-參考幀中的所述至少 一 者 重新分配給所述增強層位流。
21. 根據權利要求19所述的設備，其中所述分配模塊將所述增強層位流的大小勺所述 基礎層位流的大小進行比較，且當所述增強層位流的大小小于所述基礎層位流的大 小達 一 閾值時，將來自所述基礎層位流的所述 個或 一 個以上參考幀中的所述至少 一者重新分配給所述增強M位流。
22. 根據權利要求19所述的設備，其屮所述分配模塊將來自所述基礎層位流的幀重新分配給所述增強層位流直到所述基礎層的大小與所述增強層的大小之間的差異被 最小化為止。
23. 根據權利要求14所述的設備，其進一步包含參考數據產生器，所述參考數據產生 器移除所述基礎層位流中的所述幀中的后續一者對分配給所述增強層位流的所述 一個或一個以上參考幀中的所述至少一者的參考。
24. 根據權利要求23所述的設備，其中所述編碼模塊重新編碼所述基礎層位流中的所 述后續幀以排除對分配給所述增強層位流的所述一個或一個以上參考幀中的所述 至少一者的所述參考。
25. 根據權利耍求14所述的設備，其中所述分配模塊將預測(P)幀和幀內(I)幀中的 一 者分配給所述增強層位流。
26. 根據權利耍求14所述的設備，其進-'步包含調制器/傳輸器，所述調制器/傳輸器經 由經調制信號的較可靠部分來傳輸所述基礎層且經由所述經調制信號的較不可靠 部分來傳輸所述增強層。
27. —種用于處理多媒體數據的設備，所述設備包含H]于編碼多媒體數據的多個幀的裝置，其中所述多個幀包括一個或一個以上參考 幀；以及用于在基礎層位流與至少 一 個增強層位流之間分配所述多個幀中的每 一 者以使 得所述一個或一個以上參考幀中的至少一者被分配給所述增強層位流的裝置。
28. 根據權利要求27所述的設備，其中所述分配裝置將在時間上恰位于所述幀中的幀 內編碼幀之前的所述一個或一個以上參考幀巾的所述至少一者分配給所述增強層 位流。
29. 根據權利耍求28所述的設備，其中所述分配裝置將在時間上恰位于信道切換幀之 前的所述一個或一個以上參考幀中的所述至少一者分配給所述增強層位流。
30. 報據權利要求27所述的設備，其中所述分配裝置將對應于信道切換幀的所述一個或一個以上參考幀中的所述至少一者分配給所述增強層位流。
31. 根據權利要求27所述的設備，其進一步包含用于將所述幀中的至少某些幀進行分 組以形成數據區段的裝置，其中所述分配裝置將位于所述數據區段的末端附近的所 述一個或一個以上參考幀中的所述至少一者分配給所述增強層位流。
32. 根據權利要求27所述的設備，其中所述分配裝置分析所述幀在所述基礎層位流與 所述增強層位流之間的初始分配，且基于所述分析將來自所述基礎層位流的所述一 個或一個以上參考幀中的所述至少一者重新分配給所述增強層位流。
33. 根據權利要求32所述的設備，其中當所述基礎層位流中不存在非參考幀時，所述 分配裝置將來自所述基礎層位流的所述一個或一個以上參考幀中的所述至少一者 重新分配給所述增強層位流。
34. 根據權利要求32所述的設備，其'l'所述分配裝置將所述增強層位流的大小與所述 基礎層位流的大小進行比較且當所述增強層位流的大小小于所述基礎層位流的大 小込一 閾值時，將來自所述基礎層位流的所述 一 個或 一 個以上參考幀中的所述至少 一者重新分配給所述增強M位流。
35. 根據權利要求32所述的設備，艽中所述分配模塊將來自所述基礎層位流的幀重新 分配給所述增強層位流直到所述基礎層的大小與所述增強層的大小之間的差異被 最小化為止。
36. 根據權利要求27所述的設備，其進一步包含用于移除所述基礎S位流中的所述幀 中的后續 一者對分配給所述增強層位流的所述 一 個或 一 個以上參考幀中的所述至 少一者的參考的裝置。
37. 根據權利要求36所述的設備，其中所述編碼裝置重新編碼所述基礎層位流中的所 述后續幀以排除對分配給所述增強層位流的所述一個或一個以上參考幀中的所述 至少一者的所述參考。
38. 根據權利要求27所述的設備，其中所述分配裝置將預測(P)幀和幀內(I)幀中的一者分配給所述增強層位流。
39. 根據權利要求27所述的設備，其進一步包含用于經由經調制信號的較可靠部分來傳輸所述基礎層且經由所述經調制信號的較不可靠部分來傳輸所述增強層的裝置。
40. —種用于處理多媒體數據的計算機程序產品，所述計算機程序產品包含上面具有指令的計算機可讀媒體，所述指令包含用于編碼多媒體數據的多個幀的代碼，其中所述多個幀包括一個或一個以上參考幀以及用于在基礎層位流與至少一個增強層位流之間分配所述多個幀中的每一者以使得所述一個或一個以上參考幀中的至少一者被分配給所述增強層位流的代碼。
41. 根據權利要求40所述的計算機程序產品，其中用于分配所述幀的代碼包含用于將在時間上恰位于所述幀中的幀內編碼幀之前的所述 一 個或 一 個以上參考幀中的所述至少一者分配給所述增強層位流的代碼。
42. 根據權利要求41所述的計算機程序產品，其中用于分配在時間上恰位于所述幀中的所述幀內編碼幀之前的所述 一 個或 一 個以.匕參考幀中的所述至少 一 者的代碼包含用于將在時間上恰位于信道切換幀之前的所述 一 個或 一 個以上參考幀中的所述至少一者分配給所述增強層位流的代碼。
43. 根據權利要求40所述的計算機程序產品，其中用于分配所述幀的代碼包含用于將對應于信道切換幀的所述 一 個或 一 個以上參考幀中的所述至少 一 者分配給所述增強層位流的代碼。
44. 根據權利要求40所述的計算機程序產品，其進一歩包含用于將所述幀屮的至少某些幀進行分組以形成數據區段的代碼，其中用于分配所述幀的代碼包含用于將位于所述數據區段的末端附近的所述 一 個或 一 個以上參考幀中的所述至少 一 者分配給所述增強層位流的代碼。
45. 根據權利要求40所述的計算機程序產品，其中用于分配所述幀的代碼包含用于分析所述幀在所述基礎層位流與所述增強層位流之間的初始分配的代碼；以及用于基于所述分析將來自所述基礎層位流的所述一個或一個以上參考幀中的所述至少一者重新分配給所述增強層位流的代碼。
46. 根據權利要求45所述的計算機程序產品，其中用于重新分配所述一個或一個以上參考幀中的所述至少一者的代碼包含用于當所述基礎層位流中不存在非參考幀時將來自所述基礎層位流的所述一個或一個以上參考幀中的所述至少一者重新分配給所述增強層位流的代碼。
47. 根據權利要求45所述的計算機程序產品，其中用于分析所述初始分配的代碼包含用于將所述增強層位流的大小與所述基礎層位流的大小進行比較的代碼；且用于重新分配所述_個或 一 個以上參考幀111的所述至少 者的代碼包含甩于當所述增強層位流的大小小于所述基礎層位流的大小達 一 閾值時將來自所述基礎層位流的所述 一 個或 一 個以上參考幀中的所述至少 一 者重新分配給所述增強層位流的代碼。
48. 根據權利要求45所述的il算機程序產品，其進一步包含用于將來自所述基礎層位流的幀重新分配給所述增強層位流直到所述基礎層的大小與所述增強層的大小之間的差異被最小化為止的代碼。
49. 根據權利要求40所述的計算機程序產品，其進一步包含用于移除所述基礎層位流中的所述幀中的后續一者對分配給所述增強層^L流的所述一個或一個以上參考幀中的所述至少一者的參考的代碼。
50. 根據權利要求49所述的計算機程序產品，其中用于移除所述幀中的所述后續一者對所述 一 個或 一 個以上參考幀中的所述至少 一 者的所述參考的代碼包含用于重新編碼所述基礎層位流中的所述幀中的所述后續 一 者以排除對分配給所述增強層位流的所述一個或一個以上參考幀中的所述至少一者的所述參考的代碼。
51. 根據權利要求40所述的計算機程序產品，其中用于將所述一個或一個以上參考幀中的所述至少一者分配給所述增強層位流的代碼包含用于將預測(P)幀和幀內(I)幀中的一者分配給所述增強層位流的代碼。
52. 根據權利要求40所述的計算機程序產品，其進一步包含用于經由經調制信號的較可靠部分來傳輸所述基礎層且經由所述經調制信號的較不可靠部分來傳輸所述增強層的代碼。
53. —種用于處理多媒體數據的方法，所述方法包含-識別可縮放編碼方案的基礎層位流中的參考增強層位流的參考幀的至少一部分的至少一個幀；以及當接收到所述增強層位流時，使用所述增強層位流的所述參考幀中的由所述基礎層位流的所述經識別的幀參考的所述部分來解碼所述基礎層位流的所述經識別的幀。
54. 根據權利要求53所述的方法，其進一步包含當未接收到所述增強層位流時，解碼對應于所述基礎層位流的所述經識別的幀的信道切換幀。
55. 根據權利要求53所述的方法，其進一步包含當未接收到所述增強層位流時，解碼在所述基礎層位流的所述經識別的幀之后的信道切換幀。
56. 根據權利要求53所述的方法，其中參考所述增強層位流的所述參考幀的所述部分且參考所述基礎層位流中的至少 一 個參考幀來編碼所述基礎層位流的所述經識別的幀，所述方法進一步包含當未接收到所述增強層位流時，使用所述基礎層位流中的所述至少一個參考幀的數據來解碼所述基礎層位流的所述經識別的幀。
57. 根據權利要求53所述的方法，其進一步包含當未接收到所述增強層位流時，利用一個或一個以上錯誤校正算法來重建基礎層位流的所述經識別的幀。
58. —種用于處理多媒體數據的設備，所述設備包含參考數據分析模塊，其識別可縮放編碼方案的基礎層位流中的參考增強層位流的參考幀的至少一部分的至少一個幀；以及解碼模塊，當接收到所述增強層位流時，所述解碼模塊使用所述增強層位流的所述參考幀中的由所述基礎層位流的所述經識別的幀參考的所述部分來解碼所述基礎層位流的所述經識別的幀。
59. 根據權利要求58所述的設備，其中當未接收到所述增強層位流時，所述解碼模塊解碼對應于所述基礎層位流的所述經識別的幀的信道切換幀。
60. 根據權利要求58所述的設備，其中當未接收到所述增強層位流時，所述解碼模塊解碼在所述基礎層位流的所述經識別的幀之后的信道切換幀。
61. 根據權利要求58所述的設備，其中所述基礎層位流的所述經識別的幀是參考所述增強層位流的所述參考幀的所述部分且參考所述基礎層位流中的至少一個參考幀來編碼的，且當未接收到所述增強層位流時，所述解碼模塊使用所述基礎層位流中的所述至少一個參考幀的數據來解碼所述基礎層位流的所述經識別的幀。
62. 根據權利要求58所述的設備，其中當未接收到所述增強層位流時，所述解碼模塊利用一個或一個以上錯誤校正算法來重建基礎層位流的所述經識別的幀。
63. —種用于處現多媒體數據的設備，所述設備包含用于識別可縮放編碼方案的基礎層位流中的參考增強層位流的參考幀的至少一部分的至少一個幀的裝置；以及用于當接收到所述增強層位流時使用所述增強層位流的所述參考幀中的由所述基礎jg位流的所述經識別的幀參考的所述部分來解碼所述基礎層位流的所述經識別的幀的裝置。
64. 根據權利要求63所述的設備，其中當未接收到所述增強層位流時，所述解碼裝置解碼對應于所述基礎層位流的所述經識別的幀的信道切換幀。
65. 根據權利要求63所述的設備，其中當未接收到所述增強層位流時，所述解碼裝置解碼在所述基礎層位流的所述經識別的幀之后的信道切換幀。
66. 根據權利要求63所述的設備，其中所述基礎層位流的所述經識別的幀是參考所述增強層位流的所述參考幀的所述部分且參考所述基礎層位流中的至少一個參考幀來編碼的，且當未接收到所述增強層位流時，所述解碼裝置使用所述基礎層位流中的所述至少一個參考幀的數據來解碼所述基礎層位流的所述經識別的幀。
67. 根據權利要求63所述的設備，其中當未接收到所述增強層位流時，所述解碼裝置利用一個或一個以上錯誤校正算法來重建基礎層位流的所述經識別的幀。
68. —種用于處理多媒體數據的計算機程序產品，所述計算機程序產品包含上面具有指令的計算機可讀媒體，所述指令包含用于識別可縮放編碼方案的基礎層位流中的參考增強層位流的參考幀的至少一部分的至少一個幀的代碼；以及用于當接收到所述增強層位流時使用由所述增強層位流的所述參考幀中的所述基礎層位流的所述經識別的幀參考的所述部分來解碼所述基礎層位流的所述經識別的幀的代碼。
69. 根據權利要求68所述的計算機程序產品，其進--步包含用于當未接收到所述增強層位流時解碼對應于所述基礎層位流的所述經識別的幀的信道切換幀的代碼。
70. 根據權利耍求68所述的計算機程序產品，其進一步包含用于當未接收到所述增強層位流時解碼在所述基礎層位流的所述經識別的幀之后的信道切換幀的代碼。
71. 根據權利要求68所述的計算機程序產品，其'l'所述基礎層位流的所述經識別的幀是參考所述增強層位流的所述參考幀的所述部分且參考所述基礎層位流中的至少一個參考幀來編碼的，且所述計算機程序產品進 一 步包含用于當未接收到所述增強層位流時使用所述基礎層位流中的所述至少 一 個參考幀的數據來解碼所述基礎層位流的所述經識別的幀的代碼。
72.根據權利要求68所述的計算機程序產品，其進一步包含用于當未接收到所述增強層位流時利用一個或一個以上錯誤校正算法來重建基礎層位流的所述經識別的幀的代碼。
全文摘要
本發明涉及用于在基礎層與一個或一個以上增強層之間分配數據幀的技術。本文中所描述的所述技術允許在所述基礎層與所述增強層之間選擇性地放置幀以較好地利用所述增強層中未使用的帶寬。在某些方面中，編碼裝置可將在時間上恰位于幀內編碼幀之前的參考幀分配給所述增強層。在其它方面中，所述編碼裝置可將位于包括多個幀的數據區段的末端處的參考幀(例如超幀)分配給所述增強層。可利用所述所描述的技術來幫助平衡所述基礎層與所述一個或一個以上增強層之間的帶寬。
文檔編號H04N7/26GK101578864SQ200780047177
公開日2009年11月11日 申請日期2007年12月22日 優先權日2006年12月22日
發明者史考特·T·斯韋澤伊, 陳培松 申請人:高通股份有限公司