用于將數字視頻編碼和解碼的方法以及相關編碼和解碼設備的制造方法
【專利說明】用于將數字視頻編碼和解碼的方法w及相關編碼和解碼設 備
[0001] 本發明設及一種用于將數字視頻編碼和解碼的方法，特別是用于將視頻流編碼成 獨立分區的方法W及設及用于將構成視頻流的一個或多個分區獨立地解碼的相應方法。
[0002] 本發明還設及一種用于將視頻流編碼成獨立分區的設備W及設及用于將所述分 區中的一個或多個獨立地解碼的設備。很長時間W來已知表示相同事件或多媒體服務(多 視圖視頻-免費觀看視頻）的鑲嵌（mosaic)的不同視圖的獨立視頻流的編碼和分發。將此 類多視圖視頻分發給用戶通常要求對與生成的視圖的數量匹配的多個獨立視頻流進行編 碼。
[0003] 例如在文獻"IS0/1EC13818-1 : 2000 似-Informationtechnology- Genericcodingofmovingpicturesandassociatedaudioinformation:Systems" 中或在文獻"ISO/lEC14496-10Informationtechnology-Codingofaudio-visual objectsPart10:AdvancedVideoCoding"且在此后稱為H.264/AVC規范的相應文獻 "ITU-T比 264 -Advancedvideocodingforgenericaudiovisualservices"中描述了 該種編碼和解碼方法。當前在使用中的編碼方法具有若干缺點，諸如；使用等于要分發的視 頻分量的數量的多個視頻編碼器的必要性；正在分發的視頻流之中和視頻流與相應音頻流 之間的相互困難的同步；由于復制將每個獨立流解碼所需的類似信令元素的需要而增加的 傳輸視頻流所需頻帶。另一方面，相應的解碼方法要求將多個解碼器用于解碼并顯示正在 傳輸的兩個或更多視圖，該導致用戶終端架構的較高復雜性和成本。
[0004] 還已知的是可W將單個視頻流用于分發多個獨立視圖，例如所謂的"鑲嵌"服務 的情況就是該樣，其中，單個帖由從獨立視頻提取的并組成為一個圖像的n個帖組成，或者 由被組成為單個帖的3D立體像對的兩個分量視頻(所謂的"帖封裝排列（化amePacking Arrangements)"或"帖兼容格式")組成。通常通過使用可用壓縮技術中的任何一個來壓縮 此類復合視頻，可用壓縮技術諸如例如MPEG-2、H. 264/AVC、肥VC。此類壓縮技術未提供允 許規范依從解碼器獨立地將分量視頻流中的一個或多個解碼的工具。已經開發了允許2D 解碼器從已解碼視頻中提取立體像對的兩個分量視圖中的僅一個的方法，但是該些方法依 賴于一旦整個容器帖已被解碼就允許解碼器切割并顯示包含兩個視圖中的僅一個的帖區 域的適當信令的使用。
[0005] 當前不可能W使得解碼器(在用戶選擇時或者由于有限的計算或存儲資源）能夠 將整個帖的僅所選子集解碼該樣的方式對視頻進行編碼。例如，不可能W使得對構成立體 像對的兩個圖像不感興趣的2D解碼器可W僅將與兩個視圖中的一個(例如左邊的一個）相 對應的區域解碼并顯示的方式對包含上述帖封裝排列中的一個的視頻進行編碼。
[0006] 該意味著浪費計算和能量資源。應注意的是在移動終端領域中尤其感覺到此問 題，其中計算資源的任何過度利用可W急劇地縮短電池壽命。
[0007] 此外，可W在諸如機頂盒或智能網關之類的可W向其連接一個或多個顯示器的、 不一定具有均勻的特性的設備中使用解碼器。讓我們考慮例如智能網關從分發網絡(例如 IP網絡或廣播網絡）接收已編碼視頻流或從存儲設備讀取該流的情況。可W通過電纜和/ 或無線連接向所述智能網關連接多個顯示器，其可具有不同的特性(例如皿顯示器或平板 電腦)。在該種情況下，解碼器應能夠使已解碼視頻適應于要服務的一個或多個顯示器的特 性；如果只有具有比已解碼視頻低的分辨率的一個顯示器被連接到解碼器，則后者應能夠 僅將對于設及到的終端而言最相關的視頻的部分解碼。
[0008] 此外，當前技術僅允許自動地識別分量視頻流中的一個巧日在W上立體像對示例 中)，使得不可能明確地向解碼器指示附加的一個或多個分量視頻流的存在。因此W較少的 資源在解碼器上施加"默認"選擇，并且不能指示替代內容的存在。
[0009] 此外，除允許在解碼過程期間縮放計算資源的利用之外，對單個視頻流編碼的可 能性還允許對單個視頻流進行編碼W便根據不同的服務模型而服務于W在存儲和計算資 源方面不同的可用性為特征的終端。例如，可設想將4皿視頻（1920X1080像素）的組成 編碼為單個4k(3840X2160像素）視頻流；在此類視頻中，具有有限計算資源的解碼器可 能將包含皿分量中的僅一個的子集解碼；替代地，更強大的解碼器可能將整個的4K視頻解 碼，并且例如顯示內容的整個鑲嵌。
[0010] 本發明的一個目的是定義一種編碼方法，其允許將一個或多個不同的分量視頻流 編碼成單個容器視頻流，使得可W獨立于其他的而將分量視頻流中的至少一個解碼。
[0011] 本發明的另一目的是指定一種解碼方法，其允許通過單個解碼器的使用將一個或 多個分量視頻流從單個容器視頻流獨立地解碼。
[0012] 本發明的又一目的是提供一種編碼器，其對由多個分量視頻流構成的容器視頻流 進行編碼，從而允許將一個或多個分量視頻流被獨立地解碼。
[0013] 本發明的另一目的是提供一種解碼器，其將被編碼為單個容器視頻流的多個分量 視頻流中的至少一個獨立地解碼。
[0014] 根據將參考附圖來解釋本發明的某些實施例的W下描述，本發明的該些及其他方 面將變得更加清楚，在所述附圖中： -圖1示出了根據H. 264/AVC規范將被編碼劃分成宏塊組("切片"）的圖像； -圖2示出了根據肥VC規范將被編碼劃分成"瓦片"的圖像； -圖3示出了四個獨立2D視頻流到單個視頻流的合成的示例； -圖4示出了 2D視頻對形式的兩個獨立立體視頻流到單個視頻流的合成； -圖5示出了用于將組成被編碼為單個視頻流的立體像對的兩個圖像中的一個選擇 性地解碼的過程； -圖6示出了立體視頻流和關聯深度圖到單個容器視頻流的合成； -圖7示出了 2D視頻流和立體視頻流到單個容器視頻流的合成； -圖8是用于組成由n個單獨視頻流的合成生成的視頻流并對其進行編碼的過程的框 圖； -圖9示出了用于對由圖8中所述的編碼設備生成的視頻流進行解碼的方法的示例； -圖10示出了用于對由根據圖8的編碼設備生成的視頻流進行解碼的進一步方法； -圖11和11bis示出了立體視頻流的兩個視圖到單個容器視頻流的合成； -圖12是描述將被輸入到已編碼視頻流中的信令的結構的表； -圖13是包含圖12的結構的參數的可能值的表； -圖14a-14d示出了具有對肥VC標準的PPS的語法的修改的表，其是輸入圖12的信 令所需要的； -圖15a-15f示出了具有對肥VC標準的SPS的語法的修改的表，其是輸入圖12的信 令所需要的。
[0015] 現有視頻編碼標準W及當前在定義中的那些提供了出于優化編碼和解碼過程的 目的將組成數字視頻流的圖像分區的可能性。如圖1中所示，H.264/AVC規范允許創建宏 塊的組，其中，要編碼的圖像被細分成不同類型的組，稱為切片，其然后被相互獨立地編碼。 例如，如關于稱為"類型2"的細分在圖1中所示，可W將宏塊分組成具有任意形狀的切片， 從而允許根據任何"感興趣區"的位置而選擇性地改變已編碼視頻的質量。
[001引替代地，圖2示出了稱為"瓦片"的新型的圖像細分，其已被引入到新的ITU/IS0/IEC肥VC(高效率視頻編碼）標準的規范中。基于已經存在在H. 264/AVC規范中的切片結 構，已經引入此類型的細分W便允許視頻流編碼和解碼過程的并行化；現在甚至在諸如電 話和PC平板電腦之類的移動終端上可用的并行圖形處理器(所謂的GPU，圖形處理單元)的 增加的傳播和較低的成本已促進了并行化支持工具的引入，其允許甚至在通常具有有限的 計算資源的終端上將圖像格式帶到非常高的分辨率。
[0017] 肥VC規范已經W允許將組成視頻流的圖像分段成區域并使得其解碼相互獨立的 該樣的方式定義瓦片。然而，即使當并行化時，仍將僅對整個圖像執行解碼過程，并且不能 相互獨立地使用各段。
[001引如W上段落中前面所述的，能夠W不同的終端可W自動地或在從用戶接收到指令 時決定應將視頻的哪些部分解碼并發送到顯示器W用于可視化的方式將視頻流分區將是 有用的。
[0019] 圖3、4、6和7圖示出其中該種分區可能證明有用的不同利用情形。
[0020] 圖3示出了容器視頻流，其例如可采取4K(3840X2160像素)格式，并且可包含四 個獨立皿（1920X1080像素)視頻