用于對多層視頻進行編碼的方法和設備、用于對多層視頻進行解碼的方法和設備的制造方法
【技術領域】
[0001] 本發明構思設及多層視頻的編碼和解碼，更具體地，設及一種管理存儲解碼畫面 的解碼畫面緩沖器的方法。
【背景技術】
[000引一般地，圖像數據由編解碼器根據預定的數據壓縮標準（例如，運動圖像專家組 (M陽G)標準）進行編碼，然后W比特流的形式存儲在信息存儲介質中或者經由通信信道發 送。
[0003] 作為視頻壓縮方法的可伸縮視頻編碼（SVC)根據各種通信網絡和終端適當地調 整并發送信息量。多視點視頻編碼壓縮諸如=維圖像的多視點視頻。
[0004] 運樣的常規的SVC或多視點視頻編碼通過使用基于預定尺寸的宏塊的有限編碼 方法來對視頻進行編碼。
【發明內容】
[000引技術問題
[0006] 本發明構思提供一種高效地管理在對多層視頻中所包括的畫面進行解碼時使用 的解碼畫面緩沖器的方法。本發明構思還提供一種高效地發送多層中所包括的參考畫面信 息W便在對多層視頻進行解碼時高效地管理解碼畫面緩沖器的方法。
[0007] 技術方案
[0008] 根據本發明構思的示例性實施例，通過在層間預測期間用信號發送被多層的每個 畫面參考的參考畫面信息來管理解碼畫面緩沖器。
[0009] 有益效果
[0010] 根據本發明構思的示例性實施例，通過在層間預測期間用信號發送被多層的每個 畫面參考的參考畫面信息來管理解碼畫面緩沖器。根據本發明構思的示例性實施例，可通 過反映多層視頻中所包括的畫面的層間預測來高效地發送各個畫面之間的參考關系。另 夕F，根據本發明構思的示例性實施例，可高效地管理在對多層視頻進行解碼時使用的解碼 畫面緩沖器。
【附圖說明】
[0011] 圖1是根據本發明構思的示例性實施例的基于具有樹結構的編碼單元的視頻編 碼設備的框圖。
[0012] 圖2是根據本發明構思的示例性實施例的基于具有樹結構的編碼單元的視頻解 碼設備的框圖。
[0013] 圖3是用于描述根據本發明構思的示例性實施例的編碼單元的概念的示圖。
[0014]圖4是根據本發明構思的示例性實施例的基于編碼單元的圖像編碼器的框圖；
[0015] 圖5是根據本發明構思的示例性實施例的基于編碼單元的圖像解碼器的框圖。
[0016] 圖6是示出根據本發明構思的示例性實施例的根據深度和分區（partition)的編 碼單元的示圖。
[0017] 圖7是用于描述根據本發明構思的示例性實施例的編碼單元和變換單元之間的 關系的示圖。
[0018] 圖8是用于描述根據本發明構思的示例性實施例的與編碼的深度相應的編碼單 元的編碼信息的示圖。
[0019] 圖9是根據本發明構思的示例性實施例的根據深度的編碼單元的示圖。
[0020] 圖10至12是用于描述根據本發明構思的示例性實施例的編碼單元、預測單元和 變換單元之間的關系的示圖。
[0021] 圖13是用于描述根據表1的編碼模式信息的、編碼單元、預測單元和變換單元之 間的關系的示圖。
[0022] 圖14是根據本發明構思的示例性實施例的多層視頻解碼設備的框圖。
[0023] 圖15是根據示例性實施例的多層視頻編碼方法的流程圖。
[0024] 圖16是示出根據示例性實施例的多層視頻解碼設備的框圖。
[0025] 圖17是根據示例性實施例的多層視頻解碼方法的流程圖。
[0026] 圖18示出根據示例性實施例的層間預測結構的示例。
[0027] 圖19示出根據示例性實施例的用于解釋RPS的編碼結構。
[0028] 圖20是根據示例性實施例的對WS信息進行解碼和對當前畫面進行解碼的處理 的流程圖。
[0029] 圖21是用于解釋根據示例性實施例的除了層間WS信息之外的WS子集的參考 示圖。
[0030] 圖22是用于解釋層間RPS信息的參考示圖。
【具體實施方式】
[0031] 最優模式
[0032] 根據本發明構思的一方面，提供一種多層視頻解碼方法，該方法包括：對第一層畫 面進行解碼，將第一層畫面存儲在解碼畫面緩沖器值PB)中，并將第一層畫面標記為短期 參考畫面；獲得第二層畫面的層間參考畫面集（RP巧信息，其中，第二層畫面具有與第一層 畫面的畫面順序計數（POC)相同的第一P0C，并且是通過參考第一層畫面而被層間預測的； 基于層間WS信息將被標記為短期參考畫面的第一層畫面標記為長期參考畫面；通過參考 被標記為長期參考畫面的第一層畫面來對第二層畫面執行層間預測。
[0033] 根據本發明構思的另一方面，提供一種多層視頻解碼設備，該設備包括：解碼畫 面緩沖器，被配置為存儲解碼畫面；解析器，被配置為獲得第二層畫面的層間參考畫面集 (RP巧信息，其中，所述第二層畫面具有與先前解碼的第一層畫面的POC相同的第一P0C，并 且是通過參考第一層畫面而被層間預測的；解碼畫面緩沖器控制器，被配置為將第一層畫 面存儲在解碼畫面緩沖器中，將第一層畫面標記為短期參考畫面，并基于層間WS信息將 被標記為短期參考畫面的第一層畫面標記為長期參考畫面；W及視頻解碼器，被配置為對 多層中所包括的畫面進行解碼，并通過參考被標記為長期參考畫面的第一層畫面來對第二 層畫面執行層間預測。
[0034] 根據本發明構思的另一方面，提供一種多層視頻編碼方法，該方法包括：通過對多 層中所包括的畫面執行帖內預測、帖間預測和層間預測來確定所述多層中所包括的畫面之 間的參考關系；并基于所述參考關系來產生關于其它層中所包括的畫面的層間參考畫面集 (RP巧信息，其中，層間WS信息指示具有相同的畫面順序計數（POC)且包括在不同層中的 畫面之間的參考關系。
[0035] 根據本發明構思的另一方面，提供一種多層視頻編碼設備，該設備包括：視頻編碼 器，被配置為通過對多層中所包括的畫面執行帖內預測、帖間預測和層間預測來確定所述 多層中所包括的畫面之間的參考關系；W及參考畫面集（RP巧信息產生單元，被配置為基 于所述參考關系來產生層間WS信息，其中，層間WS信息指示具有相同的畫面順序計數 (POC)且包括在不同層中的畫面之間的參考關系。
[0036] 本發明構思的模式
[0037] 現在將參照附圖更充分地描述本發明構思，在附圖中，示出了示例性實施例。
[003引圖1是根據本發明構思的示例性實施例的視頻編碼設備的框圖。
[0039] 根據示例性實施例的視頻編碼設備100包括最大編碼單元劃分器110、編碼單元 確定器120和輸出單元130。
[0040] 最大編碼單元劃分器110可基于最大編碼單元來對當前畫面進行劃分，其中，最 大編碼單元是具有圖像的當前畫面的最大尺寸的編碼單元。如果當前畫面大于最大編碼單 元，則可將當前畫面的圖像數據劃分成至少一個最大編碼單元。根據示例性實施例的最大 編碼單元可W是尺寸為32X32、64X64、128X128或256X256等的數據單元，其中，該數據 單元的形狀是寬度和長度均等于2次幕并且大于8的正方形。圖像數據可根據所述至少一 個最大編碼單元被輸出到編碼單元確定器120。
[0041] 根據示例性實施例的編碼單元可由最大尺寸和深度表征。深度表示編碼單元從最 大編碼單元被空間劃分的次數，并且隨著深度加深，根據深度的較深層編碼單元可從最大 編碼單元被劃分到最小編碼單元。最大編碼單元的深度為最高深度，最小編碼單元的深度 為最低深度。由于隨著最大編碼單元的深度加深，與每個深度相應的編碼單元的尺寸減小， 因此與更高深度相應的編碼單元可包括多個與更低深度相應的編碼單元。
[0042] 如上所述，當前畫面的圖像數據根據編碼單元的最大尺寸被劃分成最大編碼單 元，并且每個最大編碼單元可包括根據深度被劃分的較深層編碼單元。由于根據深度對根 據示例性實施例的最大編碼單元進行劃分，因此可根據深度對包括在最大編碼單元中的空 間域的圖像數據進行分層地分類。
[0043] 可預先設置編碼單元的最大深度和最大尺寸，其中，所述最大深度和最大尺寸限 制對最大編碼單元的高度和寬度進行分層劃分的總次數。
[0044] 編碼單元確定器120對通過根據深度對最大編碼單元的區域進行劃分而獲得的 至少一個劃分區域進行編碼，并根據所述至少一個劃分區域來確定用于輸出最終編碼結果 的深度。換言之，編碼單元確定器120通過根據當前畫面的最大編碼單元W根據深度的較 深層編碼單元對圖像數據進行編碼，選擇具有最小編碼誤差的深度，來確定編碼深度。確定 的編碼深度和根據最大編碼單元的圖像數據被輸出到輸出單元130。
[0045] 基于與等于或低于最大深度的至少一個深度相應的較深層編碼單元，對最大編碼 單元中的圖像數據進行編碼，并且基于每個較深層編碼單元來比較編碼結果。在對較深層 編碼單元的編碼誤差進行比較之后，可選擇具有最小編碼誤差的深度。可針對每個最大編 碼單元選擇至少一個編碼深度。
[0046] 隨著編碼單元根據深度而被分層地劃分并且編碼單元的數量增加，最大編碼單元 的尺寸被劃分。另外，即使在一個最大編碼單元中編碼單元與同一深度相應，也通過分別測 量每個編碼單元的數據的編碼誤差來確定是否將與同一深度相應的每個編碼單元劃分到 更低深度。因此，即使當數據被包括在一個最大編碼單元中時，根據深度的編碼誤差也可根 據區域而不同，因此編碼深度也可根據區域而不同。因此，可針對一個最大編碼單元設置一 個或更多個編碼深度，并且可根據所述一個或更多個編碼深度的編碼單元來對最大編碼單 元的數據進行劃分。
[0047] 因此，根據示例性實施例的編碼單元確定器120可確定包括在當前最大編碼單元 中的具有樹結構的編碼單元。根據本發明構思的示例性實施例的"具有樹結構的編碼單元" 包括在最大編碼單元中所包括的與深度相應的所有編碼單元中的與確定為編碼深度的深 度相應的編碼單元。可根據最大編碼單元的相同區域中的深度來分層地確定編碼深度的編 碼單元，并且可在不同區域中獨立地確定編碼深度的編碼單元。類似地，可與另一區域的編 碼深度獨立地確定當前區域中的編碼深度。
[0048] 根據示例性實施例的最大深度是與從最大編碼單元到最小編碼單元執行劃分的 次數有關的索引。根據示例性實施例的第一最大深度可表示從最大編碼單元到最小編碼單 元執行劃分的總次數。根據示例性實施例的第二最大深度可表示從最大編碼單元到最小編 碼單元的深度等級的總數。例如，當最大編碼單元的深度是0時，對最大編碼單元劃分一次 的編碼單元的深度可被設置為1，對最大編碼單元劃分兩次的編碼單元的深度可被設置為 2。在運種情況下，如果最小編碼單元是通過對最大編碼單元劃分四次而獲得的編碼單元， 則存在深度〇、1、2、3和4的5個深度等級，因此第一最大深度可被設置為4,第二最大深度 可被設置為5。
[0049] 可根據最大編碼單元執行預測編碼和頻率變換。還根據最大編碼單元，基于根據 等于或小于最大深度的深度的較深層編碼單元來執行預測編碼和變換。
[0050] 由于每當根據深度對最大編碼單元進行劃分時，較深層編碼單元的數量增加，因 此對隨著深度加深而產生的所有較深層編碼單元執行包括預測編碼和頻率變換的編碼。為 了便于描述，在至少一個最大編碼單元中，現在將基于當前深度的編碼單元來描述預測編 碼和頻率變換。
[0051] 根據示例性實施例的視頻編碼設備100可不同地選擇用于對圖像數據進行編碼 的數據單元的尺寸或形狀。為了對圖像數據進行編碼，執行諸如預測編碼、頻率變換和賭編 碼的操作，此時，可針對所有操作使用相同的數據單元，或者可針對每個操作使用不同的數 據單元。
[0052] 例如，視頻編碼設備100不僅可選擇用于對圖像數據進行編碼的編碼單元，還可 選擇不同于編碼單元的數據單元，W便對編碼單元中的圖像數據執行預測編碼。
[0053] 為了在最大編碼單元中執行預測編碼，可基于與編碼深度相應的編碼單元（即， 基于不再被劃分成與更低深度相應的編碼單元的編碼單元）來執行預測編碼。在下文中， 不再被劃分且成為用于預測編碼的基本單元的編碼單元現在將被稱為"預測單元"。通過劃 分預測單元而獲得的分區可包括預測單元或者通過對預測單元的高度和寬度中的至少一 個進行劃分而獲得的數據單元。
[0054] 例如，當2NX2N(其中，N是正整數）的編碼單元不再被劃分時，編碼單元可成為 2NX2N的預巧U單元，并且分區的尺寸可W是2NX2N、2NXN、NX2N或NXN。分區類型的示 例包括通過對預測單元的高度或寬度進行對稱地劃分而獲得的對稱分區、通過對預測單元 的高度或寬度按照諸如1 :n或n: 1進行非對稱地劃分而獲得的分區、通過對預測單元進行 幾何地劃分而獲得的分區W及具有任意形狀的分區。
[0055] 預測單元的預測模式可W是帖內模式、帖間模式和跳過模式中的至少一個。例如， 可對2NX2N、2NXN、NX2N或NXN的分區執行帖內模式或帖間模式。另外，可僅對2NX2N 的分區執行跳過模式。可對編碼單元中的一個預測單元獨立地執行編碼，從而選擇具有最 小編碼誤差的預測模式。
[0056] 根據示例性實施例的視頻編碼設備100不僅可基于用于對圖像數據進行編碼的 編碼單元，還可基于與編碼單元不同的數據單元，來對編碼單元中的圖像數據執行變換。
[0057] 為了在編碼單元中執行頻率變換，可基于具有小于或等于編碼單元的尺寸的數據 單元來執行頻率變換。例如，用于頻率變換的數據單元可包括帖內模式的數據單元和帖間 模式的數據單元。
[0058] 在下文中，作為頻率變換的基礎的數據單元可被稱為"變換單元"。類似于編碼單 元，編碼單元中的變換單元可被遞歸地劃分成更小尺寸的變換單元，因此，可基于根據變換 深度的具有樹結構的變換單元，對編碼單元中的殘差數據進行劃分。
[0059] 還可在根據示例性實施例的變換單元中設置變換深度，其中，變換深度指示通過 對編碼單元的高度和寬度進行劃分來執行劃分W到達變換單元的次數。例如，在2NX2N的 當前編碼單元中，當變換單元的尺寸是2NX2N時，變換深度可W是0,當變換單元的尺寸是 NXN時，變換深度可W是1，當變換單元的尺寸是N/2XN/2時，變換深度可W是2。也就是 說，還可根據變換深度設置具有樹結構的變換單元。
[0060] 根據與編碼深度相應的編碼單元的