支持多個層的圖像編碼和解碼方法以及使用該方法的裝置的制造方法
【技術領域】
[0001] 本發明總體上涉及視頻壓縮技術，并且更特別地涉及用于執行支持多層結構的視 頻編碼的方法和裝置。
【背景技術】
[0002] 近來，在各應用領域中，對高分辨率、高質量視頻例如HD(高清晰度)視頻和UHD(超 高清)視頻的需求不斷增加。因為視頻數據具有高分辨率、高質量圖像，所以數據量高于現 有視頻數據。因此，當使用諸如現有的有線和無線寬帶線路等介質來傳送視頻數據或者將 視頻數據存儲于現有的存儲介質中時，傳送成本和存儲成本增加。為了解決由高分辨率、高 質量視頻數據引起的這些問題，可以使用高效視頻壓縮技術。
[0003] 作為視頻壓縮技術，存在例如下述的各種技術:幀間預測技術，其用于根據在當前 圖片之前或之后的圖片來預測包括在當前圖片中的像素的值;幀內預測技術，其用于使用 與包括在當前圖片中的像素有關的信息來預測當前圖片中的像素的值;熵編碼技術，在熵 編碼技術中，對最頻繁使用的值分配最短的碼并且對最不頻繁使用的值分配最長的碼;等 等。可以使用這些視頻壓縮技術來有效地壓縮視頻數據，并且然后可以對視頻數據進行傳 送或存儲。
【發明內容】
[0004] 技術問題
[0005] 本發明的實施方式的目的是提供一種用于針對當前要編碼和解碼的目標層來生 成包括另外的層的圖片的參考圖片列表的方法，以及使用該方法的裝置。
[0006] 本發明的實施方式的另一目的是提供一種用于使用與參考層的參考圖片集有關 的信息來生成參考圖片列表的方法，以及使用該方法的裝置。
[0007] 本發明的實施方式的又一目的是提供一種用于使用與在初始參考圖片列表中參 考圖片集要添加到的位置有關的信息來生成參考圖片列表的方法，以及使用該方法的裝 置。
[0008] 技術方案
[0009] -種根據本發明的實施方式的用于對支持多個層的視頻進行解碼的方法包括:在 構造當前圖片的初始參考圖片列表時，接收標記信息，該標記信息指示是否使用與當前圖 片所參考的參考層的參考圖片集有關的信息;基于標記信息來生成初始參考圖片列表；以 及基于初始參考圖片列表來執行當前圖片的預測。
[0010]標記信息可以指示參考層的短期參考圖片集和長期參考圖片集是否被導出為當 前圖片的短期參考圖片集和長期參考圖片集。
[0011]標記信息可以指示參考層的短期參考圖片集是否被導出為當前圖片的短期參考 圖片集。
[0012]標記信息可以指示參考層的長期參考圖片集是否被導出為當前圖片的長期參考 圖片集。
[0013] 參考層可以是基本層。
[0014] 標記信息可以指示在參考層的初始參考圖片列表中參考層的層間參考圖片集要 添加到的位置是否被用作在當前圖片的初始參考圖片列表中當前圖片的層間參考圖片集 要添加到的位置。
[0015] 標記信息可以指示參考層的層間參考圖片集是否被導出為當前圖片的層間參考 圖片集。
[0016] 標記信息可以以該標記信息被包括在序列參數集中而被接收。
[0017] 視頻解碼方法還可以通過修改初始參考圖片列表來生成最終參考圖片列表。
[0018] 執行當前圖片的預測可以被配置成將層間參考圖片集中包括的參考圖片用作當 前圖片的參考圖片。
[0019] 根據本發明的實施方式的用于對支持多個層的視頻進行解碼的裝置包括:熵解碼 單元，該熵解碼單元用于解碼信息，該信息是預測和解碼經由位流接收的視頻所需的；以及 預測單元，該預測單元用于在構造當前圖片的初始參考圖片列表時，基于標記信息來生成 當前圖片的初始參考圖片列表，該標記信息指示是否使用關于當前圖片所參考的參考層的 參考圖片集的信息；以及用于基于初始參考圖片列表來執行當前圖片的預測。
[0020] 有益效果
[0021] 根據本發明的實施方式，提供了一種用于針對當前要編碼和解碼的目標層來生成 包括另外的層的圖片的參考圖片列表的方法，以及使用該方法的裝置。
[0022] 根據本發明的實施方式，提供了一種用于使用與參考層的參考圖片集有關的信息 來生成參考圖片列表的方法，以及使用該方法的裝置。
[0023]根據本發明的實施方式，提供了一種用于使用與在初始參考圖片列表中參考圖片 集要添加到的位置有關的信息來生成參考圖片列表的方法，以及使用該方法的裝置。
【附圖說明】
[0024] 圖1為示意性地示出根據本發明的實施方式的編碼裝置的框圖；
[0025] 圖2為示意性地示出根據本發明的實施方式的解碼裝置的框圖；
[0026] 圖3為示出包括短期參考圖片的參考圖片集的示例的概念圖；
[0027] 圖4為示出用于導出長期參考圖片的圖片序列號(POC)的方法的概念圖。
[0028] 圖5為不出構造了參考圖片列表的不例的圖；
[0029] 圖6為示出根據本發明的實施方式的構造了層間參考圖片列表的示例的概念圖；
[0030] 圖7為示出根據本發明的實施方式來構造參考圖片列表0的圖；
[0031] 圖8為示出根據本發明的另一實施方式的構造參考圖片列表0的圖；
[0032] 圖9為示出根據本發明的實施方式的構造參考圖片列表1的圖；
[0033] 圖10為根據本發明的另一實施方式的構造參考圖片列表1的圖；
[0034] 圖11為根據本發明的實施方式的使用多視圖參考圖片所構造的參考圖片列表的 圖；
[0035] 圖12示出根據本發明的另一實施方式的使用多視圖參考圖片所構造的參考圖片 列表；
[0036] 圖13示出根據本發明的實施方式使用時間子層的索引所構造的參考圖片列表；
[0037] 圖14是示出根據本發明的實施方式的用于對參考層的層間參考圖片集要添加到 的位置進行參考的示例的圖；以及
[0038] 圖15為示出根據本發明的視頻解碼方法的控制流程圖。
[0039]最優實施方式
[0040] 根據本發明的實施方式的用于對支持多個層的視頻進行解碼的視頻解碼方法包 括:在構造當前圖片的初始參考圖片列表時，接收標記信息，該標記信息指示是否使用與當 前圖片所參考的參考層的參考圖片集有關的信息；基于標記信息來生成初始參考圖片列 表;以及基于初始參考圖片列表來執行當前圖片的預測。
[0041]標記信息可以指示參考層的短期參考圖片集和長期參考圖片集是否被導出為當 前圖片的短期參考圖片集和長期參考圖片集。
[0042] 標記信息可以指示參考層的短期參考圖片集是否被導出為當前圖片的短期參考 圖片集。
[0043]標記信息可以指示參考層的長期參考圖片集是否被導出為當前圖片的長期參考 圖片集。
[0044] 參考層可以是基本層。
[0045] 標記信息可以指示在參考層的初始參考圖片列表中參考層的層間參考圖片集要 添加到的位置是否被用作在當前圖片的初始參考圖片列表中當前圖片的層間參考圖片集 要添加到的位置。
[0046] 標記信息可以指示參考層的層間參考圖片集是否被導出為當前圖片的層間參考 圖片集。
[0047] 標記信息可以以該標記信息被包括在序列參數集中而被接收。
[0048] 視頻解碼方法還可以通過修改初始參考圖片列表來生成最終參考圖片列表。
[0049] 執行當前圖片的預測可以被配置成將層間參考圖片集中包括的參考圖片用作當 前圖片的參考圖片。
[0050]根據本發明的實施方式的用于對支持多個層的視頻進行解碼的視頻解碼裝置包 括:熵解碼部，該熵解碼部用于解碼信息，該信息是預測和解碼經由位流接收的視頻所需 的；以及預測部，該預測部用于在構造當前圖片的初始參考圖片列表時，基于標記信息來生 成當前圖片的初始參考圖片列表，該標記信息指示是否使用關于當前圖片所參考的參考層 的參考圖片集的信息；以及用于基于初始參考圖片列表來執行當前圖片的預測。
[0051]本發明的實施方式
[0052]在本發明的實施方式和附圖中描述的元件模塊被獨立示出以指示視頻編碼裝置 的不同的和特有的功能。然而，這并不意味著元件模塊中的每一個均由單獨的硬件塊或軟 件塊來形成。即，為了描述的方便來布置和包括元件模塊，并且元件模塊中的至少兩個元件 模塊可以形成一個元件模塊，或者可以將一個元件模塊劃分成多個元件模塊以執行它們自 己的功能。除非將元件模塊集成的實施方式以及將元件模塊分開的實施方式偏離本發明的 本質，否則其均包括在本發明的范圍內。
[0053] 此外，本發明中所公開的一些元件并非用于執行本質功能的必要元件，而可以是 用于僅改善性能的可選元件。本發明可以在沒有僅用于改善性能的元件的情況下，僅使用 用于實現本發明的本質的必要元件來實現，并且包括僅必要元件而非僅用于改善性能的可 選元件的結構包括在本發明的范圍內。
[0054] 本發明可以用各種方式進行改變并且可以具有各種實施方式，以及下面將參考附 圖來詳細描述特定的實施方式。然而，應該理解的是，這些實施方式并不意圖將本發明限于 特定的公開形式，而是它們包括包含在本發明的精神或范圍內的所有改變、等價物或修改。 本說明書中使用的術語僅用于描述特定的實施方式，而并不意圖限制本發明。除非在上下 文中特別指出相反的描述，否則單數表達包括復數表達。在本說明書中，應當理解的是，例 如"包括"或"具有"的術語僅意圖指示特征、數目、步驟、操作、部件、部分或其組合的存在， 而不意圖排除一個或更多個其它特征、數目、步驟、操作、部件、部分或其組合將存在或被添 加的可能性。
[0055] 在下文中，將參照附圖來詳細描述本發明的實施方式。在本發明的以下描述中，相 同的附圖標記貫穿附圖將被用于指定相同或類似的部件，并且將省略對于相同部件的重復 描述。
[0056] 支持位流中的多個層的視頻編碼和解碼被稱為"可伸縮編碼"。因為在多個層之間 存在強相關，所以可以移除數據中的重復元素，并且如果基于這樣的相關來執行預測，則可 以改善視頻的編碼性能。在下文中，使用與另一層有關的信息來對作為預測的目標的當前 層進行預測，這被稱為"層間預測"。
[0057] 分辨率、幀速率和顏色格式中的至少一個可以在多個層之間不同，并且可以執行 上采樣或下采樣以在層間預測期間調整分辨率。
[0058] 圖1為示意性地示出根據本發明的實施方式的編碼裝置的框圖。
[0059]根據本發明的編碼裝置100包括用于上層的編碼單元IOOa和用于下層的編碼單元IOOb0
[0060]可以將上層稱為當前層或者增強層，以及可以將下層稱為參考層或基本層。分辨 率、幀速率和顏色格式中的至少一個可以在上層與下層之間不同。當對于層間預測需要改 變分辨率時，可以對層執行上采樣或下采樣。
[0061 ]用于上層的編碼單元IOOa可以包括劃分單元110、預測單元100、幀內預測單元 121、幀間預測單元122、層間預測單元123、變換單元130、量化單元140、重新布置單元150、 熵編碼單元160、逆量化單元170、逆變換單元180、濾波器單元190、存儲器195和復用器 (MUX)197〇
[0062]用于下層的編碼單元IOOb可以包括劃分單元111、預測單元125、幀內預測單元 126、幀間預測單元127、變換單元131、量化單元141、重新布置單元151、熵編碼單元161、逆 量化單元171、逆變換單元181、濾波器單元191和存儲器196。
[0063] 可以通過在下面將描述的本發明的實施方式中描述的視頻編碼方法來實現編碼 單元，但是可以不執行一些單元的操作以便減小編碼裝置的復雜性或者實現快速實時編 碼。例如，在預測單元執行幀內預測時，可以針對實時編碼來執行從有限數目的幀內預測模 式中選擇一個并且將所選的一個設置為最終的幀內預測模式的方法，而不是執行將所有幀 內預測模式方法用于選擇最優的幀內編碼方法的方法。在另一示例中，用于幀內預測或幀 間預測的預測塊的形狀可以具有有限的形式。
[0064] 在編碼裝置中處理的塊的單元可以為用于執行編碼的編碼單元、用于執行預測的 預測單元或者用于執行變換的變換單元。可以將編碼單元、預測單元和變換單元分別表示 為CU、PU和TU。
[0065] 劃分單元110和劃分單元111中每一個均可以將層圖片劃分成編碼塊、預測塊和變 換塊的多個組合，并且可以通過基于預定的參考(例如，成本函數)選擇編碼塊、預測塊和變 換塊的一個組合來對層進行劃分。例如，為了將層圖片劃分成編碼單元，可以使用遞歸樹結 構例如四叉樹結構。在下文中，在本發明的實施方式中，編碼塊可以不僅指用于編碼的塊， 而且可以指用于解碼的塊。
[0066] 預測塊可以是用于執行預測(例如幀內預測或幀間預測）的單元。用于幀內預測的 塊可以是具有正方形的形式的塊，例如2NX2N或NXN。作為用于幀間預測的塊，存在下述 塊:正方形形式的塊，例如2NX2N和NXN;通過對具有正方形形式的預測塊進行二等分而獲 得的2NXN和NX2N形式的塊；以及通過使用非對稱運動劃分(AMP)的預測塊劃分方法所獲 得的具有不對稱形式的塊。變換單元115可以根據預測塊的形式來使用不同的變換方法。
[0067] 編碼單元IOOa和編碼單元IOOb的預測單元120和預測單元125中的每一個可以包 括用于執行幀內預測的幀內預測單元121和幀內預測單元126以及用于執行幀間預測的幀 間預測單元122和幀間預測單元126。用于上層的編碼單元IOOa的預測單元120還包括使用 與下層有關的信息對上層執行預測的層間預測單元123。
[0068] 預測單元120和預測單元125中的每一個可以確定對預測塊執行幀間預測還是幀 內預測。被執行預測的處理單元可以不同于用于確定預測方法的處理塊的單元。例如，在執 行幀內預測時，可以基于預測塊來確定預測模式，以及可以基于變換塊來執行預測處理。可 以將所生成的預測塊與原始塊之間的殘差（殘差塊)輸入變換單元130和變換單元131。此 外，用于預測的預測模式信息和運動矢量信息等連同殘差一起由熵編碼單元130進行編碼， 并且然后可以被傳送至解碼裝置。
[0069] 當使用脈沖編碼調制（PCM)編碼模式時，原始塊可以在預測單元120和預測單元 125不執行預測的情況下被編碼，并且然后可以被傳送至解碼部。
[0070] 幀內預測單元121和幀內預測單元126中的每一個均可以基于與當前塊(預測目標 塊)相鄰的參考像素來生成經幀內預測塊。在幀內預測方法中，幀內預測模式可以具有方向 性預測模式和非方向性模式，其中，方向性預測模式根據預測方向來使用參考像素信息，非 方向性模式在進行預測時不使用方向信息。用于預測亮度信息的模式可以不同于用于預測 色度信息的模式。通過對亮度信息進行預測所獲得的幀內預測模式信息或與所預測的亮度 信號有關的信息可以用于預測色度信息。同時，如果參考像素不可用，則可以通過用其它像 素替換不可用的參考像素來生成預測塊。
[0071] 預測塊可以包括多個變換塊。如果在執行幀內預測時預測塊的大小與變換塊的大 小相同，則可以基于預測塊的左像素、左上像素和上像素來對預測塊執行幀內預測。然而， 如果預測塊因為在執行幀內預測時預測塊的大小不同于變換塊的大小而包括多個變換塊， 則可以基于參考像素(該參考像素基于變換塊而確定)來執行幀內預測。
[0072] 幀內預測方法可以在根據幀內預測模式將模式依賴的幀內平滑(MDIS)濾波器應 用于參考像素之后生成預測塊。應用于參考像素的MDIS濾波器的類型可以變化。MDIS濾波 器是應用于通過執行幀內預測所生成的經幀內預測的塊的附加濾波器，并且可以用于減小 在執行預測之后所生成的參考像素與經幀內預測的塊之間的殘差。在執行MDIS濾波時，可 以根據幀內預測模式的方向來對參考像素