行帖內預測，帖內預測單元126可使用多個帖內預測模式W產生用于 PU的預測數據的多個集合。當帖內預測單元126使用帖內預測模式來產生用于PU的預測數 據的集合時，帖內預測單元126可在與帖內預測模式相關聯的方向和/或梯度上跨PU的視頻 塊從相鄰PU的視頻塊擴展樣本。相鄰PU可在所述PU的上方、右上方、左上方或左側，假定對 于PU、CU和樹塊采用從左到右、從上到下的編碼次序。帖內預測單元126可取決于PU的大小 而使用各種數目個帖內預測模式，例如33個方向性帖內預測模式。
[0103] 預測處理單元100可從由運動補償單元124針對PU產生的預測數據或由帖內預測 單元126針對PU產生的預測數據當中選擇用于PU的預測數據。在一些實例中，預測處理單元 100基于預測數據集合的速率/失真量度來選擇用于PU的預測數據。
[0104] 如果預測處理單元100選擇由帖內預測單元126產生的預測數據，那么預測處理單 元100可用信號表示用W產生用于PU的預測數據的帖內預測模式，即，選定帖內預測模式。 預測處理單元100可W各種方式用信號表示所選帖內預測模式。舉例來說，有可能所選帖內 預測模式與相鄰PU的帖內預測模式相同。換句話說，相鄰PU的帖內預測模式可為用于當前 PU的最可能模式。因此，預測處理單元100可產生用W指示選定帖內預測模式與相鄰PU的帖 內預測模式相同的語法元素。
[0105] 如上文所論述，視頻編碼器20可包含層間預測單元128。層間預測單元128經配置 W使用SVC中可用的一或多個不同層(例如，基礎或參考層)預測當前塊(例如，中的當前 塊）。此預測可稱作層間預測。層間預測單元128利用預測方法減少層間冗余，借此改進譯碼 效率且減少計算資源要求。層間預測的一些實例包含層間帖內預測、層間運動預測及層間 殘余預測。層間帖內預測使用基礎層中的協同定位塊的重構來預測增強層中的當前塊。層 間運動預測使用基礎層的運動信息來預測增強層中的運動。層間殘余預測使用基礎層的殘 余來預測增強層的殘余。W下更詳細地論述層間預測方案中的每一者。
[0106] 在預測處理單元100選擇用于CU的PU的預測數據之后，殘余產生單元102可通過從 CU的視頻塊減去(例如，由減號指示)CU的PU的經預測視頻塊而產生用于CU的殘余數據。CU 的殘余數據可包含對應于CU的視頻塊中的樣本的不同樣本分量的2D殘余視頻塊。舉例來 說，殘余數據可包含對應于CU的PU的經預測視頻塊中的樣本的明度分量與CU的原始視頻塊 中的樣本的明度分量之間的差的殘余視頻塊。另外，CU的殘余數據可包含對應于CU的PU的 預測視頻塊中的樣本的色度分量與CU的原始視頻塊中的樣本的色度分量之間的差的殘余 視頻塊。
[0107] 預測處理單元100可執行四叉樹分割W將CU的殘余視頻塊分割成子塊。每一未劃 分殘余視頻塊可與CU的不同TU相關聯。與CU的TU相關聯的殘余視頻塊的大小及位置可基于 或可不基于與CU的PU相關聯的視頻塊的大小及位置。被稱為"殘余四叉樹"（RQT)的四叉樹 結構可包含與殘余視頻塊中的每一者相關聯的節點。CU的TU可W對應于RQT的葉節點。
[0108] 變換處理單元104可通過將一或多個變換應用到與CU的每一 TU相關聯的殘余視頻 塊而產生用于所述TU的一或多個變換系數塊。所述變換系數塊中的每一者可為變換系數的 2D矩陣。變換處理單元104可將各種變換應用到與TU相關聯的殘余視頻塊。舉例來說，變換 處理單元104可將離散余弦變換化CT)、方向性變換或概念上類似的變換應用到與TU相關聯 的殘余視頻塊。
[0109] 在變換處理單元104產生與TU相關聯的變換系數塊之后，量化單元106可量化所述 變換系數塊中的變換系數。量化單元106可基于與CU相關聯的QP值而對與CU的TU相關聯的 變換系數塊進行量化。
[0110] 視頻編碼器20可W各種方式使QP值與CU相關聯。例如，視頻編碼器20可對與CU相 關聯的樹塊執行速率失真分析。在速率失真分析中，視頻編碼器20可通過對樹塊執行多次 編碼操作而產生所述樹塊的多個經譯碼表示。在視頻編碼器20產生樹塊的不同經編碼表示 時，視頻編碼器20可使不同QP值與CU相關聯。當給定QP值與具有最低位速率和失真量度的 樹塊的經譯碼表示中的CU相關聯時，視頻編碼器20可用信號表示所述給定QP值與CU相關 聯。
[0111] 逆量化單元108和逆變換單元110可分別將逆量化及逆變換應用于變換系數塊W 從變換系數塊重構殘余視頻塊。重構單元112可W將經重構的殘余視頻塊添加到來自由預 測處理單元100產生的一或多個預測視頻塊的對應樣本，W產生與TU相關聯的經重構視頻 塊。通過W此方式重構CU的每一 TU的視頻塊，視頻編碼器20可重構CU的視頻塊。
[0112] 在重構單元112重構CU的視頻塊之后，濾波器單元113可執行解塊操作W減小與所 述CU相關聯的視頻塊中的成塊假象。在執行一或多個解塊操作之后，濾波器單元113可將CU 的經重構視頻塊存儲在經解碼圖片緩沖器114中。運動估計單元122和運動補償單元124可 使用含有經重構視頻塊的參考圖片來對后續圖片的PU執行帖間預測。另外，帖內預測單元 126可使用經解碼圖片緩沖器114中的經重構視頻塊對處于與CU相同圖片中的其它PU執行 帖內預測。
[0113] 賭編碼單元116可從視頻編碼器20的其它功能組件接收數據。舉例來說，賭編碼單 元116可從量化單元106接收變換系數塊且可從預測處理單元100接收語法元素。當賭編碼 單元116接收到數據時，賭編碼單元116可W執行一或多個賭編碼操作W產生經賭編碼數 據。舉例來說，視頻編碼器20可對所述數據執行上下文自適應可變長度譯碼(CA化C)操作、 CABAC操作、可變到可變(V2V)長度譯碼操作、基于語法的上下文自適應二進制算術譯碼 (SBAC)操作、概率區間分割賭(PIPE)譯碼操作，或另一類型的賭編碼操作。賭編碼單元116 可輸出包含經賭編碼數據的位流。
[0114] 作為對數據執行賭編碼操作的一部分，賭編碼單元116可選擇上下文模型。如果賭 編碼單元116正執行CABAC操作，那么上下文模型可指示特定二進制數具有特定值的概率的 估計。在CABAC的情況下，術語"二進位"用W指語法元素的二進制化版本的位。
[0"引多層視頻編碼器
[0116] 圖2B為說明可實施根據本發明中描述的方面的技術的多層視頻編碼器23的實例 的框圖。視頻編碼器23可經配置W處理多層視頻帖，例如，用于甜VC及多視圖譯碼。此外，視 頻編碼器23可經配置W執行本發明的技術中的任一者或全部。
[0117] 視頻編碼器23包含視頻編碼器20A及視頻編碼器20B，其中的每一者可經配置為視 頻編碼器20且可執行上文相對于視頻編碼器20所描述的功能。此外，如再使用參考數字所 指示，視頻編碼器20A和20B可包含系統及子系統中的至少一些作為視頻編碼器20。雖然將 視頻編碼器23說明為包含兩個視頻編碼器20A和20B，但視頻編碼器23不受此限制且可包含 任何數目的視頻編碼器20層。在一些實施例中，視頻編碼器23可包含用于存取單元中的每 一圖片或帖的視頻編碼器20。例如，包含五個圖片的存取單元可由包含五個編碼器層的視 頻編碼器處理或編碼。在一些實施例中，視頻編碼器23可包含比存取單元中的帖更多的編 碼器層。在一些此類情況下，當處理一些存取單元時，一些視頻編碼器層可能不在作用中。
[0118] 除了視頻編碼器20A及20B之外，視頻編碼器23可包含再取樣單元90。在一些情況 下，再取樣單元90可對所接收的視頻帖的基礎層上取樣W例如創建增強層。再取樣單元90 可對與帖的所接收的基礎層相關聯的特定信息上取樣，但不對其它信息上取樣。舉例來說， 再取樣單元90可上取樣基礎層的空間大小或像素數目，但切片的數目或圖片次序計數可保 持恒定。在一些情況下，再取樣單元90可不處理所接收的視頻及/或可為任選的。例如，在一 些情況下，預測處理單元100可執行上取樣。在一些實施例中，再取樣單元90經配置W對層 進行上取樣且重新組織、重新界定、修改或調整一或多個切片W符合一組切片邊界規則及/ 或光柵掃描規則。雖然主要描述為對基礎層或存取單元中的較低層進行上取樣，但在一些 情況下，再取樣單元90可對層進行下取樣。例如，如果在視頻的流式傳輸期間減小帶寬，那 么可對帖進行下取樣而不是上取樣。
[0119] 再取樣單元90可經配置W從較低層編碼器(例如，視頻編碼器20A)的經解碼圖片 緩沖器114接收圖片或帖(或與圖片相關聯的圖片信息)且對所述圖片(或所接收的圖片信 息)上取樣。可接著將所述經上取樣圖片提供到較高層編碼器(例如，視頻編碼器20B)的預 測處理單元100,所述較高層編碼器經配置W編碼與較低層編碼器相同的存取單元中的圖 片。在一些情況下，較高層編碼器為從較低層編碼器去除的一個層。在其它情況下，在圖2B 的層0視頻編碼器與層1編碼器之間可存在一或多個較高層編碼器。
[0120] 在一些情況下，可省略或繞過再取樣單元90。在運些情況下，可直接或在至少不提 供到再取樣單元90的情況下將來自視頻編碼器20A的經解碼圖片緩沖器114的圖片提供到 視頻編碼器20B的預測處理單元100。舉例來說，如果提供到視頻編碼器20B的視頻數據和來 自視頻編碼器20A的經解碼圖片緩沖器114的參考圖片具有相同的大小或分辨率，那么可將 參考圖片提供到視頻編碼器20B而沒有任何再取樣。
[0121] 在一些實施例中，視頻編碼器23使用下取樣單元94下取樣待提供到較低層編碼器 的視頻數據，隨后將所述視頻數據提供到視頻編碼器20A。替代地，下取樣單元94可為能夠 對視頻數據上取樣或下取樣的再取樣單元90。在另外其它實施例中，可省略下取樣單元94。
[0122] 如圖2B中所說明，視頻編碼器23可進一步包含多路復用器98或mux。多路復用器98 可從視頻編碼器23輸出組合的位流。可通過從視頻編碼器20A和20B中的每一者取得位流且 交替在給定時間輸出哪一位流來創造組合的位流。雖然在一些情況下，可一次一個位地交 替來自兩個(或在兩個W上視頻編碼器層的情況下，兩個W上)位流的位，但在許多情況下， 不同地組合所述位流。舉例來說，可通過一次一個塊地交替選定位流來產生輸出位流。在另 一實例中，可通過從視頻編碼器20A和20B中的每一者輸出非1:1比率的塊來產生輸出位流。 舉例來說，可從視頻編碼器20B輸出用于從視頻編碼器20A輸出的每一塊的兩個塊。在一些 實施例中，可預編程來自多路復用器98的輸出流。在其它實施例中，多路復用器98可基于從 視頻編碼器23外部的系統（例如從包含源模塊12的源裝置上的處理器)接收的控制信號來 組合來自視頻編碼器20AJ0B的位流。可基于來自視頻源18的視頻的分辨率或位速率、基于 鏈路16的帶寬、基于與用戶相關聯的預訂(例如，付費預訂與免費預訂)或基于用于確定來 自視頻編碼器23的所要分辨率輸出的任何其它因素而產生控制信號。
[012引視頻解碼器
[0124] 圖3A是說明可實施本發明中描述的方面的技術的視頻解碼器的實例的框圖。視頻 解碼器30可經配置W處理視頻帖的單層(例如針對肥VC)。此外，視頻解碼器30可經配置W 執行本發明的技術中的任一者或全部。作為一個實例，運動補償單元162和/或帖內預測單 元164可經配置W執行本發明中描述的技術中的任一者或全部。在一個實施例中，視頻解碼 器30可任選地包含層間預測單元166,所述層間預測單元經配置W執行本發明中描述的技 術中的任一者或全部。在其它實施例中，層間預測可由預測處理單元152(例如，運動補償單 元162及/或帖內預測單元164)執行，在此情況下，可省略層間預測單元166。然而，本發明的 方面不限于此。在一些實例中，本發明中描述的技術可在視頻解碼器30的各種組件之間共 享。在一些實例中，另外或替代地，處理器(未圖示)可經配置W執行本發明中描述的技術中 的任一者或全部。
[0125] 出于解釋的目的，本發明描述在皿VC譯碼的背景下的視頻解碼器30。然而，本發明 的技術可W適用于其它譯碼標準或方法。圖3A中所描繪的實例是針對單層編解碼器。然而， 如將關于圖3B進一步描述，可復制視頻編碼器30中的一些或全部W用于多層編解碼器的處 理。
[01%]在圖3A的實例中，視頻解碼器30包含多個功能組件。視頻解碼器30的功能組件包 含賭解碼單元150、預測處理單元152、逆量化單元154、逆變換單元156、重構單元158、濾波 器單元159和經解碼圖片緩沖器160。預測處理單元152包含運動補償單元162、帖內預測單 元164和層間預測單元166。在一些實例中，視頻解碼器30可執行一般與相對于圖2A的視頻 編碼器20描述的編碼遍次互逆的解碼遍次。在其它實例中，視頻解碼器30可包含較多、較少 或不同的功能組件。
[0127]視頻解碼器30可接收包括經編碼視頻數據的位流。所述位流可包含多個語法元 素。當視頻解碼器30接收到位流時，賭解碼單元150可對所述位流執行剖析操作。對位流執 行剖析操作的結果是，賭解碼單元150可從所述位流提取語法元素。作為執行剖析操作的一 部分，賭解碼單元150可對位流中的經賭編碼語法元素進行賭解碼。預測處理單元152、逆量 化單元154、逆變換單元156、重構單元158及濾波器單元159可執行重構操作，重構操作基于 從位流提取的語法元素產生經解碼視頻數據。
[012引如上文所論述，位流可包括一系列NAL單元。位流的NAL單元可包含視頻參數集NAL 單元、序列參數集NAL單元、圖片參數集NAL單元、SEI NAL單元等等。作為對位流執行剖析操 作的一部分，賭解碼單元150可執行剖析操作，所述剖析操作從序列參數集NAL單元提取且 賭解碼序列參數集、從圖片參數集NAL單元提取且賭解碼圖片參數集、從SEI NAL單元提取 且賭解碼SEI數據等等。
[0129]此外，位流的NAL單元可包含經譯碼切片NAL單元。作為對位流執行剖析操作的部 分，賭解碼單元150可執行剖析操作，所述剖析操作從經譯碼切片NAL單元提取且賭解碼經 譯碼切片。經譯碼切片中的每一者可包含切片標頭W及切片數據。切片標頭可W含有關于 切片的語法元素。切片標頭中的語法元素可包含識別與含有所述切片的圖片相關聯的圖片 參數集的語法元素。賭解碼單元150可對經譯碼切片標頭中的語法元素執行賭解碼操作(例 如，CABAC解碼操作），W恢復切片標頭。
[0130] 作為從經譯碼切片NAL單元提取切片數據的部分，賭解碼單元150可執行從切片數 據中的經譯碼CU提取語法元素的剖析操作。所提取的語法元素可包含與變換系數塊相關聯 的語法元素。賭解碼單元150可接著對語法元素中的一些執行CABAC解碼操作。
[0131] 在賭解碼單元150對未分割的CU執行剖析操作之后，視頻解碼器30可對未分割的 CU執行重構操作。為對未經分割CU執行重構操作，視頻解碼器30可對CU的每一 TU執行重構 操作。通過對CU的每一 TU執行重構操作，視頻解碼器30可重構與CU相關聯的殘余視頻塊。
[0132] 作為對TU執行重構操作的一部分，逆量化單元154可對與TU相關聯的變換系數塊 進行逆量化(例如，解量化）。逆量化單元154可W類似于針對HEVC所提議或由H. 264解碼標 準定義的逆量化過程的方式來逆量化變換系數塊。逆量化單元154可使用由視頻編碼器20 針對變換系數塊的OJ計算的量化參數QP來確定量化程度，且同樣地，確定逆量化單元154應 用的逆量化的程度。
[0133] 在逆量化單元154逆量化變換系數塊之后，逆變換單元156可產生用于與變換系數 塊相關聯的TU的殘余視頻塊。逆變換單元156可將逆變換應用到變換系數塊W便產生所述 TU的殘余視頻塊。舉例來說，逆變換單元156可將逆DCT、逆整數變換、逆卡忽南-拉維 化arhunen-Loeve)變換化LT)、逆旋轉變換、逆定向變換或另一逆變換應用于變換系數塊。 在一些實例中，逆變換單元156可基于來自視頻編碼器20的信令而確定適用于變換系數塊 的逆變換。在運些實例中，逆變換單元156可基于在用于與變換系數塊相關聯的樹塊的四叉 樹的根節點處的用信號表示的變換來確定逆變換。在其它實例中，逆變換單元156可從例如 塊大小、譯碼模式或類似者等一或多個譯碼特性推斷逆變換。在一些實例中，逆變換單元 156可應用級聯的逆變換。
[0134] 在一些實例中，運動補償單元162可通過基于內插濾波器執行內插而精煉PU的預 測視頻塊。用于將用于W子樣本精確度進行運動補償的內插濾波器的識別符可包含在語法 元素中。運動補償單元162可使用由視頻編碼器20在產生PU的經預測視頻塊期間使用的相 同內插濾波器來計算參考塊的子整數樣本的內插值。運動補償單元162可根據所接收的語 法元素確定由視頻編碼器20使用之的內插濾波器且使用所述內插濾波器來產生經預測視 頻塊。
[0135] 如下文參考圖8到12進一步論述，所述預測處理單元152可通過執行圖8到12中說 明的方法對PU(或任何其它參考層和/或增強層塊或視頻單元)進行譯碼(例如，編碼或解 碼）。舉例來說，運動補償單元162、帖內預測單元164或層間預測單元166可經配置W-起或 分開地執行圖8到12中說明的方法。
[0136] 如果PU是使用帖內預測編碼，那么帖內預測單元164可執行帖內預測W產生用于 PU的經預測視頻塊。舉例來說，帖內預測單元164可基于位流中的語法元素確定用于PU的帖 內預測模式。位流可包含帖內預測模塊164可用W確定PU的帖內預測模式的語法元素。
[0137] 在一些情況下，語法元素可指示帖內預測單元164將使用另一PU的帖內預測模式 來確定當前PU的帖內預測模式。舉例來說，可能有可能當前PU的帖內預測模式與相鄰PU的 帖內預測模式相同。換句話說，相鄰PU的帖內預測模式可為用于當前PU的最可能模式。因 此，在此實例中，位流可包含小語法元素，所述小語法元素指示PU的帖內預測模式與相鄰PU 的帖內預測模式相同。帖內預測單元164可隨后使用帖內預測模式基于在空間上相鄰的PU 的視頻塊而產生用于PU的預測數據(例如，經預測樣本）。
[0138] 如上文所論述，視頻解碼器30還可包含層間預測單元166。層間預測單元166經配 置W使用在SVC中可用的一或多個不同層(例如，基礎層或參考層)預測當前塊(例如，化中 的當前塊）。此預測可稱作層間預測。層間預測單元166利用預測方法減少層間冗余，借此改 進譯碼效率且降低計算資源要求。層間預測的一些實例包含層間帖內預測、層間運動預測 及層間殘余預測。層間帖內預測使用基礎層中的位于同一地點的塊的重構來預測增強層中 的當前塊。層間運動預測使用基礎層的運動信息來預測增強層中的運動。層間殘余預測使 用基礎層的殘余來預測增強層的殘余。W下更詳細地論述層間預測方案中的每一者。
[0139] 重構單元158可使用與CU的TU相關聯的殘余視頻塊及CU的PU的預測視頻塊（即，帖 內預測數據或帖間預測數據，如果適用）來重構CU的視頻塊。因此，視頻解碼器30可基于位 流中的語法元素而產生所預測的視頻塊及殘余視頻塊，且可基于所預測的視頻塊及殘余視 頻塊而產生視頻塊。
[0140] 在重構單元158重構CU的視頻塊之后，濾波器單元159可執行解塊操作W減少與所 述CU相關聯的成塊假象。在濾波器單元159執行解塊操作W減小與CU相關聯的成塊假象之 后，視頻解碼器30可將所述CU的視頻塊存儲在經解碼圖片緩沖器160中。經解碼圖片緩沖器 160可提供參考圖片W用于后續運動補償、帖內預測和在例如圖IA或IB的顯示裝置32等顯 示裝置上的呈現。舉例來說，視頻解碼器30可基于經解碼圖片緩沖器160中的視頻塊對其它 CU的PU執行帖內預測或帖間預測操作。
[014。多層解碼器
[0142] 圖3B為說明可實施根據本發明中描述的方面的技術的多層視頻解碼器33的實例 的框圖。視頻解碼器33可經配置W處理多層視頻帖，例如，用于甜VC及多視圖譯碼。另外，視 頻解碼器33可經配置W執行本發明的技術中的任一者或全部。
[0143] 視頻解碼器33包含視頻解碼器30A和視頻解碼器30B，其中的每一者可經配置為視 頻解碼器30并可執行上文關于視頻解碼器30所描述的功能。此外，如再使用參考數字所指 示，視頻解碼器30A和30B可包含系統及子系統中的至少一些作為視頻解碼器30。雖然將視 頻解碼器33說明為包含兩個視頻解碼器30A和30B，但視頻解碼器33不被如此限制并且可包 含任何數目的視頻解碼器30層。在一些實施例中，視頻解碼器33可包含用于存取單元中的 每一圖片或帖的視頻解碼器30。舉例來說，可由包含五個解碼器層的視頻解碼器處理或解 碼包含五個圖片的存取單元。在一些實施例中，視頻解碼器33可包含比存取單元中的帖多 的解碼器層。在一些此類情況下，當處理一些存取單元時，一些視頻解碼器層可能不在作用 中。
[0144] 除了視頻解碼器30A及30B之外，視頻解碼器33還可包含上取樣單元92。在一些實 施例中，上取樣單元92可上取樣所接收的視頻帖的基礎層W創建將添加到用于帖或存取單 元的參考圖片列表的經增強層。此經增強層可存儲在經解碼圖片緩沖器160中。在一些實施 例中，上取樣單元92可包含關于圖2A的再取樣單元90描述的實施例中的一些或全部。在一 些實施例中，上取樣單元92經配置W對層進行上取樣且重新組織、重新界定、修改或調整一 或多個切片W符合一組切片邊界規則和/或光柵掃描規則。在一些情況下，上取樣單元92可 為經配置W對所接收的視頻帖的層上取樣及/或下取樣的再取樣單元。
[0145] 上取樣單元92可經配置W從較低層解碼器(例如，視頻解碼器30A)的經解碼圖片 緩沖器160接收圖片或帖(或與圖片相關聯的圖片信息)并對所述圖片(或所接收的圖片信 息）上取樣。隨后可將此經上取樣圖片提供到較高層解碼器(例如，視頻解碼器30B)的預測 處理單元152,所述