層間參考圖像集的解碼和參考圖像列表構建的制作方法
【技術領域】
[0001] 本公開總體涉及電子設備。更具體地，本公開涉及層間參考圖像集的解碼系統和 方法以及參考圖像列表構建。
【背景技術】
[0002] 電子設備越來越小并且功能越來越強大，以滿足消費者的需求并提供便攜性和便 利性。消費者變得依賴于電子設備并且要求更多的功能。電子設備的一些示例包括：桌面 計算機、膝上型計算機、蜂窩式電話、智能電話、媒體播放器、集成電路等。
[0003] -些電子設備用于處理和顯示數字媒體。例如，如今便攜式電子設備允許幾乎在 消費者可以去的任何位置處消費數字媒體。此外，一些電子設備可以提供數字媒體內容的 下載或流傳輸，以供消費者使用和娛樂。
[0004] 數字媒體的廣泛流行提出了諸多問題。例如，為存儲、發送和回放，高效地表示高 質量數字媒體提出了諸多挑戰。根據本討論可以看出，更高效地表示數字媒體的系統和方 法可能是有益的。
【發明內容】
[0005] 結合附圖，考慮以下本發明的具體描述，本發明的上述及其他目的、特征、優點將 更容易理解。
[0006] 本發明的一個實施例公開了一種視頻編碼方法，包括：獲得層間預測子層的最大 數量的信令（signaling);開始針對層間參考圖像集（RPS)的解碼處理；獲得層間圖像的時 間標識符的值；確定時間標識符的值是否大于層間預測子層的最大數量減1 ;以及如果層 間圖像的時間標識符的值不大于層間預測子層的最大數量減1，則將層間圖像添加到層間 參考圖像集（RPS)中。
[0007] 本發明的另一個實施例公開了一種被配置用于視頻編碼的電子設備，包括：處理 器；與處理器電通信的存儲器，存儲在所述存儲器中的指令能夠被執行以：獲得層間預測 子層的最大數量的信令；開始針對層間參考圖像集（RPS)的解碼處理；獲得層間圖像的時 間標識符的值；確定時間標識符的值是否大于層間預測子層的最大數量減1 ;以及如果層 間圖像的時間標識符的值不大于層間預測子層的最大數量減1，則將層間圖像添加到層間 參考圖像集（RPS)中。
【附圖說明】
[0008] 圖1是示出多個電子設備之間的視頻編碼的框圖。
[0009] 圖2是在本發明的系統和方法中使用的圖像標記模塊的框圖。
[0010] 圖3是用于標記子層非參考圖像的方法的流程圖。
[0011] 圖4是示出使用本發明的系統和方法的被標記為"不用于參考"的附加圖像的框 圖。
[0012] 圖5是示出層間參考圖像集（RPS)更新模塊的框圖。
[0013] 圖6是用于更新層間參考圖像集（RPS) (RefPicSetInterLayer)的方法的流程圖。
[0014] 圖7是示出電子設備上的編碼器的一種配置的框圖。
[0015] 圖8是示出電子設備上的解碼器的一種配置的框圖。
[0016] 圖9示出了可以在發送電子設備中使用的各個組件。
[0017] 圖10是示出可以在接收電子設備中使用的各個組件的框圖。
【具體實施方式】
[0018] 公開了一種視頻編碼方法。獲得層間預測子層的最大數量的信令。開始針對層間 參考圖像集（RPS)的解碼處理。獲得層間圖像的時間標識符的值。確定時間標識符的值是 否大于層間預測子層的最大數量減1。如果層間圖像的時間標識符的層間圖像的時間標識 符的值不大于層間預測子層的最大數量減1，則將層間圖像添加到層間參考圖像集（RPS)。
[0019] 層間參考圖像集（RPS)可以用于參考圖像列表構建。層間圖像可以包括與作為當 前層的直接參考層的層相對應的層標識符的值。層間圖像可以包括與當前圖像的圖像序號 相等的圖像序號。如果層間預測子層的最大數量的值為〇,并且層間圖像是非RAP(隨機接 入點）圖像，則可以不將層間圖像添加到層間參考圖像集（RPS)。如果層間預測子層的最大 數量的值為〇,并且層間圖像是RAP(隨機接入點）圖像，則可以將層間圖像添加到層間參考 圖像集（RPS)中。
[0020] 層間預測子層的最大數量可以具有索引[LayderIdInVps[RefLayerId[Lay erldlnVps [nuh_layer_id] ] [i]]]。替代地，層間預測子層的最大數量可以具有索引 [RefLayerId[LayerIdInVps[nuh_layer_id]] [i]]。層間預測子層的最大數量還可以具有 索引[layer_id_in_nuh[RefLayerId[LayerIdInVps[nuh_layer_id]] [i]]]。層間預測子層 的最大數量還可以具有索引[layer_id_in_nuh[i]]。
[0021] 層間預測子層的最大數量還可以具有索引[i]。層間參考圖像列表 RefPicSetInterLayer 可以具有索弓丨[NumInterLayerRPSPics [LayerIdInVps [nuh_layer_ id]]]。NumInterLayerRPSPics[LayerIdInVps[nuh_layer_id]]可以被推導為與 NumDirec tRefLayers[LayerIdInVps[nuh_layer_id]]不同。
[0022] 還公開了被配置用于視頻解碼的電子設備。所述電子設備包括處理器和與處理器 電通信的存儲器。存儲在存儲器中的指令可以被執行，以獲得層間預測子層的最大數量的 信令。存儲在存儲器中的指令還可以被執行，以開始針對層間參考圖像集（RPS)的解碼處 理。存儲在存儲器中的指令還可以被執行，以獲得層間圖像的時間標識符的值。存儲在存 儲器中的指令還可以被執行，以確定時間標識符的值是否大于層間預測子層的最大數量減 1。存儲在存儲器中的指令還可以被執行，如果層間圖像的時間標識符的值不大于層間預測 子層的最大數量減1，則將層間圖像添加到層間參考圖像集（RPS)中。
[0023] 現在參考附圖描述各個配置，其中相似的附圖標記可以指示功能相似的元件。在 本文附圖中一般性描述和示出的系統和方法可以布置和設計為各種廣泛的不同配置。因 此，以下對附圖示出的多個配置的詳細描述不意圖限制權利要求的范圍，僅作為系統和方 法的示意。
[0024] 圖1是不出多個電子設備l〇2a_b之間的視頻編碼的框圖。不出了第一電子設備 102a和第二電子設備102b。然而，應當注意的是，在一些配置中，結合第一電子設備102a 和第二電子設備l〇2b描述的一個或多個特征和功能可以組合到單個電子設備102中。每 個電子設備102可以被配置為對視頻進行編碼和/或解碼。在一種配置中，每個電子設備 可以符合高效視頻編碼（HEVC)標準。HEVC是H. 264/MPEG-4AVC(高級視頻編碼）的后繼 視頻壓縮標準，其提供更好的視頻質量和更高的數據壓縮率。符合HEVC標準的電子設備 102可以包括附加圖像標記功能、層間參考圖像集（RPS) (RefPicSetInterLayer) 120更新 功能以及參考圖像列表構建功能。本文中，圖像是單色格式的亮度（Iuma)樣本的陣列或者 4 : 2 : 0、4 : 2 : 2及4 : 4 : 4顏色格式的亮度樣本的陣列與兩個相應色度樣本的陣 列。
[0025] 第一電子設備102a可以包括視頻編碼器182,視頻編碼器182包括增強層編碼器 106和基層編碼器109。下文將結合圖7詳細討論增強層編碼器106和基層編碼器109。第 一電子設備l〇2a中包括的每個元件（即增強層編碼器106和基層編碼器109)可以實現為 硬件、軟件或二者的組合。第一電子設備l〇2a可以獲得輸入圖像104。在一些配置中，輸 入圖像104可以使用圖像傳感器在第一電子設備102a上捕捉，或者從存儲器獲取，或者從 另一個電子設備102接收。在一種配置中，視頻編碼器182可以符合可縮放高效視頻標準 (SHVC)或者多視圖高效視頻編碼標準（MV-HEVC)。
[0026] 增強層編碼器106可以對輸入圖像104進行編碼，以產生編碼數據。例如，增強層 編碼器 106可以對輸入圖像104序列（如視頻）進行編碼。在一種配置中，增強層編碼器 106可以是高效視頻編碼（HEVC)編碼器。在另一種配置中，增強層編碼器106可以是可縮 放高效視頻標準（SHVC)編碼器或多視圖高效視頻編碼標準（MV-HEVC)編碼器。編碼數據 可以包括在編碼的增強層視頻比特流110中。增強層編碼器106可以基于輸入圖像104生 成開銷（overhead)信令。
[0027] 基層編碼器109也可以對輸入圖像104進行編碼。在一種配置中，基層編碼器109 可以使用與增強層編碼器106使用的相同輸入圖像104。在另一種配置中，基層編碼器109 可以使用與增強層編碼器106使用的輸入圖像104不同（但相似）的輸入圖像。例如，針 對信噪比（SNR)可縮放性（也稱為質量可縮放性），增強層編碼器106和基層編碼器109可 以使用相同的輸入圖像104。作為另一個示例，針對空間可縮放性，基層編碼器109可以使 用下采用圖像。在又一個示例中，針對多視圖可縮放性，基層編碼器109可以使用不同的視 圖圖像。基層編碼器109可以產生包括在編碼的基層視頻比特流107中的編碼數據。基層 編碼器109也可以是可縮放高效視頻（SHVC)編碼器或者多視圖高效視頻編碼（MV-HEVC) 編碼器。
[0028] 編碼的增強層視頻比特流110和編碼的基層視頻比特流107每一個都可以包括基 于輸入圖像104的編碼數據。在一個示例中，編碼的增強層視頻比特流110和編碼的基層 視頻比特流107可以包括編碼圖像數據。在一些配置中，編碼的增強層視頻比特流110和 /或編碼的基層視頻比特流107還可以包括開銷數據，例如序列參數集（SPS)信息、圖像參 數集（PPS)信息、視頻參數集（VPS)信息、切片首部信息等。
[0029] 第一電子設備102a可以向第二電子設備102b提供層間預測子層的最大數量 (max_sublayer_for_ilp_plusl) 108。層間預測子層的最大數量（max_sublayer_for_ilp_ plusl) 108可以在VPS擴展語法結構中信號通知（即，使用在JCTVC-L1008的F. 7. 4. 3. 1部 分定義的視頻參數集原始字節凈載荷（RBSP)語義）。
[0030] 可以在編碼的基層視頻比特流107或編碼的增強層視頻比特流110中信號通知層 間預測子層的最大數量（max_sublayer_for_ilp_plusl) 108。在一種配置中，可以在開銷 數據（例如序列參數集（SPS)信息、圖像參數集（PPS)信息、視頻參數集（VPS)信息、切片 首部信息等）中向電子設備l〇2b提供層間預測子層的最大數量（max_sublayer_for_ilp_ plusl) 108。在另一種配置中，可以在分離"元數據"比特流或文件中向第二電子設備102b 提供層間預測子層的最大數量（max_sublayer_for_ilp_plusl) 108。
[0031] 第二電子設備102b可以使用層間預測子層的最大數量（max_sublayer_for_ilp_ plusl) 108來確定是否將圖像標記為"不用于參考"。第二電子設備102b還可以使用層間 預測子層的最大數量（max_sublayer_for_ilp_plusl) 108來將圖像添加到層間參考圖像 集（RPS) (RefPicSetInterLayer) 120。RefPicSetInterLayer 可以指代層間參考圖像列 表。第二電子設備l〇2b還可以使用層間預測子層的最大數量（max_sublayer_for_ilp_ plusl) 108 來構建參考圖像列表（RefPicListORefPicListl)。
[0032] 可以向第二電子設備102b提供編碼的增強層視頻比特流110。類似地，可以向第 二電子設備l〇2b提供編碼的基層視頻比特流107。第二電子設備102b可以包括視頻解碼 器112和基層解碼器113。視頻解碼器112可以包括增強層解碼器115。在一種配置中，在 增強層解碼器115對編碼的增強層視頻比特流110進行解碼的同時，基層解碼器113對編 碼的基層視頻比特流107進行解碼。下文將結合圖8進一步詳細討論基層解碼器113和增 強層解碼器115。在一種配置中，視頻解碼器112可以符合可縮放高效視頻編碼（SHVC)標 準。在另一種配置中，視頻解碼器112可以符合多視圖高效視頻編碼（MV-HEVC)標準。基 層解碼器113和增強層解碼器115每一個都可以是高效視頻編碼（HEVC)解碼器。基層解 碼器112和增強層解碼器115還可以是可縮放高效視頻編碼（SHVC)解碼器或者多視圖高 效視頻編碼（MV-HEVC)解碼器。
[0033] 在一個示例中，可以使用有線或無線鏈