跨層運動向量預測的制作方法
【專利說明】跨層運動向量預測
【背景技術】
[0001] 視頻編碼器壓縮視頻信息以便能夠通過給定帶寬發送更多信息。隨后可將壓縮的 信號傳送到在顯示前解碼或解壓縮信號的接收器。
[0002] 高效視頻編碼（HEVC)是計劃在2012底年完成的新視頻壓縮標準。當前，它由ISO/ IEC移動圖像專家組（MPEG)和ITU-T視頻編碼專家組（VCEG)形成的視頻編碼聯合協作小 組（JCT-VC)開發。該小組也將標準化HEVC標準的可縮放視頻編碼（SVC)擴展。
[0003] 在HEVC的主要部分的標準化接近完成時，JCT-VC已開始計劃將可縮放視頻編碼 (SVC)擴展添加到HEVC標準。SVC是處理現代視頻服務環境中網絡和裝置的異構性的重要 問題。SVC比特流包含本身能夠被解碼的幾個子集比特流，并且這些子流表示帶有不同分辨 率、幀速率、質量、比特深度等等的來源視頻內容。可縮放性通過使用多層編碼結構來實現。 通常，在SVC系統中一般有一個基層和幾個增強層。
[0004] SVC比特流一般包含一個基層比特流和至少一個增強層比特流。基層比特流能夠 獨立解碼以重構基層視頻。增強層比特流不可單獨解碼，這是因為增強層幀可編碼有來自 更低層的預測，這稱為跨層預測或層間預測。更低層可以是基層或更低增強層。因此，增強 層比特流可與更低層數據一起解碼以構建輸出視頻。
[0005] 如果將增強層圖片中的塊編碼有幀間預測，則可將運動向量（MV)和參考索引編 碼以便實現在解碼器側的運動補償。通常，塊的MV可類似于其空間和時間相鄰塊的MV。因 此，對于當前塊MV編碼，可從相鄰塊MV生成預測的MV，并且隨后可將在當前塊MV與預測 的MV之間的MV差（MVD)編碼。在H. 264/AVC和以前的基于H. 264的SVC標準中，可通過 從例如左側、頂側和右上方(或者如果右上方不可用，則為左上方）鄰居塊等三個空間相鄰 塊對MV進行中值濾波，生成預測的MV。在最新HEVC編碼標準中，MV候選列表可先從空間 和時間相鄰塊生成，隨后，編碼器可判定哪個候選對于預測當前塊MV是最佳的，并且將最 佳候選的索引顯式傳送到解碼器。在解碼器側，解碼器可從相鄰解碼的塊MV構建相同候選 列表，并且隨后獲得帶有從比特流解碼的索引的最佳候選。如果最佳候選很好，足夠用于當 前塊編碼，則可不存在編碼的MVD需要，這在HEVC標準中稱為"合并"模式，并且候選列表 稱為"合并候選列表"。否則，MVD需要編碼，這稱為"AMVP"（高級MV預測）模式，并且候選 列表稱為"AMVP候選列表"。
【附圖說明】
[0006] 本文中所述的材料在附圖中以示例而非限制的方式示出。為確保示圖的簡明和清 晰起見，圖中所示元素不一定按比例畫出。例如，為清晰起見，一些元素的尺寸相對其它元 素可能顯得過大。此外，在認為視當之處，標號已在圖中重復以指示一致或類似的元素。在 附圖中： 圖1是示例視頻編碼系統的說明性圖形； 圖2是示出示例視頻編碼過程的流程圖； 圖3是在操作中的示例視頻編碼系統的說明性圖形； 圖4是示例跨層運動向量預測方案的說明性圖形； 圖5是示例視頻編碼系統的說明性圖形； 圖6是示例系統的說明性圖形；以及 圖7示出全部根據本公開內容的至少一些實現布置的示例系統的說明性圖形。
【具體實施方式】
[0007] 現在參照附圖描述一個或多個實施例或實現。雖然論述了特定的配置和布置，但 應理解的是，這只是為了便于說明。相關領域技術人員將認識到，在不脫離描述的精神和范 圍的情況下，可采用其它配置和布置。相關領域技術人員將明白，本文中所述技術和/或布 置也可在與本文中所述不同的多種其它系統和應用中采用。
[0008] 雖然下面的描述陳述了可在諸如芯片上系統（SoC)體系結構等體系結構中顯露 的各種實現，但本文中所述技術和/或布置的實現不限于特定體系結構和/或計算系統，并 且可由用于類似目的的任何體系結構和/或計算系統實現。例如，采用例如多個集成電路 (1C)芯片和/或封裝和/或諸如機頂盒、智能電話等各種計算裝置和/或消費者電子（CE) 裝置的各種體系結構可實現本文中所述的技術和/或布置。此外，雖然以下描述可陳述諸 如邏輯實現、系統組件的類型和相互關系、邏輯分割/集成選擇等各種特定細節，但實踐所 述主題可無需此類特定細節。在其它情況下，諸如控制結構和完全軟件指令序列等一些材 料可未詳細示出以免混合本文中公開的材料。
[0009] 本文中公開的材料可以硬件、固件、軟件或其任何組合的形式實現。本文中公開的 材料也可實現為存儲在機器可讀介質上，可由一個或多個處理器讀取和執行的指令。機器 可讀介質可包括用于以機器(例如，計算裝置）可讀形式存儲或傳送信息的任何介質和/或 機制。例如，機器可讀介質可包括只讀存儲器（R0M)、隨機存取存儲器（RAM)、磁盤存儲介 質、光存儲介質、閃存裝置、電、光、聲或其它形式傳播信號(例如，載波、紅外信號、數字信號 等）及其它。
[0010] 說明書中對"一個實現"、"實現"、"示例實現"等的引用指所述實施例可包括特定 特征、結構或特性，但每個實現可不一定包括特定特征、結構或特性。另外，此類詞語不一定 指同一實現。此外，在結合實某個實現描述某個特定特征、結構或特性時，應認為結合無論 本文中是否顯式描述的其它實現來達到此類特征、結構或特性是在本領域技術人員的認知 之內。另外，來自一實施例的任何特征、結構、方面、元素或特性能夠與無論本文中是否顯式 描述的任何其它實施例的任何特征、結構、方面、元素或特性組合。
[0011] 下面描述包括有跨層運動向量預測的用于視頻編碼的操作的系統、設備、制品和 方法。
[0012] 如上所述，如果將增強層圖片中的塊編碼有幀間預測，則可將運動向量（MV)和參 考索引編碼以便實現在解碼器側的運動補償。通常，塊的MV可類似于其空間和時間相鄰塊 的MV。因此，對于當前塊MV編碼，可從相鄰塊MV生成預測的MV。在H. 264/AVC和以前的 基于H. 264的SVC標準中，可通過從例如左側、頂側和右上方(或者如果右上方不可用，則為 左上方）鄰居塊等三個空間相鄰塊對MV進行中值濾波，生成預測的MV。在最新HEVC編碼 標準中，MV候選列表可先從空間和時間相鄰塊生成，隨后，編碼器可判定哪個候選對于預測 當前塊MV是最佳的，并且將最佳候選的索引顯式傳送到解碼器。通常，如果當前編碼塊的 MV是mv，并且其預測的MV是pmv，則將在mv與pmv之間稱為MVD的MV差編碼到比特流中。 在MPEG2中，使用左側相鄰塊的MV獲得pmv。在H. 264/AVC中，通過對左側、頂側和右上方 的空間相鄰塊的MV進行中值濾波，獲得pmv。在HEVC中，使用兩個MV預測模式，例如，AMVP 模式和MERGE模式。在AMVP模式中，先通過分別來自左側空間鄰居塊、頂側空間鄰居塊和 并置時間鄰居塊的三個MV構建雙條目AMVP候選列表。隨后，編碼器判定使用哪個候選預 測當前塊MV，并且隨后將候選索引及MVD編碼到比特流中。在MERGE模式中，先通過來自空 間鄰居塊的四個（MV，Refldx)對和來自時間右下側或并置鄰居塊的一個（MV，Refldx)對 構建最多五條目MERGE候選列表，其中，Refldx是MV指向的參考圖片的索引。之后，編碼 器判定使用哪個候選(MV，Refldx)對將當前塊編碼并且隨后將候選索引編碼到比特流中。 在MERGE模式中，選擇的（MV，Refldx)對直接用于將當前塊編碼，并且MVD信息無需編碼。 在編碼器能夠配置合并候選的數量，最多五個合并候選。
[0013] 然而，如下面將更詳細描述的一樣，下一代SVC標準是基于HEVC的SVC標準，例 如，基層可能與ffiVC規范兼容。增強層編碼技術可用于不但從空間和時間相鄰塊的MV而 且從經跨層運動向量預測的更低層塊的MV預測增強層塊的MV。在傳統視頻編碼標準中，僅 空間和時間鄰居塊MV用于預測當前塊的MV。相反，下面討論的方法為下一代SVC增強層塊 編碼應用跨層(例如，層間）MV預測，例如，使用更低層塊的MV預測增強層塊的MV。
[0014] 圖1是根據本公開內容的至少一些實現布置的示例視頻編碼系統100的說明性圖 形。在各種實現中，視頻編碼系統100可配置成根據一個或更多個高級視頻編解碼器標準， 進行視頻編碼和/或實現視頻編解碼器，這些標準如由IS0/IEC移動圖像專家組（MPEG)和 ITU-T視頻編碼專家組（VCEG)形成的視頻編碼聯合協作小組（JCT-VC)開發的高效視頻編 碼（HEVC，也稱為H. 265)視頻壓縮標準。此外，在各種實施例中，視頻編碼系統100可實現 為圖像處理器、視頻處理器和/或媒體處理器的一部分，并且可進行幀間預測、幀內預測、 預測編碼和/或殘差預測，包括根據本公開內容的殘差預測。
[0015] 在本文中使用時，術語"編碼器"可指編碼器和/或解碼器。類似地，在本文中使 用時，術語"編碼"可指經編碼器的編碼和/或經解碼器的解碼。
[0016] 在一些示例中，視頻編碼系統100可包括為清晰起見而在圖1中尚未示出的另外 項目。例如，視頻編碼系統100可包括處理器、射頻型（RF)收發器、顯示器和/或天線。此 外，視頻編碼系統100可包括諸如揚聲器、麥克風、加速計、存儲器、路由器、網絡接口邏輯 等為簡明起見而在圖1中尚未示出的另外項目。
[0017] 在一些示例中，視頻編碼系統100可執行SVC操作。例如，示出了兩個空間分辨率 層(例如，基層101'和增強層101);然而，除基層101'外，可利用任何數量的增強層。可經 ffiVC兼容的編碼器處理基層101'。與基層相關聯的信息(例如，預測模式、重構的像素等等） 可用于增強層101的編碼。
[0018] 例如，在增強層101上的視頻編碼系統100的操作期間，當前視頻信息可以視頻數 據的幀的形式提供到內部比特深度增大模塊102,并且要通過變換與量化模塊108進行已 知視頻變換和量化過程。變換與量化模塊108的輸出可提供到熵編碼模塊109和去量化與 逆變換模塊110。去量化與逆變換模塊110可實現通過變換與量化模塊108進行的操作的 逆操作。本領域技術人員可認識到，如本文中所述的變換與量化模塊和去量化與逆變換模 塊可采用縮放技術。去量化與逆變換模塊110的輸出可提供到包括去塊濾波器114、樣本自 適應偏移濾波器116、自適應環路濾波器118、緩沖器120、運動估計模塊122、運動補償模塊 124及幀內預測模塊126的環路。如圖1所示，運動補償模塊124或幀內預測模塊126任一 的輸出和去量化與逆變換模塊110的輸出組合成到去塊濾波器114的輸入。
[0019] 例如，在視頻編碼系統100中，當前視頻幀可提供到運動估計模塊122。系統100 可以光柵掃描順序以圖像宏塊的單位處理當前幀。視頻編碼系統100在幀內預測模式中操 作時，運動估計模塊122可響應當前視頻幀和參考視頻幀生成殘差信號。運動補償模塊124 隨后可使用參考視頻幀和運動估計模塊122提供的殘差信號生成預測的幀。隨后可從當前 幀減去預測的幀，并且將結果提供到變換與量化模塊108。隨后，可(使用塊變換)變換和量 化塊以生成量化的變換系數集，系數可由熵編碼模塊109進行重新排序和熵編碼以生成由 視頻編碼系統100提供的一部分壓縮的比特流(例如，網絡抽象層（NAL)比特流)。在各種實 現中，除用于將每個塊解碼的補充信息(例如，預測模式、量化參數、運動向量信息等等）外， 視頻編碼系統100提供的比特流可包括熵編碼的系數，并且可提供到如本文中所述的其它 系統和/或裝置以便傳送或存儲。
[0020] 變換與量化模塊108的輸出可提供到去量化與逆變換模塊110。去量化與