用于三維視頻編碼的視差向量推導的方法及裝置的制造方法
【專利說明】用于三維視頻編碼的視差向量推導的方法及裝置
[0001]【相關申請的交叉引用】
[0002]本發明主張申請于2013年4月12日，序列號為PCT/CN2013/074145，標題為“Methods for Disparity Vector Derivat1n” 的 PCT 專利申請的優先權。將此 PCT 專利申請以參考的方式并入本文中。
【技術領域】
[0003]本發明涉及視頻編碼。特別地，本發明涉及三維/多視圖視頻編碼中的視差向量推導。
【【背景技術】】
[0004]三維電視技術是近年來的技術發展趨勢，它的目標是給觀看者帶來轟動的觀看體驗(viewing experience)。多視圖視頻是一種捕捉以及清染3D視頻的技術。通常的，多視圖視頻是通過同時地使用多個相機捕捉場景來創建的，其中，多個照相機都被合適地定位，以使每個照相機從一個視角(viewpoint)捕捉場景。具有大量與視圖相關聯的視頻序列的多視圖視頻表示了巨量的數據(massive amount data)。因此，多視圖視頻將需要大量的存儲空間來存儲和/或需要高的帶寬來傳送。因此，在本領域中，多視圖視頻編碼技術被開發出來以減少所需要的存儲空間以及傳送帶寬。一個直接方法可以簡單地應用于現有的視頻編碼技術，使每個單個視圖視頻序列獨立且忽視不同視圖中的任何關聯。這樣的直接的技術將導致低下的編碼性能。
[0005]為了提高多視圖視頻編碼效率，多視圖視頻編碼總是利用視圖間冗余。兩個視圖之間的視差是由兩個相關相機的位置以及角度而導致。因為所有相機是從不同的視角來捕捉相同的場景，所以多視圖視頻數據包含了大量的視圖間冗余。為了利用視圖間冗余，使用視差向量(disparity vector,DV)的編碼工具被開發以用于3D高效視頻編碼(3D_HighEfficiency Video Coding，3D-HEVC)以及 3D 高級視頻編碼(3D_Advanced Video Coding,3D-AVC) o 例如，于高級運動向量預測(advanced mot1n vector predict1n，AMVP)以及合并模式中，DV被用作時間視圖間運動向量候選(temporal inter-view mot1n vectorcandidate, TIVC)。于AMVP以及合并模式中，DV也被用作視差視圖間運動向量候選(disparity inter-view mot1n vector candidate，DIVC)。此外，DV 可以被用于視圖間殘差預測(inter-view residual predict1n, IVRP)以及視圖合成預測(view synthesispredict1n，VSP)。
[0006]DV推導的現有的方法將簡短討論如下。在基于3D編碼測試模型版本6.的HEVC(3DV-HTM 6.0)的示例中，DV推導過程包括以下順序的步驟:
[0007]1.推導與參考視圖索引相關聯的相鄰塊視差向量(neighboring blockdisparity vector, NBDV)。
[0008]2.通過使用已推導的NBDV以及深度圖來推導基于深度的NBDV(cbpth-orientedNBDV, DoNBDV)。
[0009]基于3DV-HTM 6.0的DV推導在某些條件下可能會遇到問題。例如，根據3DV-HTM，用于DoNBDV推導的深度圖的視圖索引總是為0。換句話說，深度圖總是位于基礎視圖中。然而，用于NBDV的視圖索引并沒有限制。根據3DV-HTM，NBDV的參考視圖索引以及深度圖的視圖索引可能是不同的。
[0010]于DV(NBDV或DoNBDV)被推導后，已推導的DV可用于TIVC、DIVC、IVRP以及VSP。以下將描述系統可能會遇到的問題。
[0011]?對于用于AMVP以及合并模式中TIVC的DoNBDV:
[0012]〇根據3DV-HTM 6.0，被選擇用于TIVC的參考視圖總是具有參考列表中包括的最小的視圖1D，其可能不同于DoNBDV的參考視圖。
[0013]?對于用于AMVP以及合并模式中DIVC的DoNBDV:
[0014]〇根據現有的3D-HEVC，DIVC的所選擇的參考視圖(其為參考圖片)可能不同于DoNBDV的參考視圖。
[0015]?對于用于 IVRP 的 NBDV:
[0016]〇IVRP的所選擇的參考視圖(其為當前測試模型的基礎視圖)可能不同于NBDV的參考視圖。
[0017]?對于用于VSP的NBDV:
[0018]〇VSP過程總是將深度值轉換為視圖索引為0的DV。已轉換DV的視圖索引可能不同于VSP的參考視圖。
[0019]以下將描述相鄰塊視差向量(NBDV)的推導過程。DV推導是基于當前塊的相鄰塊，包括如圖1A所示的空間相鄰塊以及如圖1B所示的時間相鄰塊。空間相鄰塊集包括:當前塊的左下角的對角線位置(即，A0)，當前塊的左下方的相鄰位置(即，A1)，當前塊的左上角的對角線位置(即，B2)，當前塊的右上角的對角線位置(即，B0)，當前塊的右上方的相鄰位置(S卩，B1)。如圖1B所示，時間相鄰塊集包括:時間參考圖片的當前塊的中心位置(即，Bctr)以及當前塊的右下角的對角線位置(即，RB)。只有當來自時間塊RB的DV不可用時，才會使用時間塊Bctr。相鄰塊配置顯示了空間以及時間相鄰塊可用于推導NBDV的示例。其它的空間以及時間相鄰塊也可用于推導NBDV。例如，對于時間相鄰塊集，時間參考圖片中當前塊的其它位置(例如，右下角)還可被用于替代中心位置。換句話說，當前塊對應的任何塊都可以被包含到時間塊集中。一旦塊被識別為具有DV，檢查過程將被終止。圖1A中空間相鄰塊的示范性搜尋順序(search order)可以是(Al、Bl、B0、A0、B2)。圖1B中時間相鄰塊的示范性搜尋順序為(BR，BCTR)。空間以及時間相鄰集對于不同模式或不同編碼標準可能是不同的。于當前的揭露中，NBDV可以指基于NBDV過程推導的DV。當不存在歧義的時候，NBDV還可指NBDV過程。
[0020]通過從深度圖中提取更準確的視差向量(于本公開中被稱作基于深度的NBDV (Depth-oriented NBDV, DoNBDV))來增強NBDV的方法被用于當前3D-HEVC。來自相同存取單元的已編碼深度圖的深度塊首先被取回并被用作當前塊的虛擬深度。用于DV推導的此編碼工具被稱為DoNBDV推導。當以通用測試條件來編碼視圖1的紋理時，視圖0的深度圖已經被編碼且是可用的。因此，視圖1的紋理的編碼可以受益于視圖0的深度圖。已估計的視差向量可以從圖2所示的虛擬深度中提取。整個流程如下所述:
[0021]1.使用當前塊210的已推導的NBDV240來定位已編碼紋理視圖中的對應塊230。
[0022]2.將已編碼視圖(即，基于現有的3D-HEVC的基礎視圖)中的對應深度230’用于當前塊(編碼單元)以作為虛擬深度250。
[0023]3.提取于先前步驟中取回的虛擬深度的最大值，并將其轉換為被命名為DoNBDV的視差向量。
[0024]視圖間殘差預測(IVRP)是用于3D-HTM的另一編碼工具。為了共用先前鄰近視圖的已編碼殘差信息(即，時間殘差信息)，當前預測塊(即，PU)的殘差信號可以通過視圖間圖片中對應塊的殘差信號來預測。對應塊可以通過相應DV來定位。根據現存的3D-HEVC，使用NBDV以及先前已編碼殘差信息來推導的D