專利名稱：：用于多視角視頻編碼的方法和裝置的制作方法
技術領域：
：本發明一般地涉及視頻編碼器和解碼器，更具體而言涉及用于多視角視頻編碼的方法和裝置。
背景技術：
：多視角視頻編碼(Multi-viewvideocoding,MVC)是用于多視角序列的編碼的壓縮框架。多視角視頻編碼(MVC)序列是從不同視角點(viewpoint)捕捉相同場景的兩個或更多個視頻序列的集合。已經廣泛認識到的是，多視角視頻編碼是為包括自由視角點和3D視頻應用、家庭娛樂和監視在內的多種應用服務的關鍵技術。在這些多視角應用中，所涉及的視頻數據的量是巨大的。因此，需要高效的壓縮技術來提高當前的執行獨立視角的同時聯播的視頻編碼方案的編碼效率。近年來，在設計用于壓縮立體視頻(stereoscopicvideo)的高效方法方面已經投入了許多精力。傳統的平面壓縮(monoscopiccompression)方法可以被獨立地應用到立體圖像對的左視角和右視角。但是，如果利用視角之間的高相關性，則可以實現更高的壓縮率。關于一種對立體圖像對的兩個視角都進行編碼的現有技術方法，在國際標準化組織/國際電工委員會(ISO/IEC)運動圖片專家組-2(MPEG-2)標準中定義了多視角規范(Multi-ViewProfile,MVP)來傳送一對視頻信號。MVP依賴于多層信號表示方法，從而一個視角(通常是左視角)被分配到基本層，而另一視角被分配到增強層。以相同工具作為主規范(MP)的平面編碼被應用到基本層。增強層是利用時間可縮放性工具以及運動(motion)和視差(disparity)場的混合預測來編碼的。在涉及國際標準化組織/國際電工委員會(ISO/IEC)運動圖片專家組-4(MPEG-4)第10部分高級視頻編碼(AVC)標準/國際電信聯盟電信部(ITU-T)H.264推薦(以下稱為"MPEG-4AVC標準")的現有技術方法中，立體視頻編碼可以以兩種不同的方式來執行(i)作為交織圖像編碼的特定情況來執行，其中具有特定奇偶性的所有場都被分配給左視角，而具有相反奇偶性的所有場都被認為是立體視角內容的右視角；或者(ii)通過交替來自左視角和右視角的幀來執行，以創建單個平面視頻序列。立體視覺補充增強信息(SEI)消息向解碼器提供了關于被編碼的視頻序列是否表示立體內容以及哪種方法被用來對相應內容編碼的指示。這些先前已知的方法要求對現有的平面編碼技術進行最低限度的修改。但是，在降低存在于立體對中的兩個視角之間的冗余性方面，它們表現出的能力有限。結果，立體視角的編碼與單個平面視角的編碼相比導致了很大的開銷。另外，先前不能支持對多于兩個相機視角的編碼。
發明內容本發明解決了現有技術的這些和其他缺陷和缺點，本發明針對用于多視角視頻編碼的方法和裝置。根據本發明的一個方面，提供了一種視頻編碼器。該視頻編碼器包括編碼器，該編碼器用于通過在時間預測和交叉視角(cross-view)預測之間進行選擇以實現對圖片的塊的預測來對該塊進行編碼。該圖片是與多視角視頻內容相對應并且具有關于相同或相似場景的不同視角點的一組圖片之一。該圖片代表不同視角點之一。高級別語法被用于指示對該塊使用交叉視角預測。根據本發明的另一方面，提供了一種視頻編碼器。該視頻編碼器包括編碼器，該編碼器用于利用視差向量對圖片中的塊進行編碼。該圖片對應于多視角視頻內容并且被編碼以提供符合以下之中的至少一種的結果比特流國際標準化組織/國際電工委員會運動圖片專家組-4第10部分高級視頻編碼標準/國際電信聯盟電信部H.264推薦以及其擴展。根據本發明的另一方面，提供了一種視頻編碼器。該視頻編碼器包括編碼器，該編碼器用于基于視差向量預測子(predictor)來對與多視角視頻內容相對應的圖片中的塊進行編碼，該視差向量預測子使用時間共位塊的相鄰視差向量和時間共位視差向量中的至少一個。根據本發明的另一方面，提供了一種視頻編碼方法。該方法包括通過在時間預測和交叉視角預測之間進行選擇以實現對圖片的塊的預測來對該塊進行編碼。該圖片是與多視角視頻內容相對應并且具有關于相同或相似場景的不同視角點的一組圖片之一。該圖片代表不同視角點之一。高級別語法被用于指示對該塊使用交叉視角預測。根據本發明的另一方面，提供了一種視頻編碼方法。該方法包括利用視差向量對圖片中的塊進行編碼，其中該圖片對應于多視角視頻內容并且被編碼以提供符合以下之中的至少一種的結果比特流國際標準化組織/國際電工委員會運動圖片專家組-4第10部分高級視頻編碼標準/國際電信聯盟電信部H.264推薦以及其擴展。根據本發明的另一方面，提供了一種視頻編碼方法。該方法包括基于視差向量預測子來對與多視角視頻內容相對應的圖片中的塊進行編碼，該視差向量預測子使用時間共位塊的相鄰視差向量和時間共位視差向量中的至少一個。根據本發明的另一方面，提供了一種視頻解碼器。該視頻解碼器包括解碼器，該解碼器用于通過在時間預測和交叉視角預測之間進行選擇以實現對圖片的塊的預測來對該塊進行解碼。該圖片是與多視角視頻內容相對應并且具有關于相同或相似場景的不同視角點的一組圖片之一。該圖片代表不同視角點之一。高級別語法被讀取以確定對該塊使用交叉視角預測。根據本發明的另一方面，提供了一種視頻解碼器。該視頻解碼器包括解碼器，該解碼器用于利用視差向量對圖片中的塊進行解碼。該圖片對應于多視角視頻內容并且是從符合以下之中的至少一種的比特流解碼出的國際標準化組織/國際電工委員會運動圖片專家組-4第10部分高級視頻解碼標準/國際電信聯盟電信部H.264推薦以及其擴展。根據本發明的另一方面，提供了一種視頻解碼器。該視頻解碼器包括解碼器，該解碼器用于基于視差向量預測子來對與多視角視頻內容相對應的圖片中的塊進行解碼，該視差向量預測子使用時間共位塊的相鄰視差向量和時間共位視差向量中的至少一個。根據本發明的另一方面，提供了一種視頻解碼方法。該方法包括通過在時間預測和交叉視角預測之間進行選擇以實現對圖片的塊的預測來對該塊進行解碼。該圖片是與多視角視頻內容相對應并且具有關于相同或相似場景的不同視角點的一組圖片之一。該圖片代表不同視角點之一。高級別語法被讀取以確定對該塊使用交叉視角預測。根據本發明的另一方面，提供了一種視頻解碼方法。該方法包括利用視差向量對圖片中的塊進行解碼。該圖片對應于多視角視頻內容并且是從符合以下之中的至少一種的比特流解碼出的國際標準化組織/國際電工委員會運動圖片專家組-4第10部分高級視頻解碼標準/國際電信聯盟電信部H.264推薦以及其擴展(400)。根據本發明的另一方面，提供了一種視頻解碼方法。該方法包括基于視差向量預測子來對與多視角視頻內容相對應的圖片中的塊進行解碼，該視差向量預測子使用時間共位塊的相鄰視差向量和時間共位視差向量中的至少一個。本發明的這些和其他方面、特征和優點將從以下的要結合附圖理解的對示例性實施例的詳細描述中清楚顯現出來。根據以下示例性附圖可以更好地理解本發明，附圖中圖1是根據本原理的實施例、本原理可應用到的示例性多視角視頻編碼(MVC)編碼器的框圖2是根據本原理的實施例、本原理可應用到的示例性多視角視頻編碼(MVC)解碼器的框圖3是根據本原理的實施例的用于多視角視頻內容的參考列表構造的示例性方法的流程圖4是根據本原理的實施例用于執行時間/交叉視角模式判決的示例性方法的流程圖5是根據本原理的實施例用于為與多視角視頻內容相對應的同一片段(slice)處理運動和視差向量的示例性方法的流程圖；以及圖6是根據本原理的實施例用于為多視角視頻內容處理運動和視差向量的示例性方法的流程圖。具體實施例方式本發明針對用于多視角視頻編碼的方法和裝置。本說明書說明了本發明的原理。因此，將會明白，本領域的技術人員將能夠設計出各種配置，這些配置雖然在這里沒有明確描述或者示出，但卻實現了本發明的原理并被包括在其精神和范圍之內。這里記載的所有示例和條件語言都意圖用于教學目的，以幫助讀者理解本發明的原理和發明人對推進現有技術所貢獻的概念，并且應當被解釋為不限于這種具體記載的示例和條件。另外，這里的所有記載本發明的原理、方面和實施例及其具體示例的陳述，都意圖包括其結構和功能等同物。此外，希望這種等同物既包括當前己知的等同物，也包括將來開發出的等同物，即所開發出的任何執行相同功能的元件，不論其結構如何。因此，例如，本領域的技術人員將會明白，這里給出的框圖表示了實現本發明的原理的示例性電路的概念性視圖。類似地，將會明白，任何流程圖、狀態轉換圖、偽代碼等等都表示實質上可以表示在計算機可讀介質中并可以由計算機或處理器來如此執行的各種過程，不論這種計算機或處理器是否被明確地示出。圖中所示的各種元件的功能可通過使用專用硬件以及能夠結合適當的軟件來執行軟件的硬件來提供。當由處理器提供時，這些功能可由單個專用處理器提供、由單個共享處理器提供、或者由多個獨立的處理器(其中一些可能被共享)提供。另外，對術語"處理器"或"控制器"的明確使用不應當被解釋為只指能夠執行軟件的硬件，而是可以隱含地包括(但不限于)數字信號處理器("DSP")硬件、用于存儲軟件的只讀存儲器("ROM")、隨機存取存儲器("RAM")和非易失性存儲設備。還可以包括其他傳統的和/或定制的硬件。類似地，圖中所示的任何開關都只是概念性的。它們的功能可通過程序邏輯的操作來實現、通過專用邏輯來實現、通過程序控制和專用邏輯的交互來實現，或者甚至手工實現，具體的技術由實現者根據對上下文的更具體理解來選擇。在其權利要求中，被表達為用于執行指定功能的裝置的任何元件都意圖涵蓋執行該功能的任何方式，例如包括a)執行該功能的電路元件的組合或者b)任何形式的軟件，因此包括固件、微代碼等等，這種軟件與用于執行該軟件的適當電路相組合以執行該功能。這種權利要求所限定的發明存在于以下事實中由所記載的各種裝置所提供的功能以權利要求所要求的方式被組合到一起。因此，認為任何能夠提供這些功能的裝置都與這里示出的那些是等同的。說明書中提到本原理的"一個實施例"或"實施例"意指結合該實施例描述的特定特征、結構、特性等等被包括在本原理的至少一個實施例中。因此，說明書中各處出現的短語"在一個實施例中"或者"在實施例"中不一定均指相同實施例。參考圖1，示例性的多視角視頻編碼(MVC)編碼器由標號100總地指示。編碼器100包括組合器105，該組合器105具有與變換器110的輸入發生信號通信連接的輸出。變換器110的輸出與量化器115的輸入發生信號通信連接。量化器115的輸出與熵編碼器120的輸入和逆量化器125的輸入發生信號通信連接。逆量化器125的輸出與逆變換器130的輸入發生信號通信連接。逆變換器130的輸出與組合器135的第一同相輸入發生信號通信連接。組合器135的輸出與內預測器145的輸入和解塊濾波器150的輸入發生信號通信連接。解塊濾波器150的輸出與參考圖片存儲155(用于視角i)的輸入發生信號通信連接。參考圖片存儲155的輸出與運動補償器175的第一輸入和運動估計器180的第一輸入發生信號通信連接。運動估計器180的輸出與運動補償器175的第二輸入發生信號通信連接。參考圖片存儲160(用于其他視角)的輸出與視差/照明估計器170的第一輸入和視差/照明補償器165的第一輸入發生信號通信連接。視差/照明估計器170的輸出與視差/照明補償器165的第二輸入發生信號通信連接。熵編碼器120的輸出可用作編碼器100的輸出。組合器105的同相輸入可用作編碼器100的輸入，并且與視差/照明估計器170的第二輸入以及運動估計器180的第二輸入發生信號通信連接。開關185的輸出與組合器135的第二同相輸入以及組合器105的反相輸入發生信號通信連接。開關185包括與運動補償器175的輸出發生信號通信連接的第一輸入、與視差/照明補償器165的輸出發生信號通信連接的第二輸入以及與內預測器145的輸出發生信號通信連接的第三輸入。模式判決模塊140具有連接到開關185的輸出，用于控制哪個輸入被開關185選擇。參考圖2，示例性的多視角視頻編碼(MVC)解碼器由標號200總地指示。解碼器200包括熵解碼器205，該熵解碼器205具有與逆量化器210的輸入發生信號通信連接的輸出。逆量化器的輸出與逆變換器215的輸入發生信號通信連接。逆變換器215的輸出與組合器220的第一同相輸入發生信號通信連接。組合器220的輸出與解塊濾波器225的輸入和內預測器230的輸入發生信號通信連接。解塊濾波器225的輸出與參考圖片存儲240(用于視角i)的輸入發生信號通信連接。參考圖片存儲240的輸出與運動補償器235的第一輸入發生信號通信連接。參考圖片存儲245(用于其他視角)的輸出與視差/照明補償器250的第一輸入發生信號通信連接。熵編碼器205的輸入可用作解碼器200的輸入，用于接收殘余比特流。另外，模式模塊260的輸入也可用作解碼器200的輸入，用于接收用來控制哪個輸入被開關255選擇的控制語法(syntax)。另外，運動補償器235的第二輸入可用作解碼器200的輸入，用于接收運動向量。另外，視差/照明補償器250的第二輸入可用作解碼器200的輸入，用于接收視差向量和照明補償語法。開關255的輸出與組合器220的第二同相輸入發生信號通信連接。開關255的第一輸入與視差/照明補償器250的輸出發生信號通信連接。開關255的第二輸入與運動補償器235的輸出發生信號通信連接。開關255的第三輸入與內預測器230的輸出發生信號通信連接。模式模塊260的輸出與開關255發生信號通信連接，用于控制哪個輸入被開關255選擇。解塊濾波器225的輸出可用作解碼器的輸出。多視角視頻編碼(MVC)是用于多視角序列的編碼的壓縮框架。多視角視頻編碼(MVC)序列是從不同視角點捕捉相同場景的兩個或更多個視頻序列的集合。由于多視角視頻源包括相同場景的多個視角，因此在多個視角圖像之間存在高度的相關性。因此，除了時間冗余之外還可以利用視角冗余，并且視角冗余是通過跨不同的視角執行視角預測來實現的。因此，這里描述的本原理的實施例可以包括時間和交叉視角預測兩者。出于說明目的，這里針對MPEG-4AVC標準來描述本原理的實施例。但是，應當明白本發明并不限于MPEG-4AVC標準，并且，有了這里提供的本原理的教導，本領域和相關領域的普通技術人員將想出本原理可應用到的、能夠進行多視角視頻編碼的這種和其他視頻編碼標準，同時維持本原理的范圍。這里描述的涉及MPEG-4AVC標準的本原理的實施例例如可以包括解塊濾波器變化和/或語法的熵編碼。在一個實施例中，在片段級別上，引入了交叉視角預測列表來實現視差預測，并且添加了交叉視角編碼類型語法來指示視差預測的編碼類型。在宏塊(MB)級別上，引入了標志語法來指示對于每個信號塊是使用運動補償還是視差補償。另外，在針對MPEG-4AVC標準的實施例中可以利用的其他變化例如包括解塊濾波器、用于新語法的上下文自適應二元算術編碼(CABAC)上下文以及參數設置級別和片段頭部級別上的附加語法。現在將描述根據本原理的實施例的交叉視角編碼類型和交叉視角預測列表。MPEG-4AVC標準通過形成兩個預測列表List0和Listl來執行幀間預測。因此，當前幀中的圖像塊可以通過只使用List0中的一幅參考圖片來補償，或者通過使用兩幅參考圖片(每個列表一幅)來補償。在片段頭部中，通告了slice—type語法，以指示每個片段的時間編碼類型。當slice—type=P—SLICE時，只有List0會被用于運動補償中。當sliceJype=B_SLICE時，List0和Listl都可能被用于運動補償中。為了實現不同視角之間的交叉視角預測，本原理的一個實施例包括使用兩個新的預測列表ViewListO和ViewListl。ViewListO/ViewListl中的圖片是來自除當前視角外的相機視角的參考圖片。片段頭部中的新語法view—slice—type被用于指示交叉視角預測的編碼類型。例如，如果特定的片段具有slice—type=B—SLICE和view—slice—type=P—SLICE,則該片段中的宏塊(MB)可以被時間編碼為B_SLICE編碼類型，或者被交叉視角編碼為P一SLICE編碼類型。在MPEG-4AVC標準框架中實現交叉視角預測的另一種方式包括將來自另一視角的參考圖片插入在列表ListO/Listl中，而不引入新的視角預測列表和交叉視角編碼類型。但是，第一種方法的優點如下。第一種方法的一個優點在于，由于ViewListO/ViewListl中的參考圖片只包括交叉視角參考，因此對ref一idx的通告所花費的比特比起在同一列表中包括相同視角參考和交叉視角參考兩者來說要更少。第一種方法的另一優點在于，具有兩個新的列表ViewListO/ViewListl提供了一種處理時間和交叉視角預測的單獨方式。這涉及這樣的情況，即ListO/Listl既包括時間參考又包括交叉視角參考，從而用于參考圖片列表構造的MPEG-4AVC標準重排序過程(reorderingprocess)將需要被修改并且必定會更復雜。在一個實施例中，每個片段的交叉視角參考列表可根據以下規則來形成。關于第一規則，在片段頭部中，對于ViewListO和ViewListl都通告交叉視角參考圖片的數目及其viewjd。view—id在兩個交叉視角預測列表中的每一個中是不同的。至于第二規則，交叉視角預測列表中的參考圖片以與它們出現在片段頭部中的順序相同的順序被排序。對于每個被參考的視角，具有最近圖片順序計數(POC)號(相對于當前片段的POC)的參考圖片被用在當前片段的交叉視角預測列表中。可以包括附加的參考重排序語法，以便允許對交叉視角參考圖片進行更靈活的處理。參考圖3，用于多視角視頻內容的參考列表構造的示例性方法由標號300總地指示。方法300包括開始塊305，該開始塊305將控制傳遞給判決塊310。判決塊310判定當前片段類型是否是P片段或B片段。如果是，則控制被傳遞到功能塊315。否則，控制被傳遞到判決塊330。功能塊315利用時間參考來構造ListO，并將控制傳遞到判決塊320。判決塊320判定當前片段類型是否是B片段。如果是，則控制被傳遞到功能塊325。否則，控制被傳遞到判決塊330。功能塊325利用時間參考來構造Listl，并將控制傳遞到判決塊330。判決塊330判定當前視角片段類型是否是P片段或B片段。如果是，則控制被傳遞到功能塊335。否則，控制被傳遞到循環限制塊350。功能塊335利用交叉視角參考來構造ViewListO，并將控制傳遞到判決塊340。判決塊340判定當前片段類型是否是B片段。如果是，則控制被傳遞到功能塊345。否則，控制被傳遞到循環限制塊350。功能塊345利用交叉視角參考來構造ViewListO，并將控制傳遞到循環限制塊350。循環限制塊350在每個宏塊上開始一個循環，包括利用變量mb=0至MacroBlockslnPic-l來設置循環的范圍，并將控制傳遞到功能塊355。功能塊355利用ListO/Listl對當前宏塊編碼，并將控制傳遞到判決塊360。判決塊360判定當前視角片段類型是否等于P片段或B片段。如果是，則控制被傳遞到功能塊365。否則控制被傳遞到功能塊370。功能塊365利用ViewListO/ViewListl對當前宏塊編碼，并將控制傳遞到功能塊370。功能塊370選擇最佳模式，設置mvc_prediction—flag,并將控制傳遞到功能塊375。功能塊375執行運動/視差向量緩沖處理，并將控制傳遞到循環限制塊380。循環限制塊結束循環，并將控制傳遞到功能塊385。功能塊385將編碼后的圖片保存在解碼圖片緩沖器(dqb)中，并將控制傳遞到結束塊390。由于每個片段的交叉視角預測可以完全利用交叉視角編碼類型和視角預測列表來配置，因此多視角視頻編碼(MVC)編解碼器可支持任意的視角編碼順序和視角可縮放性。在一個實施例中，在MB級別上，被稱為mvc_pred—flag的新語法指示是時間預測還是交叉視角預測被用于對每個信號塊編碼。在mvc_pred—flag=0的情況下，將根據slice—type將ListO/Listl用于運動補償。當mvc_pred—flag=1時，則將根據view—slice—type使用ViewListO/ViewListl。參考圖4，用于執行時間/交叉視角模式判決的示例性方法由標號400總地指示。方法400包括開始塊405，該開始塊405將控制傳遞給判決塊410。判決塊410判定當前片段類型是否是P片段或B片段。如果是，則控制被傳遞到功能塊415。否則，控制被傳遞到判決塊430。功能塊415利用時間參考來構造ListO，并將控制傳遞到判決塊420。判決塊420判定當前片段類型是否是B片段。如果是，則控制被傳遞到功能塊425。否則，控制被傳遞到判決塊430。功能塊425利用時間參考來構造Listl，并將控制傳遞到判決塊430。判決塊430判定當前視角片段類型是否是P片段或B片段。如果是，則控制被傳遞到功能塊435。否則，控制被傳遞到循環限制塊450。功能塊435利用交叉視角參考來構造ViewListO，并將控制傳遞到判決塊440。判決塊440判定當前片段類型是否是B片段。如果是，則控制被傳遞到功能塊445。否則，控制被傳遞到循環限制塊450。功能塊445利用交叉視角參考來構造ViewListO，并將控制傳遞到循環限制塊450。循環限制塊450在每個宏塊上開始一個循環，包括利用變量mb=0至MacroBlockslnPic-l來設置循環的范圍，并將控制傳遞到判決塊455。判決塊455判定mvc_prediction—flag是否等于1。如果是，則控制被傳遞到功能塊460。否則，控制被傳遞到功能塊465。功能塊460利用ViewListO/ViewListl對宏塊解碼，并將控制傳遞到功能塊470。功能塊465利用ListO/Listl對宏塊解碼，并將控制傳遞到功能塊470。功能塊470執行運動/視差向量緩沖處理，并將控制傳遞到循環限制塊475。循環限制塊475結束循環，并將控制傳遞到功能塊480。功能塊480將解碼后的圖片保存在解碼圖片緩沖器(dqb)中，并將控制傳遞到結束塊485。添加了三個新的CABAC上下文，用于對mvc_pred—dir語法進行編碼。上下文建模與transform—size—8x8—flag語法相同。在MPEG-4AVC標準的多視角擴展中，解碼圖片緩沖器(dpb)需要能夠處理來自多個視角的解碼后的圖片。假定有N個輸入視角，那么本原理的一個實施例可能包括N個分離的dpb。每個dpb存儲來自一個特定視角的解碼后的圖片。管理dpb的另一種方式是將所有視角圖片放在單個dpb中。但是，第一種方法具有以下優點。第一種方法的一個優點在于每個視角具有其自己的dpb，并且具有與MPEG-4AVC標準中相同的解碼參考標記過程。這種更簡單的方法降低了在同一dpb中管理不同視角圖片的復雜度。第一種方法的另一個優點涉及不希望減少可用時間參考幀的數目，因為時間相關性一般強于交叉視角相關性。在每個視角在其dpb中管理其自己的參考圖片的情況下，時間預測將具有與同時聯播中相同的多參考幀預測能力。與傳統的視頻編碼相比，MVC的獨特特性在于運動和視差的共存。被時間預測的塊將需要通告運動向量(MV)，而在交叉視角預測的情況下則需要通告視差向量(DV)。這里描述了兩種示例性的方法，用于為同一片段處理運動向量和視差向量兩者。但是，應當明白，有了這里提供的本發明的教導，本領域和相關領域的普通技術人員將想出其這些和其他方法，同時保持本發明的范圍。在第一種方法中，對于每個塊，通告和存儲運動向量或者視差向量，但不是兩者。是運動向量還是視差向量將被通告和存儲取決于語法mvc_pred_flag。這將會要求較少的存儲器存儲，但是組合的向量場將會不一致。在第二種方法中，對于每個塊，存儲運動向量和視差向量兩者。這或者可以通過通告兩個向量來實現，或者可以通過通告一個并利用向量場插值填充另一個來實現。此方法將花費更多的存儲器存儲，但是運動和視差場的一致性能夠得到更好的保持。第一種方法的示例性實施例在圖5中示出并被參考圖5來描述。第二種方法的示例性實施例在圖6中示出并被參考圖6來描述。參考圖5，用于為與多視角視頻內容相對應的同一片段處理運動和視差向量的示例性方法由標號500總地指示。方法500包括開始塊505，該開始塊505將控制傳遞到判決塊510。判決塊510判定mvc_pred—flag是否等于0。如果是，則控制被傳遞到功能塊515。否則，控制被傳遞到功能塊520。功能塊515形成視差向量預測子、處理視差向量DV、將視差向量DV存儲在VectorBuffer中，并將控制傳遞到結束塊525。功能塊520形成運動向量預測子，處理運動向量MV，將運動向量MV存儲在VectorBuffer中，并將控制傳遞到結束塊525。參考圖6，用于為多視角視頻內容處理運動和視差向量的另一種方法由標號600總地指示。方法600包括開始塊605，該開始塊505將控制傳遞到功能塊610。功能塊610形成視差向量預測子，處理視差向量DV，將視差向量DV存儲在VectorBufferl中，并將控制傳遞到功能塊615。功能塊615形成運動向量預測子，處理運動向量MV，將運動向量MV存儲在VectorBuffer2中，并將控制傳遞到結束塊620。在同一片段的編碼中具有運動和視差向量兩者的含義出自以下方面(1)對運動/視差向量的預測性編碼；以及(2)直接(Direct)和跳過(Skip)模式。在MPEG-4AVC標準中，利用來自相鄰塊的中值或方向預測來對運動向量分量進行差分編碼。在多視角視頻編碼中，相鄰塊可能具有與當前塊不同的預測方向。為了在對運動/視差向量的編碼中節省比特，優選使用最相關的信息來形成預測子。取決于是否運動向量和視差向量兩者都對于相鄰塊可用，對于第一種方法，只使用那些具有相同預測方向的相鄰塊；對于第二方法，在形成運動向量預測子時只使用相鄰塊的運動向量，而在形成視差預測子時只使用相鄰塊的視差向量。除了空間相鄰塊以外，時間上共位的塊也可用來增強視差預測，因為視差場在時間維上通常是靜止的。MPEG-4AVC標準中的跳過和直接模式是更好地利用了存在于相鄰宏塊之間的時空相關性的有效編碼工具，因為它們能夠表示運動，而不必傳遞運動向量。在多視角視頻編碼中，這些模式應當被修改，以考慮到附加的交叉視角相關性。對于P一Skip模式，獲得重構的信號，該信號類似于參考位于List0的索引0的圖片的P—16xl6宏塊型預測信號。用于重構P一Skip宏塊的運動向量與用于16x16塊的運動向量預測子類似。在MVC中，對運動/視差向量預測子的上述修改將幫助使P—Skip模式更為有用。對于B—SLICE編碼，B—Skip/B—Direct—16xl6/B—Direct—8x8模式應當被修改，以考慮到運動和視差的混合。在MPEG-4AVC標準中支持兩種不同的直接模式，即時間直接和空間直接。.對于時間直接模式，運動向量是從第一Listl參考中的共位位置得到的。當第一Listl參考被視差預測時，系統或者可以尋找其他Listl參考(ref—idx〉0)中的共位位置處的運動向量，或者使用空間運動向量預測子。對于空間直接模式，運動向量是以與P—SKIP所使用的方式類似的方式得到的，但是ListO/Listl兩者都被考慮了。P—SKIP中進行的修改也可在Listl中被擴展。表1-4示出了多視角視頻編碼的各種語法，包括根據本原理的各種實施例的那些。表1示出了多視角視頻編碼的序列參數設置RBSP語法。表2示出了多視角視頻編碼的圖片參數設置RBSP語法。表3示出了多視角視頻編碼的片段頭部語法。表4示出了多視角視頻編碼的宏塊層語法。表l<table>tableseeoriginaldocumentpage23</column></row><table>表2<table>tableseeoriginaldocumentpage23</column></row><table>表3<table>tableseeoriginaldocumentpage24</column></row><table>表4<table>tableseeoriginaldocumentpage25</column></row><table>現在將描述本發明所帶來的許多優點/特征中的一些，其中一些在上面已經提到。例如，一個優點/特征是一種視頻編碼器，該視頻編碼器包括編碼器，該編碼器用于通過在時間預測和交叉視角預測之間進行選擇以實現對圖片的塊的預測來對該塊進行編碼。該圖片是與多視角視頻內容相對應并且具有關于相同或相似場景的不同視角點的一組圖片之一。該圖片代表不同視角點之一。高級別語法被用于指示對該塊使用交叉視角預測。另一個優點/特征是如上所述的視頻編碼器，其中該編碼器對該圖片進行編碼，以提供符合以下之中的至少一種的結果比特流國際標準化組織/國際電工委員會(ISO/IEC)運動圖片專家組-4(MPEG-4)第IO部分高級視頻編碼(AVC)標準/國際電信聯盟電信部(ITU-T)H.264推薦以及其擴展。另一個優點/特征是如上所述的視頻編碼器，其中該高級別語法包括片段級別語法。另外，另一個優點/特征是如上所述的視頻編碼器，其中塊級別語法被用于指示是運動補償還是視差補償被應用到該塊。另外，另一個優點/特征是一種視頻編碼器，該視頻編碼器包括編碼器，該編碼器用于利用視差向量對圖片中的塊進行編碼。該圖片對應于多視角視頻內容并且被編碼以提供符合以下之中的至少一種的結果比特流國際標準化組織/國際電工委員會(IS0/正C)運動圖片專家組-4(MPEG-4)第10部分高級視頻編碼(AVC)標準/國際電信聯盟電信部(ITU-T)H.264推薦以及其擴展。另外，另一個優點/特征是如上所述的視頻編碼器，其中該編碼器將都與該塊相對應的運動向量和視差向量混合在單個向量場中。此外，另一個優點/特征是如上所述的視頻編碼器，其中該編碼器利用僅從下述相鄰塊得到的運動向量預測子和視差向量預測子中的至少一個來對該塊進行編碼所述相鄰塊與該塊具有相同的時間預測標志和相同的交叉視角預測標志中的至少一個。另外，另一個優點/特征是如上所述的視頻編碼器，其中該編碼器通過為與該塊相對應的運動向量和視差向量使用分離的向量場來對該塊進行編碼。另外，另一個優點/特征是如上所述的視頻編碼器，其中該編碼器利用只參考相應的運動向量場的運動向量預測子和只參考相應的視差向量場的視差向量預測子中的至少一個來對該塊進行編碼，該運動向量場和該視差向量場被包括在所述分離的向量場中。此外，另一個優點/特征是一種視頻編碼器，該視頻編碼器包括編碼器，該編碼器用于基于視差向量預測子來對與多視角視頻內容相對應的圖片中的塊進行編碼，該視差向量預測子使用時間共位塊的相鄰視差向量和時間共位視差向量中的至少一個。本領域的普通技術人員基于這里的教導可以很容易確定本發明的這些和其他特征和優點。應當理解，本發明的教導可以以各種形式的硬件、軟件、固件、專用處理器或其他組合來實現。最優選的是本發明的教導被實現為硬件和軟件的組合。另外，軟件可以實現為有形地包含在程序存儲單元上的應用程序。應用程序可以被上載到包括任何適當的體系結構的機器并被該機器所執行。優選地，該機器是在具有諸如以下硬件的計算機平臺上實現的一個或多個中央處理單元("CPU")、隨機存取存儲器("RAM")以及輸入/輸出("I/O")接口。計算機平臺還可包括操作系統和微指令代碼。這里描述的各種過程和功能可以是微指令代碼的一部分或者應用程序的一部分，或者是其任何組合(可由CPU執行)。此外，各種其他的外圍單元可連接到該計算機平臺，例如附加的數據存儲單元和打印單元。還應當理解，因為附圖中示出的構成系統組件和方法中的一些優選地是用軟件實現的，因此系統組件或過程功能塊之間的實際連接可能根據對本發明編程的方式而有所不同。有了這里的教導，本領域的普通技術人員將能夠想出本發明的這些和其他實現方式或配置。雖然這里己經參考附圖描述了示例性的實施例，但是應當理解，本發明并不限于這些確切的實施例，本領域的普通技術人員可在其中實現各種變化和修改，而不脫離本發明的精神或范圍。所有這種變化和修改都意圖被包括在所附權利要求所限定的本發明的范圍之內。權利要求1.一種視頻編碼器，包括編碼器(100)，用于通過在時間預測和交叉視角預測之間進行選擇以實現對圖片的塊的預測來對該塊進行編碼，所述圖片是與多視角視頻內容相對應并且具有關于相同或相似場景的不同視角點的一組圖片之一，所述圖片代表所述不同視角點之一，其中高級別語法被用于指示對所述塊使用交叉視角預測。2.如權利要求1所述的視頻編碼器，其中所述編碼器(100)對所述圖片進行編碼，以提供符合以下之中的至少一種的結果比特流國際標準化組織/國際電工委員會運動圖片專家組-4第10部分高級視頻編碼標準/國際電信聯盟電信部H.264推薦以及其擴展。3.如權利要求1所述的視頻編碼器，其中所述高級別語法包括片段級別語法。4.如權利要求1所述的視頻編碼器，其中塊級別語法被用于指示是運動補償還是視差補償被應用到所述塊。5.—種視頻編碼器，包括編碼器(100)，用于利用視差向量對圖片中的塊進行編碼，其中所述圖片對應于多視角視頻內容并且被編碼以提供符合以下之中的至少一種的結果比特流國際標準化組織/國際電工委員會運動圖片專家組-4第10部分高級視頻編碼標準/國際電信聯盟電信部H.264推薦以及其擴展。6.如權利要求5所述的視頻編碼器，其中所述編碼器(100)將都與所述塊相對應的運動向量和視差向量混合在單個向量場中。7.如權利要求6所述的視頻編碼器，其中所述編碼器(100)利用僅從下述相鄰塊得到的運動向量預測子和視差向量預測子中的至少一個來對所述塊進行編碼所述相鄰塊與所述塊具有相同的時間預測標志和相同的交叉視角預測標志中的至少一個。8.如權利要求5所述的視頻編碼器，其中所述編碼器(100)通過為與所述塊相對應的運動向量和視差向量使用分離的向量場來對所述塊進行編碼。9.如權利要求8所述的視頻編碼器，其中所述編碼器(100)利用只參考相應的運動向量場的運動向量預測子和只參考相應的視差向量場的視差向量預測子中的至少一個來對所述塊進行編碼，所述運動向量場和所述視差向量場被包括在所述分離的向量場中。10.—種視頻編碼器，包括編碼器(100)，用于基于視差向量預測子來對與多視角視頻內容相對應的圖片中的塊進行編碼，所述視差向量預測子使用時間共位塊的相鄰視差向量和時間共位視差向量中的至少一個。11.一種視頻編碼方法，包括通過在時間預測和交叉視角預測之間進行選擇以實現對圖片的塊的預測來對該塊進行編碼(370)，所述圖片是與多視角視頻內容相對應并且具有關于相同或相似場景的不同視角點的一組圖片之一，所述圖片代表所述不同視角點之一，其中高級別語法被用于指示對所述塊使用交叉視角預測。12.如權利要求11所述的方法，其中所述編碼步驟對所述圖片進行編碼，以提供符合以下之中的至少一種的結果比特流國際標準化組織/國際電工委員會運動圖片專家組-4第10部分高級視頻編碼標準/國際電信聯盟電信部H.264推薦以及其擴展(300)。13.如權利要求11所述的方法，其中所述高級別語法包括片段級別語法(330)。14.如權利要求11所述的方法，其中塊級別語法被用于指示是運動補償還是視差補償被應用到所述塊(370)。15.—種視頻編碼方法，包括利用視差向量對圖片中的塊進行編碼，其中所述圖片對應于多視角視頻內容并且被編碼以提供符合以下之中的至少一種的結果比特流國際標準化組織/國際電工委員會運動圖片專家組-4第10部分高級視頻編碼標準/國際電信聯盟電信部H.264推薦以及其擴展(300)。16.如權利要求15所述的方法，其中所述編碼步驟將都與所述塊相對應的運動向量和視差向量混合在單個向量場中(500)。17.如權利要求16所述的方法，其中所述編碼步驟利用僅從下述相鄰塊得到的運動向量預測子和視差向量預測子中的至少一個來對所述塊進行編碼所述相鄰塊與所述塊具有相同的時間預測標志和相同的交叉視角預測標志中的至少一個(515、520)。18.如權利要求15所述的方法，其中所述編碼步驟通過為與所述塊相對應的運動向量和視差向量使用分離的向量場來對所述塊進行編碼(600)。19.如權利要求18所述的方法，其中所述編碼步驟利用只參考相應的運動向量場的運動向量預測子和只參考相應的視差向量場的視差向量預測子中的至少一個來對所述塊進行編碼，所述運動向量場和所述視差向量場被包括在所述分離的向量場中(610、615)。20.—種視頻編碼方法，包括基于視差向量預測子來對與多視角視頻內容相對應的圖片中的塊進行編碼(375)，所述視差向量預測子使用時間共位塊的相鄰視差向量和時間共位視差向量中的至少一個。21.—種視頻解碼器，包括解碼器(200)，用于通過在時間預測和交叉視角預測之間進行選擇以實現對圖片的塊的預測來對該塊進行解碼，所述圖片是與多視角視頻內容相對應并且具有關于相同或相似場景的不同視角點的一組圖片之一，所述圖片代表所述不同視角點之一，其中高級別語法被讀取以確定對所述塊使用交叉視角預測。22.如權利要求21所述的視頻解碼器，其中所述解碼器(200)從符合以下之中的至少一種的比特流解碼出所述圖片國際標準化組織/國際電工委員會運動圖片專家組-4第10部分高級視頻解碼標準/國際電信聯盟電信部H.264推薦以及其擴展。23.如權利要求21所述的視頻解碼器，其中所述高級別語法包括片段級別語法。24.如權利要求21所述的視頻解碼器，其中塊級別語法被用于指示是運動補償還是視差補償被應用到所述塊。25.—種視頻解碼器，包括解碼器(200)，用于利用視差向量對圖片中的塊進行解碼，其中所述圖片對應于多視角視頻內容并且是從符合以下之中的至少一種的比特流解碼出的國際標準化組織/國際電工委員會運動圖片專家組-4第10部分高級視頻解碼標準/國際電信聯盟電信部H.264推薦以及其擴展。26.如權利要求25所述的視頻解碼器，其中所述解碼器(200)使用被混合在單個向量場中的、都與所述塊相對應的運動向量和視差向量。27.如權利要求26所述的視頻解碼器，其中所述解碼器(200)利用僅從下述相鄰塊得到的運動向量預測子和視差向量預測子中的至少一個來對所述塊進行解碼所述相鄰塊與所述塊具有相同的時間預測標志和相同的交叉視角預測標志中的至少一個。28.如權利要求25所述的視頻解碼器，其中所述解碼器(200)通過為與所述塊相對應的運動向量和視差向量使用分離的向量場來對所述塊進行解碼。29.如權利要求28所述的視頻解碼器，其中所述解碼器(200)利用只參考相應的運動向量場的運動向量預測子和只參考相應的視差向量場的視差向量預測子中的至少一個來對所述塊進行解碼，所述運動向量場和所述視差向量場被包括在所述分離的向量場中。30.—種視頻解碼器，包括解碼器(200)，用于基于視差向量預測子來對與多視角視頻內容相對應的圖片中的塊進行解碼，所述視差向量預測子使用時間共位塊的相鄰視差向量和時間共位視差向量中的至少一個。31.—種視頻解碼方法，包括通過在時間預測和交叉視角預測之間進行選擇以實現對圖片的塊的預測來對該塊進行解碼，所述圖片是與多視角視頻內容相對應并且具有關于相同或相似場景的不同視角點的一組圖片之一，所述圖片代表所述不同視角點之一，其中高級別語法被讀取以確定對所述塊使用交叉視角預測(455)。32.如權利要求31所述的方法，其中所述解碼步驟從符合以下之中的至少一種的比特流解碼出所述圖片國際標準化組織/國際電工委員會運動圖片專家組-4第10部分高級視頻解碼標準/國際電信聯盟電信部H.264推薦以及其擴展。33.如權利要求31所述的方法，其中所述高級別語法包括片段級別語法(430)。34.如權利要求31所述的方法，其中塊級別語法被用于指示是運動補償還是視差補償被應用到所述塊(455)。35.—種視頻解碼方法，包括利用視差向量對圖片中的塊進行解碼，其中所述圖片對應于多視角視頻內容并且是從符合以下之中的至少一種的比特流解碼出的國際標準化組織/國際電工委員會運動圖片專家組-4第10部分高級視頻解碼標準/國際電信聯盟電信部H.264推薦以及其擴展(400)。36.如權利要求35所述的方法，其中所述解碼步驟使用被混合在單個向量場中的、都與所述塊相對應的運動向量和視差向量(500)。37.如權利要求36所述的方法，其中所述解碼步驟利用僅從下述相鄰塊得到的運動向量預測子和視差向量預測子中的至少一個來對所述塊進行解碼所述相鄰塊與所述塊具有相同的時間預測標志和相同的交叉視角預測標志中的至少一個(515、520)。38.如權利要求35所述的方法，其中所述解碼步驟通過為與所述塊相對應的運動向量和視差向量使用分離的向量場來對所述塊進行解碼(600)。39.如權利要求38所述的方法，其中所述解碼步驟利用只參考相應的運動向量場的運動向量預測子和只參考相應的視差向量場的視差向量預測子中的至少一個來對所述塊進行解碼，所述運動向量場和所述視差向量場被包括在所述分離的向量場中(610、615)。40.—種視頻解碼方法，包括基于視差向量預測子來對與多視角視頻內容相對應的圖片中的塊進行解碼(470)，所述視差向量預測子使用時間共位塊的相鄰視差向量和時間共位視差向量中的至少一個。41.一種用于視頻編碼的視頻信號結構，包括圖片中的塊，該塊是通過在時間預測和交叉視角預測之間進行選擇以實現對該塊的預測而被編碼的，所述圖片是與多視角視頻內容相對應并且具有關于相同或相似場景的不同視角點的一組圖片之一，所述圖片代表所述不同視角點之一，其中片段級別語法被用于指示對所述塊使用交叉視角預測。42.—種存儲介質，其上編碼有視頻信號數據，包括圖片中的塊，該塊是通過在時間預測和交叉視角預測之間進行選擇以實現對該塊的預測而被編碼的，所述圖片是與多視角視頻內容相對應并且具有關于相同或相似場景的不同視角點的一組圖片之一，所述圖片代表所述不同視角點之一，其中片段級別語法被用于指示對所述塊使用交叉視角預測。43.—種用于視頻編碼的視頻信號結構，包括圖片中的塊，該塊是通過在時間預測和交叉視角預測之間進行選擇以實現對該塊的預測而被編碼的，所述圖片是與多視角視頻內容相對應并且具有關于相同或相似場景的不同視角點的一組圖片之一，所述圖片代表所述不同視角點之一，其中塊級別語法被用于指示是運動補償還是視差補償被應用到所述塊。44.一種存儲介質，其上編碼有視頻信號數據，包括圖片中的塊，該塊是通過在時間預測和交叉視角預測之間進行選擇以實現對該塊的預測而被編碼的，所述圖片是與多視角視頻內容相對應并且具有關于相同或相似場景的不同視角點的一組圖片之一，所述圖片代表所述不同視角點之一，其中塊級別語法被用于指示是運動補償還是視差補償被應用到所述塊。45.—種用于視頻編碼的視頻信號結構，包括利用視差向量編碼的圖片中的塊，其中所述圖片對應于多視角視頻內容并且被編碼以提供符合以下之中的至少一種的結果比特流國際標準化組織/國際電工委員會運動圖片專家組-4第10部分高級視頻編碼標準/國際電信聯盟電信部H.264推薦以及其擴展。46.—種存儲介質，其上編碼有視頻信號數據，包括利用視差向量編碼的圖片中的塊，其中所述圖片對應于多視角視頻內容并且被編碼以提供符合以下之中的至少一種的結果比特流國際標準化組織/國際電工委員會運動圖片專家組-4第10部分高級視頻編碼標準/國際電信聯盟電信部H.264推薦以及其擴展。47.—種用于視頻編碼的視頻信號結構，包括與多視角視頻內容相對應的圖片中的塊，該塊是基于視差向量預測子而被編碼的，該視差向量預測子使用時間共位塊的相鄰視差向量和時間共位視差向量中的至少一個。48.—種存儲介質，其上編碼有視頻信號數據，包括與多視角視頻內容相對應的圖片中的塊，該塊是基于視差向量預測子而被編碼的，該視差向量預測子使用時間共位塊的相鄰視差向量和時間共位視差向量中的至少一個。全文摘要提供了用于多視角視頻編碼的方法和裝置。一種視頻編碼器包括編碼器(100)，該編碼器用于通過在時間預測和交叉視角預測之間進行選擇以實現對圖片的塊的預測來對該塊進行編碼。該圖片是與多視角視頻內容相對應并且具有關于相同或相似場景的不同視角點的一組圖片之一。該圖片代表不同視角點之一。高級別語法被用于指示對該塊使用交叉視角預測。文檔編號H04N13/00GK101366286SQ200780002091公開日2009年2月11日申請日期2007年1月8日優先權日2006年1月9日發明者克里斯蒂娜·古米拉,鵬尹,蘇曄平申請人:湯姆遜許可證公司