用于對深度圖像進行編碼或解碼的方法和設備與流程

本發明涉及一種用于對標記和新幀內條帶類型進行定義以便允許與深度圖像相關的深度幀內條帶參考與三維(3D)視頻中的彩色圖像相關的彩色幀內條帶的方法和設備。
背景技術：
：由于數字視頻處理和計算機圖形技術的發展，正積極進行對用于再現真實世界并允許用戶體驗真實世界的3D和多視點視頻技術的研究。使用多視點視頻的三維(3D)電視能夠提供通過重構真實世界所獲得的內容，以向用戶提供真實的感覺，并且因此作為下一代廣播技術吸引了許多關注。3D視頻編碼系統支持用戶在各種視點自由觀看的多視點視頻，或者支持多視點視頻能夠在各種3D再現設備中再現。在多視點視頻中使用的深度圖像可參考包括在與深度圖像相應的彩色圖像中的信息來產生。技術實現要素：技術問題本發明定義了一種指示深度幀內條帶參考彩色幀內條帶的標記，并提供了一種用于定義能夠參考彩色幀內條帶的深度幀內條帶的條帶類型。技術方案根據本發明的一方面，一種深度圖像解碼方法包括：從比特流獲得第一標記，其中，第一標記包括和與深度圖像的幀內預測有關的幀內輪廓模式的使用相關的信息；基于第一標記來確定是否對深度圖像的預測單元執行幀內輪廓模式下的預測；在確定對深度圖像的預測單元執行幀內輪廓模式下的預測時，對深度圖像的預測單元執行幀內輪廓模式下的預測；以及基于執行預測的結果來對深度圖像進行解碼。有益效果當深度圖像被解碼或編碼時，可基于與幀內輪廓預測相關的標記來確定是否對深度圖像的預測單元執行用于參考彩色圖像的幀內輪廓預測，其中，所述標記包括在與深度圖像相關的條帶參數序列中。附圖說明圖1是根據實施例的多視點視頻系統的框圖。圖2是示出多視點視頻的紋理畫面和深度畫面的示圖。圖3a是深度圖像解碼設備的框圖。圖3b是根據實施例的深度圖像解碼方法的流程圖。圖4a是深度圖像編碼設備的框圖。圖4b是根據實施例的深度圖像編碼方法的流程圖。圖5是示出三維(3D)高效視頻編碼(HEVC)中所支持的條帶類型的表。圖6a是示出根據實施例的用于通過確定將對當前編碼單元的預測單元執行的預測模式來執行編碼的語法的表。圖6b是示出根據實施例的包括intra_contour_flag[d]的sps_3d_extension()的表。圖6c是示出用于描述在intra_mode_ext(x0,y0,log2PbSize)下從比特流獲得第三標記[x0][y0]和第二標記[x0][y0]的操作的語法的表。圖7是根據實施例的基于根據樹結構的編碼單元的視頻編碼設備的框圖。圖8是根據實施例的基于根據樹結構的編碼單元的視頻解碼設備的框圖。圖9是用于描述根據實施例的編碼單元的概念的示圖。圖10是根據實施例的基于編碼單元的圖像編碼器的框圖。圖11是根據實施例的基于編碼單元的圖像解碼器的框圖。圖12是示出根據實施例的根據深度的編碼單元以及分區的示圖。圖13是用于描述根據實施例的編碼單元與變換單元之間的關系的示圖。圖14示出根據實施例的多條根據深度的編碼信息。圖15是根據實施例的根據深度的編碼單元的示圖。圖16、圖17和圖18是用于描述根據實施例的編碼單元、預測單元和變換單元之間的關系的示圖。圖19是用于描述根據表1的編碼模式信息的編碼單元、預測單元、和變換單元之間的關系的示圖。圖20是根據實施例的存儲程序的盤的物理結構的示圖。圖21是通過使用盤來記錄和讀取程序的盤驅動器的示圖。圖22是提供內容分發服務的內容供應系統的整體結構的示圖。圖23和圖24分別是根據實施例的應用了本公開的視頻編碼方法和視頻解碼方法的移動電話的外部結構和內部結構的示圖。圖25是應用了根據本公開的通信系統的數字廣播系統的示圖。圖26示出使用根據實施例的視頻編碼設備和視頻解碼設備的云計算系統的網絡結構。最佳模式根據本發明的一方面，一種深度圖像解碼方法包括：從比特流獲得第一標記，其中，第一標記包括和與深度圖像的幀內預測有關的幀內輪廓模式的使用有關的信息；基于第一標記來確定是否對深度圖像的預測單元執行幀內輪廓模式下的預測；在確定對深度圖像的預測單元執行幀內輪廓模式下的預測時，對深度圖像的預測單元執行幀內輪廓模式下的預測；以及基于執行預測的結果來對深度圖像進行解碼。第一標記可包括在序列參數集擴展中，其中，序列參數集擴展包括用于對深度圖像進行解碼的附加信息。所述深度圖像解碼方法還可包括：基于從比特流獲得的彩色圖像的編碼信息，重建彩色圖像；基于深度圖像的劃分信息，將深度圖像的最大編碼單元劃分為至少一個編碼單元；確定是否對編碼單元執行幀內預測；以及將編碼單元劃分為用于預測解碼的預測單元。確定是否對深度圖像的預測單元執行幀內輪廓模式下的預測的步驟可包括：確定與編碼單元相應的條帶類型是否指示幀內條帶，由條帶類型所指示的幀內條帶可包括允許參考彩色圖像對深度圖像進行預測的增強幀內條帶。對深度圖像的預測單元執行幀內輪廓模式下的預測的步驟可包括：參考包括在與深度圖像相同的訪問單元中的彩色圖像的塊，對包括在增強幀內條帶中的預測單元執行預測。確定是否對深度圖像的預測單元執行幀內輪廓模式下的預測的步驟可包括：從比特流獲得第三標記，其中，第三標記包括用于確定是否獲得第二標記的信息，第二標記包括關于深度幀內模式的使用的信息；如果第三標記的值為0，則確定執行深度幀內模式下的預測。對深度圖像的預測單元執行幀內輪廓模式下的預測的步驟可包括：如果第三標記的值為0，則從比特流獲得第二標記；確定第二標記是否包括關于幀內輪廓模式的信息；如果第二標記包括關于幀內輪廓模式的信息，則對深度圖像的預測單元執行幀內輪廓模式下的預測。對深度圖像的預測單元執行幀內輪廓模式下的預測的步驟可包括：參考包括在與深度圖像相同的訪問單元中的彩色圖像的在與深度圖像的預測單元的位置相應的位置所提供的塊；基于參考步驟的結果來對深度圖像的預測單元執行幀內輪廓模式下的預測。根據本發明的另一方面，一種深度圖像編碼方法包括：產生第一標記，其中，第一標記包括和幀內預測模式之中的與深度圖像的幀內預測相關的幀內輪廓模式的使用有關的信息；基于第一標記來確定是否對深度圖像的預測單元執行幀內輪廓模式下的預測；在確定對深度圖像的預測單元執行幀內輪廓模式下的預測時，對深度圖像的預測單元執行幀內輪廓模式下的預測；以及基于執行預測的結果來對深度圖像進行編碼。第一標記可包括在序列參數集擴展中，其中，序列參數集擴展包括用于對深度圖像進行解碼的附加信息。所述深度圖像編碼方法還可包括：產生比特流，其中，比特流包括通過對彩色圖像進行編碼而產生的編碼信息；將深度圖像的最大編碼單元劃分為至少一個編碼單元；確定是否對編碼單元執行幀內預測；以及將編碼單元劃分為用于預測解碼的預測單元。確定是否執行幀內輪廓模式下的預測的步驟可包括：確定與預測單元相應的條帶類型是否指示幀內條帶，并且由條帶類型所指示的幀內條帶可包括允許參考彩色圖像進行預測的增強幀內條帶。對深度圖像的預測單元執行幀內輪廓模式下的預測的步驟可包括：參考包括在與深度圖像相同的訪問單元中的彩色圖像的塊，對包括在增強幀內條帶中的深度圖像的預測單元執行預測。確定是否對深度圖像的預測單元執行幀內輪廓模式下的預測的步驟可包括：產生包括第三標記的比特流，其中，第三標記包括用于確定是否獲得第二標記的信息，第二標記包括關于深度幀內輪廓預測模式的使用的信息；如果第三標記的值為0，則確定執行深度幀內輪廓預測模式下的預測。對深度圖像的預測單元執行幀內輪廓模式下的預測的步驟可包括：如果第三標記的值為0，則產生包括第二標記的比特流；確定第二標記是否包括關于幀內輪廓模式的信息；如果第二標記包括關于幀內輪廓模式的信息，則對深度圖像的預測單元執行幀內輪廓模式下的預測。對深度圖像的預測單元執行幀內輪廓模式下的預測的步驟可包括：參考包括在與深度圖像相同的訪問單元中的彩色圖像的在與深度圖像的預測單元的位置相應的位置所提供的塊；基于參考步驟的結果來對深度圖像的預測單元執行幀內輪廓模式下的預測。根據本發明的另一方面，一種深度圖像解碼設備包括：深度圖像預測模式確定器，用于從比特流獲得第一標記，并基于第一標記來確定是否對深度圖像的預測單元執行幀內輪廓模式下的預測，其中，第一標記包括和與深度圖像的幀內預測相關的幀內輪廓模式的使用有關的信息；深度圖像解碼器，用于在確定對深度圖像的預測單元執行幀內輪廓模式下的預測時，對深度圖像執行幀內輪廓模式下的預測，并基于執行預測的結果來對深度圖像進行解碼。根據本發明的另一方面，一種深度圖像編碼設備包括：深度圖像預測模式確定器，用于產生第一標記，并基于第一標記來確定是否對預測單元執行幀內輪廓模式下的預測，其中，第一標記包括和與深度圖像的幀內預測相關的幀內輪廓模式的使用有關的信息；深度圖像編碼器，用于在確定對所述預測單元執行幀內輪廓模式下的預測時，對所述預測單元執行幀內輪廓模式下的預測，并基于執行預測的結果來對深度圖像進行編碼。根據本發明的另一方面，一種非暫時性計算機可讀記錄介質記錄有上述深度圖像解碼方法。根據本發明的另一方面，一種非暫時性計算機可讀記錄介質記錄有上述深度圖像編碼方法。具體實施方式在下文中，將參照圖1至圖6c描述根據實施例的深度圖像解碼方法和深度圖像編碼方法。此外，將參照圖7至圖19描述適用于上述深度圖像解碼方法和深度圖像編碼方法的根據實施例的基于具有樹結構的編碼單元的視頻編碼方法和視頻解碼方法。此外，將參照圖20至圖26描述適用于上述視頻編碼方法和視頻解碼方法的各種實施例。在以下描述中，術語“圖像”可指視頻的靜止圖像或運動圖像(即，視頻本身)。術語“樣點”指被分配給圖像的采樣位置的數據以及將被處理的數據。例如，空間域中的圖像的像素可以是樣點。術語“層圖像”指特定視點圖像或特定類型的圖像。在多視點視頻中，層圖像指示在特定視點輸入的彩色圖像或深度圖像。圖1是根據實施例的多視點視頻系統10的框圖。多視點視頻系統10包括多視點視頻編碼設備12以及多視點視頻解碼設備13，其中，多視點視頻編碼設備12用于通過對使用兩個或更多個多視點相機11獲得的多視點視頻、使用深度相機14獲得的與多視點視頻相應的深度圖像以及與多視點相機11相關的相機參數進行編碼來產生比特流，所述多視點視頻解碼設備13用于對比特流進行解碼并根據觀看者的請求以各種形式提供解碼的多視點視頻幀。多視點相機11包括不同視點的多個相機并按幀提供多視點畫面。在以下描述中，根據預定彩色格式(例如，YUV或YCbCr)按照視點獲得的彩色圖像可被稱為紋理圖像。深度相機14提供表現場景的深度信息的深度圖像作為256級8比特的圖像。用于表現深度圖像的像素的比特數量不限于8，并可改變。深度相機14可提供具有與深度相機14與對象或背景間的距離成正比或反比的值的深度圖像，其中，所述距離是使用紅外光等測量的。如上所述，單視點視頻包括紋理圖像和深度圖像。當多視點視頻編碼設備12對多視點紋理圖像和與多視點紋理圖像相應的深度圖像進行編碼和發送時，多視點視頻解碼設備13使用包括在比特流中的多視點紋理圖像和深度圖像，可不僅提供具有三維效果的立體視頻或三維(3D)視頻，還提供用戶想要的預定視點的3D視頻。多視點視頻數據的比特流的頭可包括指示關于深度圖像的信息是否被包括在數據包中的信息，或關于指示每個數據包是針對紋理圖像還是深度圖像的圖像類型的信息。依據接收器的硬件性能，如果深度圖像被用于構建多視點視頻，則多視點視頻解碼設備13可通過使用接收到的深度圖像對多視點視頻進行解碼。如果接收器的硬件不支持多視點視頻，并且因此深度圖像不可用，則多視點視頻解碼設備13可丟棄與深度圖像關聯接收到的數據包。如上所述，如果接收器的多視點視頻解碼設備13不能顯示多視點視頻，則可將多視點視頻中的任意單視點視頻顯示為二維(2D)視頻。由于將被編碼的數據量與多視點視頻數據的視點的數量成比例地增加，并且深度圖像也需要被編碼以提供三維效果，因此，大量的多視點視頻數據應被有效壓縮以實現圖1中示出的多視點視頻系統10。圖2是示出多視點視頻的紋理畫面和深度畫面的示圖。圖2示出第一視點(例如，視點0)的紋理畫面v0；21、與視點0的紋理畫面v0；21相應的深度畫面d0；24、第二視點(例如，視點1)的紋理畫面v1；22、與視點1的紋理畫面v1；22相應的深度畫面d1；25、第三視點(例如，視點2)的紋理畫面v2；23、與視點2的紋理畫面v2；23相應的深度畫面d2；26。盡管三個視點(例如，視點0、視點1和視點2)的多視點紋理畫面v0、v1和v2；21、22和23以及與其相應的深度畫面d0、d1和d2；24、25、26在圖2中被示出，但視點的數量不限于此并可改變。多視點紋理畫面v0、v1和v2；21、22和23以及與其相應的深度畫面d0、d1和d2；24、25、26是按照相同的時序被獲得的，因此具有相同的畫面順序計數(POC)。在以下描述中，具有相同的POC值n(其中，n是整數)的一組畫面(GOP)1500(如多視點紋理畫面v0、v1和v2；21、22和23以及與其相應的深度畫面d0、d1和d2；24、25、26)可被稱為第nGOP。具有相同POC的GOP可配置訪問單元。訪問單元的編碼順序不總是需要與其捕捉順序(獲得順序)或顯示順序相同，并可考慮參考關系而彼此不同。為了指定每個紋理畫面的視點以及與其相應的深度畫面，可使用作為視點順序索引的視點標識符(例如，ViewId)。同一視點的紋理畫面和深度畫面具有相同的視點標識符。視點標識符可被用于確定編碼順序。例如，多視點視頻編碼設備12可按照從視點標識符的較小值到較大值的順序對多視點視頻進行編碼。也就是說，多視點視頻編碼設備12可對ViewId為0的紋理畫面和深度畫面進行編碼，隨后對ViewId為1的紋理畫面和深度畫面進行編碼。如果基于視點標識符確定了編碼順序，則在易于產生錯誤的環境中接收到的錯誤數據可使用視點標識符來識別。然而，每個視點的畫面的編碼順序或解碼順序可不管其視點標識符的順序而改變。圖3a是深度圖像解碼設備30的框圖。圖3a的深度圖像解碼設備30可與圖1的多視點視頻解碼設備10相應。參照圖3a，深度圖像解碼器36基于從比特流獲得的深度圖像的劃分信息將深度圖像的最大編碼單元劃分為至少一個編碼單元。深度圖像解碼器36將編碼單元劃分為用于預測解碼的至少一個預測單元。深度圖像解碼器36基于當前預測單元是否被劃分為分區以及差信息是否被使用，通過使用差信息來對當前預測單元進行解碼。在這種情況下，深度圖像解碼器36通過使用所述差信息對當前預測單元進行幀內預測解碼。深度圖像解碼器36可從比特流獲得所述差信息，并通過使用差信息來對深度圖像進行解碼。在確定不使用用于解碼的差信息時，深度圖像解碼器36可在不從比特流獲得差信息的情況下對當前預測單元進行解碼。深度圖像預測模式確定器34從比特流獲得指示當前預測單元是否被劃分為分區的信息，并確定是否將當前預測單元劃分為至少一個分區以對當前預測單元進行解碼。在確定將當前預測單元劃分為分區以對當前預測單元進行解碼時，深度圖像預測模式確定器34從比特流獲得預測單元的預測信息，獲得與原始深度圖像相應的分區的深度值以及當前預測單元的預測信息，并通過使用指示與和深度圖像相應的分區的深度值的差的差信息來確定是否執行解碼。當前預測單元的預測信息可包括指示是否通過使用包括在比特流中的差信息執行解碼的標記，并且深度圖像預測模式確定器34可基于包括在比特流中的標記，確定是否通過使用所述差信息來執行解碼。指示是否將當前預測單元劃分為分區的信息可包括指示當前預測單元是否處于用于將當前預測單元劃分為至少一個分區以對當前預測單元進行解碼的預定幀內預測模式的標記，并且深度圖像預測模式確定器34可基于所述標記來確定是否將當前預測單元劃分為至少一個分區以對當前預測單元進行解碼。在這種情況下，預定幀內預測模式可包括深度建模模塊(DMM)。DMM是深度幀內模式，并且是基于對象和深度圖像的背景之間的邊界被清楚限定的事實以及對象內部的數據值的變化較小的事實來對深度圖像進行幀內預測編碼的技術。也就是說，深度幀內模式可指示深度圖像的幀內預測模式。基于根據實施例的深度圖像解碼方法，除了傳統的視頻解碼所支持的35種幀內預測模式以及預測單元劃分結構以外，還可通過使用直線的契波(wedgelet)或曲線的輪廓來對塊進行劃分。在深度幀內模式下，通過基于任意均值限定使用契波或輪廓劃分的區域中所包括的數據來執行預測。深度幀內模式支持取決于契波或輪廓設置方案的兩種模式(例如，用于對契波進行編碼的模式1和用于對輪廓進行編碼的模式4)。具體地，與模式1不同，模式4(即，DMM4)是一種用于預測曲線的方案。例如，在DMM4中，在與當前將被編碼的深度圖像的塊相應的位置處提供的彩色圖像的塊的平均亮度值可被計算，所述彩色圖像可基于計算出的值而被劃分為多個分區以獲得劃分信息，并且深度圖像可基于劃分信息被劃分。當深度圖像在深度幀內模式(諸如DMM4)下被幀內預測時，根據實施例的深度圖像解碼設備30可參照與深度圖像的塊相應的彩色圖像的塊。深度幀內模式可以是通過使用關于深度圖像的信息以及關于彩色圖像的信息執行預測的模式。深度圖像解碼設備30可從比特流獲得關于包括深度圖像的塊的條帶的類型的信息(例如，slice_type)。slice_type可被包括在slice_segment_header中。I類型、P類型和B類型的條帶類型可在傳統的視頻解碼方法中被提供。關于包括在條帶類型為I類型的條帶中的塊，可參考同一幀中的被編碼并被隨后解碼的塊來執行幀內預測。關于與P類型或B類型相應的塊，可通過使用與當前將被解碼的塊相應的幀與和另一POC相應的幀的塊之間的運動信息來執行幀間預測。也就是說，如果與將被解碼的塊相關的slice_type是I類型，則與當前將被解碼的塊相關的圖像可不被參考，并且可通過使用與包括當前將被解碼的塊的幀中的另一個塊相關的預測信息來僅執行幀間預測。然而，根據實施例的深度圖像解碼方法支持深度圖像，并且彩色圖像和與彩色圖像具有相同POC的深度圖像可被包括在訪問單元中。深度圖像也被解碼。深度圖像解碼設備30檢查包括在深度圖像中的塊的slice_type，并在塊與I類型相應的的情況下對深度圖像的預測單元執行幀內預測。此外，根據實施例的深度圖像解碼方法支持深度幀內模式。因此，可提供即使是在與將被解碼的塊相關的條帶類型是I類型時也能夠參考包括在與深度圖像相同的訪問單元中所包括的另一幀的彩色圖像中的條帶以對深度圖像進行解碼的條帶的類型。圖5是示出根據實施例的由深度圖像解碼方法所支持的slice_type的表。參照圖5，與slice_type為2相應的I類型條帶50可包括增強幀內(EI)條帶52以及基于傳統的視頻解碼方法而僅允許幀內預測的I條帶。EI條帶52不僅允許對將被解碼的預測單元進行幀內預測，還允許對將被解碼的預測單元進行視點內預測。視點內預測可以是基于與當前畫面具有相同的視點并被包括在與當前畫面相同的訪問單元中的畫面的數據元素的預測。基于視點內預測，特定視點的深度圖像的的預測單元可參考包括在與深度圖像相同的訪問單元中的特定視點的彩色圖像的塊。該預測方案可與深度幀內模式之中的幀內輪廓模式(INTRA_CONTOUR)相應。深度幀內模式可表示對深度圖像的預測單元執行的幀內預測模式。深度幀內模式可以是與對彩色圖像執行的幀內預測模式不同的特定幀內預測模式。幀內輪廓模式可以是與深度圖像的幀內預測相關的預測模式，并且深度圖像解碼器36可通過使用關于在與深度圖像的塊相應的位置提供的彩色圖像的塊的信息，將深度圖像的所述塊劃分為至少一個分區。因此，深度圖像預測模式確定器34可參考包括在與預測單元相關的條帶的slice_sequence_header()中的slice_type來確定是否可對預測單元執行深度幀內預測。根據實施例的深度圖像解碼設備30可還包括用于基于彩色圖像的編碼信息來重建與深度圖像相應的彩色圖像的彩色圖像解碼器(未示出)。為了允許深度圖像的當前將被解碼的塊參考包括在與深度圖像相同的訪問單元中的彩色圖像的塊，所述彩色圖像應在深度圖像之前被解碼。根據實施例的深度圖像解碼設備30可還包括用于基于從比特流獲得的彩色圖像的編碼信息對彩色圖像進行重建的彩色圖像解碼器(未示出)。此外，根據實施例的深度圖像解碼器36可接收包括深度圖像的編碼信息、與深度圖像相應的彩色圖像的深度信息、以及彩色圖像和深度圖像之間的相關信息的比特流。這樣，深度圖像解碼設備30可從比特流重建彩色圖像，并且深度圖像解碼設備36可通過使用編碼并隨后被重建的彩色圖像來對與彩色圖像相應的深度圖像進行解碼。具體地講，根據實施例的深度圖像解碼器36考慮深度圖像和與深度圖像相應的彩色圖像之間的相關性來對深度圖像進行解碼。深度圖像解碼器36可基于像素值將先前編碼并隨后被重建的彩色圖像的塊劃分為分區以確定所述相關性，考慮鄰近像素之間的相關性來按分區確定用于定義彩色圖像和深度圖像之間的相關性的參數，并通過使用所確定的參數來預測深度圖像的塊的與先前編碼并隨后重建的彩色圖像的塊的被劃分出的分區相應的分區。根據實施例的深度圖像解碼器36可基于從比特流獲得的深度圖像的劃分信息將深度圖像的最大編碼單元劃分為至少一個編碼單元。可按照如上所述劃分出的編碼單元來確定幀內預測模式或幀間預測模式。根據實施例的深度圖像解碼器36可將編碼單元劃分為用于預測解碼的至少一個預測單元。深度圖像預測模式確定器34可確定是否對確定的編碼單元執行幀內預測。也就是說，如果從編碼單元劃分出預測單元并且確定對編碼單元執行幀內預測，則可對從編碼單元劃分出的預測單元執行幀內預測。在這一點上，圖6a是示出根據實施例的用于通過確定將對當前編碼單元的預測單元執行的預測模式來執行解碼的語法的表。參照圖6a，針對當前編碼單元的coding_unit()語法60可包括用于確定深度圖像的預測單元的幀內預測模式的條件語句和迭代語句。深度圖像預測模式確定器34可基于當前編碼單元的預測模式信息(例如，CuPredMode[x0][y0])是否指示MODE_INTRA來確定預測模式。這里，x0和y0可以是關于當前編碼單元的左上坐標的信息。如果與當前深度圖像的編碼單元相關的條帶的slice_type不是I類型，則不滿足條件語句62，并且因此未從比特流獲得cu_skip_flag[x0][y0]。如果未從比特流獲得cu_skip_flag[x0][y0]，則cu_skip_flag[x0][y0]與值0相應并且因此滿足條件語句63。此外，如果與當前深度圖像的編碼單元相關的條帶的slice_type不是I類型，則不滿足條件語句64，并且因此未從比特流獲得pred_mode_flag。在這種情況下，由于CuPredMode[x0][y0]可被視為MODE_INTRA，因此滿足了條件語句65并且因此可執行條件語句66。現在參照圖3b給出深度圖像解碼設備30的操作的詳細描述。圖3b是根據實施例的深度圖像解碼方法的流程圖。在操作301，深度圖像解碼設備30可從比特流獲得第一標記，其中，第一標記包括和與深度圖像的幀內預測相關的幀內輪廓模式的使用相關的信息。根據實施例，從比特流獲得的第一標記可包括可用于確定是否執行幀內輪廓模式的信息，并可包括intra_contour_flag[d]。在以下描述中，為便于解釋，假設第一標記是intra_contour_flag[d]。在操作302，深度圖像解碼設備30可基于第一標記來確定是否對預測單元執行幀內輪廓模式下的預測。圖6b是示出根據實施例的包括intra_contour_flag[d]的序列參數集擴展的表。序列參數集擴展是相較于傳統的序列參數集進一步包括附加信息的序列參數集。根據實施例的序列參數集擴展可以是進一步包括用于對深度圖像進行解碼的信息的序列參數集，并且可與sps_3d_extension()61相應。在以下描述中，為便于解釋，假設序列參數集擴展是sps_3d_extension()61。根據實施例，指示是否使用幀內輪廓模式的信息可以是包括在sps_3d_extension()61中的intra_contour_flag[d]67，并且d可表示關于當前視點是否包括深度信息的信息的DeptFlag。深度圖像解碼設備30可按照包括在當前編碼單元中的預測單元來確定條件語句66是否被滿足。如果可對當前編碼單元執行深度幀內模式，則條件語句66被滿足。也就是說，深度圖像預測模式確定器34可基于是否從比特流獲得了包括在與編碼單元相關的sps_3d_extension()61中的intra_contour_flag[d]67來確定是否可對預測單元執行幀內輪廓模式。根據實施例，深度圖像預測模式確定器34可從比特流獲得intra_contour_flag[d]67，其中，intra_contour_flag[d]67包括關于是否執行與深度幀內模式之中的幀內輪廓模式(INTRA_DEP_CONTOUR)相應的DMM4的信息。參照等式1，當intra_contour_flag[d]67具有值1時，如果另一預定條件被滿足(如果nuh_layer_id>0并且textOfCurViewAvailFlag≠0)，則關于幀內輪廓模式的信息的值可以是1。關于幀內輪廓模式的信息可以是指示將對深度圖像的預測單元執行的深度幀內模式之中的幀內輪廓模式的任意信息，并可包括IntraContourFlag。在以下描述中，為便于解釋，假設關于幀內輪廓模式的信息是IntraContourFlag。[等式1]IntraContourFlag＝(nuh_layer_id>0)&&intra_contour_flag[DepthFlag]&&textOfCurViewAvailFlag這里，nuh_layer_id是包括在網絡抽象層(NAL)單元頭中的語法元素，并且可以是在相較于傳統視頻解碼或編碼方法而包括進一步擴展的信息的解碼或編碼方法中使用的語法元素。因此，與傳統視頻編碼或解碼方法不同，nuh_layer_id在根據實施例的深度圖像解碼方法中可以不是值0。此外，textOfCurViewAvailFlag可包括關于當前視點的彩色圖像是否可用的信息。也就是說，根據實施例，如果nuh_layer_id大于值0，如果彩色圖像在當前視點(或層)可用，并且如果包括指示對與nuh_layer_id相應的視點(或層)的預測單元執行幀內輪廓模式的信息的intra_contour_flag[DepthFlag]具有值1，則包括關于幀內輪廓模式的信息的IntraContourFlag可具有值1，并且在這種情況下，條件語句66被滿足。因此，深度圖像預測模式確定器34可基于intra_contour_flag[d]確定是否執行深度幀內模式下的預測，并且深度幀內模式可以是幀內輪廓模式。根據實施例，如果條件語句66被滿足，則深度圖像預測模式確定器34可執行用于對包括在當前編碼單元中的預測單元執行深度幀內預測的功能。為了對深度圖像執行深度幀內預測，用于執行與傳統的幀內預測模式不同的擴展預測模式的功能是必要的。根據實施例的深度圖像預測模式確定器34可使用intra_mode_ext(x0,y0,log2PbSize)作為用于對包括在當前編碼單元中的預測單元執行深度幀內預測的語法元素。深度圖像預測模式確定器34可使用intra_mode_ext(x0,y0,log2PbSize)來獲得關于是否對深度圖像的處于當前位置的預測單元執行深度幀內預測的信息、以及關于深度幀內預測的類型的信息。圖6c是示出用于描述在intra_mode_ext(x0,y0,log2PbSize)下從比特流獲得第三標記和第二標記的操作的語法的表。這里，第三標記可包括關于是否對預測單元執行深度幀內預測的信息，并且第二標記可包括關于深度幀內模式的類型的信息。也就是說，第三標記可被用于確定是否對深度圖像的預測單元執行深度幀內預測的信息，第二標記可被用于確定深度圖像的幀內預測模式之中的深度幀內模式的類型。根據實施例，第二標記可以是depth_intra_mode_flag，第三標記可以是dim_not_present_flag。在以下描述中，為了便于解釋，假設第二標記是depth_intra_mode_flag，第三標記是dim_not_present_flag。表1示出基于DepthIntraMode的值而被分類的深度幀內模式的類型。[表1]DepthIntraMode關聯名稱-1INTRA_DEP_NONE0INTRA_DEP_WEDGE1INTRA_DEP_CONTOUR這里，DepthIntraMode[x0][y0]為DepthIntraMode[x0][y0]＝dim_not_present_flag[x0][y0]？-1:depth_intra_mode_flag[x0][y0]。也就是說，如果depth_intra_mode_flag[x0][y0]具有值0或1則執行深度幀內預測，但是如果depth_intra_mode_flag[x0][y0]具有值-1則不執行深度幀內預測。深度圖像預測模式確定器34可通過使用直線(契波)來對深度圖像的塊進行劃分，并且如果depth_intra_mode_flag[x0][y0]具有值0則將INTRA_DEP_WEDGE模式確定為其預測模式，或者可通過使用曲線(輪廓)來對深度圖像的塊進行劃分，并且如果depth_intra_mode_flag[x0][y0]具有值1則將INTRA_DEP_CONTOUR模式確定為其預測模式。也就是說，根據實施例的深度圖像預測模式確定器34可通過在條件語句66在intra_controur_flag[d]具有值1時被滿足的情況下執行intra_mode_ext(x0+i,y0+j,log2PbSize)，并確定從比特流獲得的dim_not_present_flag[x0][y0]在所執行的intra_mode_ext(x0+i,y0+j,log2PbSize)中是否具有值0，來確定是否在幀內輪廓模式下對預測單元執行預測。如果dim_not_present_flag[x0][y0]具有值0,則深度圖像預測模式確定器34可從比特流獲得depth_intra_mode_flag[x0][y0]并確定該標記是否具有與INTRA_DEP_CONTOUR相應的值。在確定depth_intra_mode_flag[x0][y0]具有與INTRA_DEP_CONTOUR相應的值時，深度圖像預測模式確定器34可確定對預測單元執行幀內輪廓模式。當在操作302確定對預測單元執行幀內輪廓預測時，深度圖像解碼設備30可對深度圖像執行幀內輪廓預測。即使當在幀內輪廓模式下與深度圖像的當前預測單元相關的條帶類型是I類型時，深度圖像解碼設備30也可參照包括在與深度圖像相同的訪問單元中的彩色圖像來執行預測。在操作304，深度圖像解碼設備30可基于在操作303對預測單元執行幀內輪廓預測的結果來對深度圖像進行解碼。現在給出根據其他實施例的深度圖像編碼設備40和深度圖像編碼方法的描述。深度圖像編碼設備40和深度圖像編碼方法可與上述深度圖像解碼設備30和其操作逆向相應，并且其實施例可被本領域普通技術人員容易地理解。根據實施例的深度圖像解碼設備30和深度圖像解碼方法可按照用于將深度圖像信息配置為亮度信息的4:0:0格式，或者按照用于將視差信息配置為亮度信息的4:0:0格式來執行解碼。此外，深度圖像解碼設備30和深度圖像解碼方法可使用按照4:0:0格式解碼的亮度信息來實現3D圖像。圖4a是深度圖像編碼設備40的框圖。圖4a的深度圖像編碼設備40可與圖1的多視點視頻編碼設備12相應。參照圖4a，深度圖像編碼器46將深度圖像的最大編碼單元劃分為至少一個編碼單元。深度圖像編碼器46將編碼單元劃分為用于預測編碼的至少一個預測單元。深度圖像編碼器46基于當前預測單元是否被劃分為分區以及差信息是否被使用，通過使用差信息來對當前預測單元進行編碼。在這種情況下，深度圖像編碼器46通過使用所述差信息對當前預測單元進行幀內預測編碼。深度圖像編碼器46可從比特流獲得所述差信息，并通過使用所述差信息來對深度圖像進行編碼。在確定不使用用于編碼的差信息時，深度圖像編碼器46可在不從比特流獲得差信息的情況下對當前預測單元進行編碼。深度圖像預測模式確定器44從比特流獲得指示當前預測單元是否被劃分為分區的信息，并確定是否將當前預測單元劃分為至少一個分區以對當前預測單元進行編碼。在確定將當前預測單元劃分為分區以對當前預測單元進行編碼時，深度圖像預測模式確定器44從比特流獲得預測單元的預測信息，獲得與原始深度圖像相應的分區的深度值以及當前預測單元的預測信息，并通過使用指示與和深度圖像相應的分區的深度值的差的差信息來確定是否執行編碼。當前預測單元的預測信息可包括指示是否通過使用包括在比特流中的差信息執行編碼的標記，并且深度圖像預測模式確定器44可基于包括在比特流中的標記，確定是否通過使用所述差信息來執行編碼。指示是否將當前預測單元劃分為分區的信息可包括指示當前預測單元是否處于用于將當前預測單元劃分為至少一個分區以對當前預測單元進行編碼的預定幀內預測模式的標記，并且深度圖像預測模式確定器44可基于所述標記來確定是否將當前預測單元劃分為至少一個分區以對當前預測單元進行編碼。在這種情況下，所述預定幀內預測模式可包括深度建模模式(DMM)。所述DMM是深度幀內模式，并且是基于對象和深度圖像的背景之間的邊界被清楚限定的事實以及對象內部的數據值的變化較小的事實來對深度圖像進行幀內預測編碼的技術。也就是說，深度幀內模式可指示深度圖像的幀內預測模式。基于根據實施例的深度圖像編碼方法，除了傳統的視頻編碼所支持的35種幀內預測模式以及預測單元劃分結構以外，還可通過使用直線的契波或曲線的輪廓來對塊進行劃分。在深度幀內模式下，基于任意均值，通過限定使用契波或輪廓劃分的區域中所包括的數據來執行預測。深度幀內模式支持取決于契波或輪廓設置方案的兩種模式(例如，用于對契波進行編碼的模式1和用于對輪廓進行編碼的模式4)。具體地講，與模式1不同，模式4(即，DMM4)是一種用于預測曲線的方案。例如，在DMM4中，在與當前將被編碼的深度圖像的塊相應的位置處提供的彩色圖像的塊的平均亮度值可被計算，所述彩色圖像可基于計算出的值而被劃分為多個分區以獲得劃分信息，并且深度圖像可基于劃分信息被劃分。當深度圖像在深度幀內模式(諸如DMM4)下被幀內預測時，根據實施例的深度圖像編碼設備40可參照與深度圖像的塊相應的彩色圖像的塊。深度幀內模式可以是通過使用關于深度圖像的信息以及關于彩色圖像的信息執行預測的模式。深度圖像編碼設備40可產生比特流，其中，所述比特流包括關于包括深度圖像的塊的條帶的類型的信息(例如，slice_type)。slice_type可被包括在slice_segment_header中。I類型、P類型和B類型的條帶類型可在傳統的視頻編碼方法中被提供。關于包括在條帶類型為I類型的條帶中的塊，可執行編碼并可參考同一圖像中的被編碼的塊來執行幀內預測。關于與P類型或B類型相應的塊，可通過使用與當前將被編碼的塊相應的圖像與和另一POC相應的圖像的塊之間的運動信息來執行幀間預測。也就是說，如果與將被編碼的相關的slice_type是I類型，則與當前將被編碼的塊相關的圖像可不被參考，并且可通過使用與包括當前將被編碼的塊的圖像中的另一個塊相關的預測信息來僅執行幀間預測。然而，根據實施例的深度圖像編碼方法支持深度圖像，并且彩色圖像和與彩色圖像具有相同POC的深度圖像可被包括在訪問單元中。深度圖像也被編碼。深度圖像編碼設備40檢查包括在深度圖像中的塊的slice_type，并在塊與I類型相應的情況下對深度圖像的預測單元執行幀內預測。此外，根據實施例的深度圖像編碼方法支持深度幀內模式。因此，可提供即使是在與將被編碼的塊的條帶類型是I類型時也能夠參考包括在與深度圖像相同的訪問單元中所包括的另一幀的彩色圖像中的條帶以對深度圖像進行編碼的條帶的類型。圖5是示出根據實施例的由深度圖像編碼方法所支持的slice_type的表。參照圖5，與slice_type為2相應的I類型條帶50可包括增強幀內(EI)條帶52以及基于傳統的視頻編碼方法而僅允許幀內預測的I條帶。EI條帶52不僅允許對將被編碼的預測單元進行幀內預測，還允許對將被編碼的預測單元進行視點內預測。視點內預測可以是基于與當前畫面具有相同的視點并被包括在與當前畫面相同的訪問單元中的畫面的數據元素的預測。基于視點內預測，特定視點的深度圖像的的預測單元可參考包括在與深度圖像相同的訪問單元中的特定視點的彩色圖像的塊。該預測方案可與深度幀內模式之中的幀內輪廓模式(INTRA_CONTOUR)相應。深度幀內模式可表示對深度圖像的預測單元執行的幀內預測模式。深度幀內模式可以是與對彩色圖像執行的幀內預測模式不同的特定幀內預測模式。幀內輪廓模式可以是與深度圖像的幀內預測相關的預測模式，并且深度圖像解碼器36可通過使用關于在與深度圖像的塊相應的位置提供的彩色圖像的塊的信息，將深度圖像的所述塊劃分為至少一個分區。因此，深度圖像預測模式確定器34可參考包括在與預測單元相關的條帶的slice_sequence_header()中的slice_type來確定是否可對預測單元執行深度幀內預測。根據實施例的深度圖像編碼設備40可還包括用于基于彩色圖像的編碼信息來對與深度圖像相應的彩色圖像進行解碼的彩色圖像解碼器(未示出)。深度圖像編碼器46可產生包括深度圖像的編碼信息、與深度圖像相應的彩色圖像的編碼信息以及彩色圖像和深度圖像之間的相關信息的比特流。這樣，深度圖像編碼設備40可對彩色圖像進行編碼，并且深度圖像編碼器46可通過使用編碼并隨后被重建的彩色圖像來對與彩色圖像相應的深度圖像進行編碼。具體地講，根據實施例的深度圖像編碼器46考慮深度圖像和與深度圖像相應的彩色圖像之間的相關性來對深度圖像進行編碼。深度圖像編碼器46可基于像素值將先前編碼并隨后被重建的彩色圖像的塊劃分為分區以確定所述相關性，考慮鄰近像素之間的關系來按分區確定用于定義彩色圖像和深度圖像之間的關系的參數，并通過使用所確定的參數來預測深度圖像的塊的與先前編碼并隨后重建的彩色圖像的塊的被劃分出的分區相應的至少一個分區。根據實施例的深度圖像編碼器46可將深度圖像的最大編碼單元劃分為至少一個編碼單元。可按照如上所述劃分出的編碼單元來確定幀內預測模式或幀間預測模式。根據實施例的深度圖像編碼器46可將編碼單元劃分為用于預測編碼的至少一個預測單元。深度圖像預測模式確定器44可確定是否對確定的編碼單元執行幀內預測。也就是說，如果從編碼單元劃分出預測單元并且確定對編碼單元執行幀內預測，則可對從編碼單元劃分出的預測單元執行幀內預測。在這一點上，圖6a是示出根據實施例的用于通過確定將對當前編碼單元的預測單元執行的預測模式來執行編碼的語法的表。參照圖6a，針對當前編碼單元的coding_unit()語法60可包括用于確定深度圖像的預測單元的幀內預測模式的條件語句和迭代語句。深度圖像預測模式確定器44可基于當前編碼單元的預測模式信息(例如，CuPredMode[x0][y0])是否指示MODE_INTRA來確定預測模式。這里，x0和y0可以是關于當前編碼單元的左上坐標的信息。如果與當前深度圖像的編碼單元相關的條帶的slice_type不是I類型，則不滿足條件語句62，并且因此不產生cu_skip_flag[x0][y0]。如果cu_skip_flag[x0][y0]未被產生，則cu_skip_flag[x0][y0]與值0相應并且因此滿足條件語句63。此外，如果與當前深度圖像的編碼單元相關的條帶的slice_type不是I類型，則不滿足條件語句64，并且因此不產生pred_mode_flag。在這種情況下，由于CuPredMode[x0][y0]可被視為MODE_INTRA，因此滿足了條件語句65并且因此可執行條件語句66。現在參照圖4b給出深度圖像編碼設備40的操作的詳細描述。圖4b是根據實施例的深度圖像編碼方法的流程圖。在操作401，深度圖像編碼設備40可產生第一標記，其中，第一標記包括和與深度圖像的幀內預測相關的幀內輪廓模式的使用有關的信息。根據實施例，第一標記可包括可用于確定是否執行幀內輪廓模式的信息，并可包括intra_contour_flag[d]。在以下描述中，為便于解釋，假設第一標記是intra_contour_flag[d]。在操作402，深度圖像編碼設備40可基于第一標記確定是否對預測單元執行幀內輪廓模式下的預測。圖6b是示出根據實施例的包括intra_contour_flag[d]的序列參數集擴展的表。序列參數集擴展是相較于傳統的序列參數集進一步包括附加信息的序列參數集。根據實施例的序列參數集擴展可以是進一步包括用于對深度圖像進行解碼的信息的序列參數集，并且可與sps_3d_extension()61相應。在以下描述中，為便于解釋，假設序列參數集擴展是sps_3d_extension()61。根據實施例，指示是否使用幀內輪廓模式的信息可以是包括在sps_3d_extension()61中的intra_contour_flag[d]67，并且d可表示包括關于當前視點是否包括深度信息的信息的DeptFlag。深度圖像編碼設備40可按照包括在當前編碼單元中的預測單元來確定條件語句66是否被滿足。如果可對當前編碼單元執行深度幀內模式，則條件語句66被滿足。也就是說，深度圖像預測模式確定器44可基于是否產生了包括在與編碼單元相關的sps_3d_extension()61中的intra_contour_flag[d]67來確定是否可對預測單元執行幀內輪廓模式。根據實施例，深度圖像預測模式確定器44可產生intra_contour_flag[d]67，其中，intra_contour_flag[d]67包括關于是否執行與深度幀內模式之中的幀內輪廓模式(INTRA_DEP_CONTOUR)相應的DMM4的信息。在深度圖像編碼方法中，關于是否執行幀內輪廓預測的信息也可通過使用等式1來產生。參照等式1，當intra_contour_flag[d]67具有值1時，如果另一預定條件被滿足(如果nuh_layer_id>0并且textOfCurViewAvailFlag≠0)，則關于幀內輪廓模式的信息的值可以是1。關于幀內輪廓模式的信息可以是指示將對深度圖像的預測單元執行的深度幀內模式之中的幀內輪廓模式的任意信息，并可包括IntraContourFlag。在以下描述中，為便于解釋，假設關于幀內輪廓模式的信息是IntraContourFlag。這里，nuh_layer_id是包括在網絡抽象層(NAL)單元頭中的語法元素，并且可以是在相較于傳統視頻解碼或編碼方法而包括進一步的擴展信息的解碼或編碼方法中使用的語法元素。因此，與傳統視頻編碼或解碼方法不同，在根據實施例的深度圖像編碼方法中nuh_layer_id可以不是值0。此外，textOfCurViewAvailFlag可以是關于當前視點的彩色圖像是否可用的信息。也就是說，當深度圖像編碼設備40對深度圖像進行編碼時，如果當前視點(或層)中的深度圖像的nuh_layer_id大于值0，如果彩色圖像在所述視點可用，并且如果包括指示對與nuh_layer_id相應的視點的預測單元執行幀內輪廓模式的信息的intra_contour_flag[DepthFlag]具有值1，則包括關于幀內輪廓模式的信息的IntraContourFlag可具有值1，在這種情況下，條件語句66被滿足。因此，深度圖像預測模式確定器44可基于intra_contour_flag[d]確定是否執行深度幀內模式下的預測，并且深度幀內模式可以是幀內輪廓模式。根據實施例，如果條件語句66被滿足，則深度圖像預測模式確定器44可執行用于對包括在當前編碼單元中的預測單元執行深度幀內預測的功能。為了對深度圖像執行深度幀內預測，用于執行與傳統的幀內預測模式不同的擴展預測模式的功能是必要的。根據實施例的深度圖像預測模式確定器44可使用intra_mode_ext(x0,y0,log2PbSize)作為用于對包括在當前編碼單元中的預測單元執行深度幀內預測的語法元素。深度圖像預測模式確定器44可使用intra_mode_ext(x0,y0,log2PbSize)來產生關于是否對深度圖像的處于當前位置的預測單元執行深度幀內預測的信息、以及關于深度幀內預測的類型的信息。圖6c是示出用于描述在intra_mode_ext(x0,y0,log2PbSize)下從比特流獲得第三標記和第二標記的操作的語法的表。第三標記可包括關于是否對當前預測單元執行深度幀內預測的信息，并且第二標記可包括關于深度幀內模式的類型的信息。也就是說，第三標記可被用于確定是否對深度圖像的預測單元執行深度幀內預測，第二標記可被用于確定深度圖像的幀內預測模式之中的深度幀內模式的類型。根據實施例，第二標記可以是depth_intra_mode_flag，第三標記可以是dim_not_present_flag。在以下描述中，為了便于解釋，假設第二標記是depth_intra_mode_flag，第三標記是dim_not_present_flag。參照表1，可基于DepthIntraMode的值對深度幀內模式的類型進行分類。這里，DepthIntraMode[x0][y0]為DepthIntraMode[x0][y0]＝dim_not_present_flag[x0][y0]？-1:depth_intra_mode_flag[x0][y0]。也就是說，如果depth_intra_mode_flag[x0][y0]具有值0或1則執行深度幀內預測，但是如果depth_intra_mode_flag[x0][y0]具有值-1則不執行深度幀內預測。深度圖像預測模式確定器44可通過使用直線(契波)來對深度圖像的塊進行劃分，并且如果depth_intra_mode_flag[x0][y0]具有值0則將INTRA_DEP_WEDGE模式確定為其預測模式，或者可通過使用曲線(輪廓)來對深度圖像的塊進行劃分，并且如果depth_intra_mode_flag[x0][y0]具有值1則將INTRA_DEP_CONTOUR模式確定為其預測模式。也就是說，根據實施例的深度圖像預測模式確定器44可通過在條件語句66在intra_controur_flag[d]具有值1時被滿足的情況下執行intra_mode_ext(x0+i,y0+j,log2PbSize)，并確定從比特流獲得的dim_not_present_flag[x0][y0]在所執行的intra_mode_ext(x0+i,y0+j,log2PbSize)中是否具有值0，來確定是否在幀內輪廓模式下對預測單元執行預測。如果dim_not_present_flag[x0][y0]具有值0,則深度圖像預測模式確定器44可產生depth_intra_mode_flag[x0][y0]并確定該標記是否具有與INTRA_DEP_CONTOUR相應的值。在確定depth_intra_mode_flag[x0][y0]具有與INTRA_DEP_CONTOUR相應的值時，深度圖像預測模式確定器44可確定對預測單元執行幀內輪廓模式。當在操作402確定對預測單元執行幀內輪廓預測時，在操作403，深度圖像編碼設備40可對深度圖像執行幀內輪廓預測。即使當在幀內輪廓模式下與深度圖像的預測單元相關的條帶類型是I類型時，深度圖像解碼設備40也可參照包括在與深度圖像相同的訪問單元中的彩色圖像來執行預測。在操作404，深度圖像編碼設備40可基于在操作403對預測單元執行幀內輪廓預測的結果來對深度圖像進行編碼。根據實施例的深度圖像編碼設備40和深度圖像解碼方法可按照用于將深度圖像信息配置為亮度信息的4:0:0格式，或者按照用于將視差信息配置為亮度信息的4:0:0格式來執行解碼。此外，深度圖像編碼設備40和深度圖像解碼方法可使用按照4:0:0格式編碼的亮度信息來實現3D圖像。圖7是根據實施例的基于根據樹結構的編碼單元的視頻編碼設備100的框圖。根據實施例的涉及基于樹結構的編碼單元的視頻預測的視頻編碼設備100包括編碼單元確定器120和輸出單元130。在下文中，為便于描述，根據實施例的涉及基于樹結構的編碼單元的視頻預測的視頻編碼設備100將被簡稱為“視頻編碼設備100”。編碼單元確定器120可基于圖像的當前畫面的最大編碼單元來劃分當前畫面，其中，最大編碼單元是具有最大尺寸的編碼單元。如果當前畫面大于最大編碼單元，則可將當前畫面的圖像數據劃分為至少一個最大編碼單元。根據實施例的最大編碼單元可以是尺寸為32×32、64×64、128×128、256×256等的數據單元，其中，數據單元的形狀是寬度和長度為2的若干次方的正方形。根據實施例的編碼單元可由最大尺寸和深度表征。深度表示編碼單元從最大編碼單元被空間劃分的次數，并且隨著深度加深，根據深度的較深層編碼單元可從最大編碼單元被劃分到最小編碼單元。最大編碼單元的深度為最高深度，最小編碼單元的深度為最低深度。由于隨著最大編碼單元的深度加深，與每個深度相應的編碼單元的尺寸減小，因此與更高深度相應的編碼單元可包括多個與更低深度相應的編碼單元。如上所述，當前畫面的圖像數據根據編碼單元的最大尺寸被劃分為最大編碼單元，并且每個最大編碼單元可包括根據深度被劃分的較深層編碼單元。由于根據深度對根據實施例的最大編碼單元進行劃分，因此可根據深度對包括在最大編碼單元中的空間域的圖像數據進行分層分類。可預先設置編碼單元的最大深度和最大尺寸，其中，所述最大深度和最大尺寸限制最大編碼單元的高度和寬度被分層劃分的總次數。編碼單元確定器120對通過根據深度對最大編碼單元的區域進行劃分而獲得的至少一個劃分區域進行編碼，并且根據所述至少一個劃分區域來確定用于輸出最終編碼的圖像數據的深度。換句話說，編碼單元確定器120通過根據當前畫面的最大編碼單元以根據深度的較深層編碼單元對圖像數據進行編碼，并選擇具有最小編碼誤差的深度，來確定最終深度。將確定的最終深度和根據確定的編碼深度的編碼的圖像數據輸出到輸出單元130。基于與等于或低于最大深度的至少一個深度相應的較深層編碼單元，對最大編碼單元中的圖像數據進行編碼，并且基于每個較深層編碼單元比較對圖像數據進行編碼的結果。在對較深層編碼單元的編碼誤差進行比較之后，可選擇具有最小編碼誤差的深度。可針對每個最大編碼單元選擇至少一個最終深度。隨著編碼單元根據深度而被分層地劃分并且隨著編碼單元的數量增加，最大編碼單元的尺寸被劃分。此外，即使在一個最大編碼單元中編碼單元與同一深度相應，仍通過分別測量每個編碼單元的圖像數據的編碼誤差來確定是否將與同一深度相應的每個編碼單元劃分到更低深度。因此，即使當圖像數據被包括在一個最大編碼單元中時，編碼誤差仍可根據所述一個最大編碼單元中的區域而不同，因此最終深度可根據圖像數據中的區域而不同。因此，可在一個最大編碼單元中確定至少一個最終深度，并且可根據所述至少一個最終深度的編碼單元來對最大編碼單元的圖像數據進行劃分。因此，根據實施例的編碼單元確定器120可確定包括在最大編碼單元中的具有樹結構的編碼單元。根據實施例的“具有樹結構的編碼單元”包括最大編碼單元中包括的所有較深層編碼單元之中的與確定為最終深度的深度相應的編碼單元。可根據最大編碼單元的同一區域中的深度來分層地確定最終深度的編碼單元，并可在不同區域中獨立地確定最終深度的編碼單元。類似地，可與另一區域中的最終深度獨立地確定當前區域中的最終深度。根據實施例的最大深度是與從最大編碼單元到最小編碼單元的劃分次數相關的索引。根據實施例的第一最大深度可表示從最大編碼單元到最小編碼單元的總劃分次數。根據實施例的第二最大深度可表示從最大編碼單元到最小編碼單元的深度等級的總數。例如，當最大編碼單元的深度是0時，對最大編碼單元劃分一次的編碼單元的深度可被設置為1，對最大編碼單元劃分兩次的編碼單元的深度可被設置為2。這里，如果最小編碼單元是最大編碼單元被劃分四次的編碼單元，則存在深度0、1、2、3和4的深度等級，并且因此第一最大深度可被設置為4，第二最大深度可被設置為5。可根據最大編碼單元執行預測編碼和變換。根據最大編碼單元，還基于根據等于或小于最大深度的深度的較深層編碼單元來執行預測編碼和變換。由于每當根據深度對最大編碼單元進行劃分時，較深層編碼單元的數量增加，因此對隨著深度加深而產生的所有較深層編碼單元執行包括預測編碼和變換的編碼。為了便于描述，在最大編碼單元中，現在將基于當前深度的編碼單元來描述預測編碼和變換。根據實施例的視頻編碼設備100可不同地選擇用于對圖像數據進行編碼的數據單元的尺寸或形狀。為了對圖像數據進行編碼，執行諸如預測編碼、變換和熵編碼的操作，此時，可針對所有操作使用相同的數據單元，或者可針對每個操作使用不同的數據單元。例如，視頻編碼設備100不僅可選擇用于對圖像數據進行編碼的編碼單元，還可選擇不同于編碼單元的數據單元，以便對編碼單元中的圖像數據執行預測編碼。為了在最大編碼單元中執行預測編碼，可基于根據實施例的與最終深度相應的編碼單元(即，基于不再被劃分為與更低深度相應的編碼單元的編碼單元)來執行預測編碼。通過劃分編碼單元而獲得的分區可包括編碼單元和通過對編碼單元的高度和寬度中的至少一個進行劃分而獲得的數據單元。分區可包括編碼單元被劃分的數據單元以及與編碼單元具有相同尺寸的數據單元。成為用于預測的基本單元的分區現在將被稱為“預測單元”。例如，當2N×2N(其中，N是正整數)的編碼單元不再被劃分并成為2N×2N的預測單元時，分區的尺寸可以是2N×2N、2N×N、N×2N或N×N。根據實施例的分區模式的示例包括通過對預測單元的高度或寬度對稱地進行劃分而獲得的對稱分區、通過對預測單元的高度或寬度進行非對稱地劃分(諸如，1：n或n:1)而獲得的分區、通過對預測單元幾何地進行劃分而獲得的分區、或具有任意形狀的分區。預測單元的預測模式可以是幀內模式、幀間模式和跳過模式中的至少一個。例如，可對2N×2N、2N×N、N×2N或N×N的分區執行幀內模式和幀間模式。此外，可僅對2N×2N的分區執行跳過模式。可對編碼單元中的一個預測單元獨立地執行編碼，從而選擇具有最小編碼誤差的預測模式。根據實施例的視頻編碼設備100不僅可不僅基于用于對圖像數據進行編碼的編碼單元來對編碼單元中的圖像數據執行變換，還可基于與編碼單元不同的數據單元，來對編碼單元中的圖像數據執行變換。為了在編碼單元中執行變換，可基于具有小于或等于編碼單元的尺寸的變換單元來執行變換。例如，變換單元可包括幀內模式的數據單元和幀間模式的變換單元。根據實施例，以與編碼單元根據樹結構被劃分的方式類似的方式，編碼單元中的變換單元可被遞歸地劃分為更小尺寸的區域。因此，可基于根據變換深度的具有樹結構的變換單元，對編碼單元中的殘差數據進行劃分。還可在根據實施例的變換單元中設置變換深度，其中，變換深度指示通過對編碼單元的高度和寬度進行劃分而達到變換單元的劃分次數。例如，在2N×2N的當前編碼單元中，當變換單元的尺寸是2N×2N時，變換深度可以是0，當變換單元的尺寸是N×N時，變換深度可以是1，當變換單元的尺寸是N/2×N/2時，變換深度可以是2。也就是說，還可根據變換深度設置具有樹結構的變換單元。根據深度的劃分信息不僅需要關于深度的信息，還需要關于與預測編碼和變換相關的信息。因此，編碼單元確定器120不僅確定具有最小編碼誤差的深度，還確定將預測單元劃分為分區的分區模式、根據預測單元的預測模式以及用于變換的變換單元的尺寸。稍后將參照圖9至圖19詳細描述根據實施例的最大編碼單元中的根據樹結構的編碼單元以及確定預測單元/分區和變換單元的方法。編碼單元確定器120可通過使用基于拉格朗日乘數的率失真優化來測量根據深度的較深層編碼單元的編碼誤差。輸出單元130在比特流中輸出最大編碼單元的圖像數據和根據深度的劃分信息，其中，所述最大編碼單元的圖像數據基于由編碼單元確定器120確定的至少一個深度而被編碼。可通過對圖像的殘差數據進行編碼來獲得編碼的圖像數據。根據深度的劃分信息可包括關于深度的信息、關于預測單元中的分區模式的信息、關于預測模式的信息和關于變換單元的劃分的信息。可通過使用根據深度的劃分信息來定義關于最終深度的信息，其中，根據深度的劃分信息指示是否對更低深度而不是當前深度的編碼單元執行編碼。如果當前編碼單元的當前深度是最終深度，則對當前編碼單元進行編碼，因此可將劃分信息定義為不將當前編碼單元劃分到更低深度。可選擇地，如果當前編碼單元的當前深度不是最終深度，則對更低深度的編碼單元執行編碼，并因此可將劃分信息定義為對當前編碼單元進行劃分以獲得更低深度的編碼單元。如果當前深度不是最終深度，則對被劃分到更低深度的編碼單元的編碼單元執行編碼。由于更低深度的至少一個編碼單元存在于當前深度的一個編碼單元中，因此對更低深度的每個編碼單元重復執行編碼，并因此可對具有相同深度的編碼單元遞歸地執行編碼。由于針對一個最大編碼單元確定具有樹結構的編碼單元，并且針對具有深度的編碼單元確定劃分信息，因此可針對一個最大編碼單元確定至少一條劃分信息。此外，由于根據深度對最大編碼單元的圖像數據進行分層劃分，因此最大編碼單元的圖像數據的深度可根據位置而不同，因此可針對圖像數據設置深度和劃分信息。因此，根據實施例的輸出單元130可將相應深度和關于編碼模式的編碼信息分配給包括在最大編碼單元中的編碼單元、預測單元和最小單元中的至少一個。根據實施例的最小單元是通過將構成最低深度的最小編碼單元劃分為4份而獲得的正方形數據單元。可選擇地，根據實施例的最小單元可以是可包括在最大編碼單元中所包括的所有編碼單元、預測單元、分區單元和變換單元中的最大正方形數據單元。例如，通過輸出單元130輸出的編碼信息可被分類為根據較深層編碼單元的編碼信息和根據預測單元的編碼信息。根據較深層編碼單元的編碼信息可包括關于預測模式的信息和關于分區尺寸的信息。根據預測單元的編碼信息可包括關于幀間模式的估計方向的信息、關于幀間模式的參考圖像索引的信息、關于運動矢量的信息、關于幀內模式的色度分量的信息、以及關于幀內模式的插值方法的信息。根據畫面、條帶或GOP定義的關于編碼單元的最大尺寸的信息和關于最大深度的信息可被插入到比特流的頭、序列參數集或畫面參數集中。還可通過比特流的頭、序列參數集或畫面參數集來輸出關于針對當前視頻允許的變換單元的最大尺寸的信息、以及關于變換單元的最小尺寸的信息。輸出單元130可對與預測相關的參考信息、預測信息和條帶類型信息進行編碼和輸出。在根據最簡單的實施例的視頻編碼設備100中，較深層編碼單元可以是通過將更高深度(更高一層)的編碼單元的高度或寬度劃分成兩份而獲得的編碼單元。換句話說，在當前深度的編碼單元的尺寸是2N×2N時，更低深度的編碼單元的尺寸是N×N。此外，尺寸為2N×2N的具有當前深度的編碼單元可包括最多4個具有更低深度的編碼單元。因此，視頻編碼設備100可基于考慮當前畫面的特征而確定的最大編碼單元的尺寸和最大深度，通過針對每個最大編碼單元確定具有最優形狀和最優尺寸的編碼單元來形成具有樹結構的編碼單元。此外，由于可通過使用各種預測模式和變換中的任意一個對每個最大編碼單元執行編碼，因此可考慮各種圖像尺寸的編碼單元的特征來確定最優編碼模式。因此，如果以傳統宏塊對具有高分辨率或大數據量的圖像進行編碼，則每個畫面的宏塊的數量極度增加。因此，針對每個宏塊產生的壓縮信息的條數增加，因此難以發送壓縮的信息，并且數據壓縮效率降低。然而，通過使用根據實施例的視頻編碼設備100，由于在考慮圖像的尺寸的同時增加編碼單元的最大尺寸，并且在考慮圖像的特征的同時調整編碼單元，因此可提高圖像壓縮效率。以上參照圖4a描述的深度圖像編碼設備10可包括與層數一樣多的視頻編碼設備100，以便根據多層視頻中的層對單層圖像進行編碼。例如，第一層編碼器12可包括一個視頻編碼設備100，深度圖像編碼器14可包括第二層的數量一樣多的視頻編碼設備100。當視頻編碼設備100對第一層圖像進行編碼時，編碼單元確定器120可針對每個最大編碼單元根據具有樹結構的編碼單元確定用于幀間預測的預測單元，并可根據預測單元執行幀間預測。即使在視頻編碼設備100對第二層圖像進行編碼時，編碼單元確定器120可針對每個最大編碼單元確定具有樹結構的編碼單元和預測單元，并可根據預測單元執行幀間預測。視頻編碼設備100可對第一層圖像和第二層圖像之間的亮度差進行編碼，以便補償亮度差。然而，可根據編碼單元的編碼模式確定是否執行亮度補償。例如，可僅對尺寸為2Nx2N的預測單元執行亮度補償。圖8是根據各種實施例的基于根據樹結構的編碼單元的視頻解碼設備200的框圖。根據實施例的涉及基于根據樹結構的編碼單元的視頻預測的視頻解碼設備200包括接收器210、圖像數據和編碼信息提取器220以及圖像數據解碼器230。為了便于描述，根據實施例的涉及基于根據樹結構的編碼單元的視頻預測的視頻解碼設備200將被簡稱為“視頻編碼設備200”。用于根據實施例的視頻解碼設備200的解碼操作的各種術語(諸如編碼單元、深度、預測單元、變換單元和各種劃分信息)的定義與參照圖7和視頻編碼設備100描述的定義相同。接收器210接收并解析編碼的視頻的比特流。圖像數據和編碼信息提取器220從解析的比特流針對每個編碼單元提取編碼的圖像數據，并將提取的圖像數據輸出到圖像數據解碼器230，其中，編碼單元具有根據每個最大編碼單元的樹結構。圖像數據和編碼信息提取器220可從關于當前畫面的頭、序列參數集或畫面參數集提取關于當前畫面的編碼單元的最大尺寸的信息。此外，圖像數據和編碼信息提取器220從解析的比特流根據每個最大編碼單元提取具有樹結構的編碼單元的最終深度和劃分信息。提取的最終深度和劃分信息被輸出到圖像數據解碼器230。換句話說，比特流中的圖像數據被劃分為最大編碼單元，使得圖像數據解碼器230針對每個最大編碼單元對圖像數據進行解碼。可針對至少一條深度信息設置根據最大編碼單元的深度和劃分信息，所述劃分信息可包括關于相應編碼單元的分區模式的信息、關于預測模式的信息和關于變換單元的劃分的信息。此外，根據深度的劃分信息可被提取為關于深度的信息。由圖像數據和編碼信息提取器220提取的根據每個最大編碼單元的深度和劃分信息是這樣的深度和劃分信息：所述深度和劃分信息被確定為在編碼器(諸如，根據實施例的視頻編碼設備100)根據每個最大編碼單元對根據深度的每個較深層編碼單元重復地執行編碼時產生最小編碼誤差。因此，視頻解碼設備200可通過根據產生最小編碼誤差的編碼深度和編碼模式對圖像數據進行解碼來重建圖像。由于根據實施例的關于深度和編碼模式的編碼信息可被分配給相應的編碼單元、預測單元和最小單元之中的預定數據單元，因此圖像數據和編碼信息提取器220可根據預定數據單元提取深度和劃分信息。如果相應最大編碼單元的深度和劃分信息根據預定數據單元被記錄，則可將被分配相同的深度和相同劃分信息的預定數據單元推斷為是包括在同一最大編碼單元中的數據單元。圖像數據解碼器230可基于根據最大編碼單元的深度和劃分信息，通過對每個最大編碼單元中的圖像數據進行解碼來重建當前畫面。也就是說，圖像數據解碼器230可基于提取出的關于包括在每個最大編碼單元中的具有樹結構的編碼單元之中的每個編碼單元的分區模式、預測模式和變換單元的信息，對編碼的圖像數據進行解碼。解碼處理可包括預測(包含幀內預測和運動補償)和逆變換。圖像數據解碼器230可基于關于根據深度的編碼單元的預測單元的分區模式和預測模式的信息，根據每個編碼單元的分區和預測模式執行幀內預測或運動補償。此外，圖像數據解碼器230可針對每個編碼單元讀取關于根據樹結構的變換單元的信息，以便基于每個編碼單元的變換單元執行逆變換，以針對每個最大編碼單元來進行逆變換。經過逆變換，可重建編碼單元的空間域的像素值。圖像數據解碼器230可通過使用根據深度的劃分信息來確定當前最大編碼單元的深度。如果劃分信息指示圖像數據在當前深度中不再被劃分，則當前深度是深度。因此，圖像數據解碼器230可通過使用關于預測單元的分區模式的信息、關于預測模式的信息和關于變換單元的尺寸的信息，對當前最大編碼單元中的編碼的數據進行解碼。也就是說，可通過觀察被分配用于編碼單元、預測單元和最小單元之中的預定數據單元的編碼信息集來收集包含包括相同劃分信息的編碼信息的數據單元，并且收集的數據單元可被認為是將由圖像數據解碼器230以相同編碼模式進行解碼的一個數據單元。因此，可通過獲得關于每個編碼單元的編碼模式的信息來對當前編碼單元進行解碼。以上參照圖3描述的深度圖像解碼設備30可包括與視點數一樣多的視頻解碼設備200，以便通過對接收的第一層圖像流和接收的第二層圖像流進行解碼來重建第一層圖像和第二層圖像。當第一層圖像流被接收時，視頻解碼設備200的圖像數據解碼器230可將由圖像數據和編碼信息提取器220從第一層圖像流提取的第一層圖像的樣點劃分為具有樹結構的編碼單元。圖像數據解碼器230可通過對通過劃分第一層圖像的樣點而獲得的具有樹結構的編碼單元執行用于幀間預測的根據預測單元的運動補償，重建第一層圖像。當第二層圖像流被接收時，視頻解碼設備200的圖像數據解碼器230可將由圖像數據和編碼信息提取器220從第二層圖像流提取的第二層圖像的樣點劃分為具有據樹結構的編碼單元。圖像數據解碼器230可通過對通過劃分第二層圖像的樣點而獲得的編碼單元執行用于幀間預測的根據預測單元的運動補償，重建第二層圖像。提取器220可從比特流獲得與亮度誤差相關的信息，以便補償第一視層圖像和第二層圖像之間的亮度差。然而，可根據編碼單元的編碼模式確定是否執行亮度補償。例如，可僅對尺寸為2Nx2N的預測單元執行亮度補償。因此，視頻解碼設備200可獲得與在對每個最大編碼單元遞歸地執行編碼時產生最小編碼誤差的至少一個編碼單元有關的信息，并可使用所述信息來對當前畫面進行解碼。也就是說，可對每個最大編碼單元中的被確定為最優編碼單元的具有樹結構的編碼單元進行解碼。因此，即使圖像具有高分辨率或具有極大的數據量，也可通過使用編碼單元的尺寸和編碼模式來有效地對圖像進行解碼和重建，其中，所述編碼單元的尺寸和編碼模式是通過使用從編碼器接收的最優劃分信息，根據圖像數據的特性而被自適應地確定的。圖9是用于描述根據各種實施例的編碼單元的構思的示圖。編碼單元的尺寸可被表示為寬度×高度，并且可以是64×64、32×32、16×16和8×8。64×64的編碼單元可被劃分為64×64、64×32、32×64或32×32的分區，32×32的編碼單元可被劃分為32×32、32×16、16×32或16×16的分區，16×16的編碼單元可被劃分為16×16、16×8、8×16或8×8的分區，8×8的編碼單元可被劃分為8×8、8×4、4×8或4×4的分區。在視頻數據310中，分辨率為1920×1080，編碼單元的最大尺寸為64，最大深度為2。在視頻數據320中，分辨率為1920×1080，編碼單元的最大尺寸為64，最大深度為3。在視頻數據330中，分辨率為352×288，編碼單元的最大尺寸為16，最大深度為1。圖10中示出的最大深度表示從最大編碼單元到最小編碼單元的劃分總次數。如果分辨率高或數據量大，則編碼單元的最大尺寸可能較大，從而不僅提高編碼效率，而且準確地反映圖像的特征。因此，具有比視頻數據330更高分辨率的視頻數據310和320的編碼單元的最大尺寸可以是64。由于視頻數據310的最大深度是2，因此由于通過對最大編碼單元劃分兩次，深度加深至兩層，因此視頻數據310的編碼單元315可包括長軸尺寸為64的最大編碼單元和長軸尺寸為32和16的編碼單元。由于視頻數據330的最大深度是1，因此由于通過對最大編碼單元劃分一次，深度加深至一層，因此視頻數據330的編碼單元335可包括長軸尺寸為16的最大編碼單元和長軸尺寸為8的編碼單元。由于視頻數據320的最大深度是3，因此由于通過對最大編碼單元劃分三次，深度加深至3層，因此視頻數據320的編碼單元325可包括長軸尺寸為64的最大編碼單元和長軸尺寸為32、16和8的編碼單元。隨著深度加深，可準確地表達詳細信息。圖10是根據各種實施例的基于編碼單元的圖像編碼器400的框圖。根據實施例的圖像編碼器400執行視頻編碼設備100的編碼單元確定器120對圖像數據進行編碼的操作。換句話說，幀內預測器420在當前幀405中根據每個預測單元對幀內模式下的編碼單元執行幀內預測，幀間預測器415根據每個預測單元通過使用當前圖像405和由重建畫面緩沖器410獲得的參考圖像對幀間模式下的編碼單元執行幀間預測。當前畫面405可被劃分為最大編碼單元，然后最大編碼單元可被順序編碼。這里，可對從最大編碼單元按照樹結構劃分的編碼單元執行編碼。通過從與將被編碼的當前圖像405的數據減去從幀內預測器420或幀間預測器415輸出的每個模式的編碼單元的預測數據來產生殘差數據，并且所述殘差數據根據每個變換單元通過變換器425和量化器430被輸出為量化后的變換系數。量化后的變換系數通過反量化器445和逆變換器450被重建為空間域中的殘差數據。空間域中的殘差數據與從幀內預測器420或幀間預測器415輸出的每個模式的編碼單元的預測數據相加，從而被重建為當前圖像405的編碼單元的空間域中的數據。空間域中的數據通過去塊器455和樣點自適應偏移(SAO)執行器460，因此重建的圖像被產生。重建的圖像被存儲在重建畫面緩沖器410中。重建畫面緩沖器410中存儲的重建的圖像可被用作用于另一圖像的幀間預測的參考圖像。通過變換器425和量化器430獲得的量化的變換系數可通過熵編碼器435被輸出為比特流440。為了將根據實施例的圖像編碼器400應用于視頻編碼設備100，圖像編碼器400的組件(即，幀間預測器415、幀內預測器420、變換器425、量化器430、熵編碼器435、反量化器445、逆變換器450、去塊單元455和SAO執行器460)根據每個最大編碼單元基于具有樹結構的編碼單元之中的每個編碼單元執行操作。具體地，幀內預測器420和幀間預測器415可在考慮當前最大編碼單元的最大尺寸和最大深度的同時確定具有樹結構的編碼單元之中的每個編碼單元的分區和預測模式，變換器425可確定是否在具有樹結構的編碼單元之中的每個編碼單元中根據四叉樹劃分變換單元。圖11是根據各種實施例的基于編碼單元的圖像解碼器500的框圖。熵解碼器515從比特流505解析將被解碼的編碼圖像數據和解碼所需的編碼信息。編碼圖像數據是量化后的變換系數，并且反量化器520和逆變換器525從所述量化后的變換系數重建殘差數據。幀內預測器540根據預測單元對幀內模式下的編碼單元執行幀內預測。幀間預測器通過使用由重建畫面緩沖器530獲得的參考圖像，根據預測單元對來自當前圖像的幀間模式下的編碼單元執行幀間預測。通過經由幀內預測器540或幀間預測器535將殘差數據和每個模式的編碼單元的預測數據相加，當前圖像的編碼單元的空間域中的數據被重建，并且空間域中的數據可通過去塊單元545和SAO執行器550被輸出為重建的圖像。重建畫面緩沖器530中存儲的重建的圖像可被輸出為參考圖像。為了在視頻解碼設備200的圖像數據解碼器230中對圖像數據進行解碼，可執行根據各種實施例的圖像解碼器500的熵解碼器515之后的操作。為了將圖像解碼器500應用于根據實施例的視頻解碼設備200，圖像解碼器500的組件(即，熵解碼器515、反量化器520、逆變換器525、幀內預測器540、幀間預測器535、去塊單元545和SAO執行器550)可針對每個最大編碼單元基于具有樹結構的編碼單元執行操作。具體地，幀內預測器540和幀間預測器535根據具有樹結構的編碼單元中的每個編碼單元確定分區模式和預測模式，逆變換器525可針對每個編碼單元確定是否根據四叉樹結構劃分變換單元。圖10的編碼操作和圖11的解碼操作分別是單層中的視頻流編碼操作和視頻流解碼操作。因此，當圖3a的編碼器12對至少兩層的視頻流進行編碼時，圖4a的視頻編碼設備10可包括與層數一樣多的圖像編碼器400。類似地，當圖2a的解碼器24對至少兩層的視頻流進行解碼時，圖2a的視頻解碼設備20可包括與層數一樣多的圖像解碼器500。圖12是示出根據各種實施例的根據深度編碼單元以及分區的示圖。根據實施例的視頻編碼設備100和根據實施例的視頻解碼設備200使用分層編碼單元以考慮圖像的特征。可根據圖像的特征自適應地確定編碼單元的最大高度、最大寬度和最大深度，或可由用戶要求不同地設置編碼單元的最大高度、最大寬度和最大深度。可根據編碼單元的預定最大尺寸來確定根據深度的較深層編碼單元的尺寸。在根據實施例的編碼單元的分層結構600中，編碼單元的最大高度和最大寬度均是64，最大深度是3。在此情況下，最大深度是指編碼單元從最大編碼單元到最小編碼單元被劃分的總次數。由于深度沿著根據各種實施例的編碼單元的分層結構600的垂直軸加深，因此較深層編碼單元的高度和寬度均被劃分。此外，預測單元和分區沿著分層結構600的水平軸被示出，其中，所述預測單元和分區是對每個較深層編碼單元進行預測編碼的基礎。換句話說，編碼單元610是分層結構600中的最大編碼單元，其中，深度為0，尺寸(即，高度乘寬度)為64×64。深度沿著垂直軸加深，存在尺寸為32×32且深度為1的編碼單元620、尺寸為16×16且深度為2的編碼單元630、尺寸為8×8且深度為3的編碼單元640。尺寸為8×8和深度為3的編碼單元640是最小編碼單元。編碼單元的預測單元和分區根據每個深度沿著水平軸被排列。換句話說，如果尺寸為64×64且深度為0的編碼單元610是預測單元，則可將預測單元劃分成包括在尺寸為64×64的編碼單元610中的分區，即，尺寸為64×64的分區610、尺寸為64×32的分區612、尺寸為32×64的分區614或尺寸為32×32的分區616。同樣，可將尺寸為32×32且深度為1的編碼單元620的預測單元劃分成包括在尺寸為32×32的編碼單元620中的分區，即，尺寸為32×32的分區620、尺寸為32×16的分區622、尺寸為16×32的分區624和尺寸為16×16的分區626。同樣，可將尺寸為16×16且深度為2的編碼單元630的預測單元劃分成包括在尺寸為16×16的編碼單元630中的分區，即，包括在編碼度單元630中的尺寸為16×16的分區、尺寸為16×8的分區632、尺寸為8×16的分區634和尺寸為8×8的分區636。同樣，可將尺寸為8×8且深度為3的編碼單元640的預測單元劃分成包括在尺寸為8×8的編碼單元640中的分區，即，包括在編碼單元640中的尺寸為8×8的分區640、尺寸為8×4的分區642、尺寸為4×8的分區644和尺寸為4×4的分區646。為了確定最大編碼單元610的深度，根據實施例的視頻編碼設備100的編碼單元確定器120對包括在最大編碼單元610中的與每個深度相應的編碼單元執行編碼。隨著深度加深，包括相同范圍和相同尺寸的數據的根據深度的較深層編碼單元的數量增加。例如，需要四個與深度2相應的編碼單元來覆蓋包括在與深度1相應的一個編碼單元中的數據。因此，為了根據深度比較對相同數據進行編碼的結果，與深度1相應的編碼單元和四個與深度2相應的編碼單元均被編碼。為了針對多個深度之中的當前深度執行編碼，可沿著分層結構600的水平軸，通過對與當前深度相應的編碼單元中的每個預測單元執行編碼，來針對當前深度選擇最小編碼誤差。可選擇地，隨著深度沿著分層結構600的垂直軸加深，可通過針對每個深度執行編碼來比較根據深度的最小編碼誤差，以搜索最小編碼誤差。最大編碼單元610中的具有最小編碼誤差的深度和分區可被選為最大編碼單元610的深度和分區模式。圖13是用于描述根據各種實施例的編碼單元和變換單元之間的關系的示圖。根據實施例的視頻編碼設備100或根據實施例的視頻解碼設備200針對每個最大編碼單元，根據具有小于或等于最大編碼單元的尺寸的編碼單元對圖像進行編碼或解碼。可基于不大于相應編碼單元的數據單元來選擇用于在編碼期間進行變換的變換單元的尺寸。例如，在根據實施例的視頻編碼設備100或根據實施例的視頻解碼設備200中，如果編碼單元710的尺寸是64×64，則可通過使用尺寸為32×32的變換單元720來執行變換。此外，可通過對小于64×64的尺寸為32×32、16×16、8×8和4×4的變換單元中的每一個執行變換，來對尺寸為64×64的編碼單元710的數據進行編碼，然后可選擇具有最小編碼誤差的變換單元。圖14示出根據各種實施例的根據深度的多條編碼信息。根據實施例的視頻編碼設備100的輸出單元130可對與深度相應的每個編碼單元的關于分區模式的信息800、關于預測模式的信息810以及關于變換單元的尺寸的信息820進行編碼，并將信息800、信息810以及信息820作為劃分信息來發送。信息800指示關于通過劃分當前編碼單元的預測單元而獲得的分區的形狀的信息，其中，分區是用于對當前編碼單元進行預測編碼的數據單元。例如，可將尺寸為2N×2N的當前編碼單元CU_0劃分成以下分區中的任意一個：尺寸為2N×2N的分區802、尺寸為2N×N的分區804、尺寸為N×2N的分區806和尺寸為N×N的分區808。這里，關于分區類型的信息800被設置為指示以下分區之一：尺寸為2N×N的分區804、尺寸為N×2N的分區806和尺寸為N×N的分區808。信息810指示每個分區的預測模式。例如，信息810可指示對由信息800指示的分區執行的預測編碼的模式，即，幀內模式812、幀間模式814或跳過模式816。信息820指示當對當前編碼單元執行變換時所基于的變換單元。例如，變換單元可以是第一幀內變換單元822、第二幀內變換單元824、第一幀間變換單元826或第二幀間變換單元828。根據實施例的視頻解碼設備200的圖像數據和編碼信息提取器220可根據每個較深層編碼單元，提取并使用用于解碼的信息800、信息810和信息820。圖15是根據各種實施例的根據深度的較深層編碼單元的示圖。劃分信息可用來指示深度的改變。劃分信息指示當前深度的編碼單元是否被劃分成更低深度的編碼單元。用于對深度為0且尺寸為2N_0×2N_0的編碼單元900進行預測編碼的預測單元910可包括以下分區模式的分區：尺寸為2N_0×2N_0的分區模式912、尺寸為2N_0×N_0的分區模式914、尺寸為N_0×2N_0的分區模式916和尺寸為N_0×N_0的分區模式918。圖16僅示出了通過對稱地劃分預測單元而獲得的分區912至918，但是分區模式不限于此，并且預測單元的分區可包括非對稱分區、具有預定形狀的分區和具有幾何形狀的分區。根據每種分區模式，對尺寸為2N_0×2N_0的一個分區、尺寸為2N_0×N_0的兩個分區、尺寸為N_0×2N_0的兩個分區和尺寸為N_0×N_0的四個分區重復地執行預測編碼。可對尺寸為2N_0×2N_0、N_0×2N_0、2N_0×N_0和N_0×N_0的分區執行幀內模式和幀間模式下的預測編碼。僅對尺寸為2N_0×2N_0的分區執行跳過模式下的預測編碼。如果在分區模式912、914和916中的一個分區模式中編碼誤差最小，則可不將預測單元910劃分到更低深度。如果在分區模式918中編碼誤差最小，則深度從0改變到1以在操作920中對分區模式918進行劃分，并對深度為2且尺寸為N_0×N_0的編碼單元930重復地執行編碼來搜索最小編碼誤差。用于對深度為1且尺寸為2N_1×2N_1(＝N_0×N_0)的編碼單元930進行預測編碼的預測單元940可包括以下分區模式的分區：尺寸為2N_1×2N_1的分區模式942、尺寸為2N_1×N_1的分區模式944、尺寸為N_1×2N_1的分區模式946以及尺寸為N_1×N_1的分區模式948。如果在分區模式948中編碼誤差最小，則深度從1改變到2以在操作950中對分區模式948進行劃分，并對深度為2且尺寸為N_2×N_2的編碼單元960重復執行編碼來搜索最小編碼誤差。當最大深度是d時，根據每個深度的劃分操作可被執行直到深度變成d-1時，并且劃分信息可被編碼直到深度是0到d-2之一時。也就是說，當編碼被執行直到在與d-2的深度相應的編碼單元在操作970中被劃分之后深度是d-1時，用于對深度為d-1且尺寸為2N_(d-1)×2N_(d-1)的編碼單元980進行預測編碼的預測單元990可包括以下分區模式的分區：尺寸為2N_(d-1)×2N_(d-1)的分區模式992、尺寸為2N_(d-1)×N_(d-1)的分區模式994、尺寸為N_(d-1)×2N_(d-1)的分區模式996和尺寸為N_(d-1)×N_(d-1)的分區模式998。可對分區模式之中的尺寸為2N_(d-1)×2N_(d-1)的一個分區、尺寸為2N_(d-1)×N_(d-1)的兩個分區、尺寸為N_(d-1)×2N_(d-1)的兩個分區、尺寸為N_(d-1)×N_(d-1)的四個分區重復地執行預測編碼，以搜索具有最小編碼誤差的分區模式。即使當分區模式998具有最小編碼誤差時，由于最大深度是d，因此深度為d-1的編碼單元CU_(d-1)不再被劃分到更低深度，用于構成當前最大編碼單元900的編碼單元的深度被確定為d-1，并且當前最大編碼單元900的分區模式可被確定為N_(d-1)×N_(d-1)。此外，由于最大深度是d，因此不設置針對深度為d-1的編碼單元952的劃分信息。數據單元999可以是用于當前最大編碼單元的“最小單元”。根據實施例的最小單元可以是通過將具有最低深度的最小編碼單元劃分成4份而獲得的正方形數據單元。通過重復地執行編碼，根據實施例的視頻編碼設備100可通過比較根據編碼單元900的深度的編碼誤差來選擇具有最小編碼誤差的深度以確定深度，并將相應分區模式和預測模式設置為該深度的編碼模式。這樣，在所有深度1至d中對根據深度的最小編碼誤差進行比較，并且具有最小編碼誤差的深度可被確定為深度。該深度、預測單元的分區模式和預測模式可作為劃分信息被編碼并被發送。此外，由于編碼單元從0的深度被劃分到深度，因此僅將該深度的劃分信息設置為0，并且將除了該深度以外的深度的劃分信息設置為1。根據實施例的視頻解碼設備200的圖像數據和編碼信息提取器220可提取并使用關于編碼單元900的深度和預測單元的信息，以對分區912進行解碼。根據實施例的視頻解碼設備200可通過使用根據深度的劃分信息，將劃分信息為0的深度確定為深度，并且使用相應深度的劃分信息來進行解碼。圖16、圖17和圖18是用于描述根據各種實施例的在編碼單元、預測單元和變換單元之間的關系的示圖。編碼單元1010是最大編碼單元中的根據由根據實施例的視頻編碼設備100確定的深度的具有樹結構的編碼單元。預測單元1060是根據深度的每個編碼單元的預測單元的分區，變換單元1070是根據深度的每個編碼單元的變換單元。當在編碼單元1010中最大編碼單元的深度是0時，編碼單元1012和1054的深度是1，編碼單元1014、1016、1018、1028、1050和1052的深度是2，編碼單元1020、1022、1024、1026、1030、1032和1048的深度是3，編碼單元1040、1042、1044和1046的深度是4。在預測單元1060中，通過劃分編碼單元1010中的編碼單元來獲得一些編碼單元1014、1016、1022、1032、1048、1050、1052和1054。也就是說，編碼單元1014、1022、1050和1054中的分區模式的尺寸是2N×N，編碼單元1016、1048和1052中的分區模式的尺寸是N×2N，編碼單元1032的分區模式的尺寸為N×N。編碼單元1010的預測單元和分區小于或等于每個編碼單元。在小于編碼單元1052的數據單元中的變換單元1070中，對編碼單元1052的圖像數據執行變換或逆變換。此外，在尺寸和形狀方面，變換單元1070中的編碼單元1014、1016、1022、1032、1048、1050和1052是不同于預測單元1060中的編碼單元1014、1016、1022、1032、1048、1050和1052的數據單元。也就是說，根據實施例的視頻編碼設備100和視頻解碼設備200可對同一編碼單元中的各個數據單元執行幀內預測、運動估計、運動補償、變換和逆變換。因此，對最大編碼單元的每個區域中的具有分層結構的每個編碼單元遞歸地執行編碼來確定最優編碼單元，從而可獲得具有遞歸樹結構的編碼單元。編碼信息可包括關于編碼單元的劃分信息、關于分區模式的信息、關于預測模式的信息和關于變換單元的尺寸的信息。表1示出可由根據各種實施例的視頻編碼設備100和視頻解碼設備200設置的編碼信息。[表1]根據實施例的視頻編碼設備100的輸出單元130可輸出關于具有樹結構的編碼單元的編碼信息，根據實施例的視頻解碼設備200的圖像數據和編碼信息提取器220可從接收到的比特流提取關于具有樹結構的編碼單元的編碼信息。劃分信息指示是否將當前編碼單元劃分成更低深度的編碼單元。如果當前深度d的劃分信息是0，則當前編碼單元不再被劃分成更低深度的深度是深度，從而可針對深度來定義關于分區模式、預測模式和變換單元的尺寸的信息。如果當前編碼單元根據劃分信息被進一步劃分，則對更低深度的四個劃分編碼單元獨立地執行編碼。預測模式可以是幀內模式、幀間模式和跳過模式中的一種。可在所有分區模式中定義幀內模式和幀間模式，可僅在尺寸為2N×2N的分區模式中定義跳過模式。關于分區模式的信息可指示通過對稱地劃分預測單元的高度或寬度而獲得的尺寸為2N×2N、2N×N、N×2N和N×N的對稱分區模式、以及通過非對稱地劃分預測單元的高度或寬度而獲得的尺寸為2N×nU、2N×nD、nL×2N和nR×2N的非對稱分區模式。可通過按1:3和3:1來劃分預測單元的高度來分別獲得尺寸為2N×nU和2N×nD的非對稱分區模式，可通過按1:3和3:1來劃分預測單元的寬度來分別獲得尺寸為nL×2N和nR×2N的非對稱分區模式。可將變換單元的尺寸設置成幀內模式下的兩種類型和幀間模式下的兩種類型。換句話說，如果變換單元的劃分信息是0，則變換單元的尺寸可以是2N×2N，即當前編碼單元的尺寸。如果變換單元的劃分信息是1，則可通過對當前編碼單元進行劃分來獲得變換單元。此外，如果尺寸為2N×2N的當前編碼單元的分區模式是對稱分區模式，則變換單元的尺寸可以是N×N，如果當前編碼單元的分區類型是非對稱分區模式，則變換單元的尺寸可以是N/2×N/2。根據實施例，關于具有樹結構的編碼單元的編碼信息可包括與深度相應的編碼單元、預測單元和最小單元中的至少一個。與深度相應的編碼單元可包括包含相同編碼信息的預測單元和最小單元中的至少一個。因此，通過比較鄰近數據單元的編碼信息來確定鄰近數據單元是否被包括在與深度相應的同一編碼單元中。此外，通過使用數據單元的編碼信息來確定與深度相應的相應編碼單元，并因此可確定最大編碼單元中的深度的分布。因此，如果基于鄰近數據單元的編碼信息來對當前編碼單元進行預測，則可直接參考并使用與當前編碼單元鄰近的較深層編碼單元中的數據單元的編碼信息。作為另一示例，如果基于鄰近數據單元的編碼信息來對當前編碼單元進行預測，則使用數據單元的編碼信息來搜索與當前編碼單元鄰近的數據單元，并可參考搜索到的鄰近編碼單元來對當前編碼單元進行預測。圖19是用于描述根據表1的編碼模式信息的編碼單元、預測單元和變換單元之間的關系的示圖。最大編碼單元1300包括多個深度的編碼單元1302、1304、1306、1312、1314、1316和1318。這里，由于編碼單元1318是具有深度的編碼單元，因此劃分信息可被設置成0。可將關于尺寸為2N×2N的編碼單元1318的分區模式的信息設置成以下分區模式中的一種：尺寸為2N×2N的分區模式1322、尺寸為2N×N的分區模式1324、尺寸為N×2N的分區模式1326、尺寸為N×N的分區模式1328、尺寸為2N×nU的分區模式1332、尺寸為2N×nD的分區模式1334、尺寸為nL×2N的分區模式1336和尺寸為nR×2N的分區模式1338。變換單元的劃分信息(TU尺寸標記)是一種類型的變換索引。與變換索引相應的變換單元的尺寸可根據編碼單元的預測單元類型或分區模式而改變。例如，當分區模式被設置為對稱(即，分區模式1322、1324、1326或1328)時，如果變換單元的TU尺寸標記是0，則設置尺寸為2N×2N的變換單元1342，如果TU尺寸標記是1，則設置尺寸為N×N的變換單元1344。當分區模式被設置成非對稱(即，分區模式1332、1334、1336或1338)時，如果TU尺寸標記是0，則設置尺寸為2N×2N的變換單元1352，如果TU尺寸標記是1，則設置尺寸為N/2×N/2的變換單元1354。參照圖19，TU尺寸標記是具有值0或1的標記，但是根據實施例的TU尺寸標記不限于1比特，并且變換單元可在TU尺寸標記從0增加時被分層劃分為具有樹結構。變換單元的劃分信息(TU尺寸標記)可以是變換索引的示例。在這種情況下，可通過使用根據各種實施例的變換單元的TU尺寸標記以及變換單元的最大尺寸和最小尺寸來表示實際上已使用的變換單元的尺寸。根據實施例的視頻編碼設備100能夠對最大變換單元尺寸信息、最小變換單元尺寸信息和最大TU尺寸標記進行編碼。對最大變換單元尺寸信息、最小變換單元尺寸信息和最大TU尺寸標記進行編碼的結果可被插入SPS。根據實施例的視頻解碼設備200可通過使用最大變換單元尺寸信息、最小變換單元尺寸信息和最大TU尺寸標記來對視頻進行解碼。例如，(a)如果當前編碼單元的尺寸是64×64并且最大變換單元尺寸是32×32，則(a-1)當TU尺寸標記為0時，變換單元的尺寸可以是32×32，(a-2)當TU尺寸標記為1時，變換單元的尺寸可以是16×16，(a-3)當TU尺寸標記為2時，變換單元的尺寸可以是8×8。作為另一示例，(b)如果當前編碼單元的尺寸是32×32并且最小變換單元尺寸是32×32，則(b-1)當TU尺寸標記為0時，變換單元的尺寸可以是32×32。這里，由于變換單元的尺寸不能夠小于32×32，因此TU尺寸標記不能夠被設置為除了0以外的值。作為另一示例，(c)如果當前編碼單元的尺寸是64×64并且最大TU尺寸標記為1，則TU尺寸標記可以是0或1。這里，TU尺寸標記不能夠被設置為除了0或1以外的值。因此，如果定義最大TU尺寸標記為“MaxTransformSizeIndex”，最小變換單元尺寸為“MinTransformSize”，并且當TU尺寸標記為0時的變換單元尺寸為“RootTuSize”，則可通過等式(1)來定義可在當前編碼單元中確定的當前最小變換單元尺寸“CurrMinTuSize”：CurrMinTuSize＝max(MinTransformSize,RootTuSize/(2^MaxTransformSizeIndex))…(1)與可在當前編碼單元中確定的當前最小變換單元尺寸“CurrMinTuSize”相比，當TU尺寸標記為0時的變換單元尺寸“RootTuSize”可指示可在系統中選擇的最大變換單元尺寸。在等式(1)中，“RootTuSize/(2^MaxTransformSizeIndex)”指示當TU尺寸標記為0時，變換單元尺寸“RootTuSize”被劃分了與最大TU尺寸標記相應的次數時的變換單元尺寸，“MinTransformSize”指示最小變換尺寸。因此，“RootTuSize/(2^MaxTransformSizeIndex)”和“MinTransformSize”中較小的值可以是可在當前編碼單元中確定的當前最小變換單元尺寸“CurrMinTuSize”。根據實施例，最大變換單元尺寸RootTuSize可根據預測模式的類型而改變。例如，如果當前預測模式是幀間模式，則可通過使用以下的等式(2)來確定“RootTuSize”。在等式(2)中，“MaxTransformSize”指示最大變換單元尺寸，“PUSize”指示當前預測單元尺寸。RootTuSize＝min(MaxTransformSize,PUSize)……(2)也就是說，如果當前預測模式是幀間模式，則當TU尺寸標記為0時的變換單元尺寸“RootTuSize”可以是最大變換單元尺寸和當前預測單元尺寸中較小的值。如果當前分區單元的預測模式是幀內模式，則可通過使用以下的等式(3)來確定“RootTuSize”。在等式(3)中，“PartitionSize”指示當前分區單元的尺寸：RootTuSize＝min(MaxTransformSize,PartitionSize)……(3)也就是說，如果當前預測模式是幀內模式，則當TU尺寸標記為0時的變換單元尺寸“RootTuSize”可以是最大變換單元尺寸和當前分區單元的尺寸之中較小的值。然而，根據分區單元中的預測模式的類型而改變的當前最大變換單元尺寸“RootTuSize”僅是示例，并且本公開不限于此。根據參照圖7至圖19描述的基于具有樹結構的編碼單元的視頻編碼方法，可針對樹結構的每個編碼單元對空間域的圖像數據進行編碼。根據基于具有樹結構的編碼單元的視頻解碼方法，對每個最大編碼單元執行解碼來重建空間域的圖像數據。因此，畫面和作為畫面序列的視頻可被重建。重建的視頻可由再現設備來再現，可存儲在存儲介質中，或可通過網絡來發送。根據本公開的實施例可被編寫為計算機程序，并可實現在使用計算機可讀記錄介質執行程序的通用數字計算機中。計算機可讀記錄介質的示例包括磁存儲介質(例如，ROM、軟盤、硬盤等)和光學記錄介質(例如，CD-ROM或DVD)等。為便于描述，以上參照圖1至圖19描述的層間視頻編碼方法和/或視頻編碼方法將被統稱為“本公開的視頻編碼方法”。此外，以上參照圖1至圖19描述的層間視頻解碼方法和/或視頻解碼方法將被稱為“本公開的視頻解碼方法”。此外，已參照圖1至圖19描述的包括深度圖像編碼設備40、視頻編碼設備100或圖像編碼器400的視頻編碼設備將被稱為“本公開的視頻編碼設備”。此外，已參照圖1至圖19描述的包括深度圖像解碼設備30、視頻解碼設備200或圖像解碼器500的視頻解碼設備將被統稱為“本公開的視頻解碼設備”。現在將詳細描述根據實施例的存儲程序的計算機可讀記錄介質(例如，盤26000)。圖20是根據各種實施例的存儲程序的盤26000的物理結構的示圖。作為存儲介質的盤26000可以是硬盤驅動器、致密盤只讀存儲器(CD-ROM)盤、藍光盤或數字多功能盤(DVD)。盤26000包括多個同心磁道Tr，每個同心磁道Tr沿盤26000的圓周方向被劃分成特定數量的扇區Se。在根據實施例的盤26000的特定區域中，可分配并存儲執行以上所描述的量化參數確定方法、視頻編碼方法和視頻解碼方法的程序。現在將參照圖22來描述使用存儲用于執行如上所述的視頻編碼方法和視頻解碼方法的程序的存儲介質來實現的計算機系統。圖21是通過使用盤26000來記錄并讀取程序的盤驅動器26800的示圖。計算機系統27000可經由盤驅動器26800將執行本公開的視頻編碼方法和視頻解碼方法中的至少一個的程序存儲在盤26000中。為了在計算機系統27000中運行存儲在盤26000中的程序，可通過使用盤驅動器27000從盤26000讀取程序并將程序發送到計算機系統26700。執行本公開的視頻編碼方法和視頻解碼方法中的至少一個的程序不僅可被存儲在圖20或圖21中示出的盤26000中，還可被存儲在存儲卡、ROM卡帶或固態驅動器(SSD)中。以下將描述應用以上所描述的視頻編碼方法和視頻解碼方法的系統。圖22是用于提供內容分發服務的內容供應系統11000的整體結構的示圖。將通信系統的服務區域劃分成預定尺寸的小區，并將無線基站11700、11800、11900和12000分別安裝在這些小區中。內容供應系統11000包括多個獨立裝置。例如，諸如計算機12100、個人數字助理(PDA)12200、視頻相機12300和移動電話12500的多個獨立裝置經由互聯網服務提供器11200、通信網絡11400和無線基站11700、11800、11900和12000連接到互聯網11100。然而，內容供應系統11000不限于如圖24中所示的結構，并且裝置可選擇性地被連接到內容供應系統11000。多個獨立裝置可不經由無線基站11700、11800、11900和12000而直接連接到通信網絡11400。視頻相機12300是能夠捕捉視頻圖像的成像裝置，例如，數字視頻相機。移動電話12500可利用各種協議(例如，個人數字通信(PDC)、碼分多址(CDMA)、寬帶碼分多址(W-CDMA)、全球移動通信系統(GSM)和個人手持電話系統(PHS))中的至少一種通信方法。視頻相機12300可經由無線基站11900和通信網絡11400連接到流服務器11300。流服務器11300允許經由視頻相機12300從用戶接收到的內容經由實時廣播被流傳輸。可使用視頻相機12300或流服務器11300來對從視頻相機12300接收到的內容進行編碼。通過視頻相機12300捕捉到的視頻數據可經由計算機12100被發送到流服務器11300。通過相機12600捕捉到的視頻數據也可經由計算機12100被發送到流服務器11300。與數碼相機類似，相機12600是能夠捕捉靜止圖像和視頻圖像兩者的成像裝置。可使用相機12600或計算機12100對通過相機12600捕捉到的視頻數據進行編碼。可將對視頻執行編碼和解碼的軟件存儲在可由計算機12100訪問的計算機可讀記錄介質(例如，CD-ROM盤、軟盤、硬盤驅動器、SSD或存儲卡)中。如果視頻數據通過內置在移動電話12500中的相機被捕捉到，則可從移動電話12500接收視頻數據。還可通過安裝在視頻相機12300、移動電話12500或相機12600中的大規模集成電路(LSI)系統來對視頻數據進行編碼。根據實施例的內容供應系統11000可對由用戶使用視頻相機12300、相機12600、移動電話12500或另一成像裝置所記錄的內容數據(例如，在音樂會期間記錄的內容)進行編碼，并可將編碼后的內容數據發送到流服務器11300。流服務器11300可將流傳輸內容的類型的編碼后的內容數據發送到請求內容數據的其它客戶端。客戶端是能夠對編碼后的內容數據進行解碼的裝置，例如，計算機12100、PDA12200、視頻相機12300或移動電話12500。因此，內容供應系統11000允許客戶端接收并再現編碼后的內容數據。此外，內容供應系統11000允許客戶端實時接收編碼后的內容數據并對編碼后的內容數據進行解碼和再現，從而能夠進行個人廣播。本公開的視頻編碼設備和視頻解碼設備可被應用于包括在內容供應系統11000中的多個獨立裝置的編碼和解碼操作。參照圖23和圖24，現在將更加詳細地描述包括在根據實施例的內容供應系統11000中的移動電話12500。圖23示出根據各種實施例的應用本公開的視頻編碼方法和視頻解碼方法的移動電話12500的外部結構。移動電話12500可以是智能電話，所述智能電話的功能不受限，并且所述智能電話的大多數功能可被改變或擴展。移動電話12500包括可與圖21的無線基站12000交換射頻(RF)信號的內部天線12510，并包括用于顯示由相機12530捕捉到的圖像或經由天線12510接收到的并被解碼的圖像的顯示屏12520(例如，液晶顯示器(LCD)或有機發光二極管(OLED)屏幕)。移動電話12500包括包含有控制按鈕和觸摸面板的操作面板12540。如果顯示屏12520是觸摸屏，則操作面板12540還包括顯示屏12520的觸摸感測面板。移動電話12500包括用于輸出語音和聲音的揚聲器12580或另一類型的聲音輸出單元、以及用于輸入語音和聲音的麥克風12550或另一類型的聲音輸入單元。移動電話12500還包括用于捕捉視頻和靜止圖像的相機12530，諸如電荷耦合器件(CCD)相機。移動電話12500還可包括：存儲介質12570，用于存儲通過相機12530捕捉到的、經由電子郵件接收到的、或根據各種方式獲得的編碼/解碼數據(例如，視頻或靜止圖像)；插槽12560，存儲介質12570經由插槽12560被裝入移動電話12500中。存儲介質12570可以是閃存，例如，包括在塑料殼中的安全數字(SD)卡或電可擦除可編程只讀存儲器(EEPROM)。圖24示出移動電話12500的內部結構。為了系統地控制包括顯示屏12520和操作面板12540的移動電話12500的部件，供電電路12700、操作輸入控制器12640、圖像編碼器12720、相機接口12630、LCD控制器12620、圖像解碼器12690、復用器/解復用器12680、記錄/讀取單元12670、調制/解調單元12660和聲音處理器12650經由同步總線12730被連接到中央控制器12710。如果用戶操作電源按鈕，并從“電源關閉”狀態設置為“電源開啟”狀態，則供電電路12700從電池組向移動電話12500的所有部件供電，從而將移動電話12500設置為處于操作模式。中央控制器12710包括中央處理器(CPU)、ROM和RAM。在移動電話12500將通信數據發送到外部的同時，在中央控制器12710的控制下，由移動電話12500產生數字信號。例如，聲音處理器12650可產生數字聲音信號，圖像編碼器12720可產生數字圖像信號，并且消息的文本數據可經由操作面板12540和操作輸入控制器12640被產生。當數字信號在中央控制器12710的控制下被發送到調制/解調單元12660時，調制/解調單元12660對數字信號的頻帶進行調制，并且通信電路12610對頻帶調制后的數字聲音信號執行數模轉換(DAC)和頻率轉換。從通信電路12610輸出的發送信號可經由天線12510被發送到語音通信基站或無線基站12000。例如，當移動電話12500處于通話模式時，在中央控制器12710的控制下，經由麥克風12550獲得的聲音信號通過聲音處理器12650被變換成數字聲音信號。數字聲音信號可經由調制/解調單元12660和通信電路12610被變換成變換信號，并可經由天線12510被發送。當文本消息(例如，電子郵件)在數據通信模式下被發送時，文本消息的文本數據經由操作面板12540被輸入，并經由操作輸入控制器12640被發送到中央控制器12610。在中央控制器12610的控制下，文本數據經由調制/解調單元12660和通信電路12610被變換成發送信號，并經由天線12510被發送到無線基站12000。為了在數據通信模式下發送圖像數據，由相機12530捕捉到的圖像數據經由相機接口12630被提供給圖像編碼單元12720。捕捉到的圖像數據可經由相機接口12630和LCD控制器12620被直接顯示在顯示屏12520上。圖像編碼器12720的結構可與上述視頻編碼設備100的結構相應。圖像編碼器12720可根據上述視頻編碼方法，將從相機12530接收到的圖像數據變換為壓縮和編碼后的圖像數據，并隨后將編碼后的圖像數據輸出到復用器/解復用器12680。在相機12530的記錄操作期間，由移動電話12500的麥克風12550獲得的聲音信號可經由聲音處理器12650被變換成數字聲音數據，并且數字聲音數據可被發送到復用器/解復用器12680。復用器/解復用器12680對從圖像編碼單元12720接收到的編碼后的圖像數據與從聲音處理器12650接收到的聲音數據一起進行復用。對數據進行復用的結果可經由調制/解調單元12660和通信電路12610被變換成發送信號，然后可經由天線12510被發送。當移動電話12500從外部接收到通信數據時，可對經由天線12510接收到的信號執行頻率恢復和ADC以將信號變換成數字信號。調制/解調單元12660對數字信號的頻帶進行調制。根據頻帶調制后的數字信號的類型，將所述數字信號發送到視頻解碼單元12690、聲音處理器12650或LCD控制器12620。在通話模式下，移動電話12500對經由天線12510接收到的信號進行放大，并通過對放大后的信號執行頻率轉換和ADC來獲得數字聲音信號。在中央控制器12710的控制下，接收到的數字聲音信號經由調制/解調單元12660和聲音處理器12650被變換成模擬聲音信號，并且模擬聲音信號經由揚聲器12580被輸出。當在數據通信模式下時，接收在互聯網網站上訪問的視頻文件的數據，經由調制/解調單元12660將經由天線12510從無線基站12000接收到的信號輸出為復用數據，并將復用數據發送到復用器/解復用器12680。為了對經由天線12510接收到的復用數據進行解碼，復用器/解復用器12680將復用數據解復用成編碼后的視頻數據流和編碼后的音頻數據流。經由同步總線12730，編碼后的視頻數據流和編碼后的音頻數據流分別被提供給視頻解碼單元12690和聲音處理器12650。圖像解碼器12690的結構可與上述視頻解碼設備200的結構相應。圖像解碼器12690可根據由上述視頻解碼設備200或圖像解碼器500采用的視頻解碼方法，對編碼后的視頻數據進行解碼來獲得重建的視頻數據，并經由LCD控制器12620將重建的視頻數據提供給顯示屏12520。因此，可將在互聯網網站上訪問的視頻文件的數據顯示在顯示屏12520上。同時，聲音處理器12650可將音頻數據變換成模擬聲音信號，并將模擬聲音信號提供給揚聲器12580。因此，也可經由揚聲器12580再現在互聯網網站上訪問的視頻文件中包含的音頻數據。移動電話12500或另一類型的通信終端可以是包括本公開的視頻編碼設備和視頻解碼設備兩者的收發終端，可以是僅包括本公開的視頻編碼設備的收發終端，或者可以是僅包括本公開的視頻解碼設備的收發終端。根據本公開的通信系統不限于以上參照圖22描述的通信系統。例如，圖25示出根據各種實施例的采用通信系統的數字廣播系統。根據實施例的圖25的數字廣播系統可通過使用本公開的視頻編碼設備和視頻解碼設備來接收經由衛星或地面網絡發送的數字廣播。具體地，廣播站12890通過使用無線電波將視頻數據流發送到通信衛星或廣播衛星12900。廣播衛星12900發送廣播信號，廣播信號經由家用天線12860被發送到衛星廣播接收器。在每個房屋中，可通過TV接收器12810、機頂盒12870或其它裝置對編碼后的視頻流進行解碼和再現。當本公開的視頻解碼設備被實現在再現設備12830中時，再現設備12830可對記錄在存儲介質12820(諸如盤或存儲卡)上的編碼后的視頻流進行解析和解碼，以重建數字信號。因此，可在例如監視器12840上再現重建的視頻信號。在被連接到用于衛星/地面廣播的天線12860或用于接收有線電視(TV)廣播的有線天線12850的機頂盒12870中，可安裝本公開的視頻解碼設備。從機頂盒12870輸出的數據也可被再現在TV監視器12880上。作為另一示例，可將本公開的視頻解碼設備安裝在TV接收器12810中，而不是機頂盒12870中。具有合適的天線12910的汽車12920可接收從衛星12900或無線基站11700發送的信號。可在安裝在汽車12920中的汽車導航系統12930的顯示屏上再現解碼后的視頻。視頻信號可由本公開的視頻編碼設備來編碼，然后可被記錄并存儲在存儲介質中。具體地，可由DVD記錄器將圖像信號存儲在DVD盤12960中，或可由硬盤記錄器12950將圖像信號存儲在硬盤中。作為另一示例，可將視頻信號存儲在SD卡12970中。如果硬盤記錄器12950包括根據實施例的本公開的視頻解碼設備，則記錄在DVD盤12960、SD卡12970或另一存儲介質上的視頻信號可在TV監視器12880上被再現。汽車導航系統12930可不包括圖26的相機12530、相機接口12630和圖像編碼單元12720。例如，計算機12100和TV接收器12810可不包括圖26的相機12530、相機接口12630和圖像編碼單元12720。圖26是示出根據各種實施例的使用視頻編碼設備和視頻解碼設備的云計算系統的網絡結構的示圖。云計算系統可包括云計算服務器14000、用戶數據庫(DB)14100、多個計算資源14200和用戶終端。響應于來自用戶終端的請求，云計算系統經由數據通信網絡(例如，互聯網)提供多個計算資源14200的點播外包服務。在云計算環境下，服務提供商通過使用虛擬化技術組合位于不同的物理位置的數據中心處的計算資源，為用戶提供想要的服務。服務用戶不必將計算資源(例如，應用、存儲器、操作系統(OS)和安全軟件)安裝在他/她自己的終端中以使用它們，但可在想要的時間點在通過虛擬化技術產生的虛擬空間中從服務中選擇和使用想要的服務。指定的服務用戶的用戶終端經由包括互聯網和移動電信網絡的數據通信網絡被連接到云計算服務器14000。可從云計算服務器14000向用戶終端提供云計算服務，特別是視頻再現服務。用戶終端可以是能夠被連接到互聯網的各種類型的電子裝置，例如，桌上型PC14300、智能TV14400、智能電話14500、筆記本計算機14600、便攜式多媒體播放器(PMP)14700、平板PC14800等。云計算服務器14000可組合分布在云網絡中的多個計算資源14200，并向用戶終端提供組合的結果。所述多個計算資源14200可包括各種數據服務，并可包括從用戶終端上傳的數據。如上所述，云計算服務器14000可通過根據虛擬化技術組合分布在不同區域中的視頻數據庫來向用戶終端提供想要的服務。將關于已經訂購云計算服務的用戶的用戶信息存儲在用戶DB14100中。用戶信息可包括用戶的登陸信息、地址、姓名和個人信用信息。用戶信息還可包括視頻的索引。這里，所述索引可包括已經被再現的視頻的列表、正在被再現的視頻的列表、之前正在被再現的視頻的暫停點等。可在用戶裝置之間共享存儲在用戶DB14100中的關于視頻的信息。例如，當響應于來自筆記本計算機14600的請求將視頻服務提供給筆記本計算機14600時，視頻服務的再現歷史被存儲在用戶DB14100中。當從智能電話14500接收到用于再現此視頻服務的請求時，云計算服務器14000基于用戶DB14100搜索并再現此視頻服務。當智能電話14500從云計算服務器14000接收到視頻數據流時，通過對視頻數據流進行解碼來再現視頻的處理與以上參照圖24描述的移動電話12500的操作類似。云計算服務器14000可參考存儲在用戶DB14100中的想要的視頻服務的再現歷史。例如，云計算服務器14000從用戶終端接收用于再現存儲在用戶DB14100中的視頻的請求。如果此視頻被再現過，則由云計算服務器14000執行的對此視頻進行流傳輸的方法可根據來自用戶終端的請求(即，根據是將從視頻的起點還是從視頻的暫停點開始再現視頻)而不同。例如，如果用戶終端請求從視頻的起點開始再現視頻，則云計算服務器14000將從視頻的第一幀開始的視頻的流數據發送到用戶終端。如果用戶終端請求從視頻的暫停點開始再現視頻，則云計算服務器14000將從與暫停點相應的幀開始的視頻的流數據發送到用戶終端。在此情況下，用戶終端可包括以上參照圖1至圖19描述的本公開的視頻解碼設備。作為另一示例，用戶終端可包括以上參照圖1至圖19描述的本公開的視頻編碼設備。可選擇地，用戶終端可包括以上參照圖1至圖19描述的本公開的視頻解碼設備和視頻編碼設備兩者。以上參照圖20至圖26描述了以上參照圖1至圖19描述的根據各種實施例的視頻編碼方法、視頻解碼方法、視頻編碼設備和視頻解碼設備的各種應用。然而，以上參照圖1至圖19描述的根據各種實施例的將視頻編碼方法和視頻解碼方法存儲在存儲介質中的方法或者將視頻編碼設備和視頻解碼設備實現在裝置中的方法不限于以上參照圖20至圖26描述的實施例。本領域的普通技術人員將理解，在不脫離由權利要求限定的本公開的精神和范圍的情況下，可作出形式和細節上的各種改變。實施例應僅被看作描述性意義，而不是限制的目的。因此，本發明的范圍不由本公開的詳細描述來限定，而由權利要求來限定，在所述范圍內的所有不同將被解釋為包括在本公開中。當前第1頁1 2 3