用于解碼/編碼視頻信號的方法和裝置的制作方法

專利名稱：用于解碼/編碼視頻信號的方法和裝置的制作方法
技術領域：
本發明涉及視頻信號的碼處理(coding)。
背景技術：
壓縮碼處理指用于經由通信電路傳輸數字化信息或者以適于存儲 介質的形式存儲數字化信息的一系列信號處理技術。作為壓縮碼處理 的對象，存在音頻、視頻、字符等等。具體地，用于對視頻執行壓縮 碼處理的技術被稱為視頻序列壓縮。視頻序列通常特征在于具有空間 冗余或者時間冗余
發明內容
技術問題
因此，本發明涉及用于解碼/編碼視頻信號的方法和裝置，其能夠 本質上增強碼處理視頻信號的效率。
技術方案
本發明的目標在于使用塊間或視點間相關性來有效率地增強視頻 序列的碼處理效率。
本發明的另 一 目標在于有效率地補償多視點序列中的視點之間的 亮度差異。
本發明的另 一 目標在于有效率地傳輸指示視點間依賴'性的視點間 參考信息。
本發明的另一目標在于使用深度信息增強視頻信號的碼處理效率。
本發明的另一目標在于使用照相機信息為用戶提供各種服務或者 增強視頻信號的碼處理效率。
本發明的進一步目標在于提供一種解碼方法和裝置，通過該解碼 方法和裝置能夠有效率地解碼視頻序列數據。
有益效果
根據本發明，能夠通過使用視頻序列的時間和空間相關性預測運 動信息來增強信號處理效率。通過使用與當前塊具有高相關性的圖片 的碼處理信息預測當前塊的碼處理信息來使能更高精度的預測，從而 傳輸的錯誤被減小以進行高效的碼處理。即使當前塊的運動信息沒有 被傳輸，也能夠計算與當前塊的運動信息非常類似的運動信息。因此， 重構率得以增強。能夠使用深度信息改進碼處理效率和序列重建率。 能夠使用照相機信息增強碼處理效率。而且，還能夠向用戶提供各種 服務。
在本發明中，使用相鄰塊的信息預測當前塊的偏移值，并且傳輸 相應的差異值。因此，能夠最小化應被傳輸用于亮度補償(以下簡寫 為IC)的信息。在使用至少兩個參考塊預測碼處理的情況下，通過用 各種方法中的至少一種來應用偏移值和標志信息，從而使得能夠進行 更高效的碼處理。當預測當前塊的偏移值時，能夠通過檢査當前塊的 參考索引是否與相鄰塊的參考索引相同來執行更準確的預測。能夠以 下述方式最小化應被傳輸的信息，即預測指示是否執行當前塊的亮度 補償的標志信息并且然后僅傳輸相應的差異值。類似地，能夠通過檢 査當前塊的參考索引是否與相鄰塊的參考索引相同來執行更準確的預


被包括以提供本發明的進一步理解并且并入并且構成本說明書一 部分的附圖示出了本發明的實施例，并且與說明一起用于解釋本發明 的原理。
在附圖中
圖l是根據本發明的實施例的視頻信號解碼裝置的示意框圖2是根據本發明的實施例的關于能夠被添加到多視點序列碼處 理比特流的多視點序列的構造信息的圖3是解釋根據本發明的一個實施例的用于獲得當前塊的IC差異 信息的過程的圖4和圖5是解釋根據本發明的實施例的通過考慮亮度補償的運動
矢量預測方法的圖6是解釋根據本發明的實施例的使用深度圖的碼處理方法的圖； 圖7至14是根據本發明的實施例的使用照相機信息的用于描述各
種應用示例的句法的圖15是根據本發明的實施例的多視點序列信號的整體預測結構的
圖，用于解釋視點間圖片組的概念；以及
圖16至20是根據本發明的實施例的用于描述視點間參考信息的各 種句法的圖。
具體實施例方式
在下面的描述中將闡述本發明的額外的特征和優點，并且其將從 說明中變得更加明顯，或者可以通過本發明的實踐來學習。將通過在 給出的描述和其權利要求以及附圖中特別指出的結構來實現并且獲得 本發明的目標和其他優點。
為了獲得這些和其他優點并且根據本發明的目的，如所示例并且 廣泛描述的， 一種解碼視頻信號的方法包括當與對于當前塊的亮度 補償相關聯的信息在比特流中不可用時，獲得當前塊的相鄰塊的IC差 異信息；使用相鄰塊的IC差異信息推導當前塊的IC差異信息；基于當前塊的IC差異信息推導指示是否對當前塊執行亮度補償的IC標志；以 及基于當前塊的IC差異信息和IC標志，執行對當前塊的亮度補償。
優選地，當當前塊的IC差異信息為O時，當前塊的IC標志被推導為
優選地，當當前塊的IC差異信息不為O時，當前塊的IC標志被推導為l。
優選地，基于當前塊的參考索引是否與相鄰塊的參考索引相同來
推導出當前塊的IC差異信息。
更優選地，當存在一個具有與當前塊的參考索引相同的參考索引
的相鄰塊時，當前塊的IC差異信息被設置為相鄰塊的IC差異信息。
在該情況下，按照當前塊的上、左、右上、左上塊的順序檢查相 鄰塊。
更優選地，當存在每個具有與當前塊的參考索引相同的參考索引
的三個相鄰塊時，當前塊的ic差異信息被設置為三個相鄰塊的ic差異
信息的中間值。
優選地，視頻信號被接收為廣播信號。
優選地，經由數字媒介接收視頻信號。
為了進一步獲得這些以及其它優點并且根據本發明的目的，計算 機可讀介質包括用于執行本發明的程序。并且該程序被記錄在計算機 可讀介質中。為了進一步獲得這些以及其它優點并且根據本發明的目的， 一種用于解碼視頻信號的裝置包括IC差異預測單元，當與對于當前塊的
亮度補償相關聯的信息在比特流中不可用時，該ic差異預測單元使用
獲得的相鄰塊的IC差異信息推導當前塊的IC差異信息；以及
IC單元，該IC單元基于當前塊的IC差異信息推導指示是否對當前塊執行亮度補償的IC標志，并且基于當前塊的IC差異信息和IC標志對當前塊執行亮度補償。
應理解的是，前述一般性描述以及下面的詳細描述都是示例性的和說明性的，并且意在提供所要求保護的本發明的進一步說明。
本發明的實施模式
現在將詳細地參考本發明的優選實施例，在附圖中示出了其示例。
首先，視頻信號數據的壓縮碼處理考慮空間冗余、時間冗余、可分級冗余以及視點間冗余。并且，在壓縮碼處理的過程中，通過考慮視點間存在的相互冗余使得能夠進行壓縮碼處理。考慮視點間冗余的壓縮碼處理方案正是本發明的實施例。而且，本發明的技術思想可應用于時間冗余、可分級冗余等等。在該公開中，碼處理能夠包括編碼和解碼兩者的概念。并且，碼處理能夠靈活地解釋為與本發明的技術思想和范圍對應。
觀察視頻信號的比特序列構造，在處理移動圖片編碼過程本身的
VCL (視頻碼處理層)與傳輸并且存儲編碼的信息的下級系統(lowersystem)之間存在被稱為NAL (網絡抽象層)的單獨的層結構。從編碼過程輸出的是VCL數據并且在傳輸或存儲之前通過NAL單元映射。每個NAL單元包括是對應于首部(header)信息的數據的RBSP (原始字節序列載荷移動圖片壓縮的結果數據)或壓縮的視頻數據。NAL單元基本上包括兩部分，NAL首部和RBSP。 NAL首部包括標志信息(rial—ref—idc)，其指示是否包括作為NAL單元的參考圖片的片段；以及識別符(nal—unit_type)，其指示NAL單元的類型。壓縮的原始數據被存儲在RBSP中。并且，RBSP結尾比特被添加到RBSP的最后部分以將RBSP的長度表示為8-比特乘法(multiplication)。作為NAL單元的類型，有IDR (即時解碼刷新)圖片、SPS (序列參數集)、PPS (圖片參數集)、SEI (補充增強信息)等等。
在標準中，需要設置各種簡檔(profile)和等級(level)以使得能夠實施具有適合的成本的目標產品。在該情況下，解碼器應滿足根據相應的簡檔和等級確定的要求。因此，兩個概念"簡檔"和"等級"
被定義為指示用于表示解碼器能夠處理多大范圍的壓縮序列的功能或參數。并且，簡檔標示符(profile—idc)能夠識別比特流是基于規定的簡檔。簡檔標示符指指示比特流所基于的簡檔的標志。例如，在_!1.264/7^^中，如果簡檔標示符為66，則其意味著比特流是基于基線(baseline)簡檔。如果簡檔標示符是77，則其意味著比特流是基于主簡檔。如果簡檔標示符是88，則其意味著比特流是基于擴展簡檔。然而，簡檔標示符能夠被包括在序列參數集中。
因此，為了處理多視點序列，需要識別輸入的比特流是否是多視點簡檔。如果輸入的比特流是多視點簡檔，則需要添加句法以使得至少一個用于多視點的附加信息能夠被傳輸。在該情況下，多視點簡檔指示用于處理多視點視頻的簡檔模式作為H.264/AVC的附加技術。在MVC中，添加句法作為用于MVC模式的附加信息可能比無條件句法更有效率。例如，當AVC的簡檔識別符指示多視點簡檔時，如果用于多視點序列的信息被添加，則能夠增強編碼效率。
序列參數集指示包含諸如簡檔、等級等等的跨過整個序列的編碼的信息的首部信息。整個壓縮的移動圖片，即序列應該從序列首部開始。因此，對應于首部信息的序列參數集應在參考參數集的數據到達之前到達解碼器。BP,序列參數集RBSP對于移動圖片壓縮的結果數據
起到首部信息的作用。 一旦比特流被輸入，簡檔標示符優選地標識被輸入的比特流是基于多個簡檔中的哪一個。因此，通過將用于確定輸
入的比特流是否與多視點簡檔相關的部分(例如，"if (profilejdc==MULTI_VIEW—PROFILE)")添加到句法中，確定輸入的比特流是否與多視點簡檔有關。各種類型的構造信息能夠被添加，只要輸入的比特流被確認為與多視點簡檔有關。例如，能夠添加視點的總數、視點間參考圖片的數目、視點間參考圖片的視點識別編號等等。并且，解碼圖片緩沖器能夠使用各種類型的與視點間參考圖片有關的信息來構造和管理參考圖片列表。
圖1是根據本發明的用于解碼視頻信號的裝置的示意框圖。
參考圖l，解碼裝置包括解析單元100、熵解碼單元200、反量化/反變換單元300、幀內預測單元400、去塊過濾器單元500、解碼圖片緩沖單元600、幀間預測單元700等等。并且，幀間預測單元700能夠包括IC差異預測單元710、 IC (亮度補償)單元720、運動補償單元730等等。
解析單元100通過NAL單元進行解析以解碼接收到的視頻序列。一般來說，在解碼片段首部和片段數據之前，至少一個序列參數集以及至少一個圖片參數集被傳輸到解碼器。在該情況下，各種類型的構造信息能夠被包括在NAL首部區域中或者NAL首部的擴展區域中。由于MVC是用于傳統的AVC方案的附加方案，因此，在MVC比特流的情況下，添加各種構造信息可能比無條件的添加更有效率。例如，能夠添加標志信息以識別在NAL首部區域或者NAL首部的擴展區域中的MVC比特流的存在還是不存在。只有根據標志信息，輸入的比特流是多視點序列編碼的比特流，才能夠添加用于多視點序列的構造信息。例如，構造信息能夠包括視點識別信息、視點間圖片組識別信息、視點間預測標志信息、時間等級信息、優先級識別信息、指示是否是用于視點的即時解碼圖片的識別信息等等。將參考圖2詳細地對其進行說明。
熵解碼單元200對解析后的比特流進行熵解碼，并且然后提取每
個宏塊的系數、運動矢量等等。反量化/反變換單元300獲得通過將接
收到的量化值乘以預定常數變換的系數值并且然后將系數值反變換以
重建像素值。使用重建的像素值，幀內預測單元400從解碼的采樣在當前圖片內進行畫面內預測。同時，去塊過濾器單元500被應用于每個碼處理后的宏塊以減少塊失真。過濾器平滑塊邊緣以增強解碼的幀的圖像質量。過濾過程的選擇取決于邊界強度和邊界周圍的圖像采樣的梯度。通過過濾的圖片被輸出或者被存儲在解碼圖片緩沖單元600中以用作參考圖片。
解碼圖片緩沖單元600起到存儲或者打開預先碼處理的圖片以執行圖片間預測的作用。在該情況下，為了將圖片存儲在解碼圖片緩沖單元600中或者為了打開圖片，使用每個圖片的"frame_num"和PCO(圖片次序號)。因此，在MVC中，由于在先前碼處理的圖片當中存在與當前圖片存在的視點不同的視點上的圖片，因此，為了使用這些圖片作為參考圖片，可以與"frame—num"和POC —起使用用于識別圖片的視點信息。
解碼圖片緩沖單元600能夠在構建用于視點間預測的參考圖片列表中使用關于視點的信息。例如，能夠使用視點間參考信息。視點間參考信息指用于指示視點間依賴關系的信息。例如，能夠有視點的總數、視點識別編號、視點間參考圖片的數目、視點間參考圖片的視點識別編號等等。
解碼圖片緩沖單元600管理參考圖片以更靈活地實現圖片間預測。例如，可以使用存儲器管理控制操作方法和滑動窗口方法。這是通過將存儲器統一為一個存儲器來管理參考圖片存儲器和非參考圖片存儲器并且以較小的存儲器來實現有效率的存儲器管理。在多視點視 頻碼處理中，由于視點方向上的圖片具有相同的圖片次序號，因此， 在對其進行標記中可使用用于識別圖片中的每一個的視點的信息。并 且，以上述方式管理的參考圖片能夠由幀間預測單元700使用。
幀間碼處理的宏塊能夠被劃分為宏塊分區(partition)。并且每個 宏塊分區能夠從一個或兩個參考圖片來預測。幀間預測單元700包括 IC差異預測單元710、 IC單元720、運動補償單元730等等。
在輸入的比特流對應于多視點序列的情況下，由于各視點序列是 分別通過不同的照相機捕捉的，因此由于照相機的內部和外部因素導 致產生亮度差異。為了防止該差異，IC單元720執行亮度補償(IC)。 在執行亮度補償中，能夠使用指示是否對視頻信號的規定層執行亮度 補償的標志信息。例如，能夠使用指示是否對相應的片段或宏塊執行 亮度補償的標志信息來執行亮度補償。在使用標志信息執行亮度補償 中，可應用于各種宏塊類型(例如，幀間16X16模式、B跳過模式、 直接模式等等)。
在執行亮度補償中，能夠使用相鄰塊的信息、在與當前塊的視點 不同的視點中的塊的信息或當前塊的IC差異信息來重建當前塊。在當 前塊參考不同視點中的相鄰塊的情況下，能夠使用關于被存儲在解碼 圖片緩沖單元600中的用于視點間預測的參考圖片列表的信息來執行 亮度補償。在該情況下，當前塊的OC差異值可以指當前塊的平均像素 值與相應的參考塊的平均像素值之間的差。例如使用IC差異信息的情 況下，使用當前塊的相鄰塊來獲得當前塊的IC差異預測值并且能夠使 用是IC差異信息和IC差異預測值之間的差異值的IC差異殘余(IC偏 移殘余)。因此，解碼器能夠使用IC差異殘余和IC差異預測值來重 建當前塊的IC差異信息。
在獲得當前塊的IC差異預測值中，能夠使用相鄰塊的信息。例如，能夠使用相鄰塊的IC差異信息來預測當前塊的IC差異信息。在此之 前，檢查當前塊的參考索引是否與相鄰塊的參考索引相同。根據檢査 的結果，能夠確定使用規定塊還是規定值。
能夠使用視點方向的碼處理信息相關性來預測當前塊的碼處理信 息。例如，碼處理信息能夠包括亮度補償信息、預測方向信息、分區 信息等等。具體地，為了預測當前塊的亮度補償信息，能夠使用與當 前塊相鄰的塊的亮度補償。并且，還能夠使用對應于當前塊并且在當 前塊的同一視點中存在的圖片的塊的亮度補償信息。
運動補償單元730使用從熵解碼單元200傳輸的信息補償當前塊 的運動。從視頻信號提取與當前塊鄰近的塊的運動矢量并且然后獲得 當前塊的運動矢量。并且，使用獲得的運動矢量預測值和從視頻信號 提取的差分矢量補償當前塊的運動。并且，能夠使用一個參考圖片或 者-多個圖片來執行運動補償。在多視點視頻碼處理中，在當前圖片參 考不同視點中的圖片的情況下，能夠使用用于被存儲在解碼圖片緩沖 單元600中的視點間預測參考圖片列表的信息來執行運動補償。并且， 還能夠使用用于識別相應圖片的視點的視點信息來執行運動補償。
直接預測模式是用于從編碼塊的運動信息預測當前塊的運動信息 的編碼模式。由于該方法能夠節省解碼運動信息所要求的比特數，因 此補償效率得以增強。例如，時間直接模式使用在時間方向上的運動 信息相關性來預測當前塊的運動信息。當包含不同運動的序列中的運 動的速度恒定時，該時間直接模式是有效的。在時間直接模式用于多 視點視頻碼處理的情況下，應考慮視點間運動矢量。
對于直接預測模式的另一示例，空間直接模式使用空間方向上的 運動信息相關性預測當前塊的運動信息。當運動的速度在包含相同運 動的序列中變化時，該空間直接模式是有效的。在當前圖片的反方向 參考圖片列表(列表1)中具有最小參考編號的參考圖片中，能夠使用與當前塊同地的塊的運動信息來預測當前圖片的運動信息。然而，在 多視點視頻碼處理中，參考圖片可能存在于與當前圖片的視點不同的 視點中。在該情況下，可以在應用空間直接模式中使用各種實施例。
在視頻信號碼處理中，對特定應用或其它目的能夠使用深度信息。 深度信息可以指能夠指示視點間視差差異的信息。例如，能夠通過視 點間預測獲得視差矢量。并且，獲得的視差矢量應被傳輸到解碼設備 用于當前塊的視差補償。然而，在找到深度圖并且然后將其傳輸至解 碼設備的情況下，能夠在不將視差矢量傳輸到解碼設備的情況下從深 度圖(或視差圖)推導視差矢量。深度圖能夠與運動矢量或視差矢量 一起傳輸。在該情況下，深度圖可以指用于每個預定單元的深度信息。 例如，預定單元可以對應于像素單元或者塊單元。如果這樣，有利的 是，能夠降低應該傳輸到解碼設備的深度信息的比特數。能夠使用深 度圖來重建兩個彼此相鄰的視點間的虛視點。通過從深度圖推導視差 矢量，能夠提供新的視差補償方法。因此，在從深度圖推導視差矢量 的過程中使用不同視點的圖片的情況下，能夠使用用于識別圖片的視 點的視點信息。這將在后面參考圖6進行詳細解釋。
根據預測模式選擇上述過程的幀間預測圖片和幀內預測圖片來重 建當前圖片。
圖2是根據本發明的一個實施例的關于可添加到多視點序列碼處 理比特流的多視點序列的構造信息的圖。
圖2示出多視點序列的構造信息能夠被添加到的NAL單元構造的 示例。NAL單元能夠主要包括NAL單元首部和RBSP (原始字節序列 載荷移動圖片壓縮的結果數據)。并且，NAL單元首部能夠包括指 示NAL單元是否包括參考圖片的片段的識別信息(nal—ref一idc)以及 指示NAL單元的類型的信息(nal一unit一type)。并且，NAL單元首部 的擴展區域能夠被限制地包括。例如，如果指示NAL單元的類型的信息與可分級視頻碼處理相關聯或者指示前綴NAL單元，則NAL單元 能夠包括NAL單元首部的擴展區域。具體地，如果nal—unit—type=20 或14，則NAL單元能夠包括NAL單元首部的擴展區域。并且，根據 能夠識別是否是MVC比特流的標志信息(svc—mvc—flag)，用于多視 點序列的構造信息能夠被添加到NAL單元首部的擴展區域。
對于另一個示例，如果指示NAL單元的類型的信息是指示序列參 數集的信息，則RBSP能夠包括關于序列參數集的信息。具體地，如果 nal—Unit—type=7，則RBSP能夠包括用于序列參數集的信息。在該情況 下，根據簡檔信息，序列參數集能夠包括序列參數集的擴展區域。例 如，如果簡檔信息(profile—idc)是與多視點視頻碼處理有關的簡檔， 則序列參數集能夠包括序列參數集的擴展區域。替代地，根據簡檔信 息，子集序列參數集能夠包括序列參數集的擴展區域。序列參數集的 擴展區域能夠包括指示視點間依賴性的視點間參考信息。
在下面詳細解釋關于多視點序列的各種構造信息，例如能夠被包 括在NAL單元首部的擴展區域中的構造信息或者能夠被包括在序列參 數集的擴展區域中的構造信息。
首先，視點識別信息指用于將當前視點中的圖片與不同視點中的 圖片區分的信息。在對視頻序列信號進行碼處理，POC (圖片次序號) 和"fmme一num"用于識別每個圖片。在多視點視頻序列的情況下，執 行視點間預測。因此，需要將當前視點的圖片與另一視點的圖片進行 區分的識別信息。因此，需要限定用于識別圖片的視點的視點識別信 息。能夠從視頻信號的首部區域獲得視點識別信息。例如，首部區域 能夠是NAL首部區域、NAL首部的擴展區域、或者片段首部區域。使 用視點識別信息獲得與當前圖片的視點不同的視點的圖片的信息，并 且能夠使用關于不同視點中的圖片的信息解碼視頻信號。
視點識別信息可應用于視頻信號的整個解碼/編碼過程。例如，能夠使用視點識別信息來指示視點間依賴性。可能需要視點間參考圖片 的編號信息、視點間參考圖片的視點識別信息等等來指示視點間依賴 性。類似于視點間參考圖片的編號信息或者視點間參考圖片的視點識 別信息，用于指示視點間依賴性的信息應被命名為視點間參考信息。 在該情況下，視點識別信息能夠用于指示視點間參考圖片的視點識別 信息。視點間參考圖片可以指在對當前圖片執行視點間預測中使用的 參考圖片。并且，視點識別信息能夠使用考慮視點來代替考慮特定視
點識別符的"frame_num"完整地應用于多視點視頻碼處理。
視點間圖片組識別信息指能夠識別當前NAL單元的碼處理圖片 是否是視點間圖片組的信息。在該情況下，視點間圖片組指僅參考所 有片段都存在于同一時區中的幀內的片段的碼處理圖片。例如，其指 僅參考不同視點的片段而不參考當前視點的片段的碼處理圖片。在解 碼多視點序列中，視點間隨機訪問可以是可能的。對于視點間預測，
視點間參考信i、是必須的。在獲得視點間參考信息中，可以使用視點
間圖片組識別信息。例如，如果當前圖片對應于視點間圖片組，則能 夠獲得關于視點間圖片組的視點間參考信息。如果當前圖片對應于非 視點間圖片組，則能夠獲得關于非視點間圖片組的視點間參考信息。
因此，在基于視點間圖片組識別信息獲得視點間參考信息的情況 下，能夠更有效率地執行視點間隨機訪問。這是因為視點間圖片組中 的圖片之間的視點間參考關系能夠與非視點間圖片組中的不同。并且， 在視點間圖片組的情況下，多個視點中的圖片能夠被參考。例如，從 多個視點中的圖片產生虛視點的圖片，并且然后能夠使用虛視點的圖 片預測當前圖片。
在構建參考圖片列表中，能夠使用視點間圖片組識別信息。在該 情況下，參考圖片列表能夠包括用于視點間預測的參考圖片列表。并 且，用于視點間預測的參考圖片列表能夠被添加到參考圖片列表。例 如，在初始化參考圖片列表或者修改參考圖片列表的情況下，能夠使用視點間圖片組識別信息。并且，視點間圖片組識別信息還能夠用于 管理添加的用于視點間預測的參考圖片。例如，通過將參考圖片劃分 為視點間圖片組和非視點間圖片組，能夠做出指示不應該使用在執行 視點間預測中未能被使用的參考圖片的標記。并且，視點間圖片組識
別信息能夠應用于假設的(hypothetical)參考解碼器。
視點間預測標志信息指指示當前NAL單元的碼處理圖片是否被 用于視點間預測的信息。視點間預測標志信息可用于執行時間預測或 者視點間預測的部分。在該情況下，能夠一起使用指示NAL單元是否 包括參考圖片的片段的識別信息。例如，雖然根據識別信息當前NAL 單元未能包括參考圖片的片段，但是如果其用于視點間預測，則當前 NAL單元能夠是僅用于視點間預測的參考圖片。根據識別信息，如果 當前NAL單元包括參考圖片的片段，并且被用于視點間預測，則當前 NAL單元能夠被用于時間預測和視點間預測。如果根據識別信息NAL 單元未能包括參考圖片的片段，則其能夠被存儲在解碼圖片緩沖器中。 這是因為，在根據視點間預測標志信息當前NAL單元的碼處理圖片被 用于視點間預測的情況下，其需要被存儲。
除了 一起使用標志信息和識別信息的情況之外， 一 個識別信息能 夠指示當前NAL單元的碼處理圖片是否被用于時間預測和/或視點間 預測。
時間等級信息指關于分層結構的信息以從視頻信號提供時間分 級。通過時間等級信息，能夠向用戶提供各種時區的序列。
優先級識別信息指能夠識別NAL單元的優先級的信息。能夠使用 優先級識別信息提供視點分級。例如，能夠使用優先級識別信息定義 視點等級信息。在該情況下，視點等級信息指關于分層結構的信息用 于從視頻信號提供視點分級。在多視點視頻序列中，需要定義用于時 間的等級和用于視點的等級以向用戶提供各種時間和視點序列。在定義上述等級信息的情況下，能夠使用時間分級和視點分級。因此，用 戶能夠僅觀看特定時間和視點的序列，或僅觀看根據用于限制的另一 條件的序列。等級信息能夠根據其參考條件以各種方式不同地設置。 例如，等級信息能夠根據照相機位置或照相機對準而不同地設置。并 且，能夠通過考慮視點依賴性而確定等級信息。例如，用于具有I圖片 的視點間圖片組的視點的等級被設置為0，用于具有P圖片的視點間圖 片組的視點的等級被設置為l，并且用于具有B圖片的視點間圖片組的 視點的等級被設置為2。因此，等級值能夠被分配給優先級識別信息。 而且，等級信息能夠隨機地設置而不基于特殊的基準。
在下面的說明中，解釋了用于提供視頻信號的有效率的解碼方法 的各種實施例。
圖3是解釋根據本發明的一個實施例的用于獲得當前塊的IC差異 信息的過程的圖。
在比較當前塊和候選參考塊之間的相似性中，應該考慮兩個塊之 間的亮度差異。為了補償亮度差異(亮度變化)，執行新的運動估算 和運動補償。能夠使用公式1找到新的SAD。<formula>formula see original document page 18</formula>
<formula>formula see original document page 18</formula>
在該情況下，Me,表示當前塊的平均像素值，M^表示參考塊的平均像素值，f(i，j)表示當前塊的像素值，并且r(i+x,j+y)表示參考塊的 像素值。通過基于公式2中所示的新SAD執行運動估算，能夠獲得當 前塊和參考塊之間的平均像素值差。并且，獲得的平均像素值差被命 名為IC差異信息(IC—offset)。
在執行對其應用了亮度補償的運動估算的情況下，獲得IC差異信 息和運動矢量。并且，使用IC差異信息和運動矢量通過公式3執行亮 度補償。
=(臉w/ "(;c'，;/"',力+ W + + /)} + {M。,r, -Mre/(w + +力} ={iVevw '' O'，少'，/,_/) + /*0' + , _/' + /)} + —
在公式4中，NewR"(i,j)表示重建的并且亮度補償后的殘余值并 且f(i, j)表示重建的當前塊的像素值。
為了重建當前塊，IC差異信息必須被傳輸到解碼單元。并且，能 夠從相鄰塊的信息預測IC差異信息。為了進一步減少對IC差異信息 進行碼處理的比特數，能夠僅發送IC差異殘余(亮度補償后的殘余信 號)(RIC—offset)。這能夠如公式5所示。<formula>formula see original document page 20</formula>
圖4和圖5是解釋根據本發明的實施例的通過考慮亮度補償的運 動矢量預測方法的圖。
如下解釋根據本發明的實施例的用于使用指示是否執行當前塊的 亮度補償的標志信息和當前塊的IC差異信息來執行亮度補償的過程。
首先，為了執行亮度補償，解碼單元從視頻信號提取當前塊的相 鄰塊的標志信息和IC差異信息、當前塊和相鄰塊的對應參考塊的參考 索引等等，并且然后能夠使用該信息獲得當前塊的IC差異預測值。并 且，獲得指示當前塊的IC差異信息與IC差異預測值之間的差值的IC 差異殘余。能夠使用IC差異殘余值和IC差異預測值來重建當前塊的 IC差異信息。在該情況下，在重建當前塊的IC差異信息中，能夠使用 指示是否對當前塊執行亮度補償的IC標志(IC—flag)。
首先，能夠從視頻信號獲得指示是否對當前塊執行亮度補償的IC 標志。當根據標志信息執行亮度補償時，能夠重建指示當前塊的平均 像素值和參考塊的平均像素值之間的差的當前塊的IC差異信息。類似 地，亮度補償技術對屬于不同圖片的塊的平均像素值進行碼處理。在 指示是否應用亮度補償技術的標志被用于每個塊的情況下，當對應的 塊屬于P片段時，僅編碼/解碼單獨的標志信息和單獨的IC差異信息。 然而，當對應的塊屬于B片段時，可以使用若干方法。
在圖4中，"C"表示當前塊(C) ， "N"表示與當前塊C鄰近 的塊，"R"表示由當前塊C參考的塊，并且"S"表示由與當前塊C 鄰近的塊N參考的塊。此外，"m/'表示當前塊的平均像素值，并且 "m,."表示由當前塊參考的塊的平均像素值。假定當前塊C的IC差異信息被設置為"IC—offset"，其導致"IC—0ffSet=mc-mr"。類似地，假 定相鄰塊N的IC差異信息被設置為"IC—offset_pred"，編碼單元能夠 發送指示當前塊的IC差異信息(IC一offset)與相鄰塊的IC差異信息 (IC—offsetjpred)之間的差值的IC差異殘余(RIC—offset)來代替發 送完整用于重建當前塊C的IC差異信息"IC一offset"的值。在該情況 下，IC差異殘余(RIC一offset)能夠如公式5所表示。在從相鄰塊的IC 差異信息或標志信息生成當前塊的IC差異預測值中，可以應用各種方 法。例如，能夠使用單個相鄰塊的信息或者至少兩個相鄰塊的信息。 在使用至少兩個相鄰塊的信息的情況下，能夠使用平均值或者中間值。 因此，如果僅使用單個參考塊來碼處理當前塊，則能夠使用單個IC差 異信息和單個標志信息來執行亮度補償。
然而，在相應塊屬于B片段的情況下，目卩，如果使用至少兩個參 考塊來碼處理當前塊，則各種方法是可用的。例如，在圖5中，假定 "C"表示當前塊C， "N"表示與當前塊C鄰近的塊，"R0"表示由 當前塊參考的列表0的參考圖片1中的參考塊，并且"SO"表示由相 鄰塊參考的列表0的參考圖片列表1中的參考塊。假定"Rl"表示由 當前塊參考的列表1的參考圖片3中的參考塊并且"SO"表示由相鄰 塊參考的列表1的參考圖片3中的參考塊。在該情況下，由于對于每 個參考塊存在當前塊的IC差異信息和標志信息，因此對于每個存在兩 個值，在使用標志信息和IC差異信息中，能夠每個使用它們中的至少 一個。
如下解釋根據本發明的實施例的用于對當前塊執行亮度補償的過程。
在當前塊的IC標志為0的情況下，不執行對當前塊的亮度補償。 在IC標志為l的情況下，執行用于重建當前塊的IC差異信息的過程。
在該情況下，在獲得當前塊的預測值中，可以使用相鄰塊的信息。前塊的IC差異信息。 在此之前，檢查當前塊的參考索引是否與相鄰快的參考索引相同。根 據檢查的結果，能夠確定哪個相鄰塊將被使用或者哪個值將被使用。 檢查相鄰塊的標志信息為真還是假。根據檢查結果，能夠確定是否使 用相鄰塊。
根據本發明的另一實施例，如下地解釋用于基于宏塊類型執行亮 度補償的過程。用于推導IC標志和IC差異信息的過程可以根據宏塊 類型而不同。
例如，在宏塊類型為P一Skip (P一跳過)的情況下，能夠優選地檢 査相鄰塊是否可用以及是否執行亮度補償。如果所有相鄰塊都可用并 且如果執行亮度補償，則當前塊的IC差異信息和IC標志能夠以下述
方式推導。首先，如果相鄰塊的IC差異信息的平均值不為0，則當前 塊的IC標志被設置為1并且當前塊的IC差異信息能夠被設置為相鄰 塊的IC差異信息的平均值。例如，相鄰塊能夠為當前塊的右和左塊。 另外，如果相鄰塊的IC差異信息的平均值為0，當前塊的IC標志和當
前塊的ic差異信息中的每一個能夠被設置為0。
在相鄰塊中的規定的一個可用并且執行亮度補償的情況下，當前
塊的IC標志被設置為1并且當前塊的IC差異信息能夠被設置為相鄰 塊的IC差異信息。例如，相鄰塊能夠為當前塊的左或上塊。替代地，
相鄰塊能夠為右上塊或左上塊。在該情況下，在檢查相鄰塊中的規定 的一個時，能夠在檢查上塊之后檢査左塊。
在其它情況中，當前塊的ic差異信息和IC標志能夠每個被設置
為0。例如，包括使用兩個塊，即當前塊的上和左塊的情況；僅使用當 前塊的上塊的情況；以及使用當前塊的左塊的情況的三種情況被排除
在所述情況之外。同時，在宏塊類型為B一Skip (B—跳過)的情況下，當前塊的IC 差異信息能夠以下述方式推導。首先，能夠確定當前塊的參考索引是 否與相鄰塊的參考索引相同。基于確定結果，能夠獲得用于當前塊的
亮度補償的預測值。使用獲得的預測值，能夠重建當前塊的IC差異信
息。如下地詳細解釋確定當前和相鄰塊的參考索引是否彼此相同的步 驟以及基于確定結果獲得預測值的步驟。
例如，能夠確定是否存在具有與當前塊的參考索引相同的參考索 引的相鄰塊。在該情況中，假定要被使用的相鄰塊為使用亮度補償編 碼的塊。作為確定的結果，當存在具有與當前塊的參考索引相同的參
考索引的單個相鄰塊時，能夠分配具有與當前塊的IC差異預測值相同 的參考索引的相鄰塊的IC差異信息。例如，當當前塊的上塊是使用亮
度補償編碼的塊時并且當上塊具有與當前塊的參考索引相同的參考索
引時，能夠將上塊的IC差異信息設置為當前塊的IC差異預測信息。 另外，能夠對當前塊的左上塊執行相同的過程。另外，能夠對當前塊 的右上塊執行相同的過程。另外，如果當前塊的上、左、和右上側的 三個相鄰塊是使用亮度補償的塊，則能夠將當前塊的IC差異預測值設 置為三個相鄰塊的IC差異信息之間的中間值。另外，能夠將當前塊的 IC差異預測值設置為0。
如果存在具有與當前塊的參考索引相同的參考索引的兩個相鄰 塊，則能夠將當前塊的IC差異預測值設置為兩個相鄰塊的IC差異信 息之間的平均值。
IC差異預測值推導方法可以同樣地應用于用于預測IC標志的過程。
同時，在宏塊類型為B一Skip (B—跳過)的情況下，當前塊的IC 標志能夠以下述方式推導。能夠基于當前塊的IC差異信息推導當前塊 的IC標志。例如，當當前塊的IC差異信息為O時，當前塊的IC標志能夠被 設置為0。否則，當前塊的IC標志能夠被設置為1。在該情況中，當
前塊的ic差異信息能夠是與根據用于推導IC差異預測值的各種實施 例中的 一 個設置的I c差異預測值相同的值。
同時，當宏塊類型為B—Direct—16X16 (B—直接—16X16)時，能 夠如下地推導當前塊的IC差異信息。例如，當當前塊的類型為 B_Direct—16X16并且當前塊的IC標志被設置為1時，能夠根據傳輸的 IC差異殘余值與推導的IC差異預測值的和推導當前塊的IC差異信息。 在該情況下，能夠根據上述各種實施例推導所推導的IC差異預測值。
如下地解釋根據本發明的另一實施的使用指示相應塊的亮度補償 的執行的存在或者不存在的標志信息來執行亮度補償的方法。
當重建當前塊的IC差異信息時，能夠使用指示相應塊的亮度補償 的執行的存在或者不存在的前述IC標志(IC—flag)。替代地，能夠使 用檢査參考索引的上述方法以及預測IC標志的上述方法兩者來獲得IC
差異預測值。
首先，能夠確定是否存在具有與當前塊的參考索引相同的參考索 引的相鄰塊。基于確定結果，能夠獲得用于當前塊的亮度補償的IC差 異預測值。在該情況下，能夠基于相鄰塊的IC標志是否為1來獲得IC 差異預測值。并且，能夠基于結果預測當前塊的IC標志。因此，能夠 通過使用獲得的IC差異預測值和預測的IC標志來重建當前塊的IC差 異信息來執行亮度補償。
如下地解釋根據本發明的另一實施例的基于當前塊的參考索引是 否與相鄰塊的參考索引相同來預測當前塊的IC標志的方法。首先，能夠確定是否存在具有與當前塊的參考索引相同的參考索 引的相鄰塊。作為確定結果，當存在具有與當前塊的參考索引相同的
參考索引的單個相鄰塊時，能夠從具有相同參考索引的相鄰塊的ic標
志預測當前塊的IC標志。根據確定結果，當存在兩個具有與當前塊的 參考索引相同的參考索引的相鄰塊時，能夠從具有相同的參考索引的 兩個相鄰塊的IC標志中的一個預測當前塊的IC標志。根據確定結果， 當存在三個具有與當前塊的參考索引相同的參考索引的相鄰塊時，能 夠從具有相同的參考索引的三個相鄰塊的IC標志的中間值預測當前塊 的IC標志。當不存在具有與當前塊的參考索引相同的參考索引的相鄰 塊時，不執行當前塊的IC標志預測。
根據本發明的另一實施例，能夠對于施加了亮度補償的宏塊類型
執行不同于16X16幀間模式的情況的上下文建模。對于標志信息，能 夠根據相鄰塊(例如，當前塊的左和上塊)的標志值考慮三個上下文。 標志值"真"的情況被轉換為1并且標志值"假"的情況被轉換為0。 如果對用于各情況的兩個值求和，則導致三種情況。因此，使用這三 個上下文編碼/解碼標志信息。例如，能夠使用兩個上下文模型用于IC 殘余，類似于變換系數等級碼處理。具體地，通過UEGO(imary/0th order Exp-Golomb (—元第0階指數哥倫布碼))執行二進制化，單個上下 文模型被應用于第一二進制(bin)值，并且單個模型上下文被應用于 一元前綴部分的其余二進制值。符號位能夠以旁路(bypass)模式編碼 /解碼。作為標志信息的另一實施例，能夠根據預測標志信息的值考慮 三個上下文。使用此，能夠執行編碼/解碼。
本公開中的上述描述能夠應用于宏塊單元。并且，本公開中的上 述描述也能夠應用于較小塊。
圖6是解釋根據本發明的實施例的使用深度圖的碼處理方法的圖。在視頻信號碼處理中，對特定應用或者不同的目的能夠使用深度 信息。深度信息可以指能夠指示視點間視差的信息。例如，能夠通過 視點間預測獲得視差矢量。并且，獲得的視差矢量應被傳輸到解碼設 備用于當前塊的視差補償。然而，如果深度圖被傳輸到解碼設備，則 能夠在不將視差矢量傳輸到解碼設備的情況下從深度圖(或者視差圖) 推導視差矢量。并且，還能夠將運動矢量或者視差矢量與深度圖一起 傳輸。在該情況下，深度圖可以指為每個預定單元指示深度信息。例 如，預定單元可以對應于像素單元或者塊單元。
根據本發明的實施例，如下地解釋對深度圖和色彩分量一起進行 碼處理的情況。
首先，指示^度圖是否當前被用于視頻序列的信息。例如，能夠
從序列參數集的擴展區域獲得depth—coding一flag(深度一碼處理j示志)。 如果depth—coding—flag為0，則能夠僅碼處理色彩分量，例如，YUV 分量。如果depth—coding—flag為1，則深度圖被與色彩分量一起進行碼 處理并且然后被使用。
根據本發明的另 一實施例，能夠在使用深度圖中應用各種方案。 例如，根據空間分辨率能夠使用各種深度圖。具體地，如果 depth—map—mode (深度—圖—模式)為0，則可以意味著不使用深度圖。 如果depth—map—mode為1，則可以意味著使用全分辨率的深度圖。如 果depth—map—mode為2，則可以意味著使用在水平方向上1/2下采樣 的深度圖。如果depth—map—mode為3，則可以意味著使用在豎直方向 上1/2下采樣的深度圖。這些值僅是實施例并且能夠設定其它值。此外， 各種空間分辨率的深度圖與1/2下釆樣一樣都是可以使用的。
同時，在輸入的深度圖具有全分辨率的情況下，如果 depth_map—mode指示不同分辨率的深度圖，則下采樣過程應通過編碼 器執行并且上采樣過程應通過解碼器執行。這樣，如果輸入的深度圖，如圖5中所示，己經以低分辨率進行了下采樣，那么解碼器可以以全 分辨率執行上采樣過程。此外，能夠使用指示色彩圖片和上采樣的深 度圖片之間的位置差異的偏移值來重建當前圖片。偏移可以包括左偏 移、右偏移、頂偏移和底偏移。
能夠從序列參數集、子序列參數集的擴展區域、圖片參數集、片
段首部或宏塊層獲得depth_coding—flag禾B depth—mode_map。
圖7至14是根據本發明的實施例的用于描述使用照相機信息的各 種應用示例的句法的圖。
首先，照相機信息是關于產生對應于一系列圖片的序列的照相機 的信息。由單個照相機捕獲的一系列圖片構造單視點。即使照相機的 位置變化，也能夠構造新的視點。同時，作為照相機信息的類型，能 夠有照相機參數。照相機參數能夠被分類為固有的照相機參數和外在 的照相機參數。固有的照相機參數能夠包括焦距長度、縱橫比、傾斜、 主點等等。并且外在的照相機參數能夠包括在世界坐標體系中的照相 機的位置信息、旋轉矩陣、平移矢量等等。并且能夠使用外在的照相 機參數中包括的信息精確地找到照相機之間的幾何關系。
并且，能夠利照用相機之間的拓撲關系。例如，如果照相機布置 為1維或水平/豎直2維構造，則能夠使用關于照相機布置的信息觀察 拓撲關系。因此，能夠選擇直觀指定的視點并且然后進行顯示。在這 樣做時，關于照相機布置的信息能夠作為邊信息(side information)被傳輸。
例如，根據線性或對應于維度的1或2維構造的存在或者不存在， 關于照相機布置的信息能夠對應于直線或者弧形構造。在照相機布置 對應于2維布置的情況下，根據每行視點的不同數目或者正規性的存 在或者不存在，能夠存在每行相同數目的視點。因此，當應用各種參考時，可以改變傳輸的句法結構。為此，如下地解釋詳細的實施例。
首先，能夠定義指示照相機布置的規定構造的標志。例如，如果
linear—configuration—flag (直線—構造—標志)為1,則可以意味著照相 機布置為直線。如果linear—configuration_flag為0，則可以意味著相機 布置為弧形。此外，標志能夠包括各種類型并且能夠根據定義來改變。
假定照相機布置對應于2維構造，能夠定義指示在每個結點是否 實際存在照相機的標志。例如，如果camera_present—flag (相機一存在—
標志)[i]0]為l，則可以意味著在第i行第j列的結點存在照相機。如 果camerajresenLflag[i][j]為0，則可以意味著在第i行第j列的結點不
存在照相機。
假定照相機布置對應于2維構造，能夠定義分別指示水平和豎直 方向上的最大視點數目的信息。例如，max一num一view一hor一minusl可 以指7夂平方向上最大視點數1。并且，max—num—view—ver—minus 1可以 指豎直方向上最大視點數-1。此外，num一view一hor一minusl[i]可以指第 j列的水平方向上的最大視點數-I。
并且，view—id[i][j]可以指第i行第j列的結點的視點識別編號。
能夠定義指示照相機布置的規定維度的信息。例如，如果 one一dimension一flag為1，則可以意味著照相機僅布置在水平方向上。 如果one一dimension一flag為0，則可以意味著照相機被二維地布置在豎 直和水平方向上。此外，標志能夠包括各種維度并且可以根據如何定 義來改變。例如，如果regular—two—dimension—flag為1，則可以意味著 每行上的視點的數目在水平方向或豎直方向上相同。如果 regular—two—dimension—flag為0，則可以意味著每行上的視點的數目在 水平方向上或者豎直方向上不相同。上述信息能夠通過結合到各種形狀中而產生各種應用示例。在以 下描述中解釋若干實施例。
在圖7中所示的實施例，示出了指示照相機是否在2維照相機布 置中的每個結點處存在的句法結構。首先，能夠根據
linear—configuration—flag的信息檢查照相機是以直線還是弧形構造布 置的。并且，能夠獲得水平/豎直方向上的最大視點的數目。根據 camera_present_flag[i][j]，能夠檢查照相機是否在每個結點處存在。如 果照相機存在，則能夠知道照相機存在的位置的視點識別編號。
圖8示出便于在1維構造的情況下檢查照相機布置的句法結構。 與圖7不同，圖8示出1維構造，不需要檢査每個結點處照相機的存 在或者不存在。因此，能夠通過直接檢査視點識別編號來知道照相機 布置。在其它句法下，能夠確認類似圖6的2維照相機布置。
圖9示出使得照相機布置能夠根據指示維度布置的類型的標志而 被適當地檢查的句法結構。首先，在根據one—dimension—flag指示2維 構造的情況下，能夠通過獲得豎直方向上每列上的視點的數目來檢查 每個視點識別編號。同時，在指示1維構造的情況下，能夠通過獲得 水平方向上的最大視點的數目來檢査每個視點識別編號。
圖10示出將圖7和圖9的實施例結合在一起獲得的實施例。在該 實施例中，能夠根據指示規定維度布置的one—dimension—flag檢査照相 機的存在或者不存在。
在圖11中所示的實施例中，在1維布置的情況下使用水平方向上 的最大視點數目直接檢查視點識別編號。在2維布置的情況下，附加 地使用豎直方向上的最大視點數檢查視點識別編號。
在圖12中所示的實施例中，能夠使用指示水平方向或者豎直方向上每列上的視點的數目是否相同的信息來檢査照相機布置。首先，如 果水平方向或豎直方向上每列上的視點的數目不相同，則能夠通過檢 査豎直方向上每列上的水平方向上的視點數目來檢查照相機布置。另 一方面，在水平方向或豎直方向上每列上的視點的數目相同的情況下， 能夠根據水平/豎直方向上的最大視點的數目檢査每個視點識別信息。
圖13示出將圖12和圖7的實施例結合在一起獲得的實施例。首 先，如果水平或豎直方向上每列上的視點的數目不相同，則能夠根據 水平/豎直方向上的最大視點的數目檢查照相機的存在或者不存在。另 一方面，如果水平方向或豎直方向上每列上的視點的數目相同，則能 夠根據水平/豎直方向上的最大視點的數目檢查每個視點識別編號。
圖14示出將圖12和圖9的實施例結合在一起獲得的實施例。首 先，僅在根據指示布置的固定維度的標志的2維布置的情況下，能夠 獲得指示水平方向或豎直方向上每列上的視點的數目是否相同的信 息。并且，還能獲得指示豎直方向上最大視點的數目的信息。另外， 兩個信息中的每個能夠被設置為0。在圖12中所示的實施例的前面描 述中解釋了句法的其余部分。
圖15是根據本發明的實施例的多視點序列信號的整個預測結構 的圖以解釋視點間圖片組的概念。
參考圖15，水平軸上的T0至T100指示根據時間的幀并且豎直軸 上的S0至S7指示根據視點的幀。例如，T0處的圖片指同一時區TO 上由不同照相機捕獲的序列，而SO處的圖片指不同時區上由單個照相 機捕獲的序列。并且，附圖中的箭頭指示預測的方向以及各圖片的次 序。例如，時區T0上視點S2中的圖片P0是從I0預測的圖片，其在 時區T0上視點S4中成為圖片P0的參考圖片。并且其在視點S2中時 區T4和T2上分別成為圖片Bl和B2的參考圖片。對于多視點序列解碼過程，可能要求視點間隨機訪問。因此，應 通過最小化解碼過程使得能夠進行對隨機視點的訪問。在該情況下， 可能需要視點間圖片組的概念來執行有效率的隨機訪問。在圖2中提
到了視點間圖片組的定義。例如，在圖3中，如果時區T0上視點SO 中的圖片10對應于視點間圖片組，則同一時區即時區TO上不同視點 中的所有圖片能夠對應于視點間圖片組。對于另一示例，如果時區T8 上視點SO中的圖片IO對應于視點間圖片組，則同一時區即時區T8上 不同視點中的所有圖片能夠對應于視點間圖片組。類似地，T16、、 T96以及T100中的所有圖片也成為視點間圖片組的示例。根據另一實 施例，在MVC的整個預測結構中，GOP能夠從I圖片開始。并且，I 圖片與H.264/AVC兼容。因此，與H.264/AVC兼容的所有視點間圖片 組能夠成為I圖片。然而，在用P圖片替換圖片I的情況下，能夠進行 更有效率的碼處理。具體地，使用GOP被使得從與H.264/AVC兼容的 P圖片開始的預測結構使得能夠進行更有效率的碼處理。
在該情況下，如果重新定義視點間圖片組，則其變成能夠參考同 一視點中不同時區上的片段以及所有片段在同一時區上的幀中存在的 片段的碼處理圖片。然而，參考同一視點中不同時區上的片段的情況 可以被限制到僅與H.264/AVC兼容的視點間圖片組。
在已經解碼視點間圖片組之后，在輸出次序中從在視點間圖片組 之前解碼的圖片開始解碼所有順序地碼處理的圖片而不進行幀間預
考慮圖15中所示的多視點視頻序列的整個碼處理結構，由于視點 間圖片組的視點間依賴性不同于非視點間圖片組的視點間依賴性，因 此，需要根據視點間圖片組識別信息彼此區分視點間圖片組和非視點 間圖片組。
視點間參考信息指指示哪種結構被用于預測視點間序列的信息。這能夠從視頻信號的數據區域獲得。例如，其能夠從序列參數集區域 獲得。并且，能夠使用參考圖片的數目和參考圖片的視點信息獲得視 點間參考信息。例如，在已經獲得視點的總數之后，能夠基于視點的 總數獲得用于識別每個視點的視點識別信息。并且，能夠獲得視點間 參考圖片的數目信息，其指示用于每個視點的參考方向的參考圖片的 數目。根據視點間參考圖片的數目信息，能夠獲得每個視點間參考圖 片的視點識別信息。
通過該方法，能夠獲得視點間參考信息。并且，能夠以分類為視 點間圖片組的情況和非視點間圖片組的情況的方式獲得視點間參考信 息。這能夠使用指示當前NAL中的碼處理片段是否對應于視點間圖片
組的視點間圖片組識別信息來知道。能夠從片段層區域或NAL首部的
擴展區域獲得視點間圖片組識別信息。
根據視點間圖片組識別信息獲得的視點間參考信息可用于參考圖 片列表的構建、管理等等。
在下面的描述中，解釋用于指示視點間參考信息的各種方法。
圖16至20根據本發明的實施例的用于描述視點間參考信息的各 種句法的圖。
如圖16的前面描述所述，能夠通過分類為視點間圖片組的情況和 非視點間圖片組的情況來獨立地理解視點間參考信息。
圖16示出能夠估算在獲得視點間參考信息中冗余的數據的句法 結構。
參考圖16，能夠根據總視點數獲得每個視點間參考圖片的視點識 別信息。在該情況下，具有viewjd
的視點可以對應于基本視點或獨立視點。如果這樣，在視點間參考圖片的數目信息中，LO方向上的數 目變為O，其等于在Ll方向上的數目。這可以以相同方式應用于視點 間或非視點間圖片組的情況。例如，在視點間圖片組的情況下，能夠
建立"num—anchor—refs—10
= num—anchor—refs—11
=0， " [S1620、 S1630]。在非視點間圖片組的情況下，能夠建立 "num—non—anchor一refs—IO[O] — num一non—anchor一refs—11
=0，"[S1650、 S1660]。因此，如果i=0，則冗余數據可以不被傳輸[S1610、 S1640〗。 并且，在"i=0"的情況下的L0/L1方向上的視點間參考圖片的數目信 息能夠每個都被設置為0。這可以以相同方式應用于視點間或非視點間 圖片組的情況。
根據本發明的另一實施例，能夠將視點識別信息定義為具有不同 的含義。例如，視點識別信息可以指根據碼處理次序分配給每個視點 的視點識別編號。替代地，視點識別信息(view一id[i])可以指根據隨 機次序分配給每個視點的視點識別編號。替代地，視點識別信息 (view—id[i])可以指根據照相機布置信息分配給每個視點的視點識別 編號。
圖17示出根據本發明的實施例的使用視點間圖片組的預測結構 和非視點間圖片組的預測結構之間的相似性指示視點間參考信息的句 法。
非視點間圖片組的預測結構可以具有依賴于視點間圖片組的預測 結構的結構。因此，視點間圖片組的視點間參考關系能夠使用非視點 間圖片組的視點間參考關系來指示。
參考圖17，能夠獲得非視點間圖片組的視點間參考信息[S1710]。 例如，能夠獲得num—non—anchor—refsJO[i]、 non—anchor—refs—10[i][j]、 num—non—anchor—refs—11 [i]以及non—anchor—refs—11 [i][j]。信息。首先，通過設置用于anchor—refs—10[i][j]的non—anchor—refs」0[i〗(j〗 的值，能夠知道非視點間參考組的參考關系[S1720]。通過獲得與視點 間參考圖片和非視點間參考圖片之間的數目差 一 樣多的 anchor_refs_10[i][j]，能夠理解視點間圖片組的其余預測結構[SI730]。 這可以以相同方式應用于L1方向[S1740、 S1750]。
如果這樣，能夠建立公式6中所示的下面的關系。
wwm — Gf/ chor — r^/i 一 /0[/] "畫—— 0"c/20r — re/s — /0[/] — o"c/7or — — S w謂—wow 一 awc/zor — /^/i _
當指示視點間參考關系時，視點間圖片組的預測結構能夠代表性 地指示整個序列的預測結構。如果從視點間圖片組推導非視點間圖片 組之間的預測關系所需要的信息，則使得能夠進行更有效率的碼處理。 例如，在運動跳過模式的情況下，能夠當非視點間圖片組中的當前塊 使用相鄰視點中的圖片的運動信息時，使用視點間圖片組的預測結構。 具體地，能夠使用從視點間圖片組的預測結構中的對應圖片獲得的運 動^言息。
圖18示出根據本發明的實施例的使用視點間圖片組的預測結構 與非視點間圖片組的預測結構之間的相似性來指示視點間參考信息的 句法。
圖18中所示的句法結構與圖17中所示的類似。然而，在圖18中， 能夠獲得指示視點間參考圖片的數目和非視點間參考圖片的數目之間 的 差 的 信 息 (num—diff—anchor一non—anchor—refs—10[i] 、 num—diff—anchor—non一anchor一refs—11 [i]) [SI810、 SI830]。通過使用指 示視點間參考圖片的數目和非視點間參考圖片的數目之間的差的信息獲得anchor_refs—10[i][j]，能夠理解視點間圖片組的其余預測結構 [S1820、 S1840]。在該情況下，其余預測結構可以指僅不同于非視點間 圖片組的結構的視點間圖片組的預測結構。
圖19示出根據本發明的實施例的以更簡單的方式指示視點間參 考關系的句法結構。
如果非視點間圖片組的預測結構變為視點間圖片組的預測結構的 子集，則可以更加有效率。這是因為視點方向上的視點間預測僅在視 點間圖片組中是可能的，而在時間方向上的時間預測是不可能的。因 此，可參考的是，在估算視點間序列的冗余方面最大地利用視點間預 湖'J。另一方面，在非視點間圖片組中，視點方向預測和時間方向預測 都是可能的。然而，通過時間方向預測的碼處理增益可以比通過視點 方向預測的更大。因此，可能更有效率的結構是非視點間圖片組中的 視點間預測關系屬于視點間圖片組中的視點間預測結構。
因此，非視點間圖片組的預測結構可以具有依賴于視點間圖片組 的預測結構的結構。因此，視點間圖片組的視點間參考關系能夠使用 非視點間圖片組的視點間參考關系來表示。這在隨機訪問和視點分級 方面同樣可以是有效率的。例如，在不屬于非視點間圖片組的預測結 構但是屬于視點間圖片組的預測結構的圖片的情況下，由于圖片不需 要被解碼從而其可以是有效率的。
同時，可以存在下述情況，即不存在視點間或非視點間圖片組中 的任何視點間預測關系。因此，視點間圖片組中的視點間預測關系的 缺少可以對于快速隨機訪問和并行處理是更有效的。并且，其可以被 引入到非視點間圖片組以降低復雜度。
因此，根據本發明的實施例，能夠以單個格式"multiview一refjx" 表示視點間參考關系來代替通過區分anchor一ref—IX和non_anchor_ref_lX來表示視點間參考關系[S1920、 S1940]。
例如，在缺少視點間圖片組中的視點間預測關系的情況下，為了 包括num—anchor一refs一10[i] = num—anchor一refs—11 [i]=0的情況，可以 <吏 用公式7 [S1910、 S1930〗。
max(w扁—tmc/ or — /^/i — /jc[/']，"謡—wo" — a"c/ o/' — — /x[/])
在該情況中，第i個視點中的視點間參考能夠被表示為單個句法 (multiview—ref一lx[i])。 此夕卜， "從0至U min(num—anchor—refs—lx[i], num—non一anchor一refs一lx[i]-1)"能夠表示對于視點間圖片組和非視點間
圖片組來說共同的參考關系。
圖20示出能夠估算在獲得視點間參考信息中冗余的數據的句法結構。
在圖19中，能夠根據max(num—anchor—refsjx[i], num一non—anchor—refs—lx [i])的值獲得視點間參考圖片的視點識別信息。 在該情況下，具有view一id[O]的視點可以對應于基本視點或獨立視點。 如果這樣，在視點間參考圖片的數目信息中，L0方向上的數目變為0, 其等于Ll方向上的數目。這也可以以相同方式應用于視點間或非視點 間圖片組的情況。例如，在視點間圖片組的情況下，能夠建立 "num—anchor_refs_10
= num—anchor—refs—11
= 0"。在非視點間圖 片組的情況下，能夠建立 "num—non—anchor—refsJO[O]= num—non—anchor—refs—ll
=0"。因此，如果i=0，則冗余數據可以不 被傳輸[S2010]。并且，在"i=0"的情況下的L0/L1方向上的視點間參 考圖片的數目信息能夠每個都被設置為0。
如前述中提到的，應用了本發明的解碼/編碼設備被提供給要在解碼音頻和數據信號中使用的諸如DMB(數字多媒體廣播)的用于多媒 體廣播的發送機/接收機等等。并且，多媒體廣播發送機/接收機能夠包 括移動通信終端。
利用用于計算機執行的程序構造應用了本發明的解碼/編碼方法， 并且然后將其存儲在計算機可讀記錄介質中。并且，具有本發明的數 據結構的多媒體數據能夠被存儲在計算機可讀記錄介質中。計算機可 讀記錄介質包括用于存儲能夠由計算機系統讀取的數據的所有種類的
存儲設備。計算機可讀記錄介質包括ROM、 RAM、 CD-ROM、磁帶、 軟盤、光學數據存儲設備等等，并且還包括以載波(例如，經由因特 網傳輸)實施的設備。并且，由編碼方法生成的比特流被存儲在計算 機可讀記錄介質或者經由有線/無線通信網絡傳輸。
工業應用性
因此，雖然已經參考其優選實施例描述并且示出了本發明，但是 對于本領域技術人員來說，顯而易見的是，在不偏離本發明的精神和
范圍的情況下能夠進行各種修改和變化。因此，意在本發明涵蓋所附 權利要求及其等價物的范圍內的本發明的修改和變化。
權利要求
1.一種解碼視頻信號的方法，包括當與對于當前塊的亮度補償相關聯的信息在比特流中不可用時，獲得所述當前塊的相鄰塊的IC(亮度補償)差異信息；使用所述相鄰塊的所述IC差異信息推導所述當前塊的IC差異信息；基于所述當前塊的所述IC差異信息，推導指示是否對所述當前塊執行亮度補償的IC標志；以及基于所述當前塊的所述IC差異信息和所述IC標志，對所述當前塊執行所述亮度補償。
2. 根據權利要求l所述的方法，其中，當所述當前塊的所述IC差 異信葛為0時，所述當前塊的所述IC標志被推導為O。
3. 根據權利要求l所述的方法，其中，當所述當前塊的所述IC差 異信息不為O時，所述當前塊的所述IC標志被推導為1。
4. 根據權利要求l所述的方法，其中，基于所述當前塊的參考索 引是否與所述相鄰塊的參考索引相同來推導所述當前塊的所述IC差異{曰息。
5. 根據權利要求4所述的方法，其中，當存在具有與所述當前塊 的參考索引相同的參考索引的一個相鄰塊時，所述當前塊的所述IC差 異信息被設置為所述相鄰塊的所述IC差異信息。
6. 根據權利要求5所述的方法，其中，以所述當前塊的上、左、 右上和左上塊的順序檢查所述相鄰塊。
7. 根據權利要求4所述的方法，其中，當存在每個都具有與所述當前塊的參考索引相同的參考索引的三個相鄰塊時，所述當前塊的所 述IC差異信息被設置為所述三個相鄰塊的IC差異信息的中間值。
8. 根據權利要求l所述的方法，其中，所述視頻信號被接收為廣 播信號。
9. 根據權利要求l所述的方法，其中，經由數字媒介接收所述視 頻信號。
10. —種包括用于執行權利要求l所述的方法的程序的計算機可 讀介質，所述程序被記錄在所述計算機可讀介質中。
11. 一種用于解碼視頻信號的裝置，包括IC差異預測單元，當與對于當前塊的亮度補償相關聯的信息在比特流中不可用時，所述IC差異預測單元使用獲得的相鄰塊的IC差異信息推導所述當前塊的IC差異信息；以及IC單元，所述IC單元基于所述當前塊的所述IC差異信息推導指 示是否對所述當前塊執行亮度補償的IC標志，并且基于所述當前塊的 所述ic差異信息和所述IC標志對所述當前塊執行亮度補償。
全文摘要
公開了一種解碼視頻信號的方法。本發明包括當與對于當前塊的亮度補償相關聯的信息在比特流中不可用時，獲得當前塊的相鄰塊的IC(亮度補償)差異信息；使用相鄰塊的IC差異信息推導當前塊的IC差異信息；基于當前塊的IC差異信息，推導指示是否對當前塊執行亮度補償的IC標志；以及基于當前塊的IC差異信息和IC標志對當前塊執行亮度補償。
文檔編號H04N7/24GK101641954SQ200880009506
公開日2010年2月3日 申請日期2008年3月24日 優先權日2007年3月23日
發明者梁正休 申請人:Lg電子株式會社