對多視角視頻進行編碼的方法和設備的制作方法

專利名稱：對多視角視頻進行編碼的方法和設備的制作方法
對多視角視頻進行編碼的方法和設備 技術領域根據本發明的方法和設備涉及對多視角視頻序列進行編碼，更具體地講， 涉及使用最少量的關于多視角視頻的信息對多視角相機拍攝的多視角視頻進 行編碼。
背景技術：
在實現高質量的信息和電信服務中，真實性是重要的因素。可使用基于三維(3D)圖像的視頻通信來獲得真實性。3D成像系統在教育、娛樂、醫療 手術、視頻會議等具有很多潛在應用。為了向很多觀察者提供遠方場景的更 生動和精確的信息，將三個或更多個相機放置在稍微不同的視點以產生多視 角序列。很多研究組已經開發了 3D圖像處理和顯示系統反映了對3D圖像的當前 興趣。在歐洲，通過若干項目(比如DISTIMA)已經開始了對3DTV的研究， 目的在于開發一種用于捕獲、編碼、發送和顯示數字立體圖像序列的系統。 這些項目已經產生另一項目PANORAMA,其目標在于增強在3D遠程呈現通 信中的可視信息。這些項目還產生另一項目ATTEST,其中，研究關于3D內 容獲取、3D壓縮和傳輸以及3D顯示系統的各種技術。在ATTEST項目中， 應用運動圖像專家組2 (MPEG-2)和數字視頻廣播(DVB)標準以使用時間 可伸縮性來發送3D內容。為了獲得時間可伸縮性，基本層被用于傳輸2D內 容，高級層^^皮用于發送3D內容。1996年修改了 MPEG-2標準，以定義多視角類(multiview profile, MVP )。 MVP以MPEG-2語法定義用于多相機序列和獲耳又相機參數的時間可伸縮模式 的使用。表示多視角視頻信號的基本層流可以以減小的幀率被編碼，可被用于在 幀間插入另外幀的增強層流可被定義為在兩種流都可用時允許以全幀率再構的增強層幀來確定對增強層幀中的每一宏塊執行運動補償估計的最佳方 法。使用時間可伸縮性語法對這種多視角視頻信號進行立體和多視角信道編 碼的處理很簡單。為此，來自具體相機視角的幀(通常是左眼幀)被定義為 基本層，來自其他相機視角的幀被定義為增強層。基本層表示同時的單視場 序列。對于增強層，盡管在封閉的區域內不能進行視差補償估計，但是仍舊可在相同信道內使用運動補償估計來保持重構的圖像的質量。由于MPEG-2 MVP主要為立體序列定義，所以它不支持多視角序列，并且本質上難于擴展 到多視角序列。圖1是傳統的MPEG-2 MVP的編碼器和解碼器的框圖。MPEG-2提供的 可伸縮性被用于用圖像處理裝置同時對具有不同分辨率或格式的圖像解碼。 在MPEG-2支持的可伸縮性中，時間可伸縮性被用于通過增加幀率來提高視 覺質量。考慮到時間可伸縮性，MVP被應用到立體序列。圖1所示的編碼器和解碼器是利用時間可伸縮性的立體視頻編碼器和解 碼器。立體視頻中的左圖像被輸入到基本視角編碼器，右圖像被輸入到時間 輔助視角編碼器。時間輔助視角編碼器提供時間可伸縮性，并且是用于在基本層的圖像之 間交織圖像的層間編碼器。當左圖像被單獨編碼和解碼時，可獲得二維(2D)視頻。當左圖像和右 圖像被同時編碼和解碼時，可獲得立體視頻。為了傳輸或存儲視頻，需要系 統復用器和系統解復用器以結合或者分離這兩種圖像的序列。圖2是使用MPEG-2 MVP的傳統立體視頻編碼器和解碼器的框圖。通過運動補償和離散余弦變換(DCT)來對基本層的圖像進行編碼。以 相反的處理來對編碼的圖像進行解碼。時間輔助視角編碼器用作基于基本層 的解碼的圖像執行預測的時間層間編碼器。換句話說，可執行兩次視差補償的估計，或者各執行一次視差估計和運 動補償的估計。與基本層的編碼器和解碼器一樣，時間輔助視角編碼器包括 視差和運動補償的DCT編碼器和解碼器。此外，因為運動估計/補償編碼處理需要運動估計器和補償器，所以視差 補償的編碼處理需要視差估計器和補償器。除了基于塊的運動/視差估計和補 償之外，編碼處理還包括對估計的圖像和原始圖像之間的差執行DCT、對 DCT系數執行量化并執行可變長度編碼。另一方面，解碼處理包括可變長度 解碼、逆量化和逆DCT。因為對雙向運動補償的畫面(B畫面)執行雙向運動估計，所以MPEG-2 編碼是非常有效的壓縮方法。由于MPEG-2編碼提供非常有效的時間可伸縮 性，所以B畫面可被用于對右圖像序列進行編碼。結果，可產生高度壓縮的 右序列。圖3示出基于視差的預測編碼，其中，對雙向運動估計使用兩次視差估計。使用不可伸縮的MPEG-2編碼器來對左圖像進行編碼，基于解碼的左圖 像使用MPEG-2時間輔助視角編碼器來對右圖像進行編碼。換句話說，使用兩個參考圖像(例如兩個左圖像)來預測右圖像，并且 右圖像被編碼成B畫面.。在這種情況下，兩個參考圖像中的一個是與右圖像 同時顯示的等時的(isochronal)左圖像，另 一個是跟隨著所述等時的左圖像 的左圖像。與運動估計/補償一樣，這兩種預測具有三種預測模式前向模式、后向 模式和內插模式。前向模式表示基于等時的左圖像的視差估計，后向模式表 示基于緊跟著所述等時的左圖像的左圖像的視差估計。在這種情況下，使用 兩個左圖像的視差矢量來預測右圖像。只考慮視差矢量，這種估計方法被稱 作預測編碼。因此，編碼器為右圖像的每一幀估計兩個視差矢量，解碼器使 用這兩個視差矢量根據左圖像對右圖像進行解碼。圖4示出用于雙向估計的使用視差矢量和運動矢量的預測編碼。在圖4 所示的預測編碼中，使用通過圖3的雙向估計獲得的B畫面。然而，在所述 雙向估計中各使用視差估計和運動估計一次。也就是說，使用利用等時的左 圖像的視差估計和利用了先前右圖像的運動估計。此外，和圖3的基于視差的預測編碼一樣，雙向估計也包括三種估計模 式，即，前向模式、后向模式和內插模式。所述前向模式表示基于解碼的右 圖像的運動估計，后向模式表示基于解碼的左圖像的視差估計。如上所述，由于MPEG-2 MVP沒有考慮多視角視頻編碼器，所以不適合 于對多視角視頻編碼。因此，需要用于同時向很多人"t是供立體和逼真的多視 角視頻的多視角視頻編碼器。發明內容提供編碼的多視角^L頻的方法和設備。本發明還提供一種使用如下所述的預測結構來對多視角視頻進行編碼的 方法和設備，所述預測結構使用最少量的關于多視角視頻的信息。本發明提供了 一種有效地對多視角視頻進行編碼以同時向很多人提供逼 真的多視角視頻的方法和設備。本發明還4是供一種使用如下所述的B幀預測結構來對多^L角^L頻進行編 碼的方法和設備，所述B幀預測結構使用最少量的關于多視角視頻的信息。根據本發明的一方面，提供了一種對多視角視頻進行編碼的方法，所述 方法包括根據預定標準將多個B幀分類為至少兩組；順序地對分類的所述 多個B幀進行編碼。所述預定標準可以是每個B幀所參考的幀的數量。作為選擇，所述預定 標準可以是每個B幀所參考的參考幀的數量和參考幀的位置。所述B幀可被分類為參考兩個水平相鄰的幀、兩個垂直相鄰的幀或者一 個水平相鄰的幀和一個垂直相鄰的幀預測的第一組B幀、參考兩個水平相鄰 的幀和 一 個垂直相鄰的幀或者 一 個水平相鄰的幀和兩個垂直相鄰的幀預測的 第二組B幀、和參考兩個水平相鄰的幀和兩個垂直相鄰的幀預測的第三組B 幀，其中，所述一個或兩個水平相鄰的幀是從與參考B幀處在相同時間水平 的多視角視頻獲得的一個或多個幀，所述一個或兩個垂直相鄰的幀是從與參 考B幀處在相同視角位置的多視角視頻獲得的一個或多個幀。對分類的多個B幀進行順序編碼的步驟可包括順序地對第一組B幀、 第二組B幀和第三組B幀進行編碼。步驟還可包括在根據多個視角水平布置的幀之間進行視差估計和在根據時 間流逝垂直布置的幀之間執行運動估計，并且，所述視頻編碼結構可被水平 和垂直擴展。在所述包括B幀的視頻編碼結構中，具有n個視角的一見頻編碼結構可通 過去除第n-l列幀而被構造成具有n-l個視角的視頻編碼結構，其中n是奇數。根據本發明的另一方面，提供了一種對多視角視頻進行編碼的設備，所 述設備包括預測單元，預測輸入的多視角視頻的視差矢量和運動矢量；視 差和運動補償單元，使用預測的視差矢量和運動矢量來補償圖像；殘差圖像 編碼單元，接收原始圖像和通過視差和運動補償單元產生的補償的圖像，從原始圖像減去補償的圖像，并對從所迷減法中獲得的殘差圖像進行編碼；熵 編碼單元，使用視差矢量、運動矢量和編碼的殘差圖像來產生多視角視頻的比特流；其中，所述預測單元根據預定標準將多個B幀分類為至少兩組，并 順序地對分類的所述多個B幀進行預測。根據本發明的另 一方面，提供了 一種記錄有用于執行實現所述方法的程 序的計算機可讀記錄介質。


通過參照附圖對本發明示例性實施例的詳細描述，本發明的上述和其他 特征和優點將會更清楚，其中圖1是現有技術中運動圖像專家組2 (MPEG-2)多視角類(MVP)的編 碼器和解碼器的框圖；圖2是現有技術中使用MPEG-2 MVP的立體視頻編碼器和解碼器的框圖；圖3示出現有技術中對雙向運動估計使用兩次視差估計的基于視差的預 測編碼；圖4示出現有技術中對雙向估計使用視差矢量和運動矢量的預測編碼； 圖5是根據本發明示例性實施例的對多視角視頻進行編碼的設備的框圖；圖6示出根據本發明示例性實施例的多視角視頻的單位編碼結構； 圖7A到圖7F示出在根據本發明示例性實施例的多視角視頻編碼中使用 的三種類型的B畫面；圖8示出根據本發明示例性實施例的多視角視頻的水平擴展的單位編碼結構；圖9示出圖8的多視角圖像的預觀'j順序；圖10示出根據本發明示例性實施例的用于運動估計和視差估計的具有 奇數視角的視頻編碼結構；圖11示出根據本發明示例性實施例的用于運動估計和視差估計的具有 偶數視角的視頻編碼結構；圖12是示出根據本發明示例性實施例的對多視角視頻進行編碼的方法 的流程圖。
具體實施方式
現在將參考附圖來更全面地描述本發明，本發明的示例在附圖中示出。 然而，可以以多種不同的形式來實現本發明，并且本發明并不限于這里闡述 的示例性實施例，相反，提供這些示例性實施例以使得本公開更加徹底和完圖5是根據本發明示例性實施例的對多視角視頻進行編碼的設備的框圖。參考圖5,所述設備包括多視角圖像緩沖器510、預測單元520、視差/ 運動補償單元530、殘差圖像編碼單元540和熵編碼單元550。所述設備可從多個相機系統或通過另 一方法來接收多視角視頻源。接收 的多視角視頻被存儲在多視角圖像緩沖器510中。所述多視角圖像緩沖器510 向預測單元520和殘余圖像編碼單元540提供多視角 一見頻。預測單元520包括視差估計單元522和運動估計單元524。預測單元520 對多視角視頻執行運動估計和視差估計。預測單元520以由圖6到圖11示出 的箭頭所指示的方向估計視差矢量和運動矢量，并向視差/運動補償單元530 提供估計的視差矢量和運動矢量。如在圖6到圖11所示的多視角視頻編碼結構中所示，預測單元520可通 過有效地使用多視角視差矢量和運動矢量來設置用于執行運動估計和視差估 計的方向，所述視差矢量和運動矢量在多視角視頻源基于時間軸擴展時被產 生。換句話說，MPEG-2編碼結構可基于視角軸而被擴展以使用多視角視頻 的空間/時間相關性。視差/運動補償單元530使用由視差估計單元522和運動估計單元524估 計的運動矢量和視差矢量來執行視差估計和運動估計。視差/運動補償單元 530使用估計的運動矢量和視差矢量來重構圖像，并向殘差圖像編碼單元540 提供重構的圖像。為了提供更好的視覺質量和立體視覺，殘差圖像編碼單元540對通過從 多視角圖像緩沖器510提供的原始圖像減去視差/運動補償單元530補償和重 構的圖像而獲得的殘差圖像進行編碼，并向熵編碼單元550提供編碼的殘差 圖像。熵編碼單元550接收來自預測單元520的估計的視差矢量和運動矢量以及來自殘差圖像編碼單元540的編碼的殘差圖像，并產生多視角視頻源的比 特流。圖6示出根據本發明示例性實施例的多視角視頻的單位編碼結構。圖6 所示的核心預測結構或單位預測結構是基于存在三個視角的假設。方框表示 多視角視頻中的圖像幀。水平箭頭表示根據相機的位置或視角的幀序列，垂 直箭頭表示根據時間的幀序列。I畫面表示"幀內預測畫面"，與MPEG-2/4 或H.264中的I幀相同。P和B畫面分別表示"預測畫面"和"雙向預測畫 面"，與MPEG-2/4或H.264中的P幀和B幀相似。在多視角 一見頻編碼中由運動估計和一見差估計共同來估計P和B畫面。在 圖6中，畫面幀之間的箭頭表示預測方向。水平箭頭表示視差估計，垂直箭 頭表示運動估計。根據本發明示例性實施例，存在3種類型的B畫面，現在 將參考圖7A到圖7F來對此進行描述。圖7A到圖7F示出在根據本發明示例性實施例的多視角視頻編碼中使用 的三種類型的B畫面。根據本發明示例性實施例，存在3種類型的B畫面B、 B1和B2畫面。 在圖7中，B、 Bl和B2畫面表示使用兩種或更多垂直或水平相鄰的幀預測 的畫面幀。使用如圖7A所示的兩個水平相鄰的幀、如圖7B所示的兩個垂直相鄰的 幀或者由圖7C所示的一個水平相鄰的幀和一個垂直相鄰的幀來預測B畫面。^吏用如圖7D所示的兩個水平相鄰的幀和一個垂直相鄰的幀、如圖7E所 示的兩個垂直相鄰的幀和一個水平相鄰的幀來預測Bl畫面。使用如圖7F所 示的四個水平或垂直相鄰的幀來預測B2畫面。現在將參考圖6來描述根據本發明示例性實施例的指示多視角視頻的預 測順序的單位編碼結構。參考圖6，基本預測順序依次是I、 P、 B、 B1和B2 畫面。首先，I幀601被幀內預測。通過參考I幀601來預測P幀603，通過參 考I幀601來預測P幀610。使用與B幀602水平相鄰的I幀601和P幀603來預測B巾貞602。 4吏用 與B幀604和B幀607垂直相鄰的I幀601和P幀610來預測B幀604和B 幀607。使用與B巾貞612水平相鄰的P幀610和與B幀612垂直相鄰的P幀 603來預測B幀612。然后，預測Bl幀。具體地講，使用與Bl幀606水平相鄰的B幀604 以及與Bl幀606垂直相鄰的P幀603和B幀612來預測Bl幀606。使用與 Bl幀609水平相鄰的B幀607以及與Bl幀609垂直相鄰的P幀603和B幀 612來預測Bl幀609。使用與Bl幀611水平相鄰的P幀610和B幀612以 及與Bl幀611垂直相鄰的B幀602來預測Bl幀611。最后，預測B2幀。具體地講，使用與B2幀605水平相鄰的B幀604 和Bl幀606以及與B2幀605垂直相鄰的B幀602和Bl幀611來預測B2 幀605。另外，使用與B2幀608水平相鄰的B幀607和Bl幀609以及與B2 幀608垂直相鄰的B幀602和Bl幀611來預測B2幀608。如上參考圖6和圖7A至圖7F所述，根據本發明示例性實施例，不僅參 考B幀還參考Bl和B2幀來執行雙向預測。由于可增加B類型的幀的數量， 所以可使得對多視角圖像進行編碼所需的信息量最小化。因此，根據本發明 示例性實施例，為了有效地對多視角圖像進行編碼，根據圖7A到圖7F所示 的幀的類型來對B幀進行分組，并以如上所述的B幀》B1幀》B2幀的預測 順序來對B幀進行編碼。圖8示出根據本發明示例性實施例的多視角視頻的水平擴展的單位編碼 結構。圖8示出具有5個視角的輸入圖像源的預測框結構。圖9示出了圖8的多視角圖像的預測順序。在圖9中，相同列的幀在相 同的時間;故預測。參考圖9，首先I幀801 ;故幀內預測。然后預測第二列的P 幀803和P幀816,并預測第三列的B幀802、 806、 811、 818和P幀805。 接下來，預測Bl幀817、 808和813、以及B幀804和820。然后預測第五 列的B2幀807和812、 Bl幀810、 819和815。最后預測B2幀809和814。 因此，根據本發明示例性實施例的預測順序依次是I、 P、 B、 Bl、 B2、 P、 B、 Bl和B2畫面。圖10是示出根據本發明示例性實施例的用于運動估計和視差估計的具 有奇數視角的視頻編碼結構。圖11是示出根據本發明示例性實施例的用于運動估計和視差估計的具 有偶數視角的視頻編碼結構。可通過在圖10的五個視角的視頻編碼結構中去除第四列的預測幀來獲 得圖11的視頻編碼結構。根據本發明示例性實施例的視頻編碼結構可被水平 和垂直擴展。因此，根據本發明示例性實施例，可通過去除第n-l列的預測幀來將n 視角(n是奇數)視頻編碼結構重構為(n-l)視角視頻編碼結構。圖12是根據本發明示例性實施例的對多視角視頻進行編碼的方法的流 程圖。已經參考圖6到圖11描述了所述方法。具體地講，以如下所述的方法 對B幀進行編碼。根據預定標準，多個B幀被劃分成至少兩組(S1210)。所述預定標準可 以是每個B幀所參考的幀的數量，或者可以是每個B幀所參考的幀的數量和 參考幀的位置。B幀可被分類為參考兩個水平相鄰的幀、兩個垂直相鄰的幀或者一個水平相鄰的幀和一個垂直相鄰的幀預測的第一組B幀、參考兩個水平相鄰的幀 和一個垂直相鄰的幀或者一個水平相鄰的幀和兩個垂直相鄰的幀預測的第二組B幀、以及參考兩個水平相鄰的幀和兩個垂直相鄰的幀預測的第三組B幀。對如上分組的B幀順序地進行編碼(S1220)。在這種情況下，可以按第一 組、第二組和第三組的順序對B幀進行編碼。如上所述，本發明提供了 一種有效地對多視角視頻進行編碼以同時向很 多用戶提供逼真的多視角視頻的方法和設備。本發明還提供了 一種使用利用最少量的關于多視角視頻的信息的B幀預 測結構來對多視角視頻進行編碼的方法和設備。本發明還可實現為計算機可讀記錄介質上的計算機可讀代碼。所述計算 機可讀記錄介質是能夠存儲稍后能由計算機系統讀出的數據的任何數據存儲 裝置。所述計算機可讀記錄介質的示例包括只讀存儲器(ROM)、隨機存取 存儲器(RAM)、 CD-ROM、磁帶、軟盤、光學數據存儲裝置和載波(比如 通過互聯網的數據傳輸)。計算機可讀記錄介質還可分布在聯網的計算機系統上，從而以分布式方 式來存儲和執行計算機可讀代碼。盡管已經參照本發明示例性實施例具體顯示和描述了本發明，但是本領 域的普通技術人員應該理解，在不脫離由權利要求限定的本發明的精神和范 圍的情況下，可在形式和細節上對本發明進行各種改變。
權利要求
1、一種對多視角視頻進行編碼的方法，所述方法包括根據預定標準將多個B幀分類為至少兩組；順序地對分類的所述多個B幀進行編碼。
2、 如權利要求1所述的方法，其中，所述預定標準包括所述多個B幀 中的每個B幀所參考的幀的數量。
3、 如權利要求1所述的方法，其中，所述預定標準包括所述多個B幀 中的每個B幀所參考的幀的數量和幀的視角位置。
4、 如權利要求1所述的方法，其中，所述多個B幀被分類為參考兩個 水平相鄰的幀、兩個垂直相鄰的幀或者一個水平相鄰的幀和一個垂直相鄰的 幀預測的第一組B幀、參考兩個水平相鄰的幀和一個垂直相鄰的幀或者一個 水平相鄰的幀和兩個垂直相鄰的幀預測的第二組B幀、以及參考兩個水平相 鄰的幀和兩個垂直相鄰的幀預測的第三組B幀，其中，所述一個或兩個水平相鄰的幀是從與第一組、第二組或第三組的 B幀處在相同時間水平的多視角視頻獲得的一個或多個幀，所述一個或兩個 垂直相鄰的幀是從與第一組、第二組或第三組的B幀處在相同視角位置的多 視角視頻獲得的一個或多個幀。
5、 如^L利要求4所述的方法，其中，對分類的多個B幀進行順序編碼 的步驟包括順序地對第一組B幀、第二組B幀和第三組B幀進行編碼。
6、 如權利要求1所述的方法，其中，基于包括所述多個B幀的視頻編 碼結構來執行順序編碼，其中，所述順序編碼的步驟包括在根據多個視角水平布置的幀之間進 行視差估計和在根據時間流逝垂直布置的幀之間執行運動估計，其中，視頻編碼結構在水平和垂直方向中的至少一個方向上是可擴展的， 其中，水平布置的幀是從處于相同時間水平的多視角視頻獲得的幀，垂 直布置的幀是從處于相同視角位置的多視角視頻獲得的幀。
7、 如權利要求6所述的方法，其中，所述多個視角包括n個視角，其中， n是奇數。
8、 如權利要求7所述的方法，其中，在第n-l視角獲得的幀不被用于視 差估計和運動估計。
9、 如權利要求7所述的方法，其中，在所述視頻編碼結構中，在多個視角中除了第一視角之外的視角獲得的幀不包括I幀，在第k視角獲得的幀只 包括B幀，其中，k是小于n的偶數。
10、 一種對多視角視頻進行編碼的設備，所述設備包括 預測單元，預測輸入的多視角視頻的視差矢量和運動矢量； 視差和運動補償單元，使用視差矢量和運動矢量來補償圖像； 殘差圖像編碼單元，接收輸入的多視角視頻和通過視差和運動補償單元產生的補償的圖像，從原始圖像減去補償的圖像，并對從所述減法中獲得的 殘差圖像進行編碼；熵編碼單元，使用視差矢量、運動矢量和編碼的殘差圖像來產生多視角 視頻的比特 流;其中，所述預測單元根據預定標準將多個B幀分類為至少兩組，并順序 地對分類的所述多個B幀進行預測。
11、 如權利要求10所述的設備，其中，所述預定標準包括所述多個B 幀中的每個B幀所參考的幀的數量。
12、 如權利要求10所述的設備，其中，所述預定標準包括所述多個B 幀中的每個B幀所參考的幀的數量和幀的視角位置。
13、 如權利要求10所述的設備，其中，所述多個B幀被分類為參考兩 個水平相鄰的幀、兩個垂直相鄰的幀或者一個水平相鄰的幀和一個垂直相鄰 的幀預測的第一組B幀、參考兩個水平相鄰的幀和一個垂直相鄰的幀或者一 個水平相鄰的幀和兩個垂直相鄰的幀預測的第二組B幀、以及參考兩個水平 相鄰的幀和兩個垂直相鄰的幀預測的第三組B幀，其中，所述一個或兩個水平相鄰的幀是以與第一組、第二組或第三組的 B幀處在相同時間水平的多視角視頻獲得的一個或多個幀，所述一個或兩個 垂直相鄰的幀是以與第一組、第二組或第三組的B幀處在相同視角位置的多 視角視頻獲得的一個或多個幀。
14、 如4又利要求13所述的設備，其中，預測單元順序地對第一組B幀、 第二組B幀和第三組B幀進行預測。
15、 如權利要求10所述的設備，其中，預測單元基于包括所述多個B 幀的視頻編碼結構來預測輸入的多視角視頻的視差矢量和運動矢量，其中，預測單元還在根據多個視角水平布置的幀之間進行視差估計和在根據時間流逝垂直布置的幀之間執行運動估計，其中，視頻編碼結構在水平和垂直方向中的至少一個方向上是可擴展的， 其中，水平布置的幀是從處于相同時間水平的多視角視頻獲得的幀，垂直布置的幀是從處于相同視角位置的多視角視頻獲得的幀。
16、 如權利要求15所述的設備，其中，所述多個視角包括n個視角，其 中，n是奇數。
17、 如權利要求16所述的設備，其中，在第n-l視角獲得的幀不被用于 #見差估計和運動估計。
18、 如權利要求16所述的設備，其中，在所述視頻編碼結構中，在多個 視角中除了第一視角之外的視角獲得的幀不包括I幀，在第k視角獲得的幀 只包括b幀，其中，k是小于n的偶數。
19、 一種存儲對多視角視頻進行編碼的方法的計算機可讀記錄介質，所 述方法包括根據預定標準將多個b幀分類為至少兩組； 順序地對分類的所述多個b幀進行編碼。
20、 如權利要求19所述的計算機可讀記錄介質，其中，所述預定標準包 括所述多個b幀中的每個b幀所參考的幀的數量。
21、 如權利要求19所述的計算機可讀記錄介質，其中，所述預定標準包 括所述多個b幀中的每個b幀所參考的幀的數量和幀的視角位置。
22、 如權利要求19所述的計算機可讀記錄介質，其中，所述多個b幀 被分類為參考兩個水平相鄰的幀、兩個垂直相鄰的幀或者一個水平相鄰的幀 和一個垂直相鄰的幀預測的第一組b幀、參考兩個水平相鄰的幀和一個垂直相鄰的幀或者一個水平相鄰的幀和兩個垂直相鄰的幀預測的第二組b幀、以 及參考兩個水平相鄰的幀和兩個垂直相鄰的頓預測的第三組b巾貞，其中，所述一個或兩個水平相鄰的幀是以與第一組、第二組或第三組的 b幀處在相同時間水平的多視角視頻獲得的一個或多個幀，所述一個或兩個 垂直相鄰的幀是以與第一組、第二組或第三組的b幀處在相同視角位置的多 視角視頻獲得的一個或多個幀。
23、 如權利要求22所述的計算機可讀記錄介質，其中，對分類的多個b 幀進行順序編碼的步驟包括順序地對第一組b幀、第二組b幀和第三組b 幀進行編碼。
24、 如權利要求19所述的計算機可讀記錄介質，其中，基于包括多個B 幀的一見頻編碼結構來執行所述順序編碼，其中，所述順序編碼的步驟包括在根據多個視角水平布置的幀之間進 行視差估計和在根據時間流逝垂直布置的幀之間執行運動估計，其中，視頻編碼結構在水平和垂直方向中的至少一個方向上是可擴展的， 其中，水平布置的幀是從處于相同時間水平的多視角視頻獲得的幀，垂直布置的幀是從處于相同視角位置的多視角視頻獲得的幀。
25、 如權利要求24所述的計算機可讀記錄介質，其中，所述多個視角包 括n個視角，其中，n是奇數。
26、 如權利要求25所述的計算機可讀記錄介質，其中，在第n-l視角獲 得的幀不被用于視差估計和運動估計。
27、 如權利要求25所述的計算機可讀記錄介質，其中，在所述視頻編碼 結構中，在多個視角中除了第一視角之外的視角獲得的幀不包括I幀，在第k 視角獲得的幀只包括B幀，其中，k是小于n的偶數。
全文摘要
提供了一種使用最少量的關于多視角視頻的信息來對多視角視頻進行編碼的方法和設備。所述方法包括根據預定標準將多個B幀分類為至少兩組；順序地對分類的B幀進行編碼。因此，可使用最少量的關于多視角視頻的信息來向很多用戶同時提供逼真的多視角視頻。
文檔編號H04N7/32GK101243692SQ200680030315
公開日2008年8月13日 申請日期2006年8月19日 優先權日2005年8月22日
發明者俞弼皓, 河泰鉉 申請人:三星電子株式會社