對(duì)多視圖視頻進(jìn)行統(tǒng)一編碼的裝置的制作方法

專利名稱：對(duì)多視圖視頻進(jìn)行統(tǒng)一編碼的裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于多視圖視頻的統(tǒng)一編碼/解碼的裝置及其方法；更具 體地，涉及一種用于通過(guò)補(bǔ)償多個(gè)隨機(jī)排列的照相機(jī)的不同特性(例如照相 機(jī)參數(shù)、以及每個(gè)照相機(jī)視點(diǎn)的顏色)、并且對(duì)當(dāng)前正在^皮編碼的—見(jiàn)點(diǎn)的畫(huà)面 進(jìn)行預(yù)測(cè)編碼以便借助預(yù)測(cè)多視圖視頻而對(duì)多視圖視頻進(jìn)行編碼的統(tǒng) 一 多視 圖視頻編碼裝置及其方法， 一種統(tǒng)一多視圖視頻解碼裝置及其方法。
背景技術(shù)：
為了提供現(xiàn)實(shí)的視頻服務(wù)，已經(jīng)在各種應(yīng)用領(lǐng)域普遍使用多視圖視頻。 但是，利用常規(guī)的編碼方案，壓縮與編碼多視圖視頻需要寬得多的帶寬，這 是因?yàn)槎嘁晥D視頻數(shù)據(jù)為與視點(diǎn)的數(shù)目的倍數(shù)一樣多的海量數(shù)據(jù)。MPEG-2視頻解碼器與H. 264視頻編碼器被廣泛用作單視圖視頻編碼器與 解碼器。MPEG-2視頻解碼器為數(shù)字TV代表的解碼器。另外，H. 264視頻編碼 器一般用于高效率壓縮與數(shù)字多媒體廣播(畫(huà)B)服務(wù)。但是，此類(lèi)單視圖視 頻編碼器不適于傳送多視圖視頻數(shù)據(jù)，這是因?yàn)閱我晥D編碼器沒(méi)有有效地利 用相鄰^L點(diǎn)的畫(huà)面之間的冗余信息。體視頻(stereoscopic video)的編碼方法，以及基于三維對(duì)象、或者不考 慮三維對(duì)象地基于多個(gè)照相機(jī)的排列而處理多于3個(gè)視點(diǎn)的多視頻數(shù)據(jù)的另 一種編;馬方法。使用MPEG-2多視圖簡(jiǎn)檔(mult i-view profile MVP)與MPEG-4時(shí)間可 擴(kuò)展性(temporal scalabi 1 i ty TS )的常規(guī)編碼技術(shù)被廣泛用于編碼立體視頻。此后，將首先描述主要背景技術(shù)H. 264,然后描述MPEG-2多視圖簡(jiǎn)檔 (MVP )。MPEG-visual與H. 263為視頻壓縮技術(shù)的標(biāo)準(zhǔn)。在頒布H. 263之后，運(yùn) 動(dòng)畫(huà)面專家組(MPEG)與視頻編碼專家組(VCEG) —起進(jìn)行了研究，以定義
下一代壓縮技術(shù)的新標(biāo)準(zhǔn)，該下一代壓縮技術(shù)提供高壓縮率且同時(shí)滿足高品 質(zhì)、低比特率流傳送視頻。在定義H. 263標(biāo)準(zhǔn)之后，ITU-T的VCEG開(kāi)始進(jìn)行研究，以定義H. 263版 本2標(biāo)準(zhǔn)以及ITU-T H. 26L。通過(guò)向H. 263添加補(bǔ)充功能，定義了 H. 263 ;f反 本2，并且ITU-T H. 26L為用于以^氐比特率傳送一見(jiàn)頻的新標(biāo)準(zhǔn)。該ITU-T H. 26L 被MPEG高度強(qiáng)調(diào)。相應(yīng)地，MPEG聯(lián)合ITU-T的VCEG來(lái)組成聯(lián)合視頻組(JVT ), 以將H. 26L模型定義為國(guó)際標(biāo)準(zhǔn)。結(jié)果，引入ISO MPEG4 Part 10、即ITU-T H. 264作為國(guó)際標(biāo)準(zhǔn)。圖1為圖示常規(guī)H. 264編碼器的方框圖。常規(guī)H. 264編碼器包括預(yù)測(cè)塊110、變換與量化塊120、以及熵編碼塊13。。預(yù)測(cè)塊110進(jìn)行幀間預(yù)測(cè)與幀內(nèi)預(yù)測(cè)。幀間預(yù)測(cè)為利用通過(guò)解碼與去塊 濾波而生成并且存儲(chǔ)在緩沖器中的參考畫(huà)面對(duì)當(dāng)前畫(huà)面進(jìn)行的塊預(yù)測(cè)。即， 幀間預(yù)測(cè)利用畫(huà)面之間的信息進(jìn)行預(yù)測(cè)。預(yù)測(cè)塊110包括用于幀間預(yù)測(cè)的運(yùn) 動(dòng)估計(jì)塊111與運(yùn)動(dòng)補(bǔ)償塊112。幀內(nèi)預(yù)測(cè)為利用要被解碼的畫(huà)面內(nèi)的、相 鄰于要被預(yù)測(cè)的目標(biāo)塊的塊的像素?cái)?shù)據(jù)而進(jìn)行的預(yù)測(cè)。變換與量化塊120通過(guò)變換在預(yù)測(cè)塊110處獲得的預(yù)測(cè)樣本、并且量化 變換后的數(shù)據(jù)而壓縮視頻數(shù)據(jù)。熵編碼塊130根據(jù)預(yù)定編碼方案，對(duì)量化后 的視頻數(shù)據(jù)進(jìn)行編碼，以生成H. 264比特流。此后將描述MPEG-2多視圖簡(jiǎn)檔(MVP)。圖2為顯示通過(guò)應(yīng)用視頻專家組(MPEG) -2的時(shí)間可擴(kuò)展性而實(shí)現(xiàn)的 MPEG-2多視圖簡(jiǎn)檔(MVP)的編碼器與解碼器的方框圖。MPEG-2的可擴(kuò)展性用來(lái)在同 一時(shí)間利用單個(gè)裝備對(duì)具有不同分辨率的圖 像進(jìn)行解碼?？蓴U(kuò)展性中的時(shí)間可擴(kuò)展性為通過(guò)增加幀速率來(lái)提高視覺(jué)品質(zhì) 的技術(shù)。通過(guò)對(duì)立體一見(jiàn)頻(stereo viedo)實(shí)現(xiàn)時(shí)間可擴(kuò)展性，來(lái)開(kāi)發(fā)多一見(jiàn) 圖筒檔?；诹Ⅲw視頻的編碼器與解碼器一般具有圖2所示的時(shí)間可擴(kuò)展性結(jié) 構(gòu)。在常規(guī)立體視頻編碼器中，立體視頻中的左畫(huà)面被輸入到基本視圖編碼 器，右畫(huà)面被輸入到時(shí)間輔助視圖編碼器，如圖2所示。常規(guī)立體視頻編碼器一般具有用于時(shí)間可擴(kuò)展性的所示結(jié)構(gòu)。即，其為 在基本層的畫(huà)面之間建立畫(huà)面的層間編碼器。相應(yīng)地，如果獨(dú)立地編碼與解
碼左畫(huà)面，則可以生成正常一見(jiàn)頻。
<旦是，如果同時(shí)編碼與解碼左畫(huà)面與右畫(huà)面，則可以生成三維視頻。此處，需要系統(tǒng)MUX與系統(tǒng)DeMUX來(lái)同步或者分離兩個(gè)畫(huà)面的序列，以傳送或者存儲(chǔ)視頻。圖3為圖示使用MPEG-2多視圖簡(jiǎn)檔(MVP)的立體視頻編碼器/解碼器的 方框圖。如圖3所示，由運(yùn)動(dòng)補(bǔ)償DCT編碼器編碼畫(huà)面的基本層，該運(yùn)動(dòng)補(bǔ)償DCT 編碼器通過(guò)運(yùn)動(dòng)補(bǔ)償與離散余弦變換(DCT)來(lái)編碼數(shù)據(jù)，并且通過(guò)編碼(即 DCT與運(yùn)動(dòng)補(bǔ)償)的逆過(guò)程來(lái)解碼已編碼的基本層。時(shí)間輔助視圖編碼器為 時(shí)間層間編碼器，其基于已解碼的基本層畫(huà)面進(jìn)行預(yù)測(cè)。即，使用MPEG-2 MVP的立體視頻編碼器/解碼器可以使用兩個(gè)視差估計(jì) (disparity estimation),或者一個(gè)浮見(jiàn)差估計(jì)與運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)。與基本層編 碼器與解碼器一樣，時(shí)間輔助視圖編碼器包括視差與運(yùn)動(dòng)補(bǔ)償DCT編碼器與 解碼器。與需要運(yùn)動(dòng)估計(jì)器與運(yùn)動(dòng)補(bǔ)償器的運(yùn)動(dòng)估計(jì)與補(bǔ)償編碼步驟一樣，視差 補(bǔ)償編碼步驟需要視差估計(jì)器與視差補(bǔ)償器。另外，視差補(bǔ)償編碼步驟包括 對(duì)所預(yù)測(cè)的畫(huà)面與原始畫(huà)面之間的差別的DCT、 DCT系數(shù)的量化、以及利用基 于塊的運(yùn)動(dòng)與視差估計(jì)與補(bǔ)償?shù)目勺冮L(zhǎng)度編碼。相反，對(duì)于視差補(bǔ)償解碼步 驟依次執(zhí)行可變長(zhǎng)度解碼、逆量化、以及逆DCT。由于對(duì)雙向預(yù)測(cè)畫(huà)面(B畫(huà)面)的雙向運(yùn)動(dòng)預(yù)測(cè)，MPEG-2編碼為非常有 效的壓縮方法。MPEG-2編碼對(duì)于時(shí)間可擴(kuò)展性也非常有效。因此，利用B畫(huà) 面來(lái)編碼右畫(huà)面可以獲得高效壓縮。圖4為顯示用于雙向預(yù)測(cè)的、利用兩個(gè)視差估計(jì)且只考慮時(shí)間差別的預(yù) 測(cè)編碼的碎見(jiàn)圖。利用不可擴(kuò)展的MPEG-2編碼器來(lái)編碼左畫(huà)面，并且基于已編 碼的左畫(huà)面、利用位于MPEG-2時(shí)間域的時(shí)間輔助視圖編碼器來(lái)編碼右畫(huà)面。即，利用從兩個(gè)不同的左畫(huà)面獲得的估計(jì)，將原始畫(huà)面編碼為B畫(huà)面。 此處，兩個(gè)參考畫(huà)面中的一個(gè)為顯示時(shí)的左畫(huà)面，另一個(gè)為所顯示的左畫(huà)面 之后的下一個(gè)畫(huà)面。根據(jù)兩個(gè)估計(jì)生成三個(gè)估計(jì)模式，例如前向估計(jì)模式、后向估計(jì)模式、 以及內(nèi)插估計(jì)模式，這與運(yùn)動(dòng)估計(jì)/補(bǔ)償一樣。此處，前向估計(jì)模式為從同一 時(shí)間的左畫(huà)面預(yù)測(cè)的一見(jiàn)差，而后向估計(jì)模式為從下一個(gè)左畫(huà)面預(yù)測(cè)的視差。 通過(guò)兩個(gè)左畫(huà)面的視差向量而獲得右畫(huà)面的預(yù)測(cè)。因此，其被稱為基于視差
的預(yù)測(cè)編碼。即，編碼器對(duì)右^L頻的每幀估計(jì)兩個(gè)^L差向量，并且解碼器利 用這兩個(gè)一見(jiàn)差向量乂人左視頻解碼右浮見(jiàn)頻。圖5為顯示常規(guī)MPEG-2MVP中的用于雙向預(yù)測(cè)的、利用視差向量與運(yùn)動(dòng) 向量的預(yù)測(cè)編碼的視圖。即，在圖5中使用單個(gè)視差估計(jì)與單個(gè)運(yùn)動(dòng)估計(jì)， 但是其使用通過(guò)圖4所示的雙向預(yù)測(cè)獲得的B畫(huà)面。即，從同一時(shí)間階段的 左畫(huà)面進(jìn)行視差估計(jì)，并且對(duì)先前時(shí)間階段的右畫(huà)面進(jìn)行運(yùn)動(dòng)估計(jì)，如圖5 所示。雙向預(yù)測(cè)生成三個(gè)估計(jì)模式，例如前向估計(jì)模式、后向估計(jì)模式、以及 內(nèi)插估計(jì)模式。此處，前向估計(jì)模式為從已解碼的右畫(huà)面獲得的運(yùn)動(dòng)估計(jì)， 而后向模式為從已解碼的左畫(huà)面獲得的視差估計(jì)。因此，MPEG-2 MVP的規(guī)范是針對(duì)實(shí)際立體視頻設(shè)計(jì)的，但是對(duì)于多視圖 視頻的編碼器結(jié)構(gòu)，沒(méi)有進(jìn)行定義。因此，很需要一種同時(shí)有效地向多個(gè)用 戶提供現(xiàn)實(shí)的多視圖視頻的編碼器。MPEG-2提出編碼與解碼視頻的規(guī)范。即，在MPEG-2中，將畫(huà)面歸類(lèi)為 頓內(nèi)編碼(I)畫(huà)面、預(yù)測(cè)編碼(P)畫(huà)面、以及雙向預(yù)測(cè)編碼(B)畫(huà)面。通 過(guò)進(jìn)行DCT而不進(jìn)行運(yùn)動(dòng)向量估計(jì)/補(bǔ)償來(lái)編碼畫(huà)面從而獲得I畫(huà)面。P畫(huà)面 為通過(guò)基于I畫(huà)面或其他P畫(huà)面進(jìn)行運(yùn)動(dòng)估計(jì)與補(bǔ)償并且通過(guò)對(duì)估計(jì)與補(bǔ)償 后的畫(huà)面與原始畫(huà)面之間的差別進(jìn)行DCT來(lái)編碼畫(huà)面而獲得的畫(huà)面。類(lèi)似P 畫(huà)面地獲得B畫(huà)面，但是在同一時(shí)間域上對(duì)兩幀進(jìn)行運(yùn)動(dòng)估計(jì)/補(bǔ)償。MPEG-2的畫(huà)面具有B、 B、 I、 B、 B、 P...的結(jié)構(gòu)。從一個(gè)I畫(huà)面到下一 I畫(huà)面的多個(gè)畫(huà)面^皮稱為一個(gè)畫(huà)面組(G0P)。 G0P中畫(huà)面的^:目^皮定義為N, 并且I畫(huà)面與P畫(huà)面之間、或者P畫(huà)面與P畫(huà)面之間的畫(huà)面的凄t目^皮定義為 M。因?yàn)镸PEG-2為用于編碼與解碼單個(gè)視圖中的視頻的標(biāo)準(zhǔn)，所以盡管 MPEG-2引入MVP來(lái)將單視圖型視頻擴(kuò)展到立體型視頻，但是對(duì)于用于多視圖 視頻的編碼器仍沒(méi)有規(guī)范。為了編碼多視圖視頻，需要處理表示多視圖信息 的數(shù)據(jù)。在韓國(guó)專利申請(qǐng)第10-2002-0021757號(hào)與韓國(guó)專利申請(qǐng)第 10-2003-0002116號(hào)中，介紹了通過(guò)擴(kuò)展MPEG-2 MVP的結(jié)構(gòu)來(lái)編碼多視圖朝L 頻的常規(guī)技術(shù)。在韓國(guó)專利申請(qǐng)第10-2002-0021757號(hào)中，引入GGOP,并且使用基于MPEG-2配置的編解碼器C0DEC。在韓國(guó)專利申請(qǐng)第10-2003-002116號(hào)中，建 立中心一見(jiàn)圖的比特序列。當(dāng)建立左畫(huà)面與右畫(huà)面的比特序列時(shí)，4吏用該中心 視圖比特序列作為參考。在韓國(guó)專利申請(qǐng)第10-2002-0021757號(hào)中，由于對(duì)MPEG-2的兼容性，所 以當(dāng)編碼P畫(huà)面時(shí)，使用單個(gè)運(yùn)動(dòng)估計(jì)向量。在B畫(huà)面的情況下，使用兩個(gè) 向量。因此，使用當(dāng)前時(shí)間上相鄰視點(diǎn)的視差向量與先前幀的運(yùn)動(dòng)向量。在韓國(guó)專利申請(qǐng)第10-2003-002116號(hào)中，當(dāng)編碼左一見(jiàn)圖與右浮見(jiàn)圖的P畫(huà) 面時(shí)，使用單個(gè)運(yùn)動(dòng)向量與單個(gè)視差向量來(lái)參考中心—見(jiàn)圖畫(huà)面。這些常規(guī)技術(shù)無(wú)法利用多于兩個(gè)的運(yùn)動(dòng)向量或者視差向量，并且當(dāng)編碼 MPEG-2的B畫(huà)面時(shí)，由于對(duì)MPEG-2或MPEG-4的兼容性，無(wú)法在時(shí)間域上進(jìn) 行雙向估計(jì)編碼。另外，視點(diǎn)之間的距離以及基線的尺寸增加了對(duì)于要被編 碼的I畫(huà)面的視圖的數(shù)目。該方法不適于視差向量的估計(jì)。即，必須將相鄰 視圖變換到當(dāng)前視點(diǎn)。另外，照相機(jī)的排列限于矩陣型排列，例如平行排列 或者二維平行排列。發(fā)明內(nèi)容因此，本發(fā)明的一個(gè)目的在于提供一種多視圖視頻編碼與解碼裝置，其 用于通過(guò)利用照相機(jī)信息(例如照相機(jī)或多視圖視頻的排列、照相機(jī)參數(shù)與 顏色補(bǔ)償)、并且利用由當(dāng)前編碼的畫(huà)面當(dāng)前所參考的相鄰視圖的畫(huà)面作為預(yù) 測(cè)編碼的參考畫(huà)面而有效地消除相鄰照相機(jī)之間的冗余信息，從而提高壓縮 效率。本發(fā)明的另一個(gè)目的在于提供一種用于通過(guò)變換關(guān)于二維時(shí)空GOP結(jié)構(gòu) 的和關(guān)于相鄰視圖的信息到當(dāng)前編碼的視圖、并且利用相關(guān)畫(huà)面作為參考畫(huà) 面進(jìn)行有效的預(yù)測(cè)編碼而編碼與解碼多 一見(jiàn)圖碎見(jiàn)頻的裝置與方法。本發(fā)明的另 一個(gè)目的在于提供一種用于編碼與解碼多視圖視頻的裝置與 方法，其將用于單個(gè)視圖畫(huà)面的基于H. 264的編碼器的特性擴(kuò)展到多個(gè)視圖， 該編碼器利用先前時(shí)間階段的多個(gè)畫(huà)面作為參考幀。根據(jù)本發(fā)明的一個(gè)方面，提供了一種多視圖視頻編碼裝置，用于壓縮和 編碼從按預(yù)定格式排列的多個(gè)照相機(jī)輸入的多視圖視頻，包括GOP信息生 成單元，用來(lái)生成時(shí)空畫(huà)面組(GOP)結(jié)構(gòu)信息，該信息表示用于預(yù)測(cè)編碼的 畫(huà)面之間的時(shí)間與空間上的參考關(guān)系；以及多視圖編碼單元，用來(lái)根據(jù)所述 時(shí)空GOP結(jié)構(gòu)信息進(jìn)行預(yù)測(cè)編碼。根據(jù)本發(fā)明的另一個(gè)方面，提供了一種多視圖視頻編碼方法，用于壓縮和編碼從按預(yù)定格式排列的多個(gè)照相機(jī)輸入的多視圖視頻，包括以下步驟a ) 生成時(shí)空GOP結(jié)構(gòu)信息，該信息表示用于預(yù)測(cè)編碼的畫(huà)面之間在時(shí)間與空間 上的參考關(guān)系；以及b)根據(jù)所述時(shí)空GOP結(jié)構(gòu)信息進(jìn)行預(yù)測(cè)編碼。根據(jù)本發(fā)明的另一個(gè)方面，提供了一種多視圖視頻解碼裝置，用于接收 從按預(yù)定格式排列的多個(gè)照相機(jī)輸入的多視圖視頻的編碼信號(hào)，該多視圖一見(jiàn) 頻解碼裝置包括解碼單元，用來(lái)從外部設(shè)備接收信號(hào)，并且解碼所接收到 的信號(hào)；基于時(shí)空GOP的視頻再現(xiàn)單元，用來(lái)利用在來(lái)自解碼單元的解碼信 號(hào)中包含的時(shí)空GOP結(jié)構(gòu)信息而恢復(fù)多視圖視頻；以及場(chǎng)景同步單元，用來(lái) 同步在基于GOP的^L頻再現(xiàn)單元處恢復(fù)的多視圖畫(huà)面，并且輸出同步后的多 視圖畫(huà)面，這里所述時(shí)空GOP結(jié)構(gòu)信息表達(dá)用于預(yù)測(cè)編碼的畫(huà)面之間在時(shí)間 域與空間域中的參考關(guān)系。根據(jù)本發(fā)明的另一個(gè)方面，提供了一種多視圖視頻解碼方法，用于接收 從按預(yù)定格式排列的多個(gè)照相機(jī)輸入的多視圖視頻的編碼信號(hào)，該多視圖一見(jiàn) 頻解碼方法包括以下步驟從外部設(shè)備接收信號(hào)，并且解碼所接收到的信號(hào)； 利用在來(lái)自解碼單元的解碼信號(hào)中包含的時(shí)空GOP結(jié)構(gòu)信息來(lái)恢復(fù)多視圖視 頻；以及同步在基于GOP的視頻再現(xiàn)單元處恢復(fù)的多視圖畫(huà)面，并且輸出同 步后的多^L圖畫(huà)面，其中所述時(shí)空GOP結(jié)構(gòu)信息表達(dá)用于預(yù)測(cè)編碼的畫(huà)面之 間在時(shí)間域與空間域中的參考關(guān)系。根據(jù)本發(fā)明的用于編碼與解碼多視圖視頻的裝置獲得具有各種照相機(jī)排 列的多視圖視頻數(shù)據(jù)，壓縮所獲得的多視圖視頻數(shù)據(jù)，傳送所壓縮的多視圖 視頻數(shù)據(jù)，解碼所壓縮的多視圖視頻數(shù)據(jù)，并且顯示所解碼的一見(jiàn)頻數(shù)據(jù)，而 不受照相機(jī)排列的限制。根據(jù)本發(fā)明的用于編碼與解碼多視圖視頻的裝置可以通過(guò)對(duì)隨機(jī)排列的 多視圖信息進(jìn)行預(yù)測(cè)編碼而利用單個(gè)編碼方案提供立體顯示服務(wù)、全向視頻 (omni video)月l務(wù)、全景牙見(jiàn)步貞(panoramic video)月良務(wù)、以及自由一見(jiàn)點(diǎn) TV服務(wù)，并且當(dāng)編碼多視圖畫(huà)面時(shí)，.通過(guò)利用相鄰視圖的信息來(lái)提高壓縮效 率。另外，根據(jù)本發(fā)明的編碼與解碼多視圖視頻的裝置與方法利用當(dāng)前視點(diǎn) 與相鄰照相機(jī)視點(diǎn)之間的冗余信息來(lái)提高壓縮效率。


從以下結(jié)合附圖給出的優(yōu)選實(shí)施例的描述，本發(fā)明的以上與其他目的、 特征將變得明顯，附圖中圖1為顯示常規(guī)H. 264編碼器的方框圖；圖2為圖示常規(guī)MPEG-2 MVP編碼器與解碼器的方框圖；圖3為顯示使用MPEG-2 MVP的常規(guī)立體視頻編碼器的方框圖；圖4為MPEG-2MVP中的用于雙向預(yù)測(cè)的利用兩個(gè)—見(jiàn)差估計(jì)且利用^L圖差別的常規(guī)預(yù)測(cè)編碼的視圖；圖5為MPEG-2MVP中的用于雙向預(yù)測(cè)的、利用^L差向量與運(yùn)動(dòng)向量的常規(guī)預(yù)測(cè)編碼的視圖；圖6為顯示在常規(guī)MPEG-2中定義的畫(huà)面的結(jié)構(gòu)的^L圖；圖7為圖示根據(jù)本發(fā)明實(shí)施例的多視圖視頻編碼/解碼系統(tǒng)的方框圖；圖8為顯示根據(jù)本發(fā)明優(yōu)選實(shí)施例的時(shí)空GOP生成單元的方框圖；圖9顯示根據(jù)本發(fā)明的、表示時(shí)空GOP結(jié)構(gòu)中關(guān)系的參考連接類(lèi)型；圖10為描述根據(jù)本發(fā)明優(yōu)選實(shí)施例的時(shí)空G0P的三角排列參考結(jié)構(gòu)的視圖；圖11顯示根據(jù)本發(fā)明實(shí)施例的包括時(shí)間11處的P畫(huà)面的時(shí)空G0P結(jié)構(gòu)； 圖12顯示根據(jù)本發(fā)明實(shí)施例的包括時(shí)間tl處的P畫(huà)面與B畫(huà)面的時(shí)空 G0P結(jié)構(gòu)；圖13為圖示根據(jù)本發(fā)明實(shí)施例的多視圖編碼單元的方框圖；以及 圖14為顯示根據(jù)本發(fā)明實(shí)施例的多視圖參考畫(huà)面提供單元的方框圖。
具體實(shí)施方式
從以下提出的、參考附圖對(duì)實(shí)施例的描述，本發(fā)明的其他目的與方面將 變得明顯。圖7為圖示根據(jù)本發(fā)明實(shí)施例的多視圖視頻編碼/解碼系統(tǒng)的方框圖。 如圖7所示，該多視圖視頻編碼/解碼系統(tǒng)包括多視圖視頻編碼裝置 500，用來(lái)接收多視圖視頻數(shù)據(jù)，例如從N個(gè)隨機(jī)排列的照相機(jī)接收N視圖視 頻數(shù)據(jù)，將該多視圖視頻數(shù)據(jù)壓縮與編碼為比特序列，并且傳送該比特序列； 以及多視圖視頻解碼裝置600，用來(lái)接收該比特序列，并且將該比特序列解
碼與同步為多視圖視頻。多視圖視頻編碼裝置500包括時(shí)空GOP生成單元510、以及多視圖編 碼單元520。時(shí)空GOP生成單元510從N個(gè)照相機(jī)與用戶接收N個(gè)多-見(jiàn)圖視頻與照相 機(jī)信息。照相機(jī)信息包括關(guān)于照相機(jī)特性的N個(gè)視圖的信息、以及關(guān)于照相 機(jī)位置與照相機(jī)排列的信息。時(shí)空GOP生成單元510基于所接收到的信息建 立時(shí)空GOP信息。多視圖視頻編碼單元520利用所建立的時(shí)空GOP信息以及照相機(jī)信息， 對(duì)多視圖視頻進(jìn)行預(yù)測(cè)編碼。多視圖視頻解碼裝置600包括多視圖視頻解碼單元610、基于時(shí)空GOP 的牙見(jiàn)頻再現(xiàn)單元620、以及場(chǎng)景同步單元630。如上所述，多浮見(jiàn)圖視頻解碼裝 置600接收比特序列，通過(guò)多視圖視頻解碼單元610解碼所接收到的比特序 列，在基于時(shí)空GOP的畫(huà)面再現(xiàn)單元620處利用時(shí)空GOP信息恢復(fù)所有多朝L 圖視頻，并且在場(chǎng)景同步單元630處根據(jù)多視圖視頻應(yīng)用適當(dāng)?shù)赝剿謴?fù) 的畫(huà)面。然后，這些同步后的視頻被提供給用戶。以下將更詳細(xì)地描述多視圖視頻解碼裝置。多視圖視頻解碼單元610通過(guò)熵解碼、逆重新排列、逆量化、以及逆變 換來(lái)處理所接收到的比特序列，并且基于時(shí)空GOP的畫(huà)面再現(xiàn)單元620利用 在比特流中包含的時(shí)空GOP信息，從逆變換后的信號(hào)中重新配置多視圖視頻。 另外，場(chǎng)景同步單元630同步在基于時(shí)空GOP的畫(huà)面再現(xiàn)單元620處恢復(fù)的 多視圖畫(huà)面。另外，如果當(dāng)前解碼的畫(huà)面具有與參考畫(huà)面相比相同的一見(jiàn)圖，則基于時(shí) 空GOP的畫(huà)面再現(xiàn)單元620根據(jù)時(shí)空GOP信息來(lái)進(jìn)行運(yùn)動(dòng)補(bǔ)償。如果當(dāng)前解 碼的畫(huà)面為具有參考畫(huà)面的相鄰碎見(jiàn)圖的畫(huà)面，則基于時(shí)空GOP的視頻再現(xiàn)單 元620進(jìn)行視差/運(yùn)動(dòng)校正。圖8為顯示根據(jù)本發(fā)明優(yōu)選實(shí)施例的時(shí)空GOP生成單元的方框圖。 參考圖8，時(shí)空GOP生成單元510包括關(guān)系定義單元511和圖形顯示單 元513。關(guān)系定義單元511基于用戶信息或者照相機(jī)信息，定義浮見(jiàn)圖之間畫(huà)面的 預(yù)測(cè)關(guān)系。圖形顯示單元513利用所定義的信息，生成時(shí)空GOP信息，其為 表示多視圖畫(huà)面中參考關(guān)系的圖形信息。所生成的時(shí)空GOP信息被輸出到多 視圖編碼單元520。可以根據(jù)各種方法定義的 一般數(shù)據(jù)結(jié)構(gòu)顯示圖形信息。為了建立用于支持隨機(jī)照相機(jī)視點(diǎn)的時(shí)空GOP信息，時(shí)間GOP的概念必 須采用常規(guī)的MPEG-2的G0P概念，并且必須將空間GOP配置為通過(guò)連接每個(gè) 表示照相機(jī)位置的節(jié)點(diǎn)而建立的圖形。如果視點(diǎn)彼此參考用于預(yù)測(cè)編碼，則如同雙鏈接列表一樣連接兩個(gè)節(jié)點(diǎn) 為彼此參考。如果只按一側(cè)參考視點(diǎn)，則連接節(jié)點(diǎn)為單鏈接列表。如果以環(huán)的形式排列照相機(jī)，則形成節(jié)點(diǎn)為數(shù)據(jù)結(jié)構(gòu)中的環(huán)形隊(duì)列。在 平行一維結(jié)構(gòu)的情況下，則如同單鏈接列表或雙鏈接列表一樣形成節(jié)點(diǎn)。在節(jié)點(diǎn)之間存在復(fù)雜參考關(guān)系的情況下，利用初始參考視點(diǎn)作為開(kāi)始節(jié) 點(diǎn)、并且利用關(guān)系根據(jù)預(yù)定順序連接節(jié)點(diǎn)以產(chǎn)生生成樹(shù)(spanning tree )。圖9顯示根據(jù)本發(fā)明的、表示時(shí)空GOP結(jié)構(gòu)中關(guān)系的參考連接類(lèi)型。如圖9所示，根據(jù)本發(fā)明的時(shí)空GOP可以表示多視圖視頻中的所有參考 關(guān)系，例如簡(jiǎn)單平行、雙向平行、矩陣排列、環(huán)形排列、以及隨機(jī)排列。圖9中所示的箭頭表示參考的方向，并且參考的方向可以為單向與雙向。如上所述，通過(guò)利用空間排列與視覺(jué)配置建立G0P，多視圖解碼器可以 支持隨機(jī)訪問(wèn)功能。圖10為描述根據(jù)本發(fā)明優(yōu)選實(shí)施例的時(shí)空GOP的三角排列參考結(jié)構(gòu)的禍L圖。虛線箭頭表示照相機(jī)的參考關(guān)系。如圖IO所示，在本實(shí)施例中，所有照相機(jī)都具有雙向參考關(guān)系。因?yàn)樵?初始階段畫(huà)面由I畫(huà)面構(gòu)成，所以假定僅使用其他時(shí)間的畫(huà)面作為參考畫(huà)面， 而不使用同 一時(shí)間關(guān)于相鄰照相機(jī)一見(jiàn)點(diǎn)的信息作為參考畫(huà)面。在圖9所示的配置中，當(dāng)將時(shí)間t4處的所有幀編碼為P畫(huà)面時(shí)，使用時(shí) 間tl處的畫(huà)面作為參考畫(huà)面。為了編碼時(shí)間t4處的P畫(huà)面Pl與P3， -使用時(shí)間tl處的I畫(huà)面II、 12、 13、以及I4作為參考畫(huà)面。另外，當(dāng)編碼t4處的P畫(huà)面P2時(shí)，參考時(shí)間 tl處的I畫(huà)面II、 12、以及13，并且當(dāng)編碼t4的P畫(huà)面P4時(shí)，參考時(shí)間 tl處的I畫(huà)面II、 13、以及14。時(shí)間t7的編碼方案同樣參考時(shí)間t4處的 參考tl處的畫(huà)面的畫(huà)面，但是時(shí)間t7的編碼方案參考P畫(huà)面而非I畫(huà)面。時(shí)間t2與t3處的畫(huà)面中的B畫(huà)面Bl與B3利用時(shí)間tl處的I畫(huà)面II、 12、 13和14、以及時(shí)間t4的P畫(huà)面Pl、 P2、 P3和P4作為參考畫(huà)面，進(jìn)4亍 雙向預(yù)測(cè)編碼。B畫(huà)面B2利用時(shí)間tl的I畫(huà)面II、 12和13以及時(shí)間t4的 P畫(huà)面Pl、 P2和P3作為參考畫(huà)面，進(jìn)行雙向預(yù)測(cè)編碼，B畫(huà)面B4利用時(shí)間 tl的I畫(huà)面II、 13和14以及時(shí)間t4的P畫(huà)面Pl、 P3和P4作為參考畫(huà)面， 進(jìn)4亍3又向預(yù)測(cè)編；馬。根據(jù)圖9右上部顯示的生成樹(shù)，決定每個(gè)節(jié)點(diǎn)處的編碼畫(huà)面的順序。以 上描述了參考其他時(shí)間畫(huà)面的關(guān)系。如果因?yàn)閊f艮據(jù)生成樹(shù)的順序而預(yù)先編碼其他視點(diǎn)的畫(huà)面從而可以參考當(dāng) 前編碼的畫(huà)面的同一時(shí)間處的其他視點(diǎn)的畫(huà)面，則要在時(shí)間t2到t7處預(yù)測(cè) 編碼的畫(huà)面另外還可以使用同 一時(shí)間處的先前編碼的畫(huà)面作為參考畫(huà)面。例如，如果編碼時(shí)間t4處的畫(huà)面P4，則可以添力口時(shí)間t4處的畫(huà)面P3 作為參考畫(huà)面。如果編碼畫(huà)面P2，則可以根據(jù)照相機(jī)之間的視點(diǎn)連接信息， 使用時(shí)間t4處的畫(huà)面Pl與P3作為參考畫(huà)面。當(dāng)編碼時(shí)間t4處的畫(huà)面P3時(shí)，無(wú)法使用同一時(shí)間的畫(huà)面作為參考畫(huà)面。 只能使用先前時(shí)間的畫(huà)面作為參考畫(huà)面。圖11顯示根據(jù)本發(fā)明實(shí)施例的、在時(shí)間U處包括P畫(huà)面的時(shí)空GOP結(jié)構(gòu)。如圖11所示，根據(jù)下一生成樹(shù)，首先編碼I畫(huà)面13，然后編碼P畫(huà)面 P4、 Pl與P2。此處，利用先前已編碼的畫(huà)面中的由照相機(jī)視點(diǎn)連接性信息連接的畫(huà)面， 預(yù)測(cè)編碼P畫(huà)面P4、 Pl與P2。編碼該時(shí)間之后的畫(huà)面的方法同時(shí)使用圖10的參考畫(huà)面選擇方法以及 圖11的參考畫(huà)面選"f奪方法。圖12顯示根據(jù)本發(fā)明實(shí)施例的包括時(shí)間tl處的P畫(huà)面與B畫(huà)面的時(shí)空 GOP結(jié)構(gòu)。才艮據(jù)圖12所示的GOP結(jié)構(gòu)首先編碼畫(huà)面13，然后編碼畫(huà)面P2。此處，P 畫(huà)面P2使用I畫(huà)面13作為參考畫(huà)面。B畫(huà)面B4可以使用I畫(huà)面13與12作為參考畫(huà)面，并且僅添力口 I畫(huà)面13作為參考畫(huà)面，這是因?yàn)檫B接性信息只連接到I畫(huà)面I3。然后，使用畫(huà)面13與P2作為參考畫(huà)面，預(yù)測(cè)編碼B畫(huà)面B1。然后，該編碼畫(huà)面的方法使用圖IO和圖ll的參考畫(huà)面選擇方法、以及 圖12的時(shí)間tl處的參考畫(huà)面選擇方法。如圖10、 11、 12所示，沒(méi)有根據(jù)先前時(shí)間處或者將來(lái)時(shí)間處的畫(huà)面對(duì)具 有I畫(huà)面的時(shí)間處的^L點(diǎn)畫(huà)面進(jìn)^^編碼。另外，根據(jù)具有I畫(huà)面或者P畫(huà)面 的先前時(shí)間處的-見(jiàn)點(diǎn)畫(huà)面對(duì)具有P畫(huà)面的時(shí)間處的視圖畫(huà)面進(jìn)4亍預(yù)測(cè)編碼。 另外，根據(jù)過(guò)去時(shí)間或者將來(lái)時(shí)間中具有I畫(huà)面或者P畫(huà)面的時(shí)間處的視圖畫(huà)面對(duì)具有B畫(huà)面的時(shí)間處的一見(jiàn)圖畫(huà)面進(jìn)行預(yù)測(cè)編碼。此處，^使用具有I畫(huà)面或者P畫(huà)面的時(shí)間處的視點(diǎn)畫(huà)面中的B畫(huà)面用于對(duì)其他時(shí)間處的畫(huà)面預(yù)測(cè)編碼。如果要求不僅使用近照相機(jī)視點(diǎn)的畫(huà)面、而且使用遠(yuǎn)照相機(jī)視點(diǎn)的畫(huà)面， 則可以將它們作為參考畫(huà)面。在這種情況下，定義其連接關(guān)系，并且#4居該 連接關(guān)系對(duì)其編碼。如果在P畫(huà)面P2與P4之間設(shè)置連接性信息，則才艮據(jù)所 設(shè)置的連接性信息，編碼與解碼畫(huà)面。圖13為圖示根據(jù)本發(fā)明實(shí)施例的多視圖編碼單元的方框圖。如圖13所示，該多視圖編碼單元包括多視圖參考畫(huà)面提供單元740、 估計(jì)單元710、變換與量化單元720、以及熵編碼單元730。估計(jì)單元710、變換與量化單元720和熵編碼單元730與常規(guī)H. 264編 碼器中的那些單元IIO、 120和130相同。但是，當(dāng)輸入的參考畫(huà)面為相同時(shí) 間的畫(huà)面時(shí)，視差/運(yùn)動(dòng)估計(jì)器711與視差/運(yùn)動(dòng)補(bǔ)償器713被操作為運(yùn)動(dòng)估 計(jì)器與運(yùn)動(dòng)補(bǔ)償器。如果參考畫(huà)面為其他時(shí)間的畫(huà)面，則視差/運(yùn)動(dòng)估計(jì)器 711與視差/運(yùn)動(dòng)補(bǔ)償器713被操作為視差估計(jì)器711與視差補(bǔ)償器713。多視圖參考畫(huà)面提供單元740接收并且存儲(chǔ)通過(guò)逆量化與逆變換而恢復(fù) 的多視圖畫(huà)面，以對(duì)通過(guò)變換與量化單元720變換與量化的畫(huà)面信號(hào)進(jìn)行預(yù) 測(cè)編碼。另外，多視圖參考畫(huà)面提供單元740根據(jù)從時(shí)空GOP生成單元510 輸入的GOP結(jié)構(gòu)信息來(lái)選擇參考畫(huà)面，并且給視差/運(yùn)動(dòng)補(bǔ)償器與視差/運(yùn)動(dòng) 估計(jì)器提供所選擇的參考畫(huà)面。相應(yīng)地，允許#4居在GOP結(jié)構(gòu)信息中表示的 多視圖畫(huà)面的參考關(guān)系進(jìn)行預(yù)測(cè)編碼。通過(guò)給重新排列單元731提供包含時(shí) 空GOP結(jié)構(gòu)信息的補(bǔ)充信息、利用當(dāng)前估計(jì)的編碼畫(huà)面信息對(duì)時(shí)空GOP結(jié)構(gòu) 信息進(jìn)行熵編碼、以及傳送所編碼的信息，多視圖參考畫(huà)面提供單元740還 允許在解碼中使用時(shí)空GOP結(jié)構(gòu)信息。圖14為圖示根據(jù)本發(fā)明實(shí)施例的多視圖參考畫(huà)面提供單元的方框圖。參考圖14,根據(jù)本實(shí)施例的多視圖參考畫(huà)面提供單元740包括恢復(fù)畫(huà)
面緩沖器"1、第一相鄰視點(diǎn)參考畫(huà)面緩沖器742、第二相鄰視點(diǎn)參考畫(huà)面緩沖器743、視點(diǎn)變換器745與746、以及參考畫(huà)面選擇器747。恢復(fù)畫(huà)面緩沖器741從濾波器接收在其他時(shí)間的當(dāng)前視點(diǎn)處的所恢復(fù)的 畫(huà)面，臨時(shí)存儲(chǔ)所接收到的畫(huà)面，并且將所存儲(chǔ)的畫(huà)面輸出到參考畫(huà)面選褲二 單元747。第一相鄰參考畫(huà)面緩沖器742從濾波器接收先前編碼的、當(dāng)前時(shí)間處的 相鄰視點(diǎn)的恢復(fù)畫(huà)面，臨時(shí)存儲(chǔ)所接收到的畫(huà)面作為參考畫(huà)面，并且將所存 儲(chǔ)的畫(huà)面輸出到視點(diǎn)變換單元745。第二相鄰參考畫(huà)面緩沖器743從濾波器 接收先前編碼的、不同時(shí)間處的相鄰^L點(diǎn)的恢復(fù)畫(huà)面，臨時(shí)存^^所接收到的 畫(huà)面作為參考畫(huà)面，并且將所存儲(chǔ)的畫(huà)面輸出到視點(diǎn)變換單元746。視點(diǎn)變換單元745與746使用先前輸入的照相機(jī)信息來(lái)校正當(dāng)前視點(diǎn)與 顏色平衡，以使用從第一相鄰視點(diǎn)參考畫(huà)面緩沖器742輸入的相鄰視點(diǎn)畫(huà)面 作為參考畫(huà)面。另外，視點(diǎn)變換單元745與746基于全局運(yùn)動(dòng)補(bǔ)償與糾正來(lái)考畫(huà)面被輸出到參考畫(huà)面選擇單元747。根據(jù)從時(shí)空G0P生成單元510輸入的時(shí)空G0P結(jié)構(gòu)信息，參考畫(huà)面選才奪 器747選擇所接收到的參考畫(huà)面中的一個(gè)以用于當(dāng)前預(yù)測(cè)編碼，并且輸出所 選擇的參考畫(huà)面到視差/運(yùn)動(dòng)估計(jì)器711與視差/運(yùn)動(dòng)補(bǔ)償器713。另外，參 考畫(huà)面選擇單元747生成包含G0P結(jié)構(gòu)信息的補(bǔ)充信息，并且輸出所生成的 補(bǔ)充信息到重新排列單元731。根據(jù)本發(fā)明的上述方法可以被實(shí)現(xiàn)為程序，并且存儲(chǔ)在計(jì)算機(jī)可讀記錄 介質(zhì)上。計(jì)算機(jī)可讀記錄介質(zhì)為可以存儲(chǔ)此后可以由計(jì)算機(jī)系統(tǒng)讀取的#:據(jù) 的任何數(shù)據(jù)存儲(chǔ)設(shè)備。計(jì)算機(jī)可讀記錄介質(zhì)包括只讀存儲(chǔ)器(R0M)、隨機(jī)存 取存儲(chǔ)器(RAM)、 CD-R0M、軟盤(pán)、硬盤(pán)、以及磁光盤(pán)。本申請(qǐng)包含與2004年12月10日向韓國(guó)知識(shí)產(chǎn)權(quán)局提交的韓國(guó)專利申請(qǐng) 第10-2004-0104470號(hào)相關(guān)的主題，其全部?jī)?nèi)容通過(guò)引用融入本文。雖然已經(jīng)針對(duì)特定優(yōu)選實(shí)施例描述了本發(fā)明，但是本領(lǐng)域技術(shù)人員應(yīng)該 理解在不脫離權(quán)利要求限定的本發(fā)明的范圍的前提下，可以進(jìn)行各種變化 與修改。
權(quán)利要求
1.一種多視圖視頻編碼裝置，用于壓縮和編碼從按預(yù)定格式排列的多個(gè)照相機(jī)輸入的多視圖視頻，包括GOP信息生成單元，用來(lái)生成時(shí)空畫(huà)面組(GOP)結(jié)構(gòu)信息，該信息表示用于預(yù)測(cè)編碼的畫(huà)面之間的時(shí)間與空間上的參考關(guān)系；以及多視圖編碼單元，用來(lái)根據(jù)所述時(shí)空GOP結(jié)構(gòu)信息進(jìn)行預(yù)測(cè)編碼。
2. 如權(quán)利要求1所述的多視圖視頻編碼裝置，其中所述GOP信息生成單 元包括預(yù)測(cè)關(guān)系定義單元，用來(lái)定義多視點(diǎn)之間的預(yù)測(cè)關(guān)系；以及 預(yù)測(cè)關(guān)系表達(dá)單元，用來(lái)根據(jù)所定義的預(yù)測(cè)關(guān)系，生成表示多視圖畫(huà)面 之間的參考關(guān)系的時(shí)空GOP結(jié)構(gòu)信息。
3. 如權(quán)利要求2所述的多視圖視頻編碼裝置，其中多視圖畫(huà)面的參考連 接關(guān)系被表達(dá)為顯示單向或雙向預(yù)測(cè)關(guān)系的圖形。
4. 如權(quán)利要求3所述的多視圖視頻編碼裝置，其中所述時(shí)空GOP結(jié)構(gòu)信 息為以單向或雙向連接關(guān)系表示從參考視點(diǎn)的畫(huà)面開(kāi)始的順序的生成樹(shù)結(jié) 構(gòu)，從而顯示視點(diǎn)之間的要被編碼的畫(huà)面的順序。
5. 如權(quán)利要求2所述的多視圖視頻編碼裝置，其中在所述時(shí)空GOP結(jié)構(gòu) 信息中，根據(jù)MPEG-2的GOP結(jié)構(gòu)確定時(shí)間GOP結(jié)構(gòu)，并且根據(jù)關(guān)于照相機(jī)位 置/排列的信息確定空間GOP結(jié)構(gòu)。
6 .如權(quán)利要求1所述的多視圖視頻編碼裝置，其中所述多視圖編碼單元包括多視圖參考畫(huà)面提供單元，用來(lái)根據(jù)所述GOP結(jié)構(gòu)信息，提供用于預(yù)測(cè) 編碼的參考畫(huà)面；預(yù)測(cè)單元，用來(lái)利用從所述多視圖參考畫(huà)面提供單元輸入的參考畫(huà)面， 對(duì)當(dāng)前要^皮編碼的畫(huà)面進(jìn)行預(yù)測(cè)；變換與量化單元，用來(lái)變換從所述預(yù)測(cè)單元輸入的預(yù)測(cè)信號(hào)，對(duì)變換后 的信號(hào)進(jìn)行量化，并壓縮量化后的信號(hào)；以及熵編碼單元，用來(lái)編碼從所述變換與量化單元輸入的量化后的信號(hào)，并 且輸出編碼后的信號(hào)。
7.如權(quán)利要求6所述的多視圖視頻編碼裝置，其中所述多視圖參考畫(huà)面 提供單元向熵編碼單元輸出包括所述時(shí)空GOP結(jié)構(gòu)信息的補(bǔ)充信息。
8. 如權(quán)利要求6所述的多^L圖視頻編碼裝置，其中所述預(yù)測(cè)單元包括 視差/運(yùn)動(dòng)估計(jì)單元，用來(lái)當(dāng)輸入的參考畫(huà)面具有與當(dāng)前編碼的畫(huà)面相比相同的浮見(jiàn)點(diǎn)時(shí)，進(jìn)4亍運(yùn)動(dòng)估計(jì)；并且當(dāng)該參考畫(huà)面具有與當(dāng)前編石馬的畫(huà)面 相比不同的浮見(jiàn)點(diǎn)時(shí)，進(jìn)行視差估計(jì)；視差/運(yùn)動(dòng)校正單元，用來(lái)當(dāng)輸入的參考畫(huà)面具有與當(dāng)前編碼的畫(huà)面相 比相同的視點(diǎn)時(shí)，進(jìn)行運(yùn)動(dòng)補(bǔ)償；并且當(dāng)該參考畫(huà)面具有與當(dāng)前編碼的畫(huà)面 相比不同的視點(diǎn)時(shí)，進(jìn)行視差4卜償。
9. 如權(quán)利要求6所述的多視圖視頻編碼裝置，其中所述多視圖參考畫(huà)面 提供單元包括恢復(fù)畫(huà)面存儲(chǔ)單元，用來(lái)存儲(chǔ)與輸出當(dāng)前視點(diǎn)的其他時(shí)間的所恢復(fù)的畫(huà)面；第一相鄰視點(diǎn)參考畫(huà)面存儲(chǔ)單元，用來(lái)存儲(chǔ)/輸出當(dāng)前時(shí)間處相鄰視點(diǎn)的 參考畫(huà)面；第二相鄰視點(diǎn)參考畫(huà)面存儲(chǔ)單元，用來(lái)存儲(chǔ)/輸出其他時(shí)間處相鄰視點(diǎn)的 參考畫(huà)面；視點(diǎn)變換單元，用來(lái)利用先前輸入的照相機(jī)信息，將從第一相鄰視點(diǎn)參 考畫(huà)面存儲(chǔ)單元以及第二相鄰視點(diǎn)參考畫(huà)面存儲(chǔ)單元輸入的相鄰視點(diǎn)的畫(huà)面 變換為當(dāng)前一見(jiàn)點(diǎn)的畫(huà)面；以及參考畫(huà)面選擇單元，用來(lái)根據(jù)從所述GOP信息生成單元輸入的所述時(shí)空 GOP結(jié)構(gòu)信息，選擇從恢復(fù)畫(huà)面存儲(chǔ)單元以及視點(diǎn)變換單元接收到的畫(huà)面中 的一個(gè)作為參考畫(huà)面，并且輸出所選擇的畫(huà)面。
10. 如權(quán)利要求9所述的多視圖視頻編碼裝置，其中所述視點(diǎn)變換單元對(duì) 相鄰視點(diǎn)畫(huà)面進(jìn)行當(dāng)前照相機(jī)視點(diǎn)補(bǔ)償與顏色校正，并且對(duì)當(dāng)前視點(diǎn)畫(huà)面進(jìn) 行全局運(yùn)動(dòng)補(bǔ)償。
11. 一種多視圖視頻編碼方法，用于壓縮和編碼從按預(yù)定格式排列的多 個(gè)照相機(jī)輸入的多視圖視頻，包括以下步驟a)生成時(shí)空畫(huà)面組(G0P)結(jié)構(gòu)信息，該信息表示用于預(yù)測(cè)編碼的畫(huà)面 之間的時(shí)間與空間上的參考關(guān)系；以及b )根據(jù)所述時(shí)空G0P結(jié)構(gòu)信息進(jìn)行預(yù)測(cè)編碼。
12. 如權(quán)利要求11所述的多視圖視頻編碼方法，其中步驟a)包括以下 步驟定義多^f見(jiàn)點(diǎn)之間的預(yù)測(cè)關(guān)系；根據(jù)所定義的預(yù)測(cè)關(guān)系，將多視圖畫(huà)面的參考連接關(guān)系表達(dá)為單向或雙 向預(yù)測(cè)關(guān)系的圖形；以及根據(jù)所表達(dá)的預(yù)測(cè)關(guān)系，生成時(shí)空GOP結(jié)構(gòu)信息。
13. 如4又利要求11所述的多-見(jiàn)圖碎見(jiàn)頻編碼方法，其中所述時(shí)空G0P結(jié)構(gòu) 信息為以單向或雙向連接關(guān)系表示從參考視點(diǎn)的畫(huà)面開(kāi)始的順序的生成樹(shù)結(jié) 構(gòu)，從而顯示視點(diǎn)之間的要被編碼的畫(huà)面的順序。
14. 如權(quán)利要求11所述的多視圖視頻編碼方法，其中在所述時(shí)空G0P結(jié) 構(gòu)信息中，根據(jù)MPEG-2的GOP結(jié)構(gòu)確定時(shí)間GOP結(jié)構(gòu)，并且根據(jù)關(guān)于照相機(jī) 位置/排列的信息確定空間G0P結(jié)構(gòu)。
15. 如權(quán)利要求11所述的多視圖視頻編碼方法，其中步驟b)包括以下 步驟b-l )根據(jù)GOP結(jié)構(gòu)信息，提供用于預(yù)測(cè)編碼的參考畫(huà)面； b-2)利用從多視圖參考畫(huà)面提供單元輸入的參考畫(huà)面，對(duì)當(dāng)前要被編碼 的畫(huà)面進(jìn)4于予貞測(cè)；b-3)變換從預(yù)測(cè)單元輸入的預(yù)測(cè)信號(hào)，對(duì)變換后的信號(hào)進(jìn)行量化，并且 壓縮量化后的信號(hào)；以及b-4)編碼從變換與量化單元輸入的量化后的信號(hào)，并且輸出編碼后的信
16. 如權(quán)利要求15所述的多視圖視頻編碼方法，其中步驟b-2)包括以 下步驟當(dāng)輸入的參考畫(huà)面具有與當(dāng)前編碼的畫(huà)面相比相同的視點(diǎn)時(shí)，進(jìn)行運(yùn)動(dòng) 估計(jì)；并且當(dāng)該參考畫(huà)面具有與當(dāng)前編碼的畫(huà)面相比不同的視點(diǎn)時(shí)，進(jìn)行視 差估計(jì)；以及當(dāng)輸入的參考畫(huà)面具有與當(dāng)前編碼的畫(huà)面相比相同的—見(jiàn)點(diǎn)時(shí)，進(jìn)行運(yùn)動(dòng) 補(bǔ)償；并且當(dāng)該參考畫(huà)面具有與當(dāng)前編碼的畫(huà)面相比不同的視點(diǎn)時(shí)，進(jìn)行視 差補(bǔ)償。
17. 如權(quán)利要求15所述的多視圖視頻編碼方法，其中步驟b-1)包括以 下步驟存儲(chǔ)與輸出當(dāng)前視點(diǎn)的其他時(shí)間的所恢復(fù)的畫(huà)面；存儲(chǔ)/輸出當(dāng)前時(shí)間處相鄰視點(diǎn)的參考畫(huà)面；存儲(chǔ)/輸出其他時(shí)間處相鄰視點(diǎn)的參考畫(huà)面；利用先前輸入的照相機(jī)信息，將從第一相鄰視點(diǎn)參考畫(huà)面存儲(chǔ)單元以及 第二相鄰視點(diǎn)參考畫(huà)面存儲(chǔ)單元輸入的相鄰視點(diǎn)的畫(huà)面變換為當(dāng)前視點(diǎn)的畫(huà) 面；以及根據(jù)從G0P信息生成單元輸入的所述時(shí)空G0P結(jié)構(gòu)信息，選擇從恢復(fù)畫(huà) 面存儲(chǔ)單元以及視點(diǎn)變換單元接收到的畫(huà)面中的一個(gè)作為參考畫(huà)面，并且輸 出所選"^奪的畫(huà)面。
18. —種多視圖視頻解碼裝置，用于接收從按預(yù)定格式排列的多個(gè)照相 機(jī)輸入的多視圖視頻的編碼信號(hào)，該多視圖視頻解碼裝置包括解碼單元，用來(lái)從外部設(shè)備接收信號(hào)，并且解碼所接收到的信號(hào)；基于時(shí)空G0P的視頻再現(xiàn)單元，用來(lái)利用在來(lái)自解碼單元的解碼信號(hào)中 包含的時(shí)空G0P結(jié)構(gòu)信息，恢復(fù)多視圖視頻；以及場(chǎng)景同步單元，用來(lái)同步在基于G0P的視頻再現(xiàn)單元處恢復(fù)的多視圖畫(huà) 面，并且輸出同步后的多視圖畫(huà)面，其中所述時(shí)空G0P結(jié)構(gòu)信息表達(dá)時(shí)間域與空間域中用于預(yù)測(cè)編碼的畫(huà)面 之間的參考關(guān)系。
19. 如權(quán)利要求18所述的多視圖視頻解碼裝置，其中在所述時(shí)空G0P結(jié) 構(gòu)信息中，根據(jù)MPEG-2的GOP結(jié)構(gòu)確定時(shí)間GOP結(jié)構(gòu)，并且根據(jù)關(guān)于照相機(jī) 位置/排列的信息確定空間GOP結(jié)構(gòu)。
20. 如權(quán)利要求18所述的多視圖視頻解碼裝置，其中在所述時(shí)空GOP結(jié) 構(gòu)信息中，才艮據(jù)MPEG-2的GOP結(jié)構(gòu)確定時(shí)間GOP結(jié)構(gòu)，并且根據(jù)關(guān)于照相機(jī) 位置/排列的信息確定空間G0P結(jié)構(gòu)。
21. —種多視圖視頻解碼方法，用于接收從按預(yù)定格式排列的多個(gè)照相 機(jī)輸入的多圖#見(jiàn)頻的編碼信號(hào)，該多^f見(jiàn)圖一見(jiàn)頻解碼方法包括以下步驟從外部設(shè)備接收信號(hào)，并且解碼所接收到的信號(hào)；利用在來(lái)自解碼單元的解碼信號(hào)中包含的時(shí)空G0P結(jié)構(gòu)信息，恢復(fù)多視 圖浮見(jiàn)頻；以及同步在基于G0P的視頻再現(xiàn)單元處恢復(fù)的多視圖畫(huà)面，并且輸出同步后 間域中的參考關(guān)系。
22. 如權(quán)利要求21所述的多視圖視頻解碼方法，其中在所述時(shí)空GOP結(jié) 構(gòu)信息中，根據(jù)MPEG-2的GOP結(jié)構(gòu)確定時(shí)間GOP結(jié)構(gòu)，并且根據(jù)關(guān)于照相機(jī) 位置/排列的信息確定空間GOP結(jié)構(gòu)。
23 如權(quán)利要求21所述的多視圖視頻解碼方法，其中在所述時(shí)空GOP結(jié) 構(gòu)信息中，根據(jù)MPEG-2的GOP結(jié)構(gòu)確定時(shí)間GOP結(jié)構(gòu)，并且根據(jù)關(guān)于照相機(jī) 位置/排列的信息確定空間GOP結(jié)構(gòu)。
全文摘要
提供了一種多視圖視頻編碼/解碼裝置及其方法，該裝置用于壓縮和編碼從按預(yù)定格式排列的多個(gè)照相機(jī)輸入的多視圖視頻、以及解碼壓縮與編碼后的多視圖視頻。該編碼裝置包括GOP信息生成單元，用來(lái)生成時(shí)空GOP結(jié)構(gòu)信息，該信息表示用于預(yù)測(cè)編碼的畫(huà)面之間在時(shí)間與空間上的參考關(guān)系；以及多視圖編碼單元，用來(lái)根據(jù)所述時(shí)空GOP結(jié)構(gòu)信息進(jìn)行預(yù)測(cè)編碼。該解碼裝置包括解碼單元，用來(lái)接收并且解碼來(lái)自外部設(shè)備的信號(hào)；視頻再現(xiàn)單元，用來(lái)利用在來(lái)自解碼單元的解碼信號(hào)中包含的時(shí)空GOP結(jié)構(gòu)信息，恢復(fù)多視圖視頻；以及場(chǎng)景同步單元，用來(lái)同步在基于GOP的視頻再現(xiàn)單元處恢復(fù)的多視圖畫(huà)面，并且輸出同步后的多視圖畫(huà)面。
文檔編號(hào)H04N7/24GK101116340SQ200580047997
公開(kāi)日2008年1月30日 申請(qǐng)日期2005年12月9日 優(yōu)先權(quán)日2004年12月10日
發(fā)明者安忠鉉, 尹國(guó)鎮(zhèn), 曹叔嬉, 李壽寅, 金大熙 申請(qǐng)人:韓國(guó)電子通信研究院