專利名稱：利用圖像拼接來編碼和解碼多視點視頻的方法和設備的制作方法
技術領域：
本發明涉及用于編碼和解碼多視點視頻數據的方法和設備，并更具體地，涉及用于基于拼接圖像利用不同視點之間的相關信息來編碼和解碼多視點視頻數據的方法和設備。
背景技術：
一般來說，多視點視頻處理技術指的是用于對多個相機同時捕獲的多視點視頻數據進行壓縮、解壓縮、合成、和播放的技術。多視點視頻處理技術向人提供更逼真的圖像和立體效果，結果其開始在各種應用領域中使用。然而，具有一組N個視點圖像(N＞＝2)的多視點視頻圖像集所具有的數據是具有一個視點的現有視頻的N倍，結果其信號帶寬必須顯著大于傳統圖像處理系統的信號帶寬。
考慮到此，基于多視點圖像集的每一視點圖像具有與其他視點圖像重疊的區域(這可被稱為“重疊區域”)的事實，已主要開發了利用有關重疊區域的相關信息來壓縮圖像數據的技術。
一種這樣的多視點視頻編碼技術是通過擴展主要用于對立體視頻數據進行編碼的MPEG-2 MVP(多視點剖面圖)和MPEG-4 TS(時間可伸縮性)編碼技術、來對多視點視頻數據進行編碼，這公開在2003年1月13日提交的名稱為“APPARATUS AND METHOD OF COMPRES SING ANDUNCOMPRESSING MULTI-VIEW IMAGE(用于對多視點圖像進行壓縮和解壓縮的設備和方法)”的韓國專利申請第10-2003-0002116號和2003年10月30日提交的名稱為“APPARATUS OF ENCODING MULTI-VIEW IMAGE(用于對多視點視頻圖像進行編碼的設備)”的韓國專利申請第10-2003-83285號中。在上述文獻所公開的視頻編碼技術中，使用不同視點之間的差異信息或相關信息、和時間軸上的運動信息或相關信息來執行編碼，由此改善壓縮效率。然而，存在這樣的問題，即不可能僅恢復多視點圖像的一部分。另外，當在傳輸編碼流的過程中僅發生一個錯誤時，該錯誤影響所有視點的視頻圖像數據。
發明內容
本發明的目的是提供一種以改善的壓縮率來編碼/解碼多視點視頻數據的方法和設備，其中將每一視點圖像分解為重疊區域(即具有與其他視點圖像的相關信息的區域)和非重疊區域(即不具有與其他視點圖像的相關信息的區域)；并利用運動信息和差異信息來對重疊區域進行編碼/解碼，并僅利用運動信息來對非重疊區域進行編碼/解碼，這導致更好的壓縮率。
另外，本發明的另一目的是提供一種解碼方法和設備，其能夠通過僅使用所有編碼流中的對應流而選擇性地僅恢復期望的視點圖像，由此改善解碼效率。
另外，本發明的另一目的是提供一種編碼方法和設備，即使當在傳輸編碼流的過程中發生錯誤時，其也能使得傳輸錯誤的影響最小化。
本發明的一個方面是提供一種用于編碼多視點視頻數據的方法，包括步驟將該多視點視頻的每一視點圖像分解為重疊區域和非重疊區域，所述重疊區域與其他視點圖像重疊，而所述非重疊區域與其他視點圖像不重疊；通過組合每一視點圖像的所述非重疊區域和中間視點圖像，而生成拼接圖像；利用第一編碼算法對所述拼接圖像進行編碼；和利用第二編碼算法對每一視點圖像的重疊區域進行編碼。此外，所述分解步驟包括以下步驟基于預定視點圖像而估計每一視點圖像的差異信息；和利用所估計的差異信息而將每一視點圖像分解為所述重疊區域和所述非重疊區域。
可通過將每一視點圖像的非重疊區域拼接到該中間視點圖像的邊界，而生成該拼接圖像。
該第一編碼算法是運動補償編碼算法，而該第二編碼算法是運動和差異補償編碼算法。
在一個實施例中，所述估計差異信息的步驟包括基于朝向中間視點方向的相鄰視點圖像，而估計全局差異矢量。在另一實施例中，所述估計差異信息的步驟包括基于該中間視點圖像，而估計全局差異矢量。
所述估計全局差異矢量的步驟包括步驟通過從每一視點圖像的每一塊單元中二次抽樣一個像素，而降低每一視點圖像的尺寸，所述塊單元具有預定尺寸；估計所述降低的視點圖像中的每一個的初始全局差異值；和估計每一視點圖像的邊界區域的全局差異矢量，所述邊界區域是通過用所述估計的初始全局差異值乘以該二次抽樣率而定義的。
本發明的另一方面是提供一種用于解碼多視點視頻數據的方法。該解碼方法包括步驟利用運動補償解碼算法，而對中間視點圖像和該多視點視頻的每一視點圖像的非重疊區域的編碼流進行解碼；基于通過將每一視點圖像的非重疊區域拼接到該中間視點圖像的邊界而生成的拼接圖像，利用運動和差異補償解碼算法，對每一視點圖像的重疊區域的編碼流進行解碼；和通過組合所解碼的每一視點圖像的非重疊區域和重疊區域，而恢復該多視點視頻。
在另一實施例中，該方法還可包括響應于用戶的選擇而恢復該多視點視頻的特定視點圖像的步驟。所述恢復特定視點圖像的步驟包括解碼該特定視點圖像的非重疊區域的編碼流；和利用在該中間視點圖像的編碼流的報頭中包括的切片(slice)地址，而對與該特定視點圖像重疊的中間視點圖像的一個或多個切片的編碼流進行解碼。
本發明的另一方面是提供一種用于編碼多視點視頻數據的設備。該設備包括區域分解裝置，用于將該多視點視頻的每一視點圖像分解為重疊區域和非重疊區域，所述重疊區域與其他視點圖像重疊，而所述非重疊區域與其他視點圖像不重疊；圖像拼接裝置，用于通過組合每一視點圖像的所述非重疊區域和中間視點圖像，而生成拼接圖像；第一編碼裝置，用于利用第一編碼算法對所述拼接圖像進行編碼；和第二編碼裝置，用于利用第二編碼算法對每一視點圖像的重疊區域進行編碼。
本發明的另一方面是提供一種用于解碼多視點視頻數據的設備。該設備包括用于接收該多視點視頻的每一視點圖像的編碼流的裝置，所述每一視點圖像被分解為與其他視點圖像重疊的重疊區域和與其他視點圖像不重疊的非重疊區域；并且所述重疊區域和非重疊區域被分別編碼；第一解碼裝置，利用運動補償解碼算法，而對中間視點圖像和該多視點視頻的每一視點圖像的非重疊區域的編碼流進行解碼；第二解碼裝置，基于通過將每一視點圖像的非重疊區域拼接到該中間視點圖像的邊界而生成的拼接圖像，利用運動和差異補償解碼算法，對每一視點圖像的重疊區域的編碼流進行解碼；和恢復裝置，通過組合所解碼的每一視點圖像的非重疊區域和重疊區域，而恢復該多視點視頻。
通過參考附圖詳細描述其優選實施例，本發明的以上和其他特征和優點對于本領域普通技術人員來說將變得更明顯，其中圖1(a)到(d)是示出了用于獲取多視點圖像的多視點相機排列的圖；圖2示出了根據本發明實施例的視頻圖像編碼設備的方框圖；圖3(a)和(b)分別是根據本發明實施例的估計全局差異矢量的兩種方案；圖4是根據本發明實施例的全局差異估計器的詳細方框圖；圖5(a)和(b)是分別示出了在4×4和8×8塊單元中進行二次抽樣的示例的圖；圖6是示出了基于第一和第二視點圖像中的初始全局差異矢量的邊界區域的示例的圖；圖7(a)和7(b)示出了由并列排列的多視點相機獲得的多視點圖像，其中根據本發明的不同方案將每一多視點圖像分解為重疊區域和非重疊區域；圖8(a)和8(b)示出了由按照陣列排列的多視點相機獲得的多視點圖像，其中根據本發明的不同方案將每一多視點圖像分解為重疊區域和非重疊區域；圖9(a)和9(b)示出了來自由并列排列的多視點相機獲得的多視點圖像的拼接圖像的兩個不同的示例；圖10(a)和10(b)示出了來自由按照陣列排列的多視點相機獲得的多視點圖像的拼接圖像的兩個不同的示例；圖11和12分別示出了位于圖9和10所示拼接圖像(參考圖像)中的每一視點的重疊區域；圖13示出了運動補償編碼器的詳細方框圖；圖14示出了參考非重疊區域對I-VOP、P-VOP和B-VOP進行運動補償編碼處理的示例；圖15是示出了用于每一視點的重疊區域的基于運動和差異補償的編碼器的方框圖；圖16是示出了參考重疊區域對I-VOP、P-VOP和B-VOP進行基于運動和差異補償的編碼的示例的圖；
圖17(a)示出了在編碼中間視點圖像時的宏塊的掃描順序；而圖17(b)示出了中間視點圖像的切片排列；圖18是示出了用于相應視點圖像的重疊區域的切片地址的圖，該地址將被包括在根據本發明的編碼后的中間視點圖像流的報頭中；圖19是根據本發明實施例的基于拼接圖像的多視點視頻圖像解碼設備的方框圖；圖20是運動補償解碼器的詳細方框圖；和圖21是基于運動和差異補償的解碼器的詳細方框圖。
具體實施例方式
通過參考附圖進行以下詳細描述，本發明的以上特征和優點將顯而易見。
現在參考圖1(a)到(d)，示出了用于獲取多視點視頻圖像集的多視點相機排列。一般來說，圖1(a)所示的排列被稱為并列類型，圖1(b)所示的排列被稱為陣列類型，圖1(c)所示的排列被稱為會聚類型，而圖1(d)所示的排列被稱為發散類型。除此之外，可以按照其他方式排列多個相機，并且應該理解，本發明不限于這些特定排列類型。
上述從以各種方式排列的多個相機獲得的不同視點圖像之間存在的相關信息可被表示為差異信息。術語“差異”指的是兩個不同視點圖像中相同像素之間的距離，其以像素為單位來表示。所以，基于相機排列的類型，水平軸或垂直軸的差異值可以為“0”。
例如，在并列類型排列的情況下，由于相對于垂直軸的差異值為“0”，所以僅需要估計相對于水平軸的差異值。相反，在陣列類型排列的情況下，應該對于水平軸和垂直軸兩者來估計差異值。類似地，在發散類型或會聚類型排列的情況下，應該估計用于水平軸和垂直軸兩者的差異值。
在本發明中，參考位于該多視點圖像的中間的圖像(下面稱為“中間視點圖像”)，來估計每一多視點圖像的差異。下面將描述差異估計方案。
現在參考圖2，圖2示出了根據本發明一個實施例的視頻圖像編碼設備的方框圖。該視頻編碼設備200包括全局差異估計器210、區域分解器220、圖像拼接器230、運動補償編碼器240、以及運動和差異補償編碼器250。
全局差異估計器210對于每一多視點圖像集而估計朝向中間視點左邊和右邊的兩個相鄰視點圖像之間的全局差異矢量。全局差異估計器210接收包括N個視點圖像(其中N＞＝2)的多視點圖像集，并估計該多視點圖像集之中的兩個相鄰視點圖像之間的(N-1)個全局差異矢量。全局差異估計器210對于每一GOP(畫面組)上的第一幀估計該全局差異矢量。因此，在一個GOP中，使用相同的全局差異矢量來執行圖像分解和圖像拼接。
根據本發明的實施例，可基于朝向中間視點左邊和右邊的其他視點圖像，來估計每一視點圖像的全局差異矢量。例如，如圖3(a)所示，當中間視點圖像為第三圖像時，可基于該第三視點圖像估計第二視點圖像的全局差異矢量，并可基于該第二視點圖像估計第一視點圖像的全局差異矢量。可基于該第三和第四視點圖像而類似地估計第四和第五視點圖像的全局差異矢量。
作為選擇，可基于中間視點圖像來估計每一多視點視頻圖像集的全局差異矢量。如圖3(b)所示，當中間視點圖像為第三圖像時，可基于該第三視點圖像來估計第一、第二、第四和第五圖像的全局差異矢量。
圖4示出了根據本發明實施例的全局差異估計器的詳細方框圖。如圖4所示，全局差異估計器包括二次抽樣器410、初始差異估計器420、和基于邊界區域的差異估計器430。對于該多視點圖像集中的N個視點圖像中的每一個，二次抽樣器410從視點圖像的每一塊單元中提取像素，以降低原始圖像尺寸。通過經二次抽樣降低原始圖像尺寸，可降低用于估計初始全局差異矢量的時間和復雜度。圖5(a)和5(b)分別示出了在4×4塊單元和8×8塊單元中進行的二次抽樣處理的示例。
對于二次抽樣后的N個視點圖像中的每一個，初始差異估計器420估計對應的初始全局差異矢量。根據本發明的實施例，可作為以下等式而獲得初始全局差異矢量IDVglobal。
等式1IDVglobal=argminE^DVi(DVi)]]>其中E(DVi)=Σl=0widthsub-iΣm=0heightsub|Icur(m,l)-Iref(m,l+i)|,]]>E^(DVi)=E(DVi)(widthsub-i)(heightsub),]]>i∈
]]>基于邊界區域的差異估計器430可對于多視點視頻圖像集中的每一視點圖像的邊界區域而估計差異值。可通過將所估計的初始全局差異值乘以二次抽樣率而定義該邊界區域。
圖6是示出了在第一和第二視點圖像中基于初始全局差異矢量的邊界區域的示例的圖。可任意規定邊界區域的尺寸。可以以與等式1相同的方式，對于圖6中實線所示的邊界區域估計該全局差異矢量。
返回參考圖2，區域分解器220通過使用相應視點圖像的全局差異矢量，而將位于中間視點圖像的左、右、上和下的相應視點圖像分解為重疊區域和非重疊區域。
如圖7(a)和7(b)所示，由并列類型多視點相機排列所捕獲的多視點視頻圖像的每一視點圖像可被分解為兩部分，即重疊區域和非重疊區域。圖7(a)示出了利用圖3(a)所示基于朝向中間視點方向的相鄰視點圖像而估計的全局差異矢量、來分解每一視點圖像。如圖所示，第一視點圖像被分解為非重疊區域和與第二視點圖像重疊的重疊區域；第二視點圖像被分解為非重疊區域和與第三視點圖像(中間視點圖像)重疊的重疊區域。第四和第五視點圖像可按照類似方式被分解為非重疊區域和重疊區域。在該情況下，第二視點圖像和中間視點圖像的非重疊區域部分地與第一視點圖像的重疊區域相重疊。類似地，第四視點圖像的非重疊區域可部分地與第五視點圖像的重疊區域相重疊。
此外，圖7(b)示出了利用圖3(b)所示基于中間視點圖像而估計的全局差異矢量、來分解每一視點圖像。在該實施例中，由于基于中間視點圖像而估計第一視點圖像的全局差異矢量，所以第二視點圖像僅具有重疊區域，而沒有非重疊區域。類似地，由于基于中間視點圖像而估計第五視點圖像的全局差異矢量，所以第四視點圖像僅具有重疊區域，而沒有非重疊區域。
圖8(a)和8(b)示出了由按照陣列排列的多視點相機獲得的多視點視頻圖像集，其中根據本發明的不同方案將該多視點視頻圖像集的每一視點圖像分解為重疊區域和非重疊區域。具體來說，圖8(a)示出了利用基于朝向中間視點圖像的相鄰視點圖像所估計的全局差異矢量來分解每一視點圖像；而8(b)示出了利用基于中間視點圖像所估計的全局差異矢量來分解每一視點圖像。
圖像拼接器230通過將相應視點圖像的非重疊區域拼接到中間視點圖像的邊界(即，左、右、上和下邊界)而生成拼接圖像。當對相應視點圖像的重疊區域進行編碼時，這樣的拼接圖像將用作用于獲得差異信息的參考圖像。
圖9(a)和9(b)示出了由并列類型多視點相機所獲得的多視點圖像所生成的拼接圖像的兩個不同示例。具體來說，圖9(a)和9(b)分別示出了由根據圖7(a)和圖7(b)分解的多視點圖像所生成的拼接圖像的示例。
圖10(a)和10(b)示出了由陣列類型多視點相機獲得的多視點圖像所生成的拼接圖像的兩個不同示例。具體來說，圖10(a)和10(b)分別示出了由根據圖8(a)和圖8(b)分解的視點圖像所生成的拼接圖像的示例。
圖11和12分別示出了位于圖9和10所示拼接圖像(參考圖像)中的每一視點圖像的重疊區域。
返回參考圖2，運動補償編碼器240對圖像拼接器230所生成的拼接圖像進行編碼。運動補償編碼器240利用例如MPEG-2和MPEG-4編碼算法的運動補償算法對拼接圖像進行編碼。換言之，如圖13所示，可對拼接圖像數據執行DCT、量化、以及運動估計/補償和熵編碼處理，以生成編碼流。
圖14示出了參考非重疊區域對I-VOP、P-VOP和B-VOP進行的運動補償編碼處理的示例。其配置與傳統MPEG-2、MPEG-4第2部分和第10部分(AVC)的運動估計和補償相同。換言之，利用幀內編碼對I-VOP進行編碼；基于時間軸上先前存在的圖像、利用運動估計和補償編碼對P-VOP進行編碼；并且基于時間軸上先前和隨后存在的圖像、利用運動估計和補償編碼對B-VOP進行編碼。
另一方面，通過運動和差異補償編碼器250對相應視點圖像的重疊區域進行編碼。運動和差異補償編碼器250使用能夠降低時間和空間冗余的基于運動和差異補償的編碼算法，例如MPEG-2多視點剖面圖(MVP)和MPEG-4時間可伸縮性(TS)。圖15是示出了用于對每一視點的重疊區域進行編碼的運動和差異補償編碼器的圖。如圖15所示，基于運動和差異補償的編碼執行DCT、量化、運動和差異估計/補償和熵編碼處理，以生成編碼流。
圖16是示出了參考重疊區域對I-VOP、P-VOP和B-VOP進行的運動和差異補償編碼的示例的圖。所述運動和差異補償編碼的結構與傳統MPEG-2MVP和MPEG-4 TS(時間可伸縮性)中用于編碼增強層的結構相同。換言之，通過使用在同一時間軸上的拼接圖像作為參考圖像來估計差異矢量，而對I-VOP進行編碼；并且通過根據時間軸上先前存在的圖像執行運動估計和補償，并然后使用在同一時間軸上的拼接圖像作為參考圖像來估計差異矢量，而對P-VOP和B-VOP進行編碼。
此外，取決于多視點視頻應用模型，用戶可請求傳輸和恢復所有多視點視頻圖像數據、或僅傳輸和恢復多視點視頻圖像數據的某些部分。在需要恢復所有多視點圖像的情況下，對拼接圖像執行運動補償編碼。然而，當僅需要恢復一部分多視點圖像時，應該對相應視點進行編碼，從而可將它們彼此區分開來。為了完成這些，根據本發明的實施例，對相應視點的每一非重疊區域執行運動補償編碼。此外，將中間視點圖像沿垂直方向劃分為多個切片，并基于切片進行編碼，從而當對一部分多視點圖像進行解碼時，可僅解碼該中間視點圖像中的必須的一個或多個切片。
例如，在從并列類型的多視點相機獲得多視點視頻圖像的情況下，以這樣的方式掃描該中間視點圖像，使得沿垂直方向交替掃描其宏塊(見圖17(a))并沿垂直方向逐線地定義這些切片(見圖17(b))，從而執行運動補償編碼。中間視點圖像和其他視點圖像重疊的位置被表示為切片地址，并被插入到中間視點圖像的編碼流的報頭信息中。由此，當對一部分多視點圖像進行解碼時，可僅解碼該中間視點圖像中的必須的切片。換言之，當用戶意欲僅恢復多視點圖像的一部分時，僅需要恢復該中間視點圖像的特定區域。
圖18是示出了用于相應視點圖像的重疊區域的切片地址的圖，該地址被包括在根據本發明的編碼后的中間視點圖像流的報頭中。如圖18所示，為了恢復第一視點圖像，對第一和第二視點的非重疊區域以及從中間視點圖像的左端到A1地址的(多個)切片的編碼流進行解碼。類似地，為了恢復第二視點圖像，對第二視點圖像的非重疊區域以及從中間視點圖像的左端到A2地址的(多個)切片的編碼流進行解碼。
另外，為了恢復第四視點圖像，對第四視點的非重疊區域以及從中間視點圖像的A4地址到右端的(多個)切片的編碼流進行解碼。類似地，為了恢復第五視點圖像，對第四和第五視點圖像的非重疊區域以及從中間視點圖像的A5地址到右端的(多個)切片的編碼流進行解碼。
圖19是根據本發明實施例的使用圖像拼接的多視點視頻解碼設備的方框圖。如圖19所示，該解碼設備包括運動補償解碼器1910、運動和差異補償解碼器1920、以及視點圖像發生器1930。運動補償解碼器1910對根據本發明的拼接圖像(即，多視點圖像的非重疊區域)的編碼流進行解碼。如圖20所示，如MPEG-2和MPEG-4方案中的解碼一樣，基于運動補償對拼接圖像的編碼流進行解碼。換言之，接收編碼比特流，并執行熵解碼、逆量化、IDCT、和運動補償，以恢復圖像。
相反，通過運動和差異補償解碼器1920對相應視點的重疊區域的編碼流進行解碼。圖21示出了運動和差異補償解碼器1920的詳細構造。如圖21所示，運動和差異補償解碼器1920的結構與MPEG-2 MVP和MPEG-4 TS(時間可伸縮性)中用于解碼增強層的結構相同。換言之，接收編碼的比特流，并執行熵解碼、逆量化、IDCT、以及運動和差異補償，以恢復圖像。
除了將基于運動補償的解碼器1910所恢復的拼接圖像用作參考圖像來獲得差異信息之外，這里示出的運動和差異補償解碼器1920的結構對于本領域普通技術人員來說是公知的，并由此這里將省略其詳細描述。
返回參考圖19，視點圖像發生器1930用于接收非重疊區域和重疊區域的解碼數據，以恢復相應視點圖像。如以上參考圖17所述，當用戶希望僅恢復多視點圖像的一部分時，根據本發明的解碼設備可僅接收期望的視點圖像的非重疊區域的編碼流和與期望的視點圖像重疊的中間視點圖像中的必須的(多個)切片的編碼流，并對它們進行解碼。
根據本發明，將多視點圖像數據分解為(與其他視點圖像相關的)重疊區域和(與其他視點圖像不相關的)非重疊區域，并單獨進行編碼和解碼，由此提供更好的壓縮率。
另外，根據本發明，當用戶希望恢復多視點圖像的期望部分時，僅需要接收和解碼編碼流的對應部分，從而改善編碼流的傳輸和解碼效率。
盡管已參考附圖而描述了本發明的示范實施例，但是本發明不限于這些實施例，并且本領域普通技術人員應該理解，可進行各種修改和改變，而不脫離本發明的精神和范圍。
權利要求
1.一種用于編碼多視點視頻數據的方法，包括步驟將該多視點視頻的每一視點圖像分解為重疊區域和非重疊區域，所述重疊區域與其他視點圖像重疊，而所述非重疊區域與其他視點圖像不重疊；通過組合每一視點圖像的所述非重疊區域和中間視點圖像，而生成拼接圖像；利用第一編碼算法對所述拼接圖像進行編碼；和利用第二編碼算法對每一視點圖像的所述重疊區域進行編碼。
2.如權利要求1所述的方法，其中所述分解步驟包括以下步驟基于預定視點圖像而估計每一視點圖像的差異信息；和利用所估計的差異信息而將每一視點圖像分解為所述重疊區域和所述非重疊區域。
3.如權利要求1所述的方法，其中通過將每一視點圖像的非重疊區域拼接到該中間視點圖像的邊界，而生成該拼接圖像。
4.如權利要求1所述的方法，其中該第一編碼算法是運動補償編碼算法。
5.如權利要求1所述的方法，其中該第二編碼算法是運動和差異補償編碼算法。
6.如權利要求2所述的方法，其中所述估計差異信息的步驟包括基于朝向中間視點方向的相鄰視點圖像，而估計全局差異矢量。
7.如權利要求2所述的方法，其中所述估計差異信息的步驟包括基于該中間視點圖像，而估計全局差異矢量。
8.如權利要求6或7所述的方法，其中所述估計全局差異矢量的步驟包括步驟通過從每一視點圖像的每一塊單元中二次抽樣一個像素，而降低每一視點圖像的尺寸，所述塊單元具有預定尺寸；估計所述降低的視點圖像中的每一個的初始全局差異值；和估計每一視點圖像的邊界區域的全局差異矢量，所述邊界區域是通過用所述估計的初始全局差異值乘以該二次抽樣率而定義的。
9.如權利要求8所述的方法，其中該預定尺寸的塊單元是從4×4和8×8塊中選擇出來的。
10.如權利要求1所述的方法，其中所述利用第一編碼算法對拼接圖像進行編碼的步驟包括以下步驟將該中間視點圖像劃分為具有期望尺寸的多個切片，并以切片為基礎而對所述多個切片中的每一個進行編碼；和以視點為基礎，對每一視點圖像的非重疊區域進行編碼。
11.如權利要求10所述的方法，其中每一視點圖像的重疊區域的切片地址被包括在編碼后的中間視點圖像流的報頭中。
12.一種用于解碼多視點視頻數據的方法，包括步驟利用運動補償解碼算法，而對中間視點圖像和該多視點視頻的每一視點圖像的非重疊區域的編碼流進行解碼；基于通過將每一視點圖像的非重疊區域拼接到該中間視點圖像的邊界而生成的拼接圖像，利用運動和差異補償解碼算法，對每一視點圖像的重疊區域的編碼流進行解碼；和通過組合所解碼的每一視點圖像的非重疊區域和重疊區域，而恢復該多視點視頻。
13.如權利要求12所述的方法，還包括響應于用戶的選擇而恢復該多視點視頻的特定視點圖像的步驟，其中所述恢復特定視點圖像的步驟包括解碼該特定視點圖像的非重疊區域的編碼流；和利用在該中間視點圖像的編碼流的報頭中包括的切片地址，而對與該特定視點圖像重疊的中間視點圖像的一個或多個切片的編碼流進行解碼。
14.一種用于編碼多視點視頻數據的設備，包括區域分解裝置，用于將該多視點視頻的每一視點圖像分解為重疊區域和非重疊區域，所述重疊區域與其他視點圖像重疊，而所述非重疊區域與其他視點圖像不重疊；圖像拼接裝置，用于通過組合每一視點圖像的所述非重疊區域和中間視點圖像，而生成拼接圖像；第一編碼裝置，用于利用第一編碼算法對所述拼接圖像進行編碼；和第二編碼裝置，用于利用第二編碼算法對每一視點圖像的重疊區域進行編碼。
15.如權利要求14所述的設備，還包括差異估計裝置，用于基于預定視點圖像而估計每一視點圖像的差異信息；并且其中所述區域分解裝置利用所估計的差異信息而將每一視點圖像分解為所述重疊區域和所述非重疊區域。
16.如權利要求14所述的設備，其中所述圖像拼接裝置通過將每一視點圖像的非重疊區域拼接到該中間視點圖像的邊界，而生成所述拼接圖像。
17.如權利要求15所述的設備，其中所述差異估計裝置基于朝向中間視點方向的相鄰視點圖像，而估計全局差異矢量。
18.如權利要求15所述的設備，其中所述差異估計裝置基于該中間視點圖像，而估計全局差異矢量。
19.如權利要求17或18所述的設備，其中所述差異估計裝置包括二次抽樣裝置，用于通過從每一視點圖像的每一塊單元中二次抽樣一個像素，而降低每一視點圖像的尺寸，所述塊單元具有預定尺寸；初始差異估計裝置，用于估計每一降低的視點圖像的初始全局差異值；和基于邊界區域的差異估計裝置，用于估計每一視點圖像的邊界區域的全局差異矢量，所述邊界區域是通過用所述估計的初始全局差異值乘以該二次抽樣率而定義的。
20.如權利要求14所述的設備，其中該第一編碼裝置包括將該中間視點圖像劃分為具有期望尺寸的多個切片、并以切片為基礎而對所述多個切片中的每一個進行編碼的裝置；和以視點為基礎而對每一視點圖像的非重疊區域進行編碼的裝置。
21.如權利要求20所述的設備，其中每一視點圖像的重疊區域的切片地址被包括在編碼后的中間視點圖像流的報頭中。
22.一種用于解碼多視點視頻數據的設備，包括用于接收該多視點視頻的每一視點圖像的編碼流的裝置，所述每一視點圖像被分解為與其他視點圖像重疊的重疊區域和與其他視點圖像不重疊的非重疊區域；并且所述重疊區域和非重疊區域被單獨編碼；第一解碼裝置，利用運動補償解碼算法，而對中間視點圖像和該多視點視頻的每一視點圖像的非重疊區域的編碼流進行解碼；第二解碼裝置，基于通過將每一視點圖像的非重疊區域拼接到該中間視點圖像的邊界而生成的拼接圖像，利用運動和差異補償解碼算法，對每一視點圖像的重疊區域的編碼流進行解碼；和恢復裝置，通過組合所解碼的每一視點圖像的非重疊區域和重疊區域，而恢復該多視點視頻。
23.如權利要求22所述的設備，其中所述設備能夠通過以下操作響應于用戶的選擇而恢復該多視點視頻的特定視點圖像解碼該特定視點圖像的非重疊區域的編碼流；利用在該中間視點圖像的編碼流的報頭中包括的切片地址，而對與該特定視點圖像重疊的中間視點圖像的一個或多個切片的編碼流進行解碼；和組合所解碼的非重疊區域和所解碼的與特定視點圖像重疊的中間視點圖像的一個或多個切片。
全文摘要
提供了一種用于編碼和解碼多視點視頻數據的方法和設備。該編碼方法包括將該多視點視頻的每一視點圖像分解為重疊區域和非重疊區域，所述重疊區域與其他視點圖像重疊，而所述非重疊區域與其他視點圖像不重疊；通過組合每一視點圖像的所述非重疊區域和中間視點圖像，而生成拼接圖像；利用第一編碼算法對所述拼接圖像進行編碼；和利用第二編碼算法對每一視點圖像的重疊區域進行編碼。此外，該分解步驟包括以下步驟基于預定視點圖像而估計每一視點圖像的差異信息；和利用所估計的差異信息而將每一視點圖像分解為所述重疊區域和所述非重疊區域。
文檔編號H04N7/24GK101084675SQ200580034894
公開日2007年12月5日 申請日期2005年10月10日 優先權日2004年10月12日
發明者曹叔嬉, 尹國鎮, 金大熙, 安忠鉉, 林榮權, 孫光薰, 金容臺 申請人:韓國電子通信研究院, 延世大學教產學協力團