用于產生、傳輸和接收立體圖像的方法以及相關設備的制作方法

用于產生、傳輸和接收立體圖像的方法以及相關設備的制作方法
【專利摘要】本發明涉及用于產生、傳輸和接收立體圖像的方法以及相關設備。公開了一種用于產生包括復合圖像(C)的立體視頻流(101)的方法，所述復合圖像(C)包括關于右圖像(R)的像素和左圖像(L)的信息，其中所述右圖像(R)的像素和所述左圖像(L)的像素被選擇，并且所選擇的像素被添加到所述立體視頻流的復合圖像(C)中。通過保持所述兩個圖像中的一個未改變，將另一個分割為包括多個像素的兩個區域(R1，R2)并且將所述區域添加到所述復合圖像(C)中，所述右圖像(R)的所有像素和所述左圖像(L)的所有像素被添加到所述復合圖像(C)中的不同位置。
【專利說明】用于產生、傳輸和接收立體圖像的方法以及相關設備
【技術領域】
[0001]本發明涉及立體視頻流的產生、存儲、傳輸、接收和再現，即當在可視化設備中被合適地處理時，產生圖像序列的視頻流，該圖像序列可以被觀眾以三維方式感知。
【背景技術】
[0002]如已知的，通過再現兩幅圖像能夠獲得三維的感知，其中一幅用于觀眾右眼而另一幅用于觀眾左眼。
[0003]因此，立體視頻流傳輸關于圖像的兩個序列的信息，對應于目標或者場景的右眼或者左眼視角。
[0004]本發明尤其涉及一種用于在復合圖像中復用右視角和左視角的兩幅圖像(下文中稱為右圖像和左圖像)的方法和設備，該復合圖像表示立體視頻流的一幀，此后被稱為容器中貞。
[0005]此外，本發明還涉及一種用于去復用所述復合圖像，即，用于從中提取復用設備添加的右圖像和左圖像。
[0006]現有技述
[0007]為了降低傳輸立體視頻流所需的帶寬，本領域已知的是將右圖像和左圖像復用為一個立體視頻流的單個復合圖像。
[0008]第一個例子被稱為并排復用，其中右圖像和左圖像被水平子抽樣并且被并排排列到立體視頻流的同一個幀內。
[0009]這種類型的復用的缺點是，水平分辨率減半而垂直分辨率仍然不變。
[0010]另一個例子被稱為從上到下(top-bottom)復用，其中右圖像和左圖像被垂直子抽樣并且在立體視頻流的同一幀內按照一個在另一個上部的方式排列。
[0011]這種類型復用的缺點是，垂直分辨率減半而水平分辨率仍然不變。
[0012]還有其他更復雜的方法，例如，在專利中請W003/088682中公開的方法。該申請描述了使用棋盤抽樣來降低抽取組成右圖像和左圖像的像素數量。這些被選擇用于右圖像和左圖像的幀的像素被“幾何地”壓縮為并排模式(通過移動相應的像素在列I中建立的空格被列2中的像素所填充，等等)。在用于屏幕上呈現圖像的解碼步驟期間，右圖像和左圖像的幀被再次變回其原始形式，并且通過使用合適的內插技術來重建丟失的像素。該方法允許在水平和垂直分辨率之間的比率保持恒定，但是其降低了對角線分辨率，而且由于引入了本來不該出現的高頻空間譜分量而改變了圖像像素間的相關性。這會降低隨后的壓縮步驟(例如MPEG2、MPEG4或H.264壓縮)的效率，而且還增加了壓縮視頻流的比特率。
[0013]從專利申請W02008/153863中還已知另一種用于復用右圖像和左圖像的方法。
[0014]這些方法中的一個提供了對右圖像和左圖像執行70%的縮放；縮放的圖像隨后被分割為8X8像素的塊。
[0015]每一個縮放圖像的塊能夠被壓縮到一個等于復合圖像大約一半的區域中。
[0016]這個方法的缺點是，由于引入了高頻空間譜分量，塊的再分配修改了組成圖像的塊之間的空間相關性，因此降低了壓縮效率。
[0017]此外，縮放操作和將每一個圖像分割為大量塊包括高的計算成本并且因此增加復用和去復用設備的復雜度。
[0018]這些方法中的另一個對每一個右圖像和左圖像應用對角線縮放，使得原始圖像變形為平行四邊形。這兩個平行四邊形隨后被分割為三角形區域，并且組成矩形復合圖像，其中通過分割兩個平行四邊形而獲得的三角形區域被重組和重排。右圖像和左圖像的三角形區域被以一種方式組織，使得他們通過復合圖像的對角線而分開。
[0019]類似于從上到下和并非方案，這個方案也同樣具有改變水平和垂直分辨率的比率(平衡)的缺點。此外，細分為大量在立體幀中重排的三角形區域使得后續的壓縮步驟(例如MPEG2、MPEG4或H.264)，在在通信信道上傳輸之前，在三角形區域的邊界區域中產生偽像。例如，由于按照H.264標準的壓縮處理執行的運動估計過程而產生所述偽像。
[0020]這個方案的另一個缺點涉及縮放右圖像和左圖像的操作以及分割和轉筒轉換三角形區域的后續操作所需的計算復雜度。
[0021 ] 在提交的申請國際專利申請PCT/IB2010/055918中公開了 一種如該申請中權利要求I定義的用于產生包括復合圖像的立體視頻流的方法，所述復合圖像包括關于右圖像和左圖像的信息，其中所述右圖像的像素和所述左圖像的像素被選擇，并且所選擇的像素被添加到所述立體視頻流的復合圖像中，該方法的特征在于，通過保持所述兩幅圖像中的一個未改變而將另一個分割為包括多個像素的三個區域并且降所述區域添加到所述復合圖像中，而將所述右圖像的所有像素和所述左圖像的所有像素都添加到所述復合圖像中。
[0022]所述方法涉及將另一圖像細分為三個矩形區域，以及關于在復合圖像中如何排列所述三個區域。
[0023]但是上述方法還留有很大的改進空間，主要由于以下問題。
[0024]如果區域的數量能夠降低，這將允許同時降低在編碼端和解碼端所需的計算資源。此外，由于壓縮技術引入的偽像完全集中沿著內部邊界，如果這種內部邊界的長度能夠降低，則重建的圖像的質量退化也會被降低，尤其在高壓縮率的情況下。

【發明內容】

[0025]本發明的一個目的是提供一種用于復用和去復用右圖像和左圖像的復用方法和去復用方法(以及相關設備)，其允許克服現有技術的缺點。
[0026]尤其，本發明的一個目的是提供一種用于復月和去復用右圖像和左圖像的復用方法和去復用方法(以及相關設備)，其允許保持水平分辨率和垂直分辨率之間的平衡。
[0027]本發明的另一個目的是提供一種用于復用右圖像和左圖像的復用方法(以及相關設備)，其在使失真和偽像的產生最小化的同時，允許隨后應用高壓縮率。
[0028]本發明的再一個目的是提供復用方法和去復用方法(以及相關設備)，其特征在于，降低的計算成本。
[0029]本發明的另一個目的是提供一種復用方法和去復用方法(以及相關設備)，其特征在于，在重組的圖像中存在很少的偽像和圖像質量的退化。
[0030]本發明的這些以及其他目的通過一種用于復用和去復月右圖像和左圖像的合并了在權利要求中給出的特征的復用和去復用方法(以及相關設備)來實現，其作為本說朋書的一個完整部分。
[0031]基于本發明的總體的思想是將兩個圖像添加到一個復合圖像中，其像素大與或者等于要被復用的兩個圖像的像素總和，例如右圖像和左圖像。
[0032]第一圖像(例如左圖像)的像素被添加到復合圖像而不經歷任何改變，而第二圖像被細分為兩個區域，其像素都被排列在復合圖像的自由區域中。
[0033]這個方案提供的一個優點在于，兩個圖像中的一個保留不變，這使得重建圖像的
質量更高。
[0034]第二圖像被分割為兩個區域，從而最大化像素間的空間相關性并且降低了在壓縮階段中偽像的產生。
[0035]由于適當資源的短缺，細分兩個立體圖像中的一個為3個區域防止多數現有解碼器重建沒有附加專用功能的圖像；降低細分為兩個區域可允許現有的具有畫中畫(PIP)功能的解碼器使用其來重組圖像，從而降低為在當前解碼器中實現本發明而需要改變的軟件的數量。
[0036]本發明的一個更具體的目的是，提供一種用于產生包括復合圖像的立體視頻流的方法，所述復合圖像包括關于右圖像和左圖像的信息，其中
[0037]所述右圖像(R)的像素和所述左圖像的像素被選擇，并且所選擇的像素被添加到所述立體視頻流的復合圖像中，該方法的特征在于，通過保留兩個圖像中的一個未改變而將另一個分割為包括多個像素的兩個區域(Rl，R2)并且將所述區域添加到所述復合圖像中，而將所述右圖像的所有像素和所述左圖像的所有像素添加到所述復合圖像中的不同位置。
[0038]本發明的其他目的是提供一種用于通過從復合圖像開始重建一對圖像的方法、用于產生復合圖像的設備、用于從復合圖像開始重建一對圖像的設備以及立體視頻流。
[0039]通過下面對以非限制性例子的方式提供的一些實施例的描述，本發明的其他目的和優點將會更為顯著。
【專利附圖】

【附圖說明】
[0040]所述實施例將參照附圖標記給予說明，其中:
[0041]圖1示出了用于將右圖像和左圖像復用為復合圖像的設備的框圖；
[0042]圖2是圖1的設備執行的方法的流程圖；
[0043]圖3示出了根據本發明的一個實施例的構建復合圖像的第一階段；
[0044]圖4示出了要被添加到復合圖像中的圖像分解的第一模式(form)；
[0045]圖5a和5b示出了包括圖4的圖像的復合圖像的第一和第二模式。
[0046]圖6示出了要被添加到復合圖像中的圖像分解的第二模式。
[0047]圖7a和7b示出了包括圖6的圖像的復合圖像的第一和第二模式。
[0048]圖8示出了要被添加到復合圖像中的圖像分解的第三模式。
[0049]圖9a和9b示出了包括圖8的圖像的復合圖像的第一和第二模式。
[0050]圖10示出了要被添加到復合圖像中的圖像分解的第四模式。
[0051]圖1la和Ilb示出了包括圖10的圖像的復合圖像的第一和第二模式。
[0052]圖12示出了將會反映在復合圖像中的分解的圖像的邊界區域。[0053]圖13示出了在復合圖像中放置圖12的邊界區域的可能方式。
[0054]圖14示出了從復合圖像中能夠提取的圖12和13邊界區域的什么子區域。
[0055]圖15示出了如何在重組的圖像中覆蓋圖14的子區域以便消除在分解后的重組圖像中的偽像。
[0056]圖16示出了用于接收根據本發明的方法產生的復合圖像的接收器的框圖。
[0057]圖17示出了重建包括在根據先前附圖中示出的任意模式的復合圖像中的左圖像和右圖像的一些階段。
[0058]通過相同附圖標記來指定其中的合適的、類似結構、部件、材料和/或元件。【具體實施方式】
[0059]圖1示出了用于產生立體視頻流101的設備100的框圖。
[0060]在圖1中，設備100接收圖像102和103的兩個序列，例如兩個視頻流，分別意用于左眼(L)和右眼(R)。
[0061]設備100允許實現用于復用兩個序列102和103的兩個圖像的方法。
[0062]為了實現用于復用右圖像和左圖像的方法，設備100包括分解模塊104，用于將輸入圖像(在圖1的例子中的右圖像)分解為兩個子圖像，其每一個目應于所接收圖像的一個區域，以及組合(assembler)模塊105，能夠將接收的圖像的像素添加到要在其輸出端提
供的單一復合圖像。
[0063]下面將參考圖2描述由設備100實現的復用方法的例子。
[0064]該方法始于步驟200。隨后(步驟201)，兩個輸入圖像(右或者左)中的一個分割為兩個區域，如圖3所示。在圖3所示的例子中，分解的圖像是視頻流720p的幀R，即，具有1280X720像素分辨率的逐行格式。
[0065]圖3的幀R來自于攜帶意用于右眼圖像的視頻流103，并且被分解為兩個區域Rl和R2。
[0066]通過將圖像R分割為兩個部分來獲得對其的分解。
[0067]矩形區域Rl具有640X360像素的大小并且通過取第一個360行的第一個640像素來獲得。區域R2是L形，并且通過取從第一個360行從641到1280的像素和最后360行的所有像素來獲得。
[0068]在圖1的例子中，由模塊104來實現圖像R的分解操作，其接收輸入圖像R(在這種情況下是幀R)并且輸出對應于兩個區域Rl和R2的兩個子圖像(即兩個像素組)。隨后(步驟202和203)構建復合圖像C，其包括關于右圖像和左圖像的信息；在此描述的例子中，所述復合圖像C是輸出立體視頻流的幀，并且因此其還被認為是容器幀。
[0069]首先(步驟202)，設備100接收的并且沒有被設備104分解的輸入圖像(圖1的例子中的左圖像L)被未改變地添加到容器幀，該幀被以一種方式調整大小以包括兩個輸入圖像的所有像素。例如，如果輸入圖像具有1280X720像素的大小，則適合于包括兩者的容器幀將是1920X 1080像素的幀，例如1080p類型的視頻流的幀(具有1920X 1080像素的逐行格式)。在圖4的例子中，左圖像L被添加到容器幀C中并且位于左上角的位置。這通過將圖像L的1280X720像素復制到由容器幀C的第一個720行的第一個1280個像素組成的區域Cl中來獲得。[0070]當在下面的描述中，參考將圖像添加到幀，或者從一個幀向另一個幀傳輸或者復制像素時，應當理解這意味著執行一個過程，其產生新的包含與源圖像相同像素的幀(通過使用硬件和/或軟件裝置)。
[0071]用于將源圖像(或者源圖像的一組像素)再現為目標圖像的技術(軟件和/或硬件)被認為對于本發明的目的是不重要的，并且在此將不做進一步的討論，因為它們本身對于本領域技術人員是已知的。
[0072]在下一個步驟203中，由模塊104在步驟201中分解的圖像被添加到容器幀中。這可以由模塊105通過將分解的圖像像素復制到未被圖像L占據的區域中的容器幀C來實現，即，該區域在Cl區域之外。
[0073]為了在解壓縮視頻流時達到最佳可能的壓縮和降低偽像的產生，通過保持相應空間關聯性來復制模塊104輸出的子圖像的像素。換句話說，將區域Rl和R2復制到幀C的相應區域中而不經歷任何變形。
[0074]圖5a示出了模塊105輸出的容器幀C的例子。該矩形區域Rl被復制到復合幀C的第一個360行的最后640個像素(區域C2)，即，與先前復制的圖像L相鄰。
[0075]該L形區域R2被復制在區域C2下面，S卩，在區域C3中，其中包括從361到720行的最后640個像素加上最后360行的最后1280個像素。
[0076]用于將圖像L和R添加到容器幀中的操作并不意味著對水平分辨率和垂直分辨率之間平衡的任何改變。
[0077]在幀C中剩余一個由最后360行的第一個640個像素組成的矩形區域(區域C2，)，其可用于其他的目的，例如用于任何輔助數據或者信令:其在圖5a中被稍微加黑表示并且在其他附圖中也一樣。
[0078]如果這個空閑(spare)的區域根本沒用，相同的RGB值被指定給幀C的剩余像素；例如，所述剩余像素可以是全黑。
[0079]一旦完成了將兩個輸入圖像(以及可能是信號)傳輸到容器幀中，由設備100實現的這個方法結束，并且容器幀可以被壓縮并且在通信信道上傳輸和/或記錄到合適的媒體上(例如⑶、DVD、藍光、海量存儲器等等)。
[0080]由于上述復用操作沒有改變一個區域或者圖像的像素之間的空間相關性，設備100輸出的視頻流可以被壓縮到一個相當大的程度，同時保持圖像將如實重建傳輸而不產生明顯的偽像的很高可能性。
[0081]在描述另一個實施例之前，應當指出將幀R分割為兩個區域Rl和R2對應于將該幀分給為最小可能數量的區域，考慮到在復合圖像中可利用的空間以及未改變地添加到容器幀的左圖像占據的空間。
[0082]換句話說，所述最小數量是由左圖像占據在容器幀C中留下可利用空間所需的區域的最小數量。
[0083]因此，通常圖像必須被分解的區域的最小數量被定義為源圖像(右圖像和左圖像)格式和目標復合圖像(容器幀C)的函數。
[0084]換句話說，根據本發明，圖像R僅能夠被以圖4所示的方式分割為兩個區域Rl和R2。實際中，兩個圖像L和R都位于復合圖像C的兩個相對的拐角，具體地分別在左上角和右下角。被疊加到圖像L的圖像R的一部分Rl可以被移動到右上角，如在附圖中所示，或者到左下角。沒有疊加到圖像L的圖像R —部分R2置于右下角，是具有六條邊的不規則多邊形的形式。以這種方式將第二圖像分割為最小數量的區域(兩個)。
[0085]這個方案的優點在于內部邊界的總長度最小，其有助于降低壓縮階段偽像的產生，以及最大化像素之間的空間相關性。
[0086]此外，將R圖像細分并且將兩個子圖像復制到復合幀C所需的計算成本最小，因此，簡化了復用和去復用裝置的結構以及組合和分解過程的復雜度。
[0087]圖5a中示出的設置僅僅表示根據本發明處置在復合幀C中的兩個圖像的第一種方式:圖5b不出了圖5a的布局的替代,其中區域Rl已位于C的最后360行的第一個640像素(區域C2’)，而區域C2保持沒有視頻信息。
[0088]圖5a和5b的設置可以被認為是相互的替代(“雙重設置”)，由于它們的區別僅在于Rl的分配，其在先前的情況下位于C的右上角而在后面的情況下位于C的左下角。
[0089]圖6示出了分割圖像R以便使其位于復合幀C中的第二種方式；通過提取R的最后360行的最后640個像素來獲得Rl。L形子圖像R2由R的剩余像素組成,也就是第一個360行加上最后360行的第一個640個像素。
[0090]圖7a和7b示出了雙重設置，其中在圖像L已位于其右下角后(區域Cl”)，如圖6中獲得的區域Rl和R2可以位于復合幀C中，由C的最后720行的最后1280個像素組成。該L形R2區域位于C的左上角。兩幅圖之間的唯一區別在于被Rl子圖像占據的C的區域，其分別位于左下(區域C2’ )角和右上(區域C2)角。相反地，矩形空閑區域分別占據右上角(區域C2)和左下角(區域C2’)。
[0091]圖8中示出了用于分解圖像R以便使其位于復合幀C中的第三種方式；通過提取R的最后360行的第一個640個像素來獲得Rl。該L形子圖像R2由R的剩余的像素組成，也就是第一個360行加上最后360行的最后640個像素。
[0092]圖9a和9b示出了雙重設置，其中在將圖像L置于其左下角(區域Cl”)之后，如圖6中所示獲得的區域Rl和R2可以被置于復合幀C中，由C的最后720行的第一個1280像素組成。L形R2區域位于C的右上角。兩幅圖的區別在于矩形區域Rl的位置，其分別位于右下(區域C6)角和左上(區域C4)角。反之，矩形空閑區域分別占據左上角(區域C2)和右下角(區域C2’)。
[0093]最后，圖10中描述了分解圖像R的第四種方式。第一個360行的最后640個像素被提取以形成子圖像R1。該L形區域R2由R的剩余像素組成，也就是第一個360行的第一個640個像素加上最后360行。
[0094]圖1la和Ilb示出了雙重設置，其中如圖6中獲得的區域Rl和R2可以在將圖像L置于其右上角后(區域C’ ’ 被置于復合幀C中，由C的第一個720行的最后1280個像素組成。L形區域R2位于C的左下角。兩幅圖的區別在于矩形區域Rl的位置，其分別位于左上(區域C6)角和右下(區域C4)角。反之，該矩形空閑區域分別占據左上角(區域C2)和右下角(區域C2’)。
[0095]通過最后這對附圖，可能添加到復合幀C的R的兩個區域以及L圖像L的所有設置已都被示出。因此總共具有八種可能的設置。其他的八種可能的設置是將圖像L分割為兩個子圖像LI和L2并且將保持另一圖像R未分割。可以從附圖中示出的那些以及目前簡單描述的，分別通過交換圖像R和L以及區域Rl和R2與LI和L2來容易地獲取這八種設置。由于這些獲取的設置都非常瑣碎并且直接，因此，在本發明中不再做進一步的解釋。
[0096]雖然示出的這些設置能夠將分割R階段引入的邊界造成的偽像最小化，通過本申請執行的一些測試顯示出，在高壓縮率的情況下，可視偽像在解碼后會出現在重建圖像中。
[0097]有利地，為了進一步減少在邊界區域上出現偽像，可以采取圖12和13示出的技術，作為一個例子，可適用在圖5a的分解方案上。
[0098]作為第一個實施例，如圖12所示，包括Rl和R2之間邊界區域的附加L形區域R3，可以如圖13所示被復制并且插入空閑區域C2’中。該R3區域能夠具有恒定的寬度或者兩個不同的寬度h和k，分別用于水平和垂直的臂(arm)。參數h和k是大于零的整數。R3區域最終相對于R的內部邊界對稱地設置。
[0099]根據本中請執行的測試，偽像一般是在重建圖像Rout中接近于內部邊界出現。因此，(對應于壓縮和解壓縮后的Rl)R1’和(對應于壓縮和解壓縮后的R2)R2’的位于Rout的內部邊界附近的像素在復制中被丟棄并且被在R3的壓縮和解壓縮操作之后獲得的區域R3’的內部像素替代。R3’邊界的像素應當被丟棄，由于他們接近另一內部邊界并且會因此受到偽像影響。考慮到R、L和C或C’各自的大小，邊界像素的某些組的帶可以位于空閑區域C2’，但是這個L型帶不能包括在Rl和R2之間接近于R的外部邊界的邊界區域的像素，如從圖12和13清楚地示出。
[0100]這并不是很大的麻煩，由于位于接近圖像的外部邊緣的偽像幾乎不可視。但是，如果期望，這兩個不能被通過所述方式校正的小區域可以被復制并且放置到復合幀的空白空間中。而這增加了組建和分解過程中的復雜度，并因此不是優選的方案。
[0101]有利地，L形區域R3被放置到與其右下角相鄰的空閑區域C2’，從而最大化位于可用區域的R3臂的長度。作為一個例子，R3的水平臂的寬度可以是h=48個像素，并且僅僅內部的n=16個像素被用于重建R圖像，而相鄰的32個像素被丟棄，由于他們受到偽像的影響，在復合幀C內接近于不連續的。類似地，R的垂直臂可以是大的，k=32個像素，其中只有它們中的m=16被用于重建R。
[0102]明顯地，圖12和13中示出的特定技術，加上必要的修改，也可用于圖5b中示出的雙重設置。區別僅在于L形區域R3位于空閑區域C2取代了 C2’。類似的，圖12和13中示出的特定技術，加上必要的修改，可用作圖6-11中示出的圖像R和復合幀C的所有其他的設置。區別僅在于由R3包圍的內部邊界區域被不同地配置并且該區域R3位于C的不同的空閑區域。相同的對其他設置的應用在附圖中沒有示出，可以通過將R替代為L和Rl以及將R2替代為LI和L2來獲得。
[0103]同樣，由于一些測試顯示偽像在Rl和R2之間的水平內部邊界更為顯著的事實，取代使用L形內部區域，使用僅包括圍繞著水平內部邊界的像素的R3區域。當然，如果期望消除僅在垂直內部邊界上的偽像，R3形狀的區域可以是垂直的。這些實施例都沒有在附圖中示出，由于這都是明顯的，以上都給出了解釋。
[0104]因此，以目前為止描述的任何方式獲得的幀C隨后被壓縮并且被傳輸或者保存到存儲媒體中(例如DVD)。為此目的，提供適用于壓縮圖像或者視頻信號的壓縮裝置，以及用于記錄和/或傳輸壓縮的圖像或者視頻信號的裝置。
[0105]圖16示出了接收器1100的框圖，其解壓縮所接收的容器幀(如果被壓縮)，重建兩個右圖像和左圖像，并且使他們能夠用于允許3D內容實現的可視化設備(例如電視機)。接收器1100是一個機頂盒或者內置在電視機中的接收器。相同的用于接收器1100的說明也可以用于讀取器(例如DVD讀取器)，其讀取容器幀(可能被壓縮的)并且處理它，以便獲取對應于添加到由讀取器讀出的容器幀(可能被壓縮的)中的右圖像和左圖像的一對幀。
[0106]返回去參考圖17，接收器(通過電纜或者天線)接收壓縮的立體視頻流1101并且通過解壓縮模塊1102將其解壓縮，從而獲得包括對應于幀C的幀C’的序列的視頻流。如果存在理想信道或者如果容器幀被從海量存儲器或者數據媒體(藍光、CD、DVD)中讀取，幀C’對應于攜帶關于右圖像和左圖像的信息的容器幀C，除了由壓縮處理引入的任何偽像。
[0107]這些幀C’隨后被提供給重建模塊1103，其執行上述圖像重建方法。
[0108]其表明，如果視頻流沒有被壓縮，解壓縮模塊1102可以省略并且視頻信號被直接提供給重建模塊1103。
[0109]當接收到解壓縮的容器幀C’時，重建處理在步驟1300開始。該重建處理依賴于在重組處理期間決定的特定設置。讓我們考慮例如圖5a中示出的復合幀。在這種情況下，重建模塊1103通過將解壓縮幀的第一個720X 1280像素復制到小于容器幀的新的幀Lout中來提取(步驟1301)左圖像L’(對應于源圖像L)，例如720p流的幀。因此，該重建的圖像Lout被輸出到接收器1100(步驟1302)。
[0110]隨后，該方法提供用于從容器幀C’中提取右源圖像R。
[0111]通過復制包括在幀C’中的區域C2來開始提取右圖像的階段(步驟1303)。更具體地，C’的第一個360行的最后640個像素被復制到對應的表示重建圖像Rout的新的720X1280幀的第一個360行的第一個640列。
[0112]隨后包括解壓縮區域R2’(在壓縮和解壓縮操作之前是R2)的區域C3被提取(步驟1305)。從解壓縮幀C’ (如前所述，其對應于圖5a的幀C)，區域C3 (對應于源區域R2)的像素被復制到Rout的L形剩余部分，也就是在Rout的第一個360行的最后360列中加上在最后360行中，因此獲得對應于如在圖3中組合的圖像R的重建圖像。
[0113]到此，右圖像Rout已被完全重建并且被輸出(步驟1306)。
[0114]通過接收器1100執行類似的操作，加上必要的改變，用于所有其他在圖5b、7a和7b、9a和9b、lla和Ilb中示出的設置。包括在C，的大小為720X 1280的相關矩形區域中的壓縮的L圖像被作為一個整體提取并且被輸入給重建的Lout圖像。包括解壓縮子圖像Rl和R2的復合幀C’的區域再次被置于它們在源圖像R中具有的對應設置中的Rout的相應位置，如在圖4、6、8和10中所示，作為可能的情況。
[0115]在圖12和13的特定技術被使用的情況下，接收器1100首先執行已經描述的同樣的操作，以用于重建Lout和Rout并且隨后，如一個附加步驟(圖17中的1305)提取R3’的內部區域(稱為Ri3)并且使用R3’的至少一些像素來覆蓋圍繞在Rout內部邊界周圍的
對應像素。
[0116]在圖14和15示出的例子中，形成所稱Ri3的區域的m個垂直和η個水平像素的、位于R3內部的帶被復制到對應的Rout的內部邊界區域。典型地,m和η是大于零的整數，其可假設為較低的值，典型地在3到16的范圍內；它們還可以彼此相等或者不等，給Ri3賦予恒定或者非恒定寬度。相同的技術可以使用，加上必要的改變，在R3的矩形形狀被用于僅覆蓋它的一個臂的情況下，或者水平或者垂直。[0117]應當強調，這必須僅在高壓縮率情況下，通常不被強制高圖像質量的電視廣播所使用，但是其被用于通過互聯網進行視頻流傳輸的情況，或者通常用于通過互聯網或具有限制帶寬的信道分配的情況。
[0118]因此，在編碼器和解碼器端兩者，使用區域R3’和Ri3是可選擇的。一種可能性是傳輸區域R3而留下自由，在解碼端，以便于使用或者不使用它:這將導致兩種類型的解碼器，一個簡化的，以及另一個具有更好性能、更復雜的。
[0119]在一個更復雜的實施例中，可以采用稱為“軟邊界”的技術將R3’區域混合到重建圖像Rout的頂部,其存在于使用對應的R3’的像素值交叉減弱(cross-fading)Rout的內部邊界區域的像素值，使得R3’的作用在R1’和R2’之間的邊界最大化并且在R3’邊界最小化。
[0120]這樣完成了重建包括在容器幀C’中的右圖像和左圖像的處理(步驟1307)。所述處理對于由接收器1100接收的每個視頻流的幀進行重復，使得輸出由分別用于右圖像和用于左圖像的視頻流1104和1105組成。
[0121]盡管至今已經參考一些優選的和最佳的實施例示出了本發明，但是應當清楚其沒有限制于所述實施例，并且本領域技術人員可以做出很多改變從而期望將兩個涉及一個目標或者場景的不同視角(右和左)的兩個圖像合并為一個復合圖像。
[0122]例如，提供上述設備的電子模塊，尤其設備100和接收器1100，可以多種細分和分配；此外，它們被以硬件模塊或者由處理器執行的軟件算法的形式提供，尤其配備了用于臨時存儲所接收輸入幀的合適存儲區域的視頻處理器。因此，這些模塊并行地或者連續地執行根據本發明的復用或者去復用方法的一個或者多個視頻處理步驟。
[0123]同樣要說明，盡管優選的實施例涉及復月兩個720p視頻流成為一個IOSOp視頻流，但是也可以使用其他格式。本發明并不限制于復合圖像的特定類型，由于用于產生復合圖像的不同方案具有特定的優點。
[0124]最后，還表明本發明涉及任何允許通過顛倒上述復用處理從復合圖像中提取右圖像和左圖像的落入到本發明的范圍內的去復用方法。
[0125]本發明因此還涉及一種用于產生一對從復合圖像開始的圖像，其包括以下步驟:
[0126]-通過復制來自所述復合圖像區域的連續像素的一個單一組來產生所述右圖像和左圖像的第一個圖像(例如左圖像)，
[0127]-通過復制來自所述復合圖像的兩個不同區域的連續像素的其他組來產生第二圖像(例如右圖像)。
【權利要求】
1.一種用于產生包括復合圖像(C)的立體視頻流(101)的方法，所述復合圖像(C)包括關于右圖像(R)和左圖像(L)的信息，其中 選擇所述右圖像(R)的像素和所述左圖像(L)的像素，并且 所選擇的像素被添加到所述立體視頻流的復合圖像(C)中， 該方法的特征在于，通過保持所述兩個圖像中的一個未改變，將另一個分割為包括多個像素的兩個區域(Rl，R2)，并且將所述區域添加到所述復合圖像(C)，所述右圖像(R)的所有像素和所述左圖像(L)的所有像素被添加到所述復合圖像(C)中的不同位置。
2.根據先前任何一個權利要求所述的方法，其中所述兩個區域中的第一個(R2)具有L形狀，所述兩個區域中的第二個(Rl)具有矩形形狀。
3.根據權利要求2所述的方法，其中所述兩個圖像中未改變的一個(L)位于所述復合圖像(C)的一個拐角，所述兩個區域中的所述第一個(R2)位于所述復合圖像(C)的與所述一個拐角相對的拐角，所述兩個區域中的所述第二個(Rl)位于復合圖像(C)中的剩余自由空間中的一部分。
4.根據先前任何一個權利要求所述的方法，其中包括在所述第一個和第二個(Rl，R2)區域之間的邊界區域的至少一 部分的附加區域(R3)被插入到所述在復合圖像(C)中的剩余自由空間。
5.根據先前任何一個權利要求所述的方法，其中所述區域包括所述圖像的像素的連續列組。
6.根據先前任何一個權利要求所述的方法，其中接收右圖像(R)的序列和左圖像(L)的序列， 通過從所述右圖像和左圖像的序列開始產生復合圖像的序列， 所述復合圖像(C)的序列被壓縮。
7.一種用于如先前權利要求中的任何一個的通過從復合圖像(C’)開始重建一對圖像的方法，包括以下步驟: 通過從所述復合圖像的區域中復制連續像素的一個單一組而產生所述右(Rout)圖像和左(Lout)圖像中的第一個， 通過從所述復合圖像(C’)的兩個不同區域(R1’，R2’)復制連續像素的其他組來產生所述右(Rout)圖像和左(Lout)圖像中的第二圖像。
8.根據權利要求7所述的方法，其中包括在所述第一區域和第二區域(R1’，R2’)之間的邊界區域的至少一部分的附加區域的至少一部分(Ri3)在所述第二圖像(Rout)的對應邊界區域被修改。
9.根據權利要求7所述的方法，其中通過使用所述附加區域(R3’)的對應像素值交叉減弱所述第二圖像(Rout)的內部邊界區域的像素值，將包括在所述第一區域和第二區域(R1’，R2’ )之間的至少一部分邊界區域的附加區域(R3’ )混合到所述第二圖像(Rout)的頂部。
10.一種用于產生復合圖像(C)的設備(100)，包括用于接收右圖像和左圖像的裝置(104)，和用于產生包括關于所述右圖像和所述左圖像的信息的復合圖像(C)的裝置(105)，其特征在于，包括適用于實現根據權利要求1-6中的任意一個的方法的裝置。
11.一種用于通過從復合圖像開始重建一對圖像的設備(1100)，其特征在于，包括適用于實現根據權利要求7-9中的任意一個的方法的裝置。
12.—種立體視頻流(1101)，其特征在于，包括通過根據權利要求1-6的任意一個的方法產生的至少一個復 合圖像(C)。
【文檔編號】H04N13/00GK103703761SQ201280024020
【公開日】2014年4月2日 申請日期:2012年5月17日 優先權日:2011年5月17日
【發明者】G·巴洛卡, P·達馬托, D·潘尼西 申請人:S.I.Sv.El.意大利電子發展股份公司, 3維開關有限公司