視差值指示的制作方法

專(zhuān)利名稱(chēng)：視差值指示的制作方法
技術(shù)領(lǐng)域：
描述了涉及3D的實(shí)現(xiàn)方式。各種具體實(shí)現(xiàn)方式涉及視頻內(nèi)容的視差圖。
背景技術(shù)：
立體視頻提供兩個(gè)視頻圖像，包括左視頻圖像和右視頻圖像。深度和/或視差信息可以用于這兩個(gè)視頻圖像。深度和/或視差信息可以用于兩個(gè)視頻圖像上的多種處理操 作。

發(fā)明內(nèi)容
根據(jù)一般方面，接收立體視頻和與所述立體視頻對(duì)應(yīng)的視差圖，所述視差圖包括不指示實(shí)際視差值的樣本。根據(jù)樣本確定視差信息。基于視差信息處理立體視頻。根據(jù)另一一般方面，接收立體視頻以及與立體視頻對(duì)應(yīng)的密集視差圖，所述密集視差圖包括不指示實(shí)際視差值的樣本。根據(jù)所述樣本確定視差信息，以指示應(yīng)該與樣本對(duì)應(yīng)的實(shí)際視差值是否小于或者大于某一值?；谝暡钚畔⑻幚砹Ⅲw視頻來(lái)執(zhí)行以下中至少一項(xiàng)放置重疊信息、調(diào)整3D效果、生成警告以及合成新視圖。根據(jù)另--般方面，接收立體視頻。處理與立體視頻對(duì)應(yīng)的視差信息。生成立體
視頻的視差圖，所述視差圖包括不指示實(shí)際視差值的樣本。在附圖以及下面的描述中闡述了一個(gè)或者多個(gè)實(shí)現(xiàn)方式的細(xì)節(jié)。即使在一個(gè)特定方式中描述，也應(yīng)該清楚實(shí)現(xiàn)方式可以配置或者體現(xiàn)在各種方式中。例如，實(shí)現(xiàn)方式可以被執(zhí)行為方法或者體現(xiàn)為裝置，諸如例如配置為執(zhí)行一組操作的裝置或者存儲(chǔ)用于執(zhí)行一組操作的指令的裝置，或者體現(xiàn)在信號(hào)中。連同附圖和權(quán)利要求考慮下面的詳細(xì)描述，其他方面和特征將變得顯而易見(jiàn)。


圖I是平行相機(jī)的實(shí)際深度值的圖示表示。圖2是視差值的圖不表不。圖3表觀深度和視差之間的關(guān)系的圖示表示。圖4是會(huì)聚相機(jī)(convergent camera)的圖示表示。圖5是描述調(diào)整3D效果的實(shí)現(xiàn)方式的框圖。圖6是會(huì)聚相機(jī)和來(lái)自會(huì)聚相機(jī)的立體圖像對(duì)的圖示表示。圖7是含有具有不同視差值的對(duì)象的畫(huà)面的圖示表示。
圖8是其準(zhǔn)確視差值在陰影區(qū)域是未知的立體圖像對(duì)的圖示表示。圖9是描繪根據(jù)本原理實(shí)施例的生成視差圖的示例的流程圖。圖10是描繪用于根據(jù)本原理的實(shí)施例處理視差圖以獲得視差值或者其他視差信息的示例的流程圖。
圖11是描繪可以與一個(gè)或者多個(gè)實(shí)現(xiàn)方式一起使用的圖像處理系統(tǒng)的示例的框圖。圖12是描繪可以與一個(gè)或者多個(gè)實(shí)現(xiàn)方式一起使用的圖像處理系統(tǒng)的另一個(gè)示例的框圖。
具體實(shí)施例如在本申請(qǐng)中呈現(xiàn)的一些特征的預(yù)覽，至少一個(gè)實(shí)現(xiàn)方式使用視差圖中的樣本來(lái)指示視差值或者其他視差信息。當(dāng)準(zhǔn)確視差值是已知的并且在規(guī)定范圍內(nèi)，樣本指定視差值。另外，樣本可以指示視差值大于或者小于預(yù)定值或者計(jì)算值。預(yù)定值可以是規(guī)定范圍的上限或者下限、相鄰位置的視差值，特定值或者特定位置的視差值。計(jì)算值可以基于其他位置的一個(gè)或者多個(gè)視差值計(jì)算。樣本還可以指示關(guān)于視差值的信息在當(dāng)前位置不可用。從上面的預(yù)覽后退，圖I圖示視頻圖像中的深度概念。圖I示出具有傳感器107的右相機(jī)以及具有傳感器112的左相機(jī)。兩個(gè)相機(jī)105、110捕獲對(duì)象115的圖像。為了圖不的目的，對(duì)象115是物理十字，具有位于十字右側(cè)上的任意細(xì)節(jié)116 (見(jiàn)圖2)。右相機(jī)105具有捕獲角度120，左相機(jī)110具有捕獲角度125。兩個(gè)捕獲角度120、125在3D立體區(qū)域130中重疊。因?yàn)閷?duì)象115是在3D立體區(qū)域130中，對(duì)象115對(duì)于兩個(gè)相機(jī)105、110是可見(jiàn)的，并且因此對(duì)象115能夠被感知為具有深度。對(duì)象115具有實(shí)際深度135。實(shí)際深度135 —般被稱(chēng)為從對(duì)象115到相機(jī)105、110的距離。更具體地，實(shí)際深度135可以被稱(chēng)為從對(duì)象115到立體相機(jī)基線140的距離，立體相機(jī)基線140是兩個(gè)相機(jī)105、110的入瞳平面定義的平面。相機(jī)的入瞳平面典型地在變焦鏡頭內(nèi)，并且因此在物理上不可接近。相機(jī)105、110還被示出具有焦距145。焦距145是從出瞳平面到傳感器107、112的距離。為了圖示的目的，入瞳平面和出瞳平面被示為重合，當(dāng)在大多數(shù)情況下它們稍微分離。此外，相機(jī)105、110被示為具有基線長(zhǎng)度150?；€長(zhǎng)度150是相機(jī)105、110的出瞳的中心之間的距離，并且因此在立體相機(jī)基線140處測(cè)量。對(duì)象115由每個(gè)相機(jī)105和110成像為傳感器107和112的每個(gè)上的真實(shí)圖像。這些真實(shí)圖像包括傳感器107上的細(xì)節(jié)116的真實(shí)圖像117以及傳感器112上的細(xì)節(jié)116的真實(shí)圖像118。如圖I所示，真實(shí)圖像是翻轉(zhuǎn)的，如本領(lǐng)域中已知的。深度密切涉及視差。圖2示出從相機(jī)110捕獲的左圖像205以及從相機(jī)105捕獲的右圖像210。兩個(gè)圖像205、210包括具有細(xì)節(jié)116的對(duì)象115的表示。圖像210包括對(duì)象115的對(duì)象圖像217，并且圖像205包括對(duì)象115的對(duì)象圖像218。細(xì)節(jié)116的遠(yuǎn)右點(diǎn)(far right point)被捕獲在左圖像205的對(duì)象圖像218的像素220中，并且被捕獲在右圖像210的對(duì)象圖像217的像素225中。像素220和像素225的位置之間的水平差是視差230。對(duì)象圖像217、218被假設(shè)為垂直對(duì)準(zhǔn)(register)，使得細(xì)節(jié)116的圖像在圖像205和210 二者中具有相同的垂直定位。當(dāng)左圖像和右圖像205、210分別由觀看者的左眼和右眼觀看時(shí)，視差230提供對(duì)于物體215的深度感知。圖3示出視差和感知的深度之間的關(guān)系。示出觀看相應(yīng)屏幕310、320、330上的對(duì)象的立體圖像對(duì)的三個(gè)觀察者305、307和309。第一觀察者305觀看具有正視差的對(duì)象的左視圖315以及對(duì)象的右視圖317。正視差反映以下事實(shí)屏幕310上對(duì)象的左視圖315在對(duì)象的右視圖317的左側(cè)。正視差導(dǎo)致感知的或者虛擬的對(duì)象319出現(xiàn)在屏幕310的平面后面。第二觀察者307觀看具有零視差的對(duì)象的左視圖325以及對(duì)象的右視圖327。零視差反映以下事實(shí)，在屏幕320上對(duì)象的左視圖325與對(duì)象的右視圖327在同一水平位置。零視差導(dǎo)致感知的或者虛擬的對(duì)象329出現(xiàn)在與屏幕320相同的深度。第三觀察者309觀看具有負(fù)視差的對(duì)象的左視圖335和對(duì)象的右視圖337。負(fù)視 差反映如下事實(shí)，在屏幕330上對(duì)象的左視圖335在對(duì)象的右視圖337的右側(cè)。負(fù)視差導(dǎo)致感知的或者虛擬的對(duì)象339出現(xiàn)在屏幕330的平面的前面。注意，在圖2中，右圖像中的像素225相對(duì)左圖像的像素220朝左，這向視差230給出了負(fù)符號(hào)。由此，對(duì)象圖像217和218將產(chǎn)生對(duì)象比屏幕更靠近的表現(xiàn)(如對(duì)象339表現(xiàn)地比屏幕330更靠近)。在這一點(diǎn)上值得注意的是，視差和深度可以在實(shí)現(xiàn)方式中交換使用，除非另外由上下文指示或者要求。使用等式1，知道視差與屏幕深度成反比。D = ^(1)
d其中“D”描述深度(圖I中的135)，“b”是兩個(gè)立體圖像相機(jī)之間的基線長(zhǎng)度(圖I中的150)，“f”是每個(gè)相機(jī)的焦距(圖I中的145)以及“d”是兩個(gè)對(duì)應(yīng)特征點(diǎn)的視差(圖2中的230)。上面的等式I對(duì)于具有相同焦距的平行相機(jī)是有效的。可以對(duì)于其他場(chǎng)景定義更復(fù)雜的公式，但是在多數(shù)情形中，等式I可以用作近似。此外，然而，下面的等式2對(duì)于會(huì)聚相機(jī)是有效的
f .b (2)Β =
d^-d其中CL·是在無(wú)限處對(duì)象的視差值。CL·依賴(lài)會(huì)聚角度和焦距，并且被表達(dá)為米(例如)而不是像素的數(shù)量。之前關(guān)于圖I和焦距145討論了焦距。會(huì)聚角度在圖4中示出。圖4包括被定位在會(huì)聚配置而不是圖I的平行配置的相機(jī)105和相機(jī)110。會(huì)聚角度410示出相機(jī)105、110會(huì)聚的焦線。視差圖用于提供視頻圖像的視差信息。視差圖一般指代一組具有與相關(guān)聯(lián)的視頻圖像中的像素對(duì)應(yīng)的幾何形狀(geometry )的視差值。密集視差圖一般指代具有與相關(guān)聯(lián)的視頻圖像的分辨率相同的空間和時(shí)間分辨率的視差圖。時(shí)間分辨率例如指代幀率，并且例如可以是50Hz或者60Hz。因此，密集視差圖一般每個(gè)像素位置將具有一個(gè)視差樣本。密集視差圖的幾何形狀將典型地與對(duì)應(yīng)視頻圖像的幾何形狀相同，例如，具有以下以像素表示的水平和垂直尺寸的矩形(i) 1920X 1080 (或 1920X1200)，(ii) 1440X 1080 (或 1440X900)，
(iii) 1280X720 (或 1280X 1024，1280X960，1280X900，1280X800)(iv) 960X640 (或 960X600，960X 576，960X 540)，(v) 2048X 1536 (或 2048X 1152)，(vi)4096X3072 (或 4096 X 3112，4096 X 2304，4096 X 2400，4096 X 2160，4096 X 768)，或者(vii)8192X4302 (或 8192X8192，8192X4096，7680X4320)以下是可能的密集視差圖的分辨率基本上與相關(guān)聯(lián)的圖像的分辨率相同，但是與該相關(guān)聯(lián)的圖像的分辨率不同。在一個(gè)示例中，當(dāng)圖像邊界的視差信息難于獲得時(shí)，可以選擇不包括邊界像素上的視差并且視差圖小于相關(guān)聯(lián)的圖像。下采樣的視差圖一般指代具有小于原始視頻分辨率的分辨率的視差圖(例如，除以因數(shù)四)。下采樣的視差圖例如每個(gè)像素塊具有一個(gè)視差值。稀疏視差圖一般指代與被視為在對(duì)應(yīng)視頻圖像中容易追蹤的有限數(shù)量像素(例如1000個(gè))對(duì)應(yīng)的一組視差。被選擇的有限數(shù)量的像素將一般依賴(lài)內(nèi)容本身。圖像中存在經(jīng)常超過(guò)一百萬(wàn)或者兩百萬(wàn)的像素(1280 X 720或者1920X 1080)。像素子集選擇一般由能夠檢測(cè)特征點(diǎn)的跟蹤器工具自動(dòng)地或者半自動(dòng)地完成。跟蹤器工具容易獲得。特征點(diǎn)可能是例如在其他圖像中容易跟蹤的畫(huà)面中的邊緣點(diǎn)或者角點(diǎn)。表示對(duì)象的高對(duì)比度邊緣的特征一般對(duì)于像素子集是優(yōu)選的。視差圖，或者更一般地，視差信息可以用于多種處理操作。這樣的操作包括例如視圖內(nèi)插(呈現(xiàn))，用于調(diào)整消費(fèi)設(shè)備上的3D效果，提供智能字幕放置、視覺(jué)效果以及圖形插入。在一個(gè)具體示例中，圖形被插入圖像的背景中。在一個(gè)示例中，3D呈現(xiàn)可以包括體育廣播員和足球運(yùn)動(dòng)員(二者在后景中)之間的立體視頻采訪。背景包括體育館的視圖。在這個(gè)示例中，當(dāng)對(duì)應(yīng)視差值小于(也就是，更靠近)預(yù)定值時(shí)，視差圖用于從立體視頻采訪中選擇像素。反之，如果視差值大于預(yù)定值(也就是，更遠(yuǎn))，則從圖形選擇像素。這允許例如導(dǎo)演在圖形圖像的前面，而不是在實(shí)際體育館背景的前面，示出采訪參與者。在其他變型中，用另一個(gè)環(huán)境替換背景，諸如例如，球員的最近得分比賽的回放期間的球場(chǎng)。在一個(gè)實(shí)現(xiàn)方式中，3D效果基于用戶(hù)偏好被軟化(減少)。為了減少3D效果(減少視差的絕對(duì)值)，使用視差和視頻圖像來(lái)內(nèi)插新的視圖。例如，在現(xiàn)有的左視圖和右視圖之間的位置定位新的視圖，并且新的視圖替代左視圖和右視圖之一。由此，新的立體圖像對(duì)具有減少的視差，以及因此減少3D效果。在另一個(gè)實(shí)現(xiàn)方式中，雖然較不常用，但外插可以被執(zhí)行，以增大圖像的表觀深度。圖5圖示執(zhí)行3D效果調(diào)整的圖像處理系統(tǒng)。該系統(tǒng)在輸入端510接收立體視頻和視差圖。在框520通過(guò)基于立體視頻和視差圖的視圖內(nèi)插/外插生成新的視圖。每個(gè)個(gè)體可能對(duì)于3D效果的強(qiáng)度具有不同容忍度/偏好。也就是，一個(gè)個(gè)體可能喜愛(ài)強(qiáng)的3D效果，而另一個(gè)可能偏愛(ài)柔和的3D效果。這樣的3D容忍度/偏好可以由用戶(hù)接口 550接收并且傳遞到框530，以相應(yīng)地調(diào)整深度。調(diào)整后的立體視頻然后被輸出到顯不器540。在另一個(gè)實(shí)現(xiàn)方式中，視差圖用于智能地在立體視頻中定位字幕，以減少或者避免觀看者的不適。例如，字幕應(yīng)該一般具有該字幕正在遮擋的任何對(duì)象前面的感知的深度。然而，感知的深度應(yīng)該一般具有與感興趣的區(qū)域相當(dāng)?shù)纳疃?，并且離感興趣的區(qū)域中的對(duì)象的前面不太遠(yuǎn)。對(duì)于很多3D處理操作，密集視差圖比下采樣的視差圖或者稀疏視差圖優(yōu)選，例如，當(dāng)視差圖用于使用戶(hù)能夠?qū)?D效果可控時(shí)。在這樣的操作中，需要每個(gè)像素的視差信息，以實(shí)現(xiàn)良好的結(jié)果，這是因?yàn)槭褂孟∈杌蛘呦虏蓸拥囊暡顖D可能減少合成視圖的質(zhì)量。視差值可以以多種格式表示。若干實(shí)現(xiàn)方式使用以下格式來(lái)表示用于存儲(chǔ)或者傳送的視差值-有符號(hào)整數(shù)2s補(bǔ)數(shù)(complement)·負(fù)視差值指示在屏幕前面的深度。
·零用于在屏幕平面中的對(duì)象的視差值。-I/8像素的單位 -表示視差值的16比特， 典型視差范圍在+80和-150像素之間變化。這一般在1920或者2048像素水平分辨率的四十英寸顯示器上是足夠的。 在1/8像素精度的情況下，該范圍在+640和-1200單位之間，這可以由有符號(hào)數(shù)=12比特的11比特+1比特表示。 為了保持8K顯示器上相同的3D效果(這大約是1920或2048像素寬的顯示器的水平分辨率的四倍)，典型地需要兩個(gè)附加比特，以編碼視差12+2=14比特。·這提供了 2比特用于將來(lái)使用。另外，對(duì)于密集視差圖還提供使用以上格式的各種實(shí)現(xiàn)方式。由此，為了對(duì)于這樣的實(shí)現(xiàn)方式完成密集視差圖，對(duì)于對(duì)應(yīng)視頻圖像中的每個(gè)像素位置提供以上16比特格式。如上面提及的，典型的視差范圍在+80和-150像素之間變化。假設(shè)65mm的兩眼間(即，眼之間的距離)，對(duì)于空間分辨率1920X1080的四十英寸顯示器，以大約143個(gè)像素測(cè)量該兩眼間。因?yàn)?80是大約兩眼間測(cè)量的一半，正視差界限對(duì)應(yīng)于大約是在與觀看者在屏幕前面一樣遠(yuǎn)的、在屏幕后面的遠(yuǎn)深度(far-depth)。因?yàn)樨?fù)視差界限粗略等于兩眼間測(cè)量，負(fù)視差界限對(duì)應(yīng)觀看者和屏幕之間的大約一半的近深度。該范圍一般對(duì)于四十英寸顯示器是足夠的。然而，該視差可能超過(guò)其中立體視頻被不良地拍攝或者包含3D特定效果的正常足夠的限制。圖6圖示當(dāng)屏幕610被會(huì)聚相機(jī)620和630拍攝時(shí)正溢出(例如，視差值大于+80像素)的示例。該屏幕610包括被表示為前景中的“X”的對(duì)象和后景中的數(shù)字1-9。對(duì)象“X”由左相機(jī)620捕獲在背景在左圖像640中“6”和“7”之間，并且由右相機(jī)630捕獲在右圖像650中的“3”和“4”之間。如果用戶(hù)660決定聚焦在“4”上，用戶(hù)的右眼將稍微向右偏移(如連同右圖像650中的數(shù)字“4”所示)，用戶(hù)的左眼將明顯地向左側(cè)偏移(如連同左圖像640中的數(shù)字“4”所示)。這造成超出平行的眼睛發(fā)散。也就是，背景數(shù)字“4”的視差大于用戶(hù)660的兩眼間測(cè)量和正視差界限，并且其準(zhǔn)確的視差值不能夠被上面討論的視差圖格式指定。也就是，視差值“溢出”該格式的表示，另外，該溢出在正方向，即，真正的視差值大于表示所允許的最大正視差。圖7圖示負(fù)溢出的示例(例如，視差值小于-150個(gè)像素)。圖7示出包括對(duì)象710、720、730和740的畫(huà)面。在畫(huà)面的底部的是對(duì)象710，具有-195像素的視差，指示該對(duì)象710朝觀看者彈出。對(duì)象720在屏幕層，具有基本零的視差，而對(duì)象730和740各自具有視差+10和-10，二者在上面討論的格式的+80到-150像素的范圍內(nèi)。在該畫(huà)面中，對(duì)象710具有超出負(fù)視差界限的-195像素的視差。類(lèi)似于圖6中圖示的示例，對(duì)象710的準(zhǔn)確視差值不能夠被上面討論的視差圖表示的格式指定。注意，+80到-150像素的范圍用在上面的示例中，以圖示視差可能超過(guò)規(guī)定的視差范圍。然而，范圍的末端值或者范圍本身的尺寸可以在各種視差圖格式中改變。在一個(gè)示例中，主題公園的呈現(xiàn)可能為了更加劇烈的效果要求更加嚴(yán)重的負(fù)視差(即，對(duì)象比距屏幕的一半更近)。在另一個(gè)示例中，專(zhuān)業(yè)設(shè)備可以支持比消費(fèi)設(shè)備更寬的視差范圍。 本領(lǐng)域的技術(shù)人員已知，準(zhǔn)確視差值可以從立體視頻和其他輸入(例如，與之前或者稍后的圖像對(duì)的相關(guān)性)確定。也就是，實(shí)際視差值可以利用足夠高的置信度確定。然而，可能的是置信水平是很低的并且準(zhǔn)確的視差值實(shí)際上“未知”。例如，準(zhǔn)確的視差值可能在屏幕的邊緣或者遮擋引起的陰影區(qū)域中是未知的。當(dāng)遮擋引起未知視差時(shí)，即使準(zhǔn)確視差值是未知的，也可以推導(dǎo)視差的限制。示出平行左相機(jī)和右相機(jī)的圖8提供這樣的示例。 圖8包括當(dāng)屏幕810分別利用平行的左相機(jī)820和右相機(jī)825拍攝時(shí)發(fā)生遮擋的示例。該屏幕810包括被示為前景中的“X”的對(duì)象和背景中的數(shù)字1-9。左相機(jī)820在左圖像830中捕獲屏幕810，以及右相機(jī)825在右圖像835中捕獲屏幕810。圖像830和835中的圍繞“X”中的陰影區(qū)域示出其他相機(jī)不能看到的屏幕810的部分。例如，左圖像830示出可以由左相機(jī)820看到但是不能由右相機(jī)825看到的陰影區(qū)域，這是因?yàn)椤癤”將圖像的該部分與右相機(jī)825阻擋。由此，對(duì)于陰影部分不能夠準(zhǔn)確計(jì)算視差。繪圖850和860示出沿著水平線840的左圖像830的視差信息的兩個(gè)表示。視差值841對(duì)應(yīng)背景的視差(S卩，數(shù)字1-9)，無(wú)論在什么情況下，該背景沿著中心線840可見(jiàn)。在這個(gè)示例中，視差值841小于上面示例格式允許的最大正視差值。該視差值842對(duì)應(yīng)于沿著中心線840的“X”的視差，因?yàn)椤癤”在前景中，視差值842比視差值841負(fù)地更多(同樣，正地更少)。然而，由于左圖像830中的陰影“X”圖示的遮擋，對(duì)于其在右圖像835中不存在相關(guān)，該區(qū)域中的實(shí)際視差值不能夠被確定，以及由此在繪圖850中，示出未知值851，其表示可以以示例格式表示的從正極值到負(fù)極值的任何值的可能性，此外包括正溢出或者負(fù)溢出的可能性。然而，可以推導(dǎo)視差約束以提供陰影部分的視差的更多信息。給定右相機(jī)825的觀看角度，例如，已知圖像830中的任何給定遮擋點(diǎn)上的視差，雖然未知，將比遮擋區(qū)域中的左側(cè)和右側(cè)的已知視差之間的直線內(nèi)插更大(更后退到背景中)。這因?yàn)椋绻暡钚∮?即，更靠近)直線內(nèi)插，則該位置將朝向觀看者彈出并且將對(duì)于相機(jī)825可見(jiàn)。由此，在繪圖860中，示出視差值861上的約束，其代表從正極值(以及此外正溢出)到大于或者等于842的視差值的任何值的可能性。該視差值861必須大于或者等于線性增加值，該線性增加值等于遮擋區(qū)域的最左邊緣的841的視差值并且等于最右邊緣的842的視差值。此外，在某些情形下，類(lèi)似界限可以存在于視差的正末端(例如，在“X”是細(xì)小(skinny)的情形下，未示出)。也就是，遮擋區(qū)域中的未知視差值861不能夠具有過(guò)大的視差，否則，可能后退到遠(yuǎn)至進(jìn)入背景，使得在“X”的另一側(cè)對(duì)右相機(jī)可見(jiàn)。由此，當(dāng)準(zhǔn)確視差值未知時(shí)，仍然可以提供視差在某些值之間或者大于(或者小于)某些值的指示。當(dāng)放置字幕時(shí)可以使用這樣的視差信息。例如，如果字幕需要以3D被放置在屏幕810的中心，則給定繪圖850，必須將字幕放置到其他某一地方，以避免遮擋的區(qū)域，這是因?yàn)椤拔粗币暡钪?51可以穿透字幕并且造成差的呈現(xiàn)。然而，當(dāng)視差值未知，但是被約束，如861的那些，字幕可以被安全地放置在視差842 (或者，稍微少于，即更加向前)，而不擔(dān)心差的呈現(xiàn)。由此，未知的視差呈現(xiàn)851不需要干擾字幕放置(不將其放置于此)，而未知但是受約束的視差呈現(xiàn)861可以被有效地使用。注意，在繪圖850和860中，垂直軸意圖是視差范圍，例如，+80到-150像素，或在由視差圖格式指定的正和負(fù)視差界限之間，或者“ + ”和符號(hào)暗示的其他值。使用+80到-150像素的視差范圍和圖6-8作為示例，圖示了當(dāng)為視差圖格式固定范圍時(shí)，可能存在以下情況，其中視差不是精確已知的或者不是位于規(guī)定的范圍內(nèi)。在這些情況中，提供視差圖中的某些視差信息是有用的，即使不能夠指定準(zhǔn)確的視差值。在一個(gè)這樣的實(shí)現(xiàn)方式中，視差圖給定位置的視差樣本可能簡(jiǎn)單地指示實(shí)際視差值是“未知的”。如上面所討論的，例如，這樣的信息可以用于避免在那里插入字幕，這是因?yàn)樗鼈兛赡芨蓴_圖像中的一些東西。 然而，其他實(shí)現(xiàn)方式可能比簡(jiǎn)單指示“未知”視差提供更多的粒度(granularity)和更多的信息。因?yàn)橐暡畹膶?shí)際值或者視差上的約束在某些條件下是已知的，其他指示可以用于提供附加信息。例如使用當(dāng)指定特定視差值時(shí)將不被使用的預(yù)定值提供指示。處理器然后可以通過(guò)將預(yù)定值與它們各自對(duì)應(yīng)信息相關(guān)聯(lián)來(lái)確定與不指示實(shí)際視差值的樣本有關(guān)的信息。其他可能的指示包括，例如(i)正溢出(例如，大于正視差界限)；(ii)負(fù)溢出(例如，小于負(fù)視差界限)；(iii)小于或者大于另一位置的視差值(例如,像素位置)；-小于該位置向左的視差值；-小于該位置向右的視差值；-大于該位置向左的視差值；-大于該位置向右的視差值；( iv)小于或者大于計(jì)算的特定的視差值；-小于作為兩個(gè)其他已知視差值之間的內(nèi)插的視差值；-大于作為兩個(gè)其他已知視差值之間的內(nèi)插的視差值；(V)兩個(gè)視差值之間(一個(gè)或者多個(gè)視差值可以是例如用于特定位置，或者可以是計(jì)算或者另外已知或者確定的特定值)。其他指示，諸如例如上面所列的，可以用于多種應(yīng)用。這樣的應(yīng)用包括例如放置重疊信息、調(diào)整3D效果、合成新視圖以及生成警告。放置重疊信息如果實(shí)際已知“未知的”視差要處于背景中(“正溢出”)，則一般可接受的將字幕放置在圖像的該部分上。然而，如果“未知的”視差實(shí)際上是在前景中(“負(fù)溢出”)，則使字幕放置于圖像的該部分一般對(duì)于觀看者不舒服。這些其他指示，諸如，例如“正溢出”，允許設(shè)計(jì)者在確定字幕的適當(dāng)位置以及在圖像上重疊的或者另外向用戶(hù)示出的其他特征使用更多信息。這樣的其他特征可以包括菜單選擇、音量水平以及其他控制或者系統(tǒng)配置顯示、向用戶(hù)顯示信息的附加窗口或者區(qū)域，等等。調(diào)糖3D效果一些用戶(hù)可能優(yōu)選使3D效果增強(qiáng)或者減少，如圖5圖示。例如，如果用戶(hù)對(duì)于3D效果敏感，則用戶(hù)可能不希望使對(duì)象看上出朝向用戶(hù)跳出屏幕超過(guò)距離的25%或者50%。因此，顯示器或者機(jī)頂盒可以基于用戶(hù)偏好和視差值衰減3D效果。然而，“未知”視差值使得3D效果的減少不明確，而視差值的約束值也使得其更不明確。相反，“負(fù)溢出”的使用將指示更極端情形，其中對(duì)象在用戶(hù)處彈出，并且因此用戶(hù)將偏好于修改視差以使得減少3D效果O合成新視圖如圖8的示例圖示，靠近前景對(duì)象的位置的視差值經(jīng)常不能夠被確定，這是因?yàn)樽髨D像或者右圖像被前景對(duì)象遮擋。由于遮擋，視差估計(jì)過(guò)程不能在左圖像和右圖像二者中找到對(duì)應(yīng)位置。這使得更難于呈現(xiàn)(合成)新視圖。然而，對(duì)于這樣的位置，經(jīng)常存在關(guān)于 視差可用的大量信息，即使實(shí)際視差值可能是未知的。附加信息，諸如視差的約束，提供了視圖合成的更多視差提示。牛成警告極端視差值可能創(chuàng)建不舒服的3D效果。如果視差被簡(jiǎn)單標(biāo)記為“未知”，則后期制作操作者(諸如，例如，立體攝影師)不清楚視差是否將創(chuàng)建不舒服的3D效果。使用更多粒度指示可能以警告的形式向立體攝影師提供有用的信息，例如如果需要，允許立體攝影師調(diào)整3D效果。圖6提供以下示例，其中用戶(hù)正在觀看利用互相成角度的相機(jī)拍攝的特寫(xiě)鏡頭(close-up)的前景對(duì)象。用戶(hù)然后可以決定查看將導(dǎo)致用戶(hù)的眼睛發(fā)散的背景對(duì)象。這種發(fā)散對(duì)于用戶(hù)可能是不舒服的，并且如果立體攝影師接收到警告，則該立體攝影師可能決定修改視差。“正溢出”的指示可能提供給立體攝影師這樣的警告。此外，警告可能以“正溢出”的出現(xiàn)以及利用會(huì)聚相機(jī)捕獲立體圖像對(duì)的事實(shí)為前提。圖9圖示如何根據(jù)一個(gè)實(shí)施例生成視差圖的示例。在該方法中，考慮視差圖的每個(gè)位置的視差信息。如上面所討論，所考慮的視差信息不局限為準(zhǔn)確的視差值。根據(jù)本發(fā)明的原理，在視差圖中利用并且指示對(duì)視差值的約束。也就是，要考慮的視差信息包括視差的所有可用信息，例如，準(zhǔn)確的視差值、視差值的約束，如圖8所描述。此外，當(dāng)準(zhǔn)確的視差值是已知的但是其大到或小到超過(guò)規(guī)定的視差值范圍時(shí)，本發(fā)明的視差圖格式也捕獲這樣的信息并且因此在視差圖中提供指示。使用當(dāng)指定特定視差值時(shí)將不使用的預(yù)定值來(lái)提供該指示。也就是，當(dāng)準(zhǔn)確視差值是已知的并且在特定位置在規(guī)定的范圍中時(shí)，樣本值設(shè)置為視差值。否則，樣本值根據(jù)可用的視差信息被設(shè)置。當(dāng)設(shè)置所有位置的樣本值時(shí)生成視差圖。轉(zhuǎn)到圖9，用參考標(biāo)號(hào)900總體指示基于視差值或者其他視差信息生成視差圖的示例性方法。方法900包括將控制傳遞到功能塊907的開(kāi)始?jí)K905。塊907接收立體視頻。循環(huán)限制塊910使用位置的變量i=l，…，#開(kāi)始在視差圖的每個(gè)位置上循環(huán)。在功能塊915獲得第i位置的視差信息。視差信息可以被提供為輸入或者可以從立體視頻確定。塊920檢查視差值(D)是否是已知的。如果視差值是已知的，則塊930檢查視差值是否小于負(fù)極限!\。如果D小于T1，則在功能塊935中將變量S設(shè)置為Sn。，以指示“負(fù)溢出”。如果D不小于T1,則塊940比較D與正極限Th。如果D大于Th，則在功能塊945中將S設(shè)置為Sp。，以指示“正溢出”。如果D不大于Th (即，D位于范圍內(nèi))，則在功能塊950中將S設(shè)置為視
差值D。如果沒(méi)有指定準(zhǔn)確的視差值，則塊925檢查關(guān)于視差的其他信息是否可用。如果沒(méi)有其他信息可用，則在功能塊993中將S設(shè)置為Su以指示“未知”。如果不存在其他視差信息，塊955檢查相對(duì)于相鄰位置(左側(cè)和右側(cè))的視差信息是否可用。如果相鄰位置的信息是可用的，則塊960檢查D是否大于其左側(cè)的視差值(D1)或其右側(cè)的視差值( )。如果D大于D1 (Dr)，則在功能塊970中將S設(shè)置為Sgl (Sgr)，以指示視差值大于該位置左側(cè)(右側(cè))的視差值。如果D不大于D1 (Dr)，則在功能塊965中將S設(shè)置為S11(Sk)，以指示視差值不大于該位置左側(cè)(右側(cè))的視差值。如果相對(duì)于相鄰位置的信息是不可用的，則塊975檢查相對(duì)于所計(jì)算的值(D。)的視差信息是否是可用的。例如，所計(jì)算的值可以是兩個(gè)其他已知視差值之間的內(nèi)插。如果相對(duì)于所計(jì)算的值D。的信息是可用的，塊980檢查D是否大于D。。如果D大于D。，則在功能塊986中將S設(shè)置為Sg。，以指示視差值大于所計(jì)算的值。如果D不大于D。，則在功能塊983中將S設(shè)置為Sk，以指示小于所計(jì)算的值的視差值。如果相對(duì)于D。的信息是不可用的，則在功能塊989中將S設(shè)置為Sni以指示不被包括在上面塊中的信息。對(duì)于不同狀況獲得變量S之后，在功能塊996中將視差圖中第i位置將樣本值設(shè)置為S。塊997關(guān)閉循環(huán)。塊998輸出視差圖并且將控制傳遞到結(jié)束塊999?？商娲?，在各種實(shí)現(xiàn)方式中可以考慮比圖9更少或者更多的視差信息。例如，方法可能僅僅指示視差界限。在另一個(gè)示例中，方法可以進(jìn)一步考慮視差值是否小于或者大于指定位置上的指定值或者視差值。在又一實(shí)施例中，方法還可以考慮立體視頻是利用平行還是會(huì)聚相機(jī)捕獲。本領(lǐng)域的技術(shù)人員在給定本原理的教導(dǎo)的情況下將容易地設(shè)想到各種其他方式來(lái)指示視差信息。如之前討論的，典型視差范圍可以在+80和-150像素之間。也就是,T1 = -150像素以及Th = +80像素。為了指不除視差值之外的視差/[目息，使用+80和-150像素之外的值。例如，Sm=81，Spo=82, Su=83, Sgl=84, Sgr=85, Sn=86, Slr=87, Sgc = 88，Slc = 89 和 Sni = 90，如表I中總結(jié)的。該表示還可以將樣本值偏移150像素，以給出范圍0-230，導(dǎo)致T1 = O, Th=230，以及留下231-240用于指示。本領(lǐng)域技術(shù)人員可以設(shè)想例如通過(guò)偏移其他值或者縮
放進(jìn)行的其他表示。
Π\~ Th Sno Spo Su Sgl Sgr S11 Slr Sgc Slc Sni 值(像素)^ΤδΟ 8081 82 8384 85 86 87 88 899()-表I.視差界限和指示的值的示例當(dāng)視差界限不同時(shí)，其他值應(yīng)該用于T1和Th，以反映差異，以及用以指示其他視差信息的值還可以相應(yīng)地被設(shè)置。圖10圖示可以如何解析根據(jù)圖9生成的視差圖以確定視差值或者其他視差信息。在該方法中，解析視差圖的每個(gè)位置的樣本以輸出視差值或者其他視差信息。也就是，在當(dāng)前位置的樣本值在視差范圍內(nèi)時(shí)，采用樣本值作為視差值；否則，將樣本值與預(yù)定條件比較，以提供視差信息。轉(zhuǎn)到圖10，參考標(biāo)號(hào)1000總體地指示用于解析視差的示例性方法。方法1000包括將控制傳遞到功能塊1007的開(kāi)始?jí)K1005。塊1007接收立體視頻以及對(duì)應(yīng)的視差圖。循環(huán)限制塊1010使用位置的變量i = 1，. . .，#開(kāi)始在視差圖的每個(gè)位置上的循環(huán)。在功能塊1015讀入第i位置的樣本。塊1020檢查樣本值(S)是否在范圍T1和Th之間。如果S在該范圍內(nèi)，則在功能塊1025將視差值設(shè)置為S。如果S不位于該范圍內(nèi)，則塊1055檢查S是否等于Sp?；騍n。。如果S等于Sp?；蛘逽n。,則在功能塊1030將視差彳目息指不為“正溢出”或者“負(fù)溢出”。也就是，應(yīng)該對(duì)應(yīng)樣本的實(shí)際視差值大于正視差界限(“正溢出”)或者小于負(fù)視差界限(“負(fù)溢出”)。如果S不等于Sp?；蛘逽n。，塊1060檢查S是否等于S11或者Slrt5如果S等于S11或者Sy則在功能塊1035將視差值指示為小于該位置左側(cè)或右側(cè)的視差值。如果S不等于S11或者S1,，則塊1065檢查S是否等于Sgl或Sg,。如果S等于Sgl或Sy則在功能塊1040將視差值指示為大于該位置左側(cè)或右側(cè)的視差值。如果S不等于Sgl或Sg,，則塊1070檢查S是否等于Sge或者Slc0如果S等于Sge或者Sle,則在功能塊1045將 視差值指示為大于或者小于所計(jì)算的值。使用與在視差圖生成中使用的相同計(jì)算來(lái)計(jì)算所計(jì)算的值。如果S不等于Sg?；蛘逽1。，則塊1075檢查S是否等于Sni。如果S等于Sni，則將視差信息指示為具有未被包括在上面的塊中的信息。在塊1050中指示的這樣的信息的含義應(yīng)該與當(dāng)生成視差圖時(shí)(圖9，989)的含義相同。如果S不等于Sni，則視差值被指示為未知。在解析第i位置的樣本之后，對(duì)于第i位置確定視差值或者其他視差信息。塊1090關(guān)閉循環(huán)。塊1095基于確定的視差值或者其他視差信息處理立體視頻并且將控制傳遞到結(jié)束塊1099。注意，視差圖解析通常與視差圖生成相對(duì)(reciprocal)。例如，在生成和解析視差圖期間，應(yīng)該使用相同的視差界限并且其他視差信息的指示應(yīng)該具有相同的含義。當(dāng)操作，諸如偏移或者縮放用于生成視差圖時(shí)，應(yīng)該在解析期間使用額外的逆步驟。如上面討論的，存在各種可能的實(shí)現(xiàn)方式來(lái)生成視差圖，因此還存在各種對(duì)應(yīng)的實(shí)現(xiàn)方式來(lái)解析視差圖?，F(xiàn)在參考圖11，示出可以應(yīng)用上面描述的特征和原理的視頻傳送系統(tǒng)或者裝置1100。視頻傳送系統(tǒng)或者裝置1100可以是例如前端(head-end)或者傳送系統(tǒng),用于使用多種介質(zhì)的任何一個(gè)(諸如，例如衛(wèi)星、電纜、電話線或者地面廣播)傳送信號(hào)。視頻傳送系統(tǒng)或者裝置1100還可以或者可替代地用于例如提供用于存儲(chǔ)的信號(hào)。傳送還可以在因特網(wǎng)或者某些其他網(wǎng)絡(luò)上提供。視頻傳送系統(tǒng)或者裝置1100能夠生成并且例如傳遞視頻內(nèi)容或者其他內(nèi)容，諸如，例如深度指示符，包括例如深度和/或視差值。還應(yīng)該清楚，圖11的塊除了提供視頻傳送系統(tǒng)或者裝置的框圖之外，還提供視頻傳送處理的流程圖。視頻傳送系統(tǒng)或者裝置1100從處理器1101接收輸入的立體視頻和視差圖。在一個(gè)實(shí)現(xiàn)方式中，處理器1101處理視差信息以根據(jù)圖9描述的方法或者其他變型生成視差圖。處理器1101還可以向視頻傳送系統(tǒng)或者裝置1100提供元數(shù)據(jù)，指示例如輸入圖像的分辨率、視差界限以及考慮哪些類(lèi)型的視差信息。視頻傳送系統(tǒng)或者裝置1100包括編碼器1102和能夠傳送編碼信號(hào)的傳送器1104。編碼器1102從處理器1101接收視頻信息。視頻信息可以包括例如視頻圖像和/或視差(或者深度)圖像。編碼器1102基于視頻和/或視差信息生成(多個(gè))編碼信號(hào)。編碼器1102可以是例如AVC編碼器。AVC編碼器可以應(yīng)用于視頻和視差信息二者。AVC指代現(xiàn)有的國(guó)際標(biāo)準(zhǔn)化組織/國(guó)際電工委員會(huì)(ISO/IEC)運(yùn)動(dòng)圖像專(zhuān)家組-4 (MPEG-4)第10部分高級(jí)視頻編碼(AVC)標(biāo)準(zhǔn)/國(guó)際電信聯(lián)盟電信分部(ITU-T) H. 264推薦(在下文中為“H. 264/MPEG-4AVC標(biāo)準(zhǔn)”或者其變型，諸如“AVC標(biāo)準(zhǔn)”、“H. 264標(biāo)準(zhǔn)”或者簡(jiǎn)單地“AVC”或者“H. 264”)。當(dāng)立體視頻和視差圖二者被編碼時(shí)，它們可以使用相同或者不同的編碼配置下的相同的編碼器，或者它們可以使用不同的編碼器，例如立體視頻的AVC編碼器以及視差圖的無(wú)損耗數(shù)據(jù)壓縮器。編碼器1102可以包括子模塊，包括例如組裝單元，用于接收各種信息并且將其組裝為用于存儲(chǔ)或者傳送的結(jié)構(gòu)化格式。各種信息可以包括例如編碼或者未編碼的視頻、編碼或者未編碼的視差(或者深度)值，以及編碼或者未編碼的元素，諸如例如運(yùn)動(dòng)矢量、編碼模式指示符以及語(yǔ)法元素。在某些實(shí)現(xiàn)方式中，編碼器1102包括處理器1101以及因此執(zhí)行處理器1101的操作。傳送器1104從編碼器1102接收(多個(gè))編碼信號(hào)并且在一個(gè)或者多個(gè)輸出信號(hào)中傳送(多個(gè))編碼信號(hào)。傳送器1104例如可以適配為傳送具有一個(gè)或者多個(gè)代表編碼畫(huà)面·和/或其相關(guān)信息的比特流的節(jié)目信號(hào)。典型傳送器執(zhí)行以下的一個(gè)或者多個(gè)功能，諸如，例如提供糾錯(cuò)編碼、在信號(hào)中交織數(shù)據(jù)、隨機(jī)化信號(hào)中的能量以及使用調(diào)制器1106調(diào)制信號(hào)到一個(gè)或多個(gè)載波。傳送器1104可以包括天線(未示出)或者與天線接口。另外，傳送器1104的實(shí)現(xiàn)方式可以被限制為調(diào)制器1106。視頻傳送系統(tǒng)或者裝置1100還通信地耦接到存儲(chǔ)單元1108。在一個(gè)實(shí)現(xiàn)方式中，存儲(chǔ)單元1108耦接到編碼器1102，并且存儲(chǔ)來(lái)自編碼器1102的編碼比特流。在另一個(gè)實(shí)現(xiàn)方式中，存儲(chǔ)單元1108耦接到傳送器1104，并且存儲(chǔ)來(lái)自傳送器1104的比特流。來(lái)自傳送器1104的比特流可以包括，例如已經(jīng)被傳送器1104另外處理的一個(gè)或者多個(gè)編碼比特流。在不同的實(shí)現(xiàn)方式中，存儲(chǔ)單元1108是標(biāo)準(zhǔn)DVD、藍(lán)光盤(pán)、硬驅(qū)動(dòng)器或者一些其他存儲(chǔ)設(shè)備中的一個(gè)或者多個(gè)。現(xiàn)在參考圖12，示出可以應(yīng)用上面描述的特征和原理的視頻接收系統(tǒng)或者裝置1200。視頻接收系統(tǒng)或者裝置1200可以被配置為通過(guò)各種介質(zhì)(諸如，例如存儲(chǔ)設(shè)備、衛(wèi)星、電纜、電話線或者地面廣播)接收信號(hào)。信號(hào)可以通過(guò)因特網(wǎng)或者一些其他網(wǎng)絡(luò)接收。還應(yīng)該清楚的是，圖12的塊除了提供視頻接收系統(tǒng)或者裝置的框圖之外，還提供視頻接收處理的流程圖。視頻接收系統(tǒng)或者裝置1200可以例如是蜂窩電話、計(jì)算機(jī)、機(jī)頂盒、電視、或者接收編碼視頻并且提供例如解碼的視頻信號(hào)供顯示(例如，向用戶(hù)顯示)、供處理或者供存儲(chǔ)的其他設(shè)備。由此，視頻接收系統(tǒng)或者裝置1200可以提供其輸出到例如電視的屏幕、計(jì)算機(jī)監(jiān)視器、計(jì)算機(jī)(用于存儲(chǔ)、處理或者顯示)、或者一些其他存儲(chǔ)、處理或者顯示設(shè)備。視頻接收系統(tǒng)或者裝置1200能夠接收和處理視頻信息，并且視頻信息可以包括例如視頻圖像和/或視差(或者深度)圖像。視頻接收系統(tǒng)或者裝置1200包括接收器1202，用于接收編碼信號(hào)，諸如例如，本申請(qǐng)的實(shí)現(xiàn)方式中描述的信號(hào)。接收器1202可以接收例如提供一個(gè)或者多個(gè)立體視頻和/或視差圖像的信號(hào)，或者圖11的視頻傳送系統(tǒng)1100輸出的信號(hào)。接收器1202可以例如適配為接收具有多個(gè)表示編碼畫(huà)面的多個(gè)比特流的節(jié)目信號(hào)。典型接收器執(zhí)行以下一個(gè)或多個(gè)功能，諸如，例如接收調(diào)制和編碼的數(shù)據(jù)信號(hào)、使用解調(diào)器1204從一個(gè)或多個(gè)載波中解調(diào)數(shù)據(jù)信號(hào)、去隨機(jī)化信號(hào)中的能量、去交織信號(hào)中的數(shù)據(jù)以及糾錯(cuò)解碼信號(hào)。接收器1202可以包括天線(未示出)或者與天線接口。接收器1202的實(shí)現(xiàn)方式可以被限制為解調(diào)器1204。視頻接收系統(tǒng)或者裝置1200包括解碼器1206。接收器1202向解碼器1206提供所接收的信號(hào)。接收器1202向解碼器1206提供的信號(hào)可以包括一個(gè)或者多個(gè)編碼的比特流。解碼器1206輸出解碼信號(hào)，諸如例如，包括視頻信息的解碼視頻信號(hào)。解碼器1206可以是例如AVC解碼器。視頻接收系統(tǒng)或者裝置1200還通信地耦接到存儲(chǔ)單元1207。在一個(gè)實(shí)現(xiàn)方式中，存儲(chǔ)單元1207耦接到接收器1202，接收器1202存取來(lái)自存儲(chǔ)單元1207的比特流。在另一個(gè)實(shí)現(xiàn)方式中，存儲(chǔ)單元1207耦接到解碼器1206，解碼器1206存取來(lái)自存儲(chǔ)單元1207的比特流。在不同的實(shí)現(xiàn)方式中，從存儲(chǔ)單元1207存取的比特流包括一個(gè)或者多個(gè)編碼比特流。在不同實(shí)現(xiàn)方式中，存儲(chǔ)單元1207是標(biāo)準(zhǔn)DVD、藍(lán)光盤(pán)、硬驅(qū)動(dòng)器或者一些其他存儲(chǔ)設(shè) 備中的一個(gè)或者多個(gè)。在一種實(shí)現(xiàn)方式中，來(lái)自解碼器1206的輸出視頻被提供給處理器1208。在一種實(shí)現(xiàn)方式中，處理器1208是配置為執(zhí)行視差圖解析的處理器，諸如例如圖10中描述的。在一些實(shí)現(xiàn)方式中，解碼器1206包括處理器1208以及因此執(zhí)行處理器1208的操作。在其他實(shí)現(xiàn)方式中，處理器1208是下游設(shè)備的一部分，諸如例如，機(jī)頂盒或者電視。注意，當(dāng)實(shí)際視差值不能被指定時(shí)，至少一種實(shí)現(xiàn)方式指示關(guān)于視差的信息。例如，系統(tǒng)指示大于或者小于一個(gè)值(例如，視差正界限、負(fù)界限、相鄰位置或者指定位置的視差值，或者所計(jì)算的值)的視差。附加實(shí)現(xiàn)方式可以提供多個(gè)視差信息，因此提供后續(xù)處理的更多提示。例如可以以與計(jì)算運(yùn)動(dòng)矢量類(lèi)似的方式計(jì)算視差?？商娲?，視差可以從深度值計(jì)算，如已知和上面描述的。由此提供具有特定特征和方面的一個(gè)或多個(gè)實(shí)現(xiàn)方式。具體地，提供與視差圖有關(guān)的若干實(shí)現(xiàn)方式。視差圖可以允許多種應(yīng)用，諸如例如對(duì)消費(fèi)設(shè)備的相對(duì)復(fù)雜3D效果調(diào)整，以及后期制作的相對(duì)簡(jiǎn)單的字幕放置。然而，這些實(shí)現(xiàn)方式和附加應(yīng)用的變型被設(shè)想到了并且在本公開(kāi)內(nèi)，以及描述的實(shí)現(xiàn)方式的特征和方面可以適配為其他實(shí)現(xiàn)方式。在本申請(qǐng)中描述的若干實(shí)現(xiàn)方式和特征可以用在AVC標(biāo)準(zhǔn)、和/或具有MVC擴(kuò)展的AVC (附錄H)和/或具有SVC擴(kuò)展的AVC (附錄G)的上下文中。此外，這些實(shí)現(xiàn)方式和特征可以用在另一個(gè)標(biāo)準(zhǔn)(現(xiàn)有或者將來(lái))的上下文或者未涉及標(biāo)準(zhǔn)的上下文中。對(duì)本原理的“一個(gè)實(shí)施例”或“實(shí)施例”或者“一個(gè)實(shí)現(xiàn)方式”或“實(shí)現(xiàn)方式”及其其他變型的引用意味著在本原理的至少一個(gè)實(shí)施例中包括與該實(shí)施例相關(guān)聯(lián)地描述的特定的特征、結(jié)構(gòu)、特性等。因而，貫穿本說(shuō)明書(shū)的多處出現(xiàn)的短語(yǔ)“在一個(gè)實(shí)施例中”或“在實(shí)施例中”或者“在一個(gè)實(shí)現(xiàn)方式中”或“在實(shí)現(xiàn)方式中”以及任何其他變型的出現(xiàn)不一定都指代相同的實(shí)施例。此外，本申請(qǐng)或者其權(quán)利要求書(shū)可以指代“確定”各種信息。確定信息可以包括以下中的一項(xiàng)或者多項(xiàng)，例如估計(jì)信息、計(jì)算信息、預(yù)測(cè)信息或者從存儲(chǔ)器中獲取信息。將要理解，如下和/或”、和“至少一個(gè)”的任何一種的使用，例如，在“A/B”、“A和/或B”、和“A和B的至少一個(gè)”的情形下，意圖包含只選擇第一列出選項(xiàng)(A)，或只選擇第二列出選項(xiàng)(B)，或選擇兩個(gè)選項(xiàng)(A和B)。作為進(jìn)一步的例子，在“A、B和/或C”和“A、B和C的至少一個(gè)”和“A、B或C的至少一個(gè)”的情形下，這樣的措詞意圖包含只選擇第一列出選項(xiàng)(A)，或只選擇第二列出選項(xiàng)(B)，或只選擇第三列出選項(xiàng)(C)，或只選擇第一和第二列出選項(xiàng)(A和B)，或只選擇第一和第三列出選項(xiàng)(A和C)，或只選擇第二和第三列出選項(xiàng)(B和C)，或選擇所有三個(gè)選項(xiàng)(A和B和C)。本領(lǐng)域及相關(guān)領(lǐng)域的普通技術(shù)人員容易明白，這可以擴(kuò)展到許多列出項(xiàng)目。此外，很多實(shí)現(xiàn)方式可以被實(shí)現(xiàn)在一個(gè)或者多個(gè)編碼器(例如，編碼器1102)、解碼器(例如，解碼器1206)、處理來(lái)自解碼器的輸出的后處理器(例如，處理器1208)、或者向編碼器提供輸入的預(yù)處理器(例如，處理器1101)。另外，本公開(kāi)設(shè)想了其它實(shí)現(xiàn)方式。在此描述的實(shí)現(xiàn)方式可以實(shí)現(xiàn)為例如方法或處理、裝置、軟件程序、數(shù)據(jù)流或者信號(hào)。即使僅僅在單個(gè)形式的實(shí)現(xiàn)方式的上下文中討論(例如，僅僅討論方法)，討論的特征的實(shí)現(xiàn)方式也可以實(shí)現(xiàn)為其他形式(例如，裝置或程序)。裝置可以實(shí)現(xiàn)在例如適當(dāng)硬件、軟件和固件中。在例如一般指代包括例如計(jì)算機(jī)、微處理器、集成電路或可編程邏輯器件的處理 設(shè)備的諸如例如處理器之類(lèi)的裝置中可以實(shí)現(xiàn)該方法。處理器還包括通信設(shè)備(諸如例如計(jì)算機(jī)、蜂窩電話、便攜式/個(gè)人數(shù)字助理(“PDA”))以及方便終端用戶(hù)之間通信信息的其他設(shè)備。在此描述的各種處理和特征的實(shí)現(xiàn)方式可以體現(xiàn)在各種不同設(shè)備或者應(yīng)用中，具體地，例如，與數(shù)據(jù)編碼、數(shù)據(jù)解碼、視圖生成、深度或者視差處理，以及圖像和相關(guān)深度和/或視差圖的其他處理相關(guān)聯(lián)的設(shè)備或應(yīng)用。這樣的設(shè)備的示例包括編碼器、解碼器、用以處理來(lái)自解碼器的輸出的后處理、用以向編碼器提供輸入的預(yù)處理器、視頻編碼器、視頻解碼器、視頻編解碼器、網(wǎng)絡(luò)服務(wù)器、機(jī)頂盒、膝上型電腦、個(gè)人計(jì)算機(jī)、蜂窩電話、PDA以及其他通信設(shè)備。應(yīng)該清楚，設(shè)備可以是移動(dòng)的并且甚至安裝在移動(dòng)車(chē)輛中。另外，這些方法可以通過(guò)處理器執(zhí)行指令來(lái)實(shí)現(xiàn)，并且這樣的指令(和/或?qū)崿F(xiàn)方式產(chǎn)生的數(shù)據(jù)值)可以存儲(chǔ)在諸如例如集成電路、軟件載體或者其他存儲(chǔ)裝置之類(lèi)的處理器可讀介質(zhì)中，諸如例如硬盤(pán)、致密盤(pán)(“CD”)、光盤(pán)(諸如，例如DVD，通常指代數(shù)字通用盤(pán)或者數(shù)字視頻盤(pán))、隨機(jī)存取存儲(chǔ)器(“RAM”)或者只讀存儲(chǔ)器(“ROM”)。這些指令可以形成有形地體現(xiàn)在處理器可讀介質(zhì)上的應(yīng)用程序。指令可以例如在硬件、固件、軟件或組合中。指令可以在例如操作系統(tǒng)、單獨(dú)程序、或二者的組合中找到。因此，處理器可以被表征為例如配置為執(zhí)行處理的設(shè)備以及包括具有執(zhí)行處理的指令的處理器可讀介質(zhì)(諸如存儲(chǔ)設(shè)備)的設(shè)備這二者。另外，除了指令之外或者替代指令，處理器可讀介質(zhì)可以存儲(chǔ)實(shí)現(xiàn)方式產(chǎn)生的數(shù)據(jù)值。對(duì)于本領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)將顯而易見(jiàn)，實(shí)現(xiàn)方式可以產(chǎn)生格式化成攜帶可以例如被存儲(chǔ)和發(fā)送的信息的各種信號(hào)。該信息可以包括，例如，執(zhí)行一種方法的指令，或由描述的實(shí)現(xiàn)方式之一產(chǎn)生的數(shù)據(jù)。例如，信號(hào)可以被格式化成攜帶用于寫(xiě)或者讀描述的實(shí)施例的語(yǔ)法的規(guī)則作為數(shù)據(jù)或者攜帶描述的實(shí)施例所寫(xiě)的實(shí)際語(yǔ)法值作為數(shù)據(jù)。這樣的信號(hào)可以被格式化為例如電磁波(例如，使用頻譜的射頻部分)或基帶信號(hào)。格式化可以包括例如編碼數(shù)據(jù)流以及用編碼數(shù)據(jù)流調(diào)制載波。信號(hào)攜帶的信息可以是，例如，模擬信息或數(shù)字信息。如已知的，信號(hào)可以通過(guò)多種不同有線或無(wú)線鏈路傳送。信號(hào)可以存儲(chǔ)在處理器可讀介質(zhì)上。已經(jīng)描述了許多實(shí)現(xiàn)方式。不過(guò)，將明白，可以做出各種修改。例如，可以組合、補(bǔ)充、修改或移除不同實(shí)現(xiàn)方式的要素以產(chǎn)生其他實(shí)現(xiàn)方式。另外，本領(lǐng)域的普通技術(shù)人員應(yīng)該明白，可以用其他結(jié)構(gòu)和處理替代所公開(kāi)的那些，并且所獲得的實(shí)現(xiàn)方式將以至少基本相同的(多個(gè))方式執(zhí)行至少基本相同的(多個(gè))功能，以實(shí)現(xiàn)與所公開(kāi)實(shí)現(xiàn)方式至少基本相 同的(多個(gè))結(jié)果。因此，可以通過(guò)本申請(qǐng)來(lái)設(shè)想這些和其他實(shí)現(xiàn)方式。
權(quán)利要求
1.一種方法，包括 接收立體視頻以及與所述立體視頻對(duì)應(yīng)的視差圖，所述視差圖包括不指示實(shí)際視差值的樣本(1007);以及 根據(jù)所述樣本確定視差信息(1030,1035，1040，1045，1050，1080)；以及 基于視差信息處理立體視頻(1095)。
2.如權(quán)利要求I所述的方法，其中，視差圖是密集視差圖，以及其中確定的視差信息與樣本所關(guān)聯(lián)的像素相關(guān)。
3.如權(quán)利要求I所述的方法，其中，視差信息與所述樣本所關(guān)聯(lián)的像素組相關(guān)。
4.如權(quán)利要求I所述的方法，其中，從一個(gè)或者多個(gè)替代值中選擇樣本以提供所述視差/[目息。
5.如權(quán)利要求4所述的方法，其中，所述樣本指示應(yīng)該與所述樣本對(duì)應(yīng)的實(shí)際視差值是小于還是大于某個(gè)值。
6.如權(quán)利要求5所述的方法，其中，該某個(gè)值是預(yù)定值或者計(jì)算值。
7.如權(quán)利要求6所述的方法，其中，基于其他位置上的一個(gè)或者多個(gè)視差值來(lái)計(jì)算所述計(jì)算值。
8.如權(quán)利要求7所述的方法，其中，基于其他位置上的兩個(gè)視差值的內(nèi)插來(lái)計(jì)算所述計(jì)算值。
9.如權(quán)利要求I所述的方法，其中，確定步驟包括將樣本與多個(gè)預(yù)定視差條件中的相應(yīng)的一個(gè)相關(guān)以提供視差信息。
10.如權(quán)利要求I所述的方法,其中，處理包括以下中的一項(xiàng)放置重疊信息、調(diào)整3D效果、生成警告以及合成新視圖。
11.如權(quán)利要求I所述的方法，還包括從用戶(hù)接口接收用戶(hù)對(duì)于3D效果強(qiáng)度的偏好，以及其中，處理包括響應(yīng)于用戶(hù)的偏好處理立體視頻。
12.—種方法,包括 接收立體視頻以及與所述立體視頻對(duì)應(yīng)的密集視差圖(1007)，所述密集視差圖包括不指示實(shí)際視差值的樣本； 根據(jù)所述樣本確定視差信息，該視差信息指示應(yīng)該與所述樣本對(duì)應(yīng)的實(shí)際視差值是小于還是大于某個(gè)值(1030，1035，1040，1045)；以及 基于視差信息處理立體視頻以執(zhí)行以下中的至少一項(xiàng)放置重疊信息、調(diào)整3D效果、生成警告，以及合成新視圖(1095)。
13.—種方法,包括 接收立體視頻(907)； 處理與立體視頻對(duì)應(yīng)的視差信息(935，945，950，993，965，970，983，986，989)；以及 生成立體視頻的視差圖，所述視差圖包括不指示實(shí)際視差值的樣本(996，998 )。
14.如權(quán)利要求13所述的方法，其中，所述視差圖是密集視差圖。
15.如權(quán)利要求13所述的方法，其中，從一個(gè)或者多個(gè)替代值中選擇樣本以提供視差信息。
16.如權(quán)利要求15所述的方法，其中，樣本指示小于或者大于某個(gè)值的實(shí)際視差值。
17.一種裝置，包括輸入端，接收立體視頻以及與立體視頻對(duì)應(yīng)的視差圖，所述視差圖包括不指示實(shí)際視差值的樣本；以及 處理器，根據(jù)樣本確定視差信息并且基于視差信息處理立體視頻。
18.一種裝置，包括 輸入端，接收立體視頻以及與所述立體視頻對(duì)應(yīng)的密集視差圖，所述密集視差圖包括不指示實(shí)際視差值的樣本； 處理器，根據(jù)所述樣本確定視差信息并且基于視差信息處理立體視頻以執(zhí)行以下中的至少一項(xiàng)放置重疊信息、調(diào)整3D效果、生成警告以及合成新視圖，該信息指示應(yīng)該與所述樣本對(duì)應(yīng)的實(shí)際視差值是小于還是大于某個(gè)值。
19.一種裝置,包括 用于接收立體視頻以及與立體視頻對(duì)應(yīng)的視差圖的部件，所述視差圖包括不指示實(shí)際視差值的樣本；以及 用于根據(jù)樣本確定視差信息并且基于視差信息處理立體視頻的部件。
20.一種在其上存儲(chǔ)有指令的處理器可讀介質(zhì)，所述指令使得一個(gè)或者多個(gè)處理器共同地執(zhí)行 接收立體視頻以及與立體視頻對(duì)應(yīng)的視差圖，所述視差圖包括不指示實(shí)際視差值的樣本；以及 根據(jù)樣本確定視差信息并且基于視差信息處理立體視頻。
21.一種裝置，包括 輸入端，接收立體視頻； 處理器，處理與立體視頻對(duì)應(yīng)的視差信息；以及 輸出端，生成立體視頻的視差圖，所述視差圖包括不指示實(shí)際視差值的樣本。
全文摘要
一種特定實(shí)現(xiàn)方式接收立體視頻和與立體視頻對(duì)應(yīng)的視差圖，該視差圖包括不指示實(shí)際視差值的樣本。該特定實(shí)現(xiàn)方式確定與該樣本對(duì)應(yīng)的視差信息，并且基于視差信息處理立體視頻。另一種實(shí)現(xiàn)方式接收立體視頻以及處理與立體視頻對(duì)應(yīng)的視差信息。又一實(shí)現(xiàn)方式生成視差圖，該視差圖包括不指示實(shí)際視差值的樣本。
文檔編號(hào)H04N13/00GK102823260SQ201180016884
公開(kāi)日2012年12月12日 申請(qǐng)日期2011年3月31日 優(yōu)先權(quán)日2010年4月1日
發(fā)明者W.G.雷德曼 申請(qǐng)人:湯姆森特許公司