立體圖像數據發送設備、立體圖像數據發送方法和立體圖像數據接收設備的制作方法

專利名稱：立體圖像數據發送設備、立體圖像數據發送方法和立體圖像數據接收設備的制作方法
技術領域：
本發明涉及立體圖像數據發送設備、立體圖像數據發送方法和立體圖像數據接收設備，并且具體涉及能夠在接收側執行諸如OSD等的圖形信息的良好顯示的立體圖像數據發送設備等。
背景技術：
例如，在PTLl中提出了使用電視電波的立體圖像數據的發送方法。利用該發送方法，發送具有用于左眼的圖像數據和用于右眼的圖像數據的立體圖像數據，并且在電視接收機執行使用雙眼視差的立體圖像顯示。圖35圖示屏幕上對象(object)的左和右圖像的顯示位置以及使用雙眼視差執行立體圖像顯示時其立體圖像的再現位置之間的關系。例如，對于對象A，如圖所示其顯示有在屏幕上左圖像La向右側偏移并 且右圖像Ra向左側偏移，左和右視線在屏幕表面前方交叉，所以其立體圖像的再現位置在屏幕表面的近側。DPa代表關于對象A在水平方向的視差矢量(視差信息)。此外，例如，如屏幕上所示，對于其中左圖像Lb和右圖像Rb顯示在同一位置的對象B，左和右視線在屏幕表面上交叉，所以其立體圖像的再現位置在屏幕表面上，即監視器位置。此外，例如，對于對象C，如圖所示其顯示有在屏幕上左圖像Lc向左側偏移并且右圖像Re向右側偏移，所以其立體圖像的再現位置在屏幕表面的后面。DPc代表關于對象C在水平方向的視差矢量。引用列表專利文獻PTLl :日本未審專利申請公開No. 2005-611
發明內容
技術問題如上所述，在立體圖像顯示的情況下，觀看者將通常利用雙眼視差感覺立體圖像的透視。期望重疊在圖像上的重疊信息(諸如像例如OSD (屏幕上顯示)等的圖形信息)將不但在二維空間渲染，而且利用三維深度感結合立體圖像顯示渲染。例如，如果執行諸如OSD等的圖形信息在圖像上的重疊顯示(疊加顯示)，則觀看者可能感覺透視上的不一致，除非使得顯示在透視方面比圖像內的最近對象(ob ject)的平面(下文中稱為“立體圖像平面”)更接近觀看者。也就是說，在執行諸如OSD等的圖形信息在圖像上的重疊顯示的情況下，期望將根據圖像內的對象的透視進行視差調整，以便保持透視上的一致性。本發明的目的在于當在立體圖像顯示中顯示諸如像例如OSD等的圖形信息的重疊信息時，對于圖像中的對象保持透視上的一致性。
問題的解決方案本發明的一個概念是一種立體圖像數據發送設備，包括圖像數據輸出單元，配置為輸出構成立體圖像的左眼圖像數據和右眼圖像數據；深度信息輸出單元，配置為輸出對應于所述立體圖像的深度信息；以及發送單元，配置為發送所述圖像數據和所述深度信息；其中，所述深度信息包括圖像顯示平面的分割信息以及分割區域的深度信息；并且其中，所述發送單元發送具有包括所述圖像數據的數據流的復用數據流，并且將包括所述深度信息的描述符插入所述復用數據流。在本發明的情況下，圖像數據輸出單元輸出構成立體圖像的左眼圖像數據和右眼圖像數據。此外，深度信息輸出單元輸出對應于所述立體圖像的深度信息。發送單元然后發送所述圖像數據和所述深度信息。所述深度信息包括圖像顯示平面的分割信息以及分割區域的深度信息。例如，深度信息可以是指示立體圖像平面(在透視方面圖像中最接近對象的平面)是否在距監視器位置的近側的圖像平面信息。該圖像平面信息還可以例如是構成左眼圖像和右眼圖像的視差信息(視差矢量)的代碼信息。如果視差信息的代碼是負的，那么可以理解的是立體圖像平面在距監視器位置的近側。此外，例如，深度信息可以是指示立體圖像平面是否在距監視器位置的近側的圖像平面信息，或者是左眼圖像和右眼圖像的視差信息，并且指示所述視差信息存在的標記Ih息可以插入所述深度彳目息。例如，深度/[目息可以是構成所述視差彳目息的代碼彳目息，或者是構成所述代碼息和所述視差息 的絕對值息。在此情況下，視差息的代碼息構成圖像平面信息。通過除了圖像平面信息外包括視差信息作為深度信息，不但可以在接收側理解立體圖像平面的位置是否是在距監視器位置的近側，而且還可以更詳細理解其位置。此外，由于插入標記信息，可以選擇性地僅僅發送圖像平面信息或者圖像平面信息和視差信息兩者。例如，分割信息可以由指示分割類型的信息和指示分割數目的信息構成。由于分割信息以此方式由兩個信息構成，所以可以用較少數目的信息指定更大數目的分割圖案。例如，分割類型包括其中使用對角線分割所述圖像顯示平面的分割類型。此外，例如，所述分割類型包括其中使用水平方向線和/或垂直方向線分割所述圖像顯示平面的分割類型。發送單元發送具有包括所述圖像數據的數據流的復用數據流。將包括所述深度信息的描述符插入所述復用數據流。例如，所述復用數據流包括用作節目專用信息的節目圖表，其指示包括在所述復用數據流中的每個基本流所屬于的節目，并且所述描述符插入所述節目圖表下面。在此情況下，在節目期間順序發送描述符，使得能夠在節目期間動態改變深度信息。此外，例如，所述復用數據流包括用作服務信息的事件信息表，用于以事件為增量執行管理，并且所述描述符插入所述事件信息表下面。在此情況下，在節目的開始發送描述符，并且深度信息在節目期間固定。因此，在本發明的情況下，連同構成立體圖像的左眼圖像數據和右眼圖像數據，發送對應于該立體圖像的深度信息。因此，通過在接收側使用深度信息，可以使用諸如例如像OSD的圖形信息的要重疊在左眼圖像和右眼圖像上的重疊信息，作為已經根據與圖像中的各對象的透視經歷視差調整的重疊信息。因此，例如在顯示像OSD的圖形信息時，可以保持與圖像中各對象的透視一致性。此外，在本發明的情況下，深度信息包括圖像顯示平面的分割信息以及每個顯示區域的深度信息，所述深度信息包括在插入復用數據流的描述符中并且發送，所述復用數據流具有包括立體圖像數據的數據流。也就是說，可以容易地執行深度信息到接收側的發送。注意到，在本發明的情況下，可以進行這樣的安排，其中例如所述發送單元對應于所述圖像數據的每個預定時段的開始時間點，將所述描述符插入所述復用數據流，并且其中，對應于每個預定時段的開始時間點插入所述復用數據流的描述符包括比所述時段更晚時段的深度信息。因此，在接收側，通過使用包括在該時段和該時段之前和之后時段的深度信息中的視差信息的內插處理，可以獲得在時間方向(幀方向)具有平滑改變(即，具有平滑更新曲線)的視差信息，作為在為每個時段提供左眼重疊信息和右眼重疊信息之間的視差時使用的視差信息。此外，本發明的另一概念是一種立體圖像數據接收設備，包括

接收單元，配置為接收具有包括構成立體圖像的左眼圖像數據和右眼圖像數據的數據流的復用數據流，所述復用數據流中插入包括對應于所述立體圖像的深度信息的描述符，所述深度信息由圖像顯示平面的分割信息以及分割區域的深度信息構成；重疊信息數據輸出單元，配置為輸出從所述復用數據流獲得的對應于所述左眼圖像數據的左眼重疊信息的數據，以及從所述復用數據流獲得的對應于所述右眼圖像數據的右眼重疊信息的數據；以及數據重疊單元，配置為將所述左眼重疊信息的數據和所述右眼重疊信息的數據重疊在從所述復用數據流獲得的所述左眼圖像數據和所述右眼圖像數據上；其中，所述重疊信息數據輸出單元基于從所述復用數據流獲得的所述深度信息，提供所述左眼重疊信息的數據和所述右眼重疊信息的數據之間的視差。在本發明的情況下，接收單元接收具有包括左眼圖像數據和右眼圖像數據的數據流的復用數據流。在該復用數據流中插入描述符，所述描述符包括圖像顯示平面的分割信息以及分割區域的深度信息。例如，該描述符插入節目圖表或事件信息表下面。重疊信息數據輸出單元輸出對應于所述左眼圖像數據的左眼重疊信息的數據，以及對應于所述右眼圖像數據的右眼重疊信息的數據。此外，數據重疊單元將所述左眼重疊信息的數據和所述右眼重疊信息的數據重疊在從所述復用數據流獲得的所述左眼圖像數據和所述右眼圖像數據上。因此，諸如OSD等的圖形信息可以在立體圖像上重疊顯示。所述重疊信息數據輸出單元基于從所述復用數據流獲得的所述深度信息，提供所述左眼重疊信息的數據和所述右眼重疊信息的數據之間的視差。因此，在本發明的情況下，例如在顯示像OSD的圖形信息時，可以保持與圖像中各對象的透視一致性。注意到，在本發明的情況下，例如，可以進行這樣的安排，其中在基于在所述深度信息中的視差信息提供所述左眼重疊信息和所述右眼重疊信息之間的視差時，如果存在通過在所述接收單元接收的新的描述符更新視差信息，那么所述重疊信息數據輸出單元對于多個幀使用通過內插處理獲得的視差信息，以便在所述多個幀上達到新的視差信息。因此，可以使得用于提供視差的視差信息的改變平滑，并且可以抑制提供到左眼和右眼圖形信息的視差突然改變，給觀看者不自然感覺的情況。此外，在本發明的情況下，例如，可以進行這樣的安排，其中已經對應于所述圖像數據的每個預定時段的開始時間點，將所述描述符插入所述復用數據流，并且其中對應于每個時段的開始時間點插入所述復用數據流的描述符包括比所述時段更晚時段的深度信息，并且其中在每個時段中提供所述左眼重疊信息和所述右眼重疊信息之間的視差時，所述重疊信息數據輸出單元使用通過內插處理獲得的視差信息，所述內插處理使用包括在所述時段和所述時段之前和之后時段的所述深度信息中的視差信息。因此，可以使得用于提供視差的視差信息的改變在時間方向(幀方向)平滑(即，具有用于提供視差的視差信息的平滑更新曲線)，并且可以抑制提供到左眼和右眼圖形信息的視差突然改變，給觀看者不自然感覺的情況。本發明的另一概念是是一種立體圖像數據接收設備，包括接收單元，配置為接收具有包括構成立體圖像的左眼圖像數據和右眼圖像數據的數據流的復用數據流，所述復用數據流中插入包括對應于所述立體圖像的深度信息的描述符，所述深度信息由圖像顯示平面的分割信息以及分割區域的深度信息構成；以及發送單元，配置為經由發送路徑，發送從所述復用數據流獲得的所述左眼圖像數據和所述右眼圖像數據以及所述深度信息到外部設備。在本發明的情況下，接收單元接收具有包括構成立體圖像的左眼圖像數據和右眼圖像數據的數據流的復用數據流。所述復用數據流中插入包括對應于所述立體圖像的深度信息的描述符，所述深度信息由圖像顯示平面的分割信息以及分割區域的深度信息構成。例如，該描述符插入節目圖表或事件信息表下面。發送單元經由發送路徑，發送從所述復用數據流獲得的所述左眼圖像數據和所述右眼圖像數據以及所述深度信息到 外部設備。例如，所述發送單元通過差分信號，經由多個信道中的所述發送路徑，發送所述圖像數據到所述外部設備，并且其中所述深度信息插入所述圖像數據的消隱時段中，從而發送所述深度信息到所述外部設備。因此，在本發明的情況下，連同構成立體圖像的左眼數據和右眼數據，經由發送路徑發送對應于該立體圖像的深度信息到外部設備。因此，在外部設備(諸如例如像電視接收機的圖像顯示設備)，通過使用深度信息，要重疊在左眼圖像和右眼圖像上的重疊信息(諸如例如像OSD的圖形信息)，可以用作根據與圖像中各對象的透視已經經歷視差調整的重疊信息。因此，例如在顯示像OSD的圖形信息時，可以保持與圖像中各對象的透視一致性。本發明的有益效果根據本發明，當在立體圖像顯示時顯示重疊信息(諸如例如像OSD的圖形信息)時，可以容易地實現保持與圖像中每個對象的透視一致性。


圖1是圖示作為本發明實施例的立體圖像顯示系統的配置示例的框圖。圖2是圖示廣播站處的發送數據生成單元的配置示例的框圖。圖3是圖示1920X1080p像素格式的圖像數據的圖。圖4是用于描述作為立體圖像數據(3D圖像數據)的發送格式的“上下”格式、“并排”格式和“幀順序”格式的圖。圖5是用于描述檢測右眼圖像對于左眼圖像的視差矢量的示例的圖。圖6是用于描述通過塊匹配格式獲得視差矢量的圖。圖7是圖示在利用分割類型I的四路(four-way)分割情況下的位置圖示例的圖，在分割類型I中使用對角線分割圖像顯示平面。圖8是圖示OSD圖形信息已經偏移到圖像的邊緣部分的重疊顯示的情況的圖。圖9是圖示在利用分割類型I的八路分割情況下的位置圖示例的圖，在分割類型I中使用對角線分割圖像顯示平面。圖10是圖示在利用分割類型2的四路分割情況下的位置圖示例的圖，在分割類型2在水平方向和垂直方向上均等分割圖像顯示平面。圖11是圖示OSD圖形信息已經偏移到圖像的角部部分的重疊顯示的情況的圖。圖12是圖示在利用分割類型2的九路分割情況下的位置圖示例的圖，在分割類型2中在水平方向和垂直方向上均等分割圖像顯示平面。圖13是圖示在利用分割類型3的五路分割情況下的位置圖示例的圖，在分割類型3中使用對角線和矩形的邊分割圖像顯示平面。圖14是圖示在分割圖案中的每個分割區域中獲得視差信息的表現的方式的圖，在該分割圖案中使用對角線四路分割圖像顯示平面。
`
圖15是描述在已經偏移到圖像的邊緣部分的OSD圖形信息的重疊顯示的情況下，可以使用對應于重疊顯示位置的分割區域的視差信息(表現)提供視差到左眼和右眼OSD圖形信息的圖。圖16是圖示復用數據流的配置示例的圖，在該復用數據流中描述符(z表面描述符)位于PMT內的節目描述符(Program Descriptor)中，也就是說PMT下面(情況I)。圖17是圖示復用數據流的配置示例的圖，在該復用數據流中描述符(z表面描述符)位于視頻基本環(視頻Es環)的描述符(descriptor)中，也就是說PMT下面(情況2)。圖18是圖示復用數據流的配置示例的圖，在該復用數據流中描述符(z表面描述符)位于EIT下面(情況3)。圖19圖示將描述符(z表面描述符)插入PMT下面并且在節目時段期間順序發送描述符，使得深度信息動態改變的情況的圖。圖20是用于描述場景檢測和描述符發送的概述的流程圖。圖21是圖不在每個時段的開始時間點發送的描述符(z表面描述符)中包括后一時段的深度信息的情況下，描述符的發送定時以及包括在描述符中的深度信息之間的關系的圖。圖22是圖示在節目時段期間固定深度信息的、插入EIT下面的描述符(z表面描述符)的情況的圖。圖23是圖示描述符(z表面描述符)的配置示例(語法)的圖。圖24是圖示描述符(z表面描述符)的配置示例中主要信息(語法)的內容的圖。圖25是圖示描述符(z表面描述符)的另一配置示例(語法)的圖。圖26是圖示機頂盒的配置示例的圖。圖27是用于描述OSD顯示數據生成單元處的視差信息的內插處理的圖。
圖28是用于描述在對應于每個時段的開始時間點發送的描述符(z表面描述符)中包括后一時段的深度信息的情況下的內插處理的示例的圖。圖29是圖示電視接收機的配置示例的框圖。圖30是圖示HDMI發送單元(HDMI源)和HDMI接收單元(HDMI宿)的配置示例的框圖。圖31是圖示TMDS發送數據(水平X垂直為1920像素X 1080線的情況發送的圖像數據的情況)的配置示例的圖。圖32是圖示源設備和宿設備的HDMI線纜連接到的HDMI端子的管腳陣列(類型A)的圖。圖33是圖示在使用用于深度信息組的發送的HDMI廠商專用信息幀(HDMI VendorSpecific InfoFrame)的情況下的HDMI廠商專用信息巾貞的分組配置示例的圖。圖34是圖示立體圖像顯示系統的另一配置示例的框圖。圖35是用于描述在使用雙眼視差的圖像顯示時，屏幕上對象的左和右圖像的顯示位置以及其立體圖像的再現位置之間的關系的圖。
具體實施例方式現在將描述用于實施本發明的模式(下文中，稱為“實施例”)。注意到，將按以下順序進行描述。1.實施例2.修改 〈1.實施例 >[立體圖像顯示系統的配置示例]圖1圖示作為實施例的立體圖像顯示系統10的配置示例。該立體圖像顯示系統10包括廣播站100、機頂盒(STB) 200和電視接收機(TV) 300。機頂盒200和電視接收機300經由HDMI (高清晰度多媒體接口)線纜400連接。在機頂盒200的情況下，提供HDMI端子202。在電視接收機300的情況下，提供HDMI端子
302。HDMI線纜400的一端連接到機頂盒200的HDMI端子202，并且該HDMI線纜400的另一端連接到電視接收機300的HDMI端子302。[廣播站的描述]廣播站100通過在廣播波上攜帶位流數據BSD，發送該位流數據BSD。廣播站100具有生成位流數據BSD的發送數據生成單元110。該位流數據BSD包括圖像數據、音頻數據、深度信息等。在此，圖像數據(下文中適當地稱為“立體圖像數據”)包括構成立體圖像的左眼圖像數據和右眼圖像數據。音頻數據是對應于該立體圖像數據的音頻數據。深度信息對應于該立體圖像，并且包括圖像顯示平面的分割信息以及用于每個分割區域的深度信肩、O[發送數據生成單元的配置示例]圖2圖示在廣播站100中生成發送數據的發送數據生成單元110的配置示例。該發送數據生成單元Iio具有相機IllL和111R、視頻構造單元112、視差圖生成單元113、麥克風114、數據提取單元115和切換開關116到118、發送數據生成單元110還具有視頻編碼器119、音頻編碼器120、深度信息集創建單元122和多工器126。相機IllL拍攝左眼圖像并且獲得用于立體圖像顯示的左眼圖像。相機IllR拍攝右眼圖像并且獲得用于立體圖像顯示的右眼圖像。視頻構造單元112將用相機IllL獲得的左眼圖像數據和用相機IllR獲得的右眼圖像數據處理為對應于發送格式的立體圖像數據(3D圖像數據)。該視頻構造單元112配置圖像數據輸出單元。將描述立體圖像數據的發送格式的示例。盡管給出以下第一到第三格式作為發送格式，但是可以使用不同于這些的發送格式。在此，如圖3所示，將對于左眼(L)和右眼(R)的每條圖像數據是具有確定分辨率(例如，1920X1080的像素格式)的圖像數據的情況進行描述作為示例。第一種發送格式是上下(Top & Bottom)格式，并且如圖4 (a)所示是用于在垂直方向的前半發送左眼圖像數據的每條線的數據，并且在垂直方向的后半發送左眼圖像數據的每條線的數據。在此情況下，左眼圖像數據和右眼圖像數據的線稀疏到1/2，所以垂直分辨率減小為對于原始信號的一半。第二種發送格式是并排(Side By Side)格式，并且如圖4 (b)所示是用于在水平方向的前半發送左眼圖像數據的像素數據，并且在水平方向的后半發送右眼圖像數據的像素數據。在此情況下，左眼圖像數據和右眼圖像數據每個具有其像素數據在水平方向稀疏為1/2，所以水平分辨率減小為對于原始信號的一半。第三種發送格式是巾貞順序(FrameSequntial)格式,并且如圖4 (C)所示是用于通過對于每幀順序切換左眼圖像數據和右眼圖像數據，發送左眼圖像數據和右眼圖像數據的格式。該巾貞順序格式有時也稱 為全巾貞(Full Frame)格式或后向兼容(BackwardCompatible)格式。返回圖2，視差圖生成單元113例如基于左眼圖像數據和右眼圖像數據，檢測用于構成圖像的每個像素的視差信息(視差矢量)，并且創建視差圖。視差信息由代碼信息和絕對值信息配置。例如，感覺為比監視器位置更近的像素(Pixel)的視差信息的代碼是負的，并且感覺為比監視器位置更遠的像素(pixel)的視差信息的代碼是正的。此外，感覺像素越遠離監視器位置，視差信息的絕對值越大。將描述視差矢量的檢測示例。在此，將描述檢測右眼圖像相對于左眼圖像的視差矢量的示例。如圖5所示，將取左眼圖像為檢測圖像，并且取右眼圖像為參考圖像。在此示例的情況下，將檢測(xi，yi)和(xj，yj)的位置的視差矢量。作為示例，將對于其中檢測(xi，yi)的位置的視差矢量的情況進行描述。在此情況下，例如在(xi，yi)的像素位置作為左上情況下4X4、8X8或16X16的像素塊(視差檢測塊)Bi設置到左眼圖像。隨后，在右眼圖像的情況下，搜索與像素塊Bi匹配的像素塊。在此情況下，以(xi，yi)的位置作為中心的搜索范圍設置到右眼圖像，并且如在上面像素塊Bi的情況下，在搜索范圍內的每個像素順序取為感興趣的像素的情況下，順序設置例如4X4、8X8或16X16的比較塊。獲得像素塊Bi和順序設置的比較塊之間的每個相應像素的差別的絕對值的和。在此，如圖6所示，如果說像素塊Bi的像素值是L (x, y)，并且比較塊的像素值是R(x, y)，那么比較塊Bi和特定比較塊之間差的絕對值的和用Σ |L(x，y)-R(x，y) I代表。當η個像素包括在設置到右眼圖像的搜索范圍時，最后，獲得η個和SI到Sn，選擇其最小和Smin。隨后，從已經從其獲得和Smin的比較塊獲得左上像素的位置(xi’，yi’)。因此，檢測(xi，yi)的位置的視差矢量為(xi’-xi，yi’-yi)。盡管省略詳細描述，但是同樣對于位置(xj，yj)的視差矢量，例如在(xj，yj)的像素位置作為左上的情況下4X4、8X8或16X16的像素塊Bj設置到左眼圖像，并且在相同的處理中進行檢測。麥克風114對于用相機IllL和IllR拍攝的圖像檢測音頻，并且獲得音頻數據。在可拆卸地安裝數據記錄介質115a的狀態下使用數據提取單元115。該數據記錄介質115a是盤形記錄介質、半導體存儲器等。數據記錄介質115a連同包括左眼圖像數據和右眼圖像數據的立體圖像數據，以相關聯方式在其中記錄音頻數據和視差圖。數據提取單元115從數據記錄介質115a提取立體圖像數據、音頻數據和視差圖，并且輸出。數據提取單元115配置圖像數據輸出單元。現在，在數據記錄介質115a中記錄的立體圖像數據等價于在視頻構造單元112獲得的立體圖像數據。此外，數據記錄介質115a中的音頻數據等價于在麥克風114獲得的音頻數據。此外，數據記錄介質115a中記錄的視差圖等價于在視差圖生成單元113生成的視
差矢量。切換開關116選擇性地提取在視頻構造單元112獲得的立體圖像數據或從數據提取單元115輸出的立體圖像數據。在此情況下，切換開關116在實況模式中連接到a側，并且提取在視頻構造單元112獲得的立體圖像數據，而在回放模式中連接到b側，并且提取從數據提取單元115輸出的立體圖像數據。切換開關117選擇性地提取在視差圖生成單元113生成的視差圖或從數據提取單元115輸出的視差圖。在此情況下，切換開關117在實況模式中連接到a側，并且提取在視差圖生成單元113生成的視差圖，而在回放模式中連接到b側，并且提取從數據提取單元115輸出的視差圖。 切換開關118選擇性地提取在麥克風114獲得的音頻數據或從數據提取單元115輸出的音頻數據。在此情況下，切換開關118在實況模式中連接到a側，并且提取在麥克風114獲得的音頻數據，而在回放模式中連接到b側，并且提取從數據提取單元115輸出的音頻數據。視頻編碼器119使在切換開關116提取的立體圖像數據經歷諸如MPEG4-AVC、MPEG2、VC-1等的編碼，并且生成視頻數據流(視頻基本流)。音頻編碼器120使在切換開關118提取的音頻數據經歷諸如AC3、AAC等的編碼，并且生成音頻數據流(音頻基本流)。深度信息集創建單元122基于在切換開關117提取的視差圖，創建對應于從切換開關116輸出的預定節目的立體圖像數據的深度信息集。該深度信息集包括圖像顯示平面的分割信息以及每個分割區域的深度信息。將對于圖像顯示平面的分割信息進行描述。該分割信息由指示分割類型的信息和指示分割數目的信息構成。例如，分割類型包括使用對角線執行圖像顯示平面的分割、使用水平方向線和/或垂直方向線執行圖像顯示平面的分割等的分割類型。確定分割類型和分割的數目唯一地確定圖像顯示平面的分割圖案。分割類型和分割的數目可以由用戶設置。圖7圖示在利用分割類型I四路分割圖像顯示平面的情況下的位置圖示例，在分割類型I中使用對角線分割圖像顯示平面。在該示例的情況下，使用對角線四路分割圖像顯示平面，其中上分割區域由“0000”代表，右分割區域由“0001”代表，下分割區域由“0010”代表，并且左分割區域由“0011 ”代表。圖7中示出的分割示例也適于例如如圖8所示的利用偏移到圖像的邊緣部分的OSD圖形信息執行重疊顯示的情況，因為可以發送對應于重疊顯示位置的深度信息。圖9圖示在利用分割類型I八路分割圖像顯示平面的情況下的位置圖示例，在分割類型I中使用對角線分割圖像顯示平面。在該示例的情況下，使用對角線和矩形的邊八路分割圖像顯示平面，其中分割區域由“0000”到“0111”代表。圖10圖示在利用分割類型2四路分割圖像顯示平面的情況下的位置圖示例，在分割類型2中使用水平方向線和垂直方向線分割圖像顯示平面。在該示例的情況下，使用對角線四路分割圖像顯示平面，其中右上分割區域由“0000”代表，右下分割區域由“0001”代表，左下分割區域由“0010”代表，并且左上分割區域由“0011”代表。圖10中示出的分割示例也適于例如如圖11所示的利用偏移到圖像的角部部分的OSD圖形信息執行重疊顯示的情況，因為可以發送對應于重疊顯示位置的深度信息。圖12圖示在利用分割類型2九路分割圖像顯示平面的情況下的位置圖示例，在分割類型2中使用水平方向線和垂直方向線分割圖像顯示平面。在該示例的情況下，使用水平方向線和垂直方向線九路分割圖像顯示平面，其中分割區域由“0000”到“1000”代表。圖13圖示在利用分割類型3五路分割圖像顯示平面的情況下的位置圖示例，在分割類型3中使用對角線和矩形的邊分割圖像顯示平面。在該示例的情況下，使用對角線和矩形的邊五路分割圖像顯示平面，其中上分割區域由“0000”代表，右分割區域由“0001”代表，下分割區域由“0010”代表，左分割區域由“0011”代表，并且中分割區域由“0100”代表。圖13中示出的分割示例也適于利用偏移到圖像的邊緣部分或重疊在圖像的中部顯示的OSD圖形信息執行重疊顯示的 情況，因為可以發送對應于重疊顯示位置的深度信息。接下來，將對于用于每個分割區域的深度信息進行描述。深度信息包括圖像平面信息。該圖像平面信息是指示立體圖像平面是否處于監視器位置的近側。該立體圖像平面意味著在透視方面在相應區域的圖像中最接近對象的平面。該圖像平面信息是構成對應于立體圖像平面的透視信息(透視矢量)的代碼信息。在此情況下，如果立體圖像平面處于監視器位置的近側，則代碼信息是“負的”。此外，除了上述圖像平面信息外，深度信息包括視差信息。對于該視差信息，例如代表性地使用構成相應區域的圖像的像素(像素)的視差信息(視差矢量)中、在透視方面感覺為最近的視差信息。在此情況下，如果存在“負的”視差信息，則這是具有其最大絕對值的視差信息。此外，在此情況下，如果不存在“負的”視差信息，則這是具有最小絕對值的視差息。因此，如果包括視差息，則當圖像平面息是如上所述構成視差息的代碼信息時，需要的是進一步包括構成視差信息的絕對值通過以掃描順序對每個像素或預定大小的每個塊比較視差信息，可以獲得每個分割區域中視差信息的代表。圖14圖示在如上所述的通過對角線四路分割圖像顯示平面的分割圖案的情況下，獲得分割區域中的視差信息的代表的方式。在此情況下，對于每個分割區域獲得〃Disparity_00 "、〃Disparity_01"、" Disparity_10 "和"Disparity_ll "作為代表視差信息。例如，在通過對角線四路分割圖像顯示平面的分割圖案的情況下，如果除了每個分割區域的圖像平面信息外還發送視差信息，那么使用如上所述獲得的每個分割區域的視差信息的代表。在此情況下，如果如圖15所示OSD圖形信息的重疊顯示偏移到邊緣部分，那么使用對應于其重疊顯示位置的用于分割區域的視差信息(代表)，可以提供視差到用于左眼和右眼的OSD圖形信息。深度信息集已經在其中插入標記信息，該標記信息指示視差信息的存在，用于每個分割區域或共同用于所有分割區域。通過除了圖像平面信息外包括視差信息作為深度信息，在接收側不但可以理解立體圖像平面的位置是否在監視器位置的近側，而且可以更詳細理解其位置。此外，由于標記信息插入其中，可以選擇性地僅發送圖像平面信息或發送屏幕信息和視差信息兩者作為深度信息。當在接收側將OSD圖形信息重疊在圖像上時，OSD圖形信息必須提供給OSD圖形信息的情況是立體圖像平面處于監視器位置的近側的情況。在此情況下，需要提供具有視差的左和右OSD圖形信息，使得OSD圖形信息感覺為處于立體圖像平面的近側。然而，注意可以在接收側可選地設置多少視差提供到左和右OSD圖形信息，并且因此，僅發送圖像平面信息也是非常有意義的。多工器126復用來自視頻編碼器119和音頻編碼器120的數據流，并且獲得復用數據流作為位流數據(發送流)BSD。此外，多工器126將在深度信息集創建單元122創建的深度信息集插入該位流數據BSD。具體地，多工器126在位流數據BSD中插入在插入的PSI信息或SI信息中包括預定位置的深度信息集的描述符(z表面描述符)。稍后將描述該描述符。將簡要描述圖2中示出的發送數據生成單元110的操作。相機IllL拍攝左眼圖像。將在相機IllL處獲得的用于立體圖像顯示的左眼圖像數據提供到視頻構造單元112。此外，相機IllR拍攝右眼圖像。將在相機IllR處獲得的用于立體圖像顯示的右眼圖像數據提供到視頻構造單元112。在視頻構造單元112，左眼圖像數據和右眼圖像數據處理為對應于發送格式的狀態，從而產生立體圖像數據(見圖4 (a)到(C))。將在視頻構造單元112處獲得的立體圖像數據提供到切換開關116的a側固定端子。此外，將在數據提取單元115處獲得的立體圖像數據提供到切換開關116的b側固定端子。在實況模式下，切換開關116連接到a側，并且從切換開關116提取在視頻構造單元112處獲得的立體圖像數據。在回放模式下，切換開關116連接到b側，并且從切換開關116提取從數據提取單元115獲得的立體圖像數據。將在切換開關116提取的立體圖像數據提供到視頻編碼器119。在視頻編碼器119，立體圖像數據經歷諸如MPEG4-AVC、MPEG2、VC-1等的編碼，從而生成包括編碼視頻數據的視頻數據流。將該視頻數據流提供到多工器126。將在麥克風114處獲得的音頻數據提供到切換開關118的a側固定端子。此外，將在數據提取單元115處獲得的音頻數據提供到切換開關118的b側固定端子。在實況模式下，切換開關118連接到a側，并且從切換開關118提取在麥克風114處獲得的音頻數據。在回放模式下，切換開關118連接到b側，并且從切換開關118提取從數據提取單元115獲得的音頻數據。將在切換開關118提取的音頻數據提供到音頻編碼器120。在音頻編碼器120，音頻數據經歷諸如MPEG-2Audio AAC或MPEG-4AAC等的編碼， 從而生成包括編碼音頻數據的音頻數據流。將該音頻數據流提供到多工器126。
將在相機IllL和IllR處獲得的左眼圖像數據和右眼圖像數據經由視頻構造單元112提供到視差圖生成單元113。在該視差圖生成單元113，基于左眼圖像數據和右眼圖像數據對于每個像素(Pixel)檢測視差矢量，并且生成視差圖。將該視差圖提供到切換開關117的a側的固定端子。此外，將從數據提取單元115輸出的視差圖提供到切換開關117的b側的固定端子。在實況模式下，切換開關117連接到a側，并且從切換開關117提取在視差圖生成單元113處生成的視差圖。在回放模式下，切換開關117連接到b側，并且從切換開關117提取從數據提取單元115輸出的視差圖。將在切換開關117處提取的視差圖提供到深度信息集創建單元122。在深度信息集創建單元122，基于視差圖創建對應于從切換開關116輸出的用于預定節目的立體圖像數據的深度信息集。該深度信息集包括圖像顯示平面的分割信息以及每個分割區域的深度信息。將該深度信息集提供到多工器126。在多工器126，復用來自視頻編碼器119和音頻編碼器120的數據流，從而產生復用數據流作為位流數據(傳輸流)BSD。多工器126將在深度信息集創建單元122處創建的深度信息集插入該位流數據BSD。也就是說，多工器126在位流數據BSD中插入包括在插入的PSI信息或SI信息中的預定位置的深度信息集的描述符(z表面描述符)。[復用數據流的配置示例]圖16到圖18圖示復用數據流(傳輸流)的配置示例。該復用數據流包括通過分組基本流獲得的PES分組。在該配置示例的情況下，包括視頻基本流“視頻PES”的PES分組和音頻基本流(音頻PES)的PES分組。此外，傳輸流 包括PMT (節目圖表)作為PSI (節目專用信息)。該PSI是描述傳輸流中包括的每個基本流所屬的節目的信息。此外，傳輸流包括EIT (事件信息表)作為以事件為增量執行管理的SI (服務信息)。在該EIT中描述節目的增量中的元數據。其中是涉及整個節目的描述信息的節目描述符(ProgramDescriptor)存在于PMT中。具有涉及每個基本流的信息的基本環存在于該PMT中。在該配置示例的情況下，存在視頻基本環和音頻基本環。每個基本環具有諸如位于其中的用于每個流的分組標識符(PID)的信息，并且還具有位于其中的描述涉及基本流的信息的描述符(描述符)，盡管附圖中未圖示。圖16和圖17所示的復用數據流的配置是包括深度信息集的描述符(z表面描述符)插入PMT下面的示例。也就是說，在圖16所示的復用數據流配置示例(情況I)的情況下，描述符(z表面描述符)位于PMT中的節目描述符(ProgramDescriptor)。在圖17所示的復用數據流配置示例(情況2)的情況下，描述符(z表面描述符)位于視頻基本環(視頻ES環)的描述符(描述符)部分。此外，圖18所示的復用數據流配置示例(情況3)是這樣的示例，其中包括深度信息集的描述符(z表面描述符)插入EIT下面。如果包括深度信息集的描述符(z表面描述符)插入PMT下面，那么可以在節目時段期間的預定定時發送描述符，并且可以在節目時段期間動態改變，如圖19所示。在圖19所示的示例的情況下，在節目時段期間深度信息a、深度信息b和深度信息c以此順序動態改變。深度信息的更新時段例如是100毫秒或者大于100毫秒的時段。
對于發送描述符的定時，例如，可以構思場景改變點。在此情況下，在節目時段期間的頭部定時發送描述符，并且隨后在每個場景改變點發送描述符，從而更新深度信息。圖20圖示場景檢測和描述符發送的處理概述。在此情況下，在當前幀中包括的所有塊和來自后面幀的圖像數據之間進行比較，并且檢測運動矢量。然后，計算當前幀和后一幀的幀之間每個塊的運動矢量(幅值)的差值的和Σ (mv((t-l)-mv(t))，作為相關度的檢測值。以相同方式，計算后一幀的幀和后兩幀的幀之間每個塊的運動矢量(幅值)的差值的和Σ (mV((t-2)-mV(t-l))，作為相關度的檢測值。如果后一幀的幀和后兩幀的幀之間運動矢量之間的相關性大，并且此外當前幀和后一幀的幀之間運動矢量之間的相關性小，那么確定已經存在場景改變。也就是說，如果“Σ (mv((t-2)-mv(t-l))< 閾值 2)”有效,但是“Σ (mv ((t-1)-mv (t)) < 閾值 I)”無效,則確定已經存在場景改變。如果已經以此方式確定已經存在場景改變，則執行描述發送。該描述符包括對應于場景改變之后的圖像(當前幀的圖像)的深度信息。注意到，場景檢測方法當然不限于上述示例。如上所述，在節目時段期間可以發送包括用于每個預定時段的深度信息的描述符，并且在此情況下，對應于每個時段的開始時間點發送描述符(z表面描述符)，如圖19所示。在此情況下，還可以構思這樣的安排，其中除了描述符中該時段的深度信息外，包括用于該時段稍后時段的深度信息(例如，用于一個時段后的深度信息)作為所謂提前信息。圖21圖示在此情況下描述符(z表面描述符)的發送定時與每個描述符中包括的深度信息之間的關系。例如，在時段A的開始時間點發送的描述符(z表面描述符)包括時段B的深度信息b。此外，在時段B的開始時間點發送的描述符(z表面描述符)包括時段C的深度信息C。這對于在隨后時段的開始時間點發送的描述符(Z表面描述符)是相同的，其中描述符包括下一個時段的深度信息。

通過在每個時段的開始時間點發送的描述符(z表面描述符)中包括用于隨后時段(例如一個時段后)的深度信息作為提前信息，允許要在接收側獲得的視差信息具有時間方向的平滑改變。也就是說，使用包括在當前時段和當前時段之前和之后時段的深度信息集中的視差信息作為要使用的視差信息，以提供左眼重疊信息和右眼重疊信息之間的視差。因此，可以獲得在時間方向(幀方向)具有平滑改變(即，具有平滑更新曲線)的視差信息。注意到，在圖21中，虛線SI代表在發送的立體圖像數據中視差信息曲線(視頻視差曲線)的示例，并且實線S2圖示根據每個時段更新的視差信息(視差更新)的示例。在圖21的情況下，虛線S3圖示在接收側通過內插處理獲得的視差信息曲線(接收器內插曲線)的示例。在此情況下，在接收側，執行例如諸如以下的內插處理。也就是說，在每個時段的前半，在之前時段的視差信息和當前時段的視差信息的混合比率中，當前時段的視差信息順序上升，從而獲得每個時間點的內插視差信息。此外，在每個時段的后半，在當前時段的視差信息和隨后時段的視差信息的混合比率中，隨后時段的視差信息順序上升，從而獲得每個時間點的內插視差信息。此外，在EIT下面插入包括深度信息集的描述符(z表面描述符)的情況下，可以在如圖22所示的節目的開始發送描述符，并且在節目時段期間固定深度信息。
[描述符(z表面描述符)的配置示例]圖23圖示描述符(z表面描述符)的配置示例(語法)。圖24圖示在圖23所示的配置示例中的主要信息內容(語義)。“descriptorjag”的8位字段代表描述符(描述符)的類型，指示在此情況下的描述符(z表面描述符)。“descriptor_length”的8位字段是指示描述符的長度(大小)的8位數據。該數據指示“descriptorjength”之后的字節數，作為描述符的長度。“display_partition_type”的2位字段指示圖像顯示平面的分割類型(見圖7到圖^^“numberjf^partition”的4位字段指示圖像顯示平面的分割的數目。在此，“0000”指示沒有分割圖像顯示平面，即指示分割的數目=1。在此情況下，對于整個圖像顯示平面的單個深度信息包括在描述符(z表面描述符)中。“z_depth_negative”的I位字段指示圖像平面信息。如上所述，該圖像平面信息指示立體圖像平面(相應的分割區域內在透視方面最接近對象的平面)對于監視器位置是否是負的(近側)。“I”指示對于監視器位置立體圖像是負的(近側)。“I”指示立體圖像是與監視器位置相同，或者對于監視器位置是正的(遠側)。

注意到在本實施例的情況下，如上所述，構成視差信息的代碼信息用作“z_cbpth_negative”的I位字段。在此情況下的視差信息是在構成相應區域的圖像的每個像素(pixel)的視差信息(視差矢量)中，在透視方面感覺為最接近的像素的視差信息，并且是構成立體圖像平面的像素的視差信息。“disparity_value_flag”是指不除了上述圖像平面彳目息外是否存在視差彳目息的I位標記信息。在此情況下的視差信息是構成上述立體圖像平面的像素的視差信息。“I”指示視差信息存在，并且“O”指示視差信息不存在。如果該標記信息是“1”，那么“abS0lute_disparity_value”的8位字段存在。該“absolute_disparity_value”指示構成視差信息的絕對值信息。由該絕對值信息和上述圖像平面信息配置視差信息。圖25圖示描述符(z表面描述符)的另一配置示例(語法)。在該配置示例中，“disparity_value_f lag”在各分割區域中保持共用，并且位于for循環的外部。“z_depth_negative”的I位字段存在于for循環內。此外，如果“disparity_value_flag”是“ I”,并且指示視差信息存在，那么“absolute_disparity_value”的7位字段存在于該for循環內，否則7位“reserved”存在。在圖25所示的描述符(z表面描述符)的情況下，確保for循環內字節對齊(ByteAlign)。也就是說，在圖25所示的描述符的結構示例的情況下，用于確保for循環內字節對齊(Byte Align)的 “bit_stuffing” 是不需要的。在圖2所示的發送數據生成單元110的情況下，連同具有左眼圖像數據和右眼圖像數據的預定節目的立體圖像數據，對應于預定節目的立體圖像數據的深度信息集包括在從多工器126輸出的位流數據BSD中。因此，例如通過在接收側使用深度信息集，已經根據圖像內各對象的透視經歷視差調整的深度信息可以用作要重疊在左眼和右眼圖像上的重疊信息，諸如像OSD等的圖形信息。因此，例如在像OSD的圖形信息的顯示時，可以保持與圖像中各對象的透視一致性。此外，在圖2所示的發送數據生成單元110的情況下，深度信息集包括圖像顯示平面的分割信息以及每個分割區域的深度信息，并且包括在插入位流數據(復用數據流)BSD描述符中，該位流數據(復用數據流)BSD具有包括圖像數據并且被發送的數據流。也就是說，可以使用描述符容易地將深度信息發送到接收側。[機頂盒的描述]返回圖1，機頂盒200從廣播站100接收在廣播波上發送的位流數據(傳輸流)。該位流數據BSD包括具有左眼圖像數據和右眼圖像數據立體圖像數據、音頻數據以及深度信息集。機頂盒200包括位流處理單元201。該位流處理單元201從位流數據BSD提取立體圖像數據、音頻數據、深度信息集等。該位流處理單元201適當地生成具有重疊在其上的諸如OSD等的圖形信息的左眼圖像數據和右眼圖像數據。在此情況下，提供要重疊在左眼圖像上的左眼圖形和要重疊在右眼圖像上的右眼圖形之間的視差。因此，通過提供左眼圖形和右眼圖形之間的視差，用戶例如可以識別要重疊在立體圖像上的諸如OSD等的圖形信息比圖像更接近。[機頂盒的配置示例]將描述機頂盒200的配置示例。圖26圖示機頂盒200的配置示例。該機頂盒200包括位流處理單元201、HDMI端子202、天線端子203、數字調諧器204、視頻信號處理電路205、HDMI發送單元206和音頻信號處理電路207。此外，該機頂盒200包括CPU211、閃速R0M212、DRAM213、內部總線214、遙控接收單元215和遙控發送器216。天線端子203是用于輸入由接收天線(未圖示)接收的電視廣播信號的端子。數字調諧器204處理輸入到天線端子203的電視廣播信號，并且輸出對應于由用戶選擇的頻道的預定位流數據(傳輸流)BSD。位流處理單元201從 位流數據BSD提取立體圖像數據、音頻數據等，并且輸出這些。該位流處理單元201還適當地同步像OSD等的圖形信息的顯示數據與立體圖像數據。此時，位流處理單元201適當地提供要重疊在左眼圖像上的左眼圖形信息和要重疊在右眼圖像上的右眼圖形信息之間的視差。視頻信息處理電路205使在位流處理單元201獲得的輸出立體圖像數據根據需要經歷圖像質量調整處理，并且將其處理后的輸出立體圖像數據提供到HDMI發送單元206。音頻信號處理電路207使從位流處理單元201輸出的音頻數據根據需要經歷音頻質量調整處理，并且將其處理后的音頻數據提供到HDMI發送單元206。HDMI發送單元206通過符合HDMI的通信例如從HDMI端子202發送未壓縮的圖像數據和音頻數據。在此情況下，因為通過HDMI TMDS信道發送數據，所以圖像數據和音頻數據經歷封裝，并且從HDMI發送單元206輸出到HDMI端子202。此外，HDMI發送單元206通過HDMI接口發送上述深度信息集到電視接收機300。稍后將描述HDMI發送單元206的細節。CPU211控制機頂盒200的每個單元的操作。閃速R0M212執行控制軟件的存儲和數據的存儲。DRAM213配置CPU211的工作區。CPU211將從R0M212讀出的軟件和數據加載到DRAM213，并且啟動軟件以控制機頂盒200的每個單元。遙控接收單元215接收從遙控發送器216發送的遙控信號(遙控代碼)，并且提供到CPU211。CPU211基于該遙控代碼控制機頂盒200的每個單元。CPU211、閃速R0M212和DRAM213連接到內部總線214。
將描述位流處理單元201。位流處理單元201包括信號分離器220、視頻解碼器221、音頻解碼器224、0SD顯示數據生成單元226和視頻重疊單元228。信號分離器220從位流數據BSD提取視頻和音頻的分組，并且發送到解碼器。此外，信號分離器220從位流數據BSD提取深度信息集，并且發送到OSD顯示數據生成單元226和上述HDMI發送單元206。視頻解碼器221從在信號分離器220提取的視頻分組重建視頻基本流，并且執行解碼處理，從而獲得包括左眼圖像數據和右眼圖像數據的立體圖像數據。音頻解碼器224從在信號分離器220提取的音頻分組重建音頻基本流，并且執行解碼處理，從而獲得從位流處理單元201外部輸出的音頻數據。OSD顯示數據生成單元226生成對應于包括在立體圖像數據中的左眼圖像數據的左眼圖形信息的數據，以及對應于包括在立體圖像數據中的右眼圖像數據的右眼圖形信息的數據。在此情況下，OSD顯示數據生成單元226基于包括在從信號分離器220提取的深度信息集中的圖像平面信息或圖像平面信息和視差信息，適當地提供左眼圖形信息和右眼圖形信息之間的視差。例如，如果基于圖像平面信息，立體圖像平面位于距監視器位置的近側，那么提供已經預先確定的預定視差，使得圖形信息感覺為在立體圖像平面的近側。此外，如果基于圖像平面信息，立體圖像平面位于與監視器位置的相同位置或者在其遠離側，則不提供視差。此外，例如，基于視差信息提供視差，使得圖形信息感覺為在距立體圖像平面的近側。現在，在包括深度信息的描述符(z表面描述符)插入PMT下面情況下，使得能夠在節目時段期間更新用于每個分割區域的深度信息(見圖19)。OSD顯示數據生成單元226通過使用以此方式更新的深度信息(例如，視差信息)，可以動態改變要提供到用于左眼和右眼的圖形信息的視差。在此情況下，OSD顯示數據生成單元226可以重復地對于每幀重復使用包括在某一描述符(z表面描述符)中的視差信息，直到發送下一個描述符(z表面描述符)。然而,在此情況下，在發送描述符和更新視差信`息的點，提供到左眼和右眼的視差可能突然改變，給予觀看者不自然的感覺。因此，在本實施例的情況下，如果發送描述符(z表面描述符)，則OSD顯示數據生成單元226不立即使用包括在該描述符中的視差信息，如圖27所示。也就是說，OSD顯示數據生成單元226使用根據對于多個幀的內插處理的視差信息(由虛線圖示的)，以便在該多個幀上得到新的視差信息。由于該處理，可以使得用于提供視差的視差信息的時間方向(幀方向)上的改變平滑，并且可以抑制要提供到用于左眼和右眼的圖形信息的視差突然改變并且觀看者具有不自然感覺的情況。上述圖27中圖示的內插處理指示用于當前時段的深度信息包括在根據每個時段的開始時間點發送的描述符(z表面描述符)中的情況。將對于在根據每個時段的開始時間點發送的描述符(Z表面描述符)包括用于隨后時段(例如，一個時段之后)的深度信息的情況下的內插處理的示例進行描述。圖28圖示該情況的內插處理示例。在此情況下，在時段A的開始時間點發送的描述符(z表面描述符)包括時段B的深度信息b。此外，在時段B的開始時間點發送的描述符(z表面描述符)包括時段C的深度信息C。對于在隨后時段中的開始時間點發送的描述符(z表面描述符)同樣如此，其中描述符包括下一個時段的深度信息。
在此情況下，執行諸如隨后的內插處理，并且獲得在每個時間點的內插視差信息。也就是說，在每個時段的前半，在之前時段的視差信息與當前時段的視差信息的混合比中，當前時段的混合比順序上升，從而獲得在每個時間點的內插視差信息。此外，在每個時段的后半，在當前時段的視差信息與之后時段的視差信息的混合比中，之后時段的混合比順序上升，從而獲得在每個時間點的內插視差信息。例如，通過順序改變時段A的視差信息和時段B的視差信息的混合比，獲得在從時段A的中間點到時段B的中間點的時段T_AB中的每個時間點的內插視差信息。在此情況下，時段A的視差信息從100%順序改變為0%，并且時段B的視差信息從0%順序改變為100%。此外，例如，通過順序改變時段B的視差信息和時段C的視差信息的混合比，獲得在從時段B的中間點到時段C的中間點的時段T_BC中的每個時間點的內插視差信息。在此情況下，時段B的視差信息從100%順序改變為0%，并且時段C的視差信息從0%順序改變為 100%O注意到在圖28中，虛線SI代表發送的立體圖像數據中視差信息曲線(視頻視差曲線)的示例，并且實線S2圖示根據每個時段更新的視差信息(視差更新)的示例。此外，在圖28中，虛線S3圖示通過內插處理獲得的視差信息曲線(接收器內插曲線)的示例。由于執行諸如圖28所示的內插處理，可以使得用于提供視差的視差信息的時間方向(幀方向)的改變平滑。因此，可以抑制要提供到用于左眼和右眼的圖形信息的視差突然改變并且觀看者具有不自然感覺的情況。視頻重疊單元228將在OSD顯示數據生成單元226生成的用于左眼和右眼的圖形信息的數據重疊在視頻解碼器221獲得的立體圖像數據(左眼圖像數據，右眼圖像數據)上，并且獲得用于顯示的立體圖像數據。視頻重疊單元228然后從位流處理單元201向外輸出用于顯示的立體圖像數據。

將簡要描述機頂盒200的操作。將輸入天線端子203的電視廣播信號提供到數字調諧器204。利用該數字調諧器204，處理電視廣播信號，并且輸出對應于用戶選擇的頻道的預定位流數據(發送流)BSD。從數字調諧器204輸出的位流數據BSD提供到位流處理單元201。利用該位流處理單元201，從位流數據BSD提取立體圖像數據、音頻數據、深度信息集等。在位流處理單元201，相對于立體圖像數據適當地同步諸如OSD等的圖形信息的顯示數據。此時，在位流處理單元201，基于深度信息集，在要重疊在左眼圖像上用于左眼的圖形信息以及要重疊在右眼圖像上用于右眼的圖形信息之間提供視差。因此，對于重疊在立體圖像上要顯示的諸如OSD等的圖形信息，可以以最佳狀態保持與圖像中各對象的透視上的一致性。在位流處理單元201獲得的用于顯示的立體圖像數據提供到視頻信號處理電路205。在該視頻信號處理電路205，根據需要對用于顯示的立體圖像數據執行圖像質量調整等。從視頻信號處理電路205輸出的處理之后的用于顯示的立體圖像數據提供到HDMI發送單元206。此外，在位流處理單元201獲得的音頻數據提供到音頻信號處理電路207。在音頻信號處理電路207，音頻數據根據需要經歷音頻質量調整處理。從音頻信號處理電路207輸出的處理之后的音頻數據提供到HDMI發送單元206。提供到HDMI發送單元206的立體圖像數據和音頻數據通過HDMITMDS信道從HDMI端子202發送到HDMI線纜400。[電視接收機的描述]返回圖1，電視接收機300接收經由HDMI線纜400從機頂盒200發送的立體圖像數據。該電視接收機300包括3D信號處理單元301。該3D信號處理單元301使立體圖像數據經歷對應于發送格式的處理(解碼處理)，從而生成左眼圖像數據和右眼圖像數據。該3D信號處理單元301獲得構成立體圖像數據的左眼圖像和右眼圖像。[電視接收機的配置示例]將描述電視接收機300的配置示例。圖29圖示電視接收機300的配置示例。電視接收機300包括3D信號處理單元301、HDMI端子302、HDMI接收單元303、天線端子304、數字調諧器305和位流處理單元306。此外，該電視接收機300包括OSD顯示數據生成單元313、視頻重疊單元314、視頻處理電路307、面板驅動電路308、顯示面板309、音頻信號處理電路310、音頻放大器電路311和揚聲器312。此外，該電視接收機300包括CPU321、閃速R0M322、DRAM323、內部總線324、遙控接收單元325和遙控發送器326。天線端子304是 用于輸入在接收天線(未圖示)接收的電視廣播信號的端子。數字調諧器305處理輸入到天線端子304的電視廣播信號，并且輸出對應于由用戶選擇的頻道的預定位流數據(傳輸流)。位流處理單元306已與機頂盒200的位流處理單元201相同方式配置。該位流處理單元306從位流數據提取立體圖像數據(左眼圖像數據、右眼圖像數據)、音頻數據、深度信息集等。HDMI接收單元303接收通過符合HDMI的通信經由HDMI線纜400提供到HDMI端子302的未壓縮的圖像數據和音頻數據。該HDMI接收單元303的版本例如是HDMI1. 4a，并且處于能夠處理立體圖像數據的狀態。此外，該HDMI接收單元303利用HDMI接口從機頂盒200接收上述深度信息集。稍后將描述HDMI接收單元303的細節。3D信號處理單元301使在HDMI接收單元303接收的或在位流處理單元306獲得的立體圖像數據經歷解碼處理，并且生成左眼圖像數據和右眼圖像數據。3D信號處理單元301在由位流處理單元306獲得的立體圖像數據執行對應于發送數據格式的解碼處理。此外，3D信號處理單元301對在HDMI接收單元303獲得的立體圖像數據執行對應于TMDS發送數據結構的解碼處理。OSD顯示數據生成單元313生成對應于包括在立體圖像數據中的左眼圖像數據的左眼圖形信息的數據，并且生成對應于包括在立體圖像數據中的右眼圖像數據的右眼圖形信息的數據。該圖形信息是用于諸如菜單、節目列表等的OSD顯示的重疊信息。在此情況下，OSD顯示數據生成單元313基于在位流處理單元306獲得的或者用HDMI接收單元303接收的深度信息，提供左眼圖形信息和右眼圖形信息之間的視差。注意到，OSD顯示數據生成單元313基于包括在深度信息集中的圖像平面信息或者圖像平面信息和視差信息，適當地提供左眼圖形信息和右眼圖形信息之間的視差。例如，如果基于圖像平面信息，立體圖像平面位于距監視器位置的近側，那么提供已經預先確定的預定視差，使得圖形信息感覺為在立體圖像平面的近側。此外，如果基于圖像平面信息，立體圖像平面位于與監視器位置的相同位置或者在其遠側，那么不提供視差。此外，例如，基于視差信息提供視差，使得圖形信息感覺為在距立體圖像平面的近側。視頻重疊單元314將在OSD顯示數據生成單元313生成的用于左眼和右眼的圖形信息的數據重疊在3D信號處理單元301獲得的立體圖像數據(左眼圖像數據、右眼圖像數據)上，并且獲得用于顯示的立體圖像數據。視頻處理電路307基于在3D信號處理單元301生成的左眼圖像數據和右眼圖像數據，生成用于顯示立體圖像的圖像數據。此外，視頻處理電路307使圖像數據根據需要經歷圖像質量調整處理。面板驅動電路308基于從視頻處理電路307輸出的圖像數據，驅動顯示面板309。顯示面板309例如由IXD (液晶顯示器)、Η)Ρ (等離子體顯示面板)等配置。音頻信號處理電路310使在HDMI接收單元303接收的或在位流處理單元306獲得的音頻數據執行需要的處理，諸如D/A轉換等。音頻放大器電路311放大從音頻信號處理電路310輸出的音頻信號，并且將其提供到揚聲器312。CPU321控制電視接收機300的每個單元的操作。閃速R0M322執行控制軟件的存儲和數據的存儲。DRAM323構成CPU321的工作區域。CPU321將從閃速R0M322讀出的軟件和數據加載到DRAM323，并且控制電視接收機300的每個單元。遙控接收單 元325接收從遙控發送器326發送的遙控信號(遙控代碼)，并且將其提供到CPU321。CPU321基于該遙控代碼控制電視接收機300的每個單元。CPU321、閃速R0M322和DRAM323連接到內部總線324。將簡要描述圖29中圖示的電視接收機300的操作。HDMI接收單元303接收從經由HDMI線纜400連接到HDMI端子302的機頂盒200發送的立體圖像數據和音頻數據。在HDMI接收單元303接收的立體圖像數據提供到3D信號處理單元301。此外，在該HDMI接收單元303接收的音頻數據提供到音頻信號處理電路310。將輸入天線端子304的電視廣播信號提供到數字調諧器305。利用該數字調諧器305，處理該電視廣播信號，并且輸出對應于用戶選擇的頻道的預定位流數據(傳送流)BSD。從數字調諧器305輸出的位流數據BSD提供到位流處理單元306。利用該位流處理單元306中，從位流數據提取立體圖像數據(左眼圖像數據、右眼圖像數據)、音頻數據、深度信息集等。此外，在位流處理單元306獲得的音頻數據提供到音頻處理電路310。利用3D信號處理單元301，使在HDMI接收單元303接收的或在位流處理單元306獲得的立體圖像數據經歷解碼處理，并且生成全分辨率左眼圖像數據和右眼圖像數據。將左眼圖像數據和右眼圖像數據提供到視頻重疊單元314。OSD顯示數據生成單元313生成對應于包括在立體圖像數據中的左眼圖像數據的左眼圖形信息的數據，并且生成對應于包括在立體圖像數據中的右眼圖像數據的右眼圖形信息的數據。在此情況下，OSD顯示數據生成單元313基于在位流處理單元306獲得的或者用HDMI接收單元303接收的深度信息，提供左眼圖形信息和右眼圖形信息之間的視差。在視頻重疊單元314，將在OSD顯示數據生成單元313生成的用于左眼和右眼的圖形信息的數據重疊在3D信號處理單元301獲得的立體圖像數據(左眼圖像數據、右眼圖像數據)上，從而獲得用于顯示的立體圖像數據。在視頻處理電路307，基于左眼圖像數據和右眼圖像數據，生成用于顯示立體圖像的圖像數據，并且還根據需要執行圖像質量調整處理。在該視頻處理電路307獲得的圖像數據提供到面板驅動電路308。因此，在顯示面板309上顯示立體圖像。例如，以時分方式交替顯示根據左眼圖像數據的左眼圖像和根據右眼圖像數據的右眼圖像。觀看者可以由左眼單獨觀看左眼圖像，并且由右眼單獨觀看右眼圖像，并且結果通過佩戴快門眼鏡可以感覺立體圖像，在快門眼鏡中，左眼快門和右眼快門與顯示面板309的顯示同步交替打開。此外，在音頻信號處理電路310，使在HDMI接收單元303接收的或在位流處理單元306獲得的音頻數據經歷需要的處理，諸如D/A轉換等。在音頻放大器電路311放大該音頻信號，并且然后將其提供到揚聲器312。因此，從揚聲器312輸出對應于顯示面板309的顯示圖像的音頻。[HDMI發送單元和HDMI接收單元的配置示例]圖30圖示在圖1所示的立體圖像顯示系統10的情況下，機頂盒200的HDMI發送單元(HDMI源)206和電視接收機300的HDMI接收單元(HDMI宿)303的配置示例。HDMI發送單元206在有效圖像部分(下文中，也稱為“活動視頻部分”)期間在一個方向上，發送對應于值未壓縮的一個屏幕的圖像的像素數據的差分信號到HDMI接收單元
303。在此，有效圖像部分是通過從特定垂直同步信號和下一個垂直同步信號之間的部分移除水平消隱部分和垂直消隱部分獲得的部分。此外，HDMI發送單元206在水平消隱部分或垂直消隱部分期間，使用多個信道在一個方向上至少跟隨圖像發送對應于音頻數據、控制數據、其他輔助數據等的差分信號到HDMI接收單元303。提供以下發送信道作為由HDMI發送單元206和HDMI接收單元303構成的HDMI系統的發送信道。具體地，存在三個TMDS信道#0到#2，用作用于與像素時鐘同步在一個方向并行發送來自HDMI發送單元206的像素數據和音頻數據到HDMI接收單元303的發送信道。此外，存在TMDS時鐘信道，用作用于發送像素時鐘的發送信道。HDMI發送單元 206包括HDMI發送器81。發送器81例如將未壓縮圖像的像素數據轉換為相應的差分信號，并且通過作為多個信道的三個TMDS信道#0、#1和#2在一個方向并行發送到經由HDMI線纜400連接的HDMI接收單元303。此外，發送器81將跟隨未壓縮圖像的音頻數據、進一步需要的控制數據和其他輔助數據等轉換為相應的差分信號，并且通過三個TMDS信道#0、#1和#2在一個方向并行發送到HDMI接收單元303。此外，發送器81使用TMDS時鐘信道，與通過三個信道#0、#1和#2發送的像素數據同步，發送像素時鐘到經由HDMI線纜400連接的HDMI接收單元303。在此，利用一個TMDS信道#i (i=0, I, 2)，在像素時鐘的一個時鐘期間發送10位像素數據。HDMI接收單元303使用多個信道，接收對應于在活動視頻部分期間，在一個方向從HDMI發送單元206發送的像素數據的差分信號。此外，該HDMI接收單元303使用多個信道，接收對應于在水平消隱部分或垂直消隱部分期間，在一個方向從HDMI發送單元206發送的音頻數據和控制數據的差分信號。具體地，HDMI接收單元303包括HDMI接收器82。該HDMI接收器82使用TMDS信道#0、#1和#2，接收差分信號，并且該差分信號對應于在一個方向從HDMI發送單元206發送的音頻數據和控制數據。在此情況下，HDMI接收器與通過TMDS時鐘信道從HDMI發送單元206發送的像素時鐘同步接收差分信號。除了上面的TMDS信道#0到#2以及TMDS時鐘信道外，HDMI系統的發送信道包括稱為DDC (顯示數據信道)83和CEC線84的發送信道。DDC83是由包括在HDMI線纜400中的未顯示的兩條信號線構成的。DDC83用于HDMI發送單元206從HDMI接收單元303讀出E-EDID (增強的擴展顯示標識數據)。具體地，HDMI接收單元303包括EDID ROM (只讀存儲器)85，其中存儲作為除了HDMI接收器81外涉及它自身性能(配置/容量)的性能信息的E-EDID。HDMI發送單元206例如響應于來自CPU211的請求，經由DDC83從經由HDMI線纜400連接的HDMI接收單元303 讀出 E-EDID (見圖 26)。HDMI發送單元206發送讀出的E-EDID到CPU211。CPU211在閃速R0M212或DRAM213中存儲該E-EDID0 CPU211基于E-EDID，識別HDMI接收單元303的性能設置。例如，CPU211識別包括在HDMI接收單元303中的電視接收機300是否可以處理圖像數據，并且如果可以處理立體圖像數據，就進一步識別可以處理什么種類的TMDS發送數據結構。CEC線84由包括在HDMI線纜400中的未示出的一條信號線構成，并且用于執行用于HDMI發送單元206和HDMI接收單元303之間控制的數據的雙向通信。該CEC線84構成控制數據線。此外，HDMI線纜400包括連接到稱為HPD (熱插拔檢測)的管腳的線(HPD線)86。源設備可以通過利用該線86檢測宿設備的連接。注意到，該HPD線86還用作構成雙向通信路徑的HEAC-線。此外，HDMI線纜400包括用于從源設備提供功率到宿設備的線(電源線)87。此外，HDMI線纜400包括應用線88。該應用線88用作構成雙向通信路徑的HEAC+線。

圖31圖示TMDS發送數據的結構示例。該圖31圖示在使用TMDS信道#0、#1和#2發送具有1920像素X 1080線的寬度X長度的圖像數據情況下的各種類型的發送數據的各部分。在其中使用HDMI的三個TMDS信道#0、#1和#2發送發送數據的視頻場(視頻場)的情況下，根據發送的類型存在三個類型的部分。這三個類型的部分是視頻數據部分(視頻數據時段)、數據島部分(數據島時段)和控制部分(控制時段)。在此，視頻場部分是從特定垂直同步信號的前緣(活動邊緣)到下一個垂直同步信號的前緣的部分。該視頻場部分分為水平消隱時段(水平消隱)、垂直消隱時段(垂直消隱)和活動視頻部分(活動視頻)。該活動視頻部分是通過從視頻場部分移除水平消隱時段和垂直消隱時段獲得的部分。視頻數據部分分配到活動視頻部分。在該視頻數據部分的情況下，發送構成值未壓縮的一個屏幕的圖像數據的值1920像素X 1080線的有效像素(有效像素)的數據。數據島部分和控制部分分配到水平消隱時段和垂直消隱時段。在數據島部分和控制部分的情況下，發送輔助數據(輔助數據)。也就是說，數據島部分分配給水平消隱時段和垂直消隱時段的一部分。在該數據島部分的情況下，發送輔助數據的不涉及控制的數據(例如，音頻數據的分組等)。將控制部分分配給島水平消隱時段和垂直消隱時段的另一部分。在該控制部分的情況下，發送輔助數據的涉及控制的數據(例如，垂直同步信號和水平同步信號、控制分組
O圖32圖示HDMI端子的管腳分配的示例。圖32中圖示的管腳分配稱為類型(類型A)。作為TMDS信道#i的差分信號的TMDS數據#i+和TMDS數據#i由作為差分線的兩條線發送。這兩條線連接到對其分配TMDS數據#i+的管腳(具有1、4或7的管腳號的管腳)和對其分配TMDS數據#1-的管腳(具有3、6或9的管腳號的管腳)。此外，其中發送作為用于控制的數據的CEC信號的CEC線84連接到其管腳號是13的管腳。此外，其中發送諸如E-EDID等的SDA (串行數據)信號的線連接到其管腳號是16的管腳。其中發送SCL (串行時鐘)信號的線連接到其管腳號是15的管腳，SCL (串行時鐘)信號是在SDA信號的發送/接收時用于同步的時鐘信號。上述DDC83由發送SDA信號的線和發送SCL信號的線配置。此外，如上所述用于源設備檢測宿設備的連接的HDP線(HEAC-線)86連接到其管腳號是19的管腳。此外，應用線(HEAC+線)88連接到其管腳號是14的管腳。此外，如上所述用于提供電源的線87連接到其管腳號是18的管腳。[利用HDMI發送深度信息集的方法]對于利用HDMI接口發送深度信息集的方法，例如可以構思使用HDMI廠商專用信息中貞(Vendor Specific InfoFrame)的方法。在該方法的情況下,在HDMI廠商專用信息中貞分組中，設置HDMI_Video_Format=〃010〃和3D_Meta_present=l,并且指定廠商專用信息中貞擴展。在此情況下，3D_Metadata_type例如定義為未使用的“ 100”,并且指定深度信息集。圖33圖示HDMI廠商專用信息幀的分組結構。該HDMI廠商專用信息幀以CEA-861-D定義，所以將省略其詳細描述。指示圖像數據的類型的3位信息“HDMI_Vide0_F0rmat”位于第4字節(PB4)的第7位到第5位。如果圖像數據是3D圖像數據，那么這三位的信息是“010”。此外，如果圖像數據是以此方式的3D圖像數據，那么指示TMDS發送數據的結構的4位信息“3D_StrUCtUre”位于第5字節(PB5)的第7位到第4位。例如，在幀封裝格式的情況下，這四位的信息是“0000”。 此外，“3D_Meta_present”位于第5字節(PB5)的第三位,并且在指定廠商專用信息幀擴展的情況下，這一個字節設為“I”。此外，“3D_Metadata_type”位于第7字節(PB7)的第7位到第5位。如果指定深度信息集的信息，那么這3位的信息例如設為未使用“ 100”。此外，“3D_Metadata_length”位于第7字節(PB7)的第4位到第O位。這5位信息指示隨后3D_Metadata區域的長度。此外，2位信息“display_partition_type”位于第8字節(PB8)的第7位到第6位。此外，4位信息“number_of_partition”位于第8字節(PB8)的第3位到第O位。隨后,放置數目對應于圖像顯示平面的分割數目的深度信息。該深度信息包括“z_cbpth_negatiVe”的I位信息(圖像平面信息)，并且此外，當“diSparity_ValUe_flag”指示視差信息存在時，包括“absolute_disparity_value” 的 8 位信息。如上所述，在圖1所示的圖像發送/接收系統10的情況下，連同具有左眼圖像數據和右眼圖像數據的預定節目的立體圖像數據，從廣播站100 (發送數據生成單元201)發送對應于該立體圖像數據的深度信息集到機頂盒200和電視接收機300。因此，在接收側，通過使用該深度信息集，根據與圖像中各對象的透視經歷視差調整的諸如例如像OSD等的圖形信息可以用作要重疊在左眼圖像和右眼圖像上的重疊信息。因此，這使得能夠在顯示例如OSD等的圖形信息時，保持與圖像中的每個對象透視上的一致性。此外，在圖1所示的圖像發送/接收系統10的情況下，從廣播站100(發送數據生成單元201)發送到機頂盒200和電視接收機300的深度信息集包括圖像顯示平面的分割信息和每個分割區域的深度信息，并且已經包括在插入位流數據(復用數據流)BSD的描述符中發送，該位流數據具有包括立體圖像數據的數據流。也就是說，廣播站100可以使用描述符容易地發送深度信息集到接收側。此外，在圖1所示的圖像發送/接收系統10的情況下，連同預定節目的立體圖像數據，與其對應的深度信息集(包括圖像顯示平面的分割信息和每個分割區域的深度信息)經由HDMI線纜400從機頂盒200發送到電視接收機300。因此，在電視接收機300，通過使用該深度信息集，根據與圖像中各對象的透視經歷視差調整的諸如例如像OSD等的圖形信息可以用作要重疊在左眼圖像和右眼圖像上的重疊信息。因此，這使得能夠在顯示諸如例如OSD等的圖形信息時，保持與圖像中的每個對象透視上的一致性。<2.修改〉

注意到，在上述實施例的情況下，已經圖示這樣的安排，其中由廣播站100、機頂盒200和電視接收機300配置圖像發送/接收系統10。然而，電視接收機300具有位流處理單元306，其等價于機頂盒200內的位流處理單元201運行，如圖29所示。因此，還可以構思如圖34所示的圖像發送/接收系統10A，其由廣播站100和電視接收機300配置。此外，在上述實施例的情況下，已經圖示這樣的安排，其中HDMI廠商專用信息幀用作用于從機頂盒200發送深度信息集到電視接收機300的方法。可替代地，可以構思使用活動空間(Active Space)并且此外在由HPD線86 (HEAC-線)和應用線88 (HEAC+線)配置的雙向通信路徑上發送的方法。此外，在上述實施例的情況下，已經圖示這樣的安排，其中機頂盒200和電視接收機300通過HDMI數字接口連接。然而，不用說即使在這些通過類似于HDMI數字接口的數字接口(除了線纜外，包括無線)連接的情況下，也可以應用本發明。此外，在上述實施例的情況下，已經圖示這樣的安排，其中在位流處理單元201使用的深度信息集通過HDMI接口從機頂盒200發送到電視接收機300。然而，不用說用于以此方式經由HDMI接口發送深度信息集的技術還可以應用于其他源設備和宿設備的組合。例如，可構思的源設備包括諸如BD和DVD等的盤播放器，以及此外的游戲設備等，并且可構思的宿設備包括監視器設備、投影儀設備等。工業應用性本發明實現在立體圖像顯示時重疊信息(諸如例如像OSD的圖形信息)的良好顯示，并且可應用于立體圖像顯示系統等。參考標號列表10, IOA立體圖像顯示系統100廣播站110發送數據生成單元111L，IllR 相機112視頻構造單元113視差圖創建單元114麥克風115數據提取單元
116到118切換開關
119視頻編碼器
120音頻編碼器
122深度信息集創建單元
126多工器
200機頂盒(STB)
201位流處理單元
202HDMI端子
203天線端子
204數字調諧器
205視頻處理電路
206HDMI發送單元
207音頻處理電路
211CPU
215遙控接收單元
216遙控發送器
220信號分離器
221視頻解碼器
224音頻解碼器
226OSD顯示數據生成單元
228視頻重疊單元
300電視接收機(TV)
3013D信號處理單元
302HDMI端子
303HDMI接收單元
304天線端子
305數字調諧器
306位流處 理單元
307視頻處理單元
308面板驅動電路
309顯示面板
310音頻處理電路
311音頻放大器電路
312揚聲器
313OSD顯示數據生成單元
314視頻重疊單元
321CPU
325遙控接收單元
326遙控發送器
400 HDMI 線纜
權利要求
1.一種立體圖像數據發送設備，包括圖像數據輸出單元，配置為輸出構成立體圖像的左眼圖像數據和右眼圖像數據；深度信息輸出單元，配置為輸出對應于所述立體圖像的深度信息；以及發送單元，配置為發送所述圖像數據和所述深度信息；其中，所述深度信息包括圖像顯示平面的分割信息以及分割區域的深度信息；并且其中，所述發送單元發送具有包括所述圖像數據的數據流的復用數據流，并且將包括所述深度信息的描述符插入所述復用數據流。
2.如權利要求1所述的立體圖像數據發送設備，其中所述深度信息是指示立體圖像平面是否在距監視器位置的近側的圖像平面信息。
3.如權利要求2所述的立體圖像數據發送設備，其中所述圖像平面信息是構成左眼圖像和右眼圖像的視差信息的代碼信息。
4.如權利要求1所述的立體圖像數據發送設備，其中所述深度信息是指示立體圖像平面是否在距監視器位置的近側的圖像平面信息，或者是所述圖像平面信息和左眼圖像和右眼圖像的視差信息；并且其中，指示所述視差信息存在的標記信息插入所述深度信息。
5.如權利要求4所述的立體圖像數據發送設備，其中所述深度信息是構成所述視差信息的代碼息，或者是構成所述代碼息和所述視差息的絕對值信息。
6.如權利要求1所述的立體圖像數據發送設備，其中所述復用數據流包括用作節目專用信息的節目圖表，其指示包括在所述復用數據流中的每個基本流所屬于的節目；并且其中，所述描述符插入所述節目圖表下面。
7.如權利要求1所述的立體圖像數據發送設備，其中所述復用數據流包括用作服務信息的事件信息表，用于以事件為增量執行管理；并且其中，所述描述符插入所述事件信息表下面。
8.如權利要求1所述的立體圖像數據發送設備，其中所述分割信息由指示分割類型的信息和指示分割數目的信息構成。
9.如權利要求8所述的立體圖像數據發送設備，其中所述分割類型包括其中使用對角線分割所述圖像顯示平面的分割類型。
10.如權利要求8所述的立體圖像數據發送設備，其中所述分割類型包括其中使用水平方向線和/或垂直方向線分割所述圖像顯示平面的分割類型。
11.如權利要求1所述的立體圖像數據發送設備，其中所述發送單元對應于所述圖像數據的每個預定時段的開始時間點，將所述描述符插入所述復用數據流；并且其中，對應于每個預定時段的開始時間點插入所述復用數據流的描述符包括比所述時段更晚時段的深度信息。
12.—種立體圖像數據發送方法，包括圖像數據輸出步驟，用于輸出構成立體圖像的左眼圖像數據和右眼圖像數據；深度信息輸出步驟，用于輸出對應于所述立體圖像的深度信息；以及發送步驟，用于發送所述圖像數據和所述深度信息；其中，所述深度信息包括圖像顯示平面的分割信息以及分割區域的深度信息；并且其中，在所述發送步驟中，發送具有包括所述圖像數據的數據流的復用數據流，并且將包括所述深度信息的描述符插入所述復用數據流。
13.—種立體圖像數據發送設備，包括圖像數據輸出單元，配置為輸出構成立體圖像的左眼圖像數據和右眼圖像數據；深度信息輸出單元，配置為輸出對應于所述立體圖像的深度信息；以及發送單元，配置為發送所述圖像數據和所述深度信息；其中，所述深度信息包括圖像顯示平面的分割信息以及分割區域的深度信息；并且其中，所述深度信息是指示立體圖像平面是否在距監視器位置的近側的圖像平面信息。
14.一種立體圖像數據接收設備，包括接收單元，配置為接收具有包括構成立體圖像的左眼圖像數據和右眼圖像數據的數據流的復用數據流，所述復用數據流中插入包括對應于所述立體圖像的深度信息的描述符，所述深度信息由圖像顯示平面的分割信息以及分割區域的深度信息構成；重疊信息數據輸出單元，配置為輸出從所述復用數據流獲得的對應于所述左眼圖像數據的左眼重疊信息的數據，以及從所述復用數據流獲得的對應于所述右眼圖像數據的右眼重疊信息的數據；以及數據重疊單元，配置為將所述左眼重疊信息的數據和所述右眼重疊信息的數據重疊在從所述復用數據流獲得的所述左眼圖像數據和所述右眼圖像數據上；其中，所述重疊信息數據輸出單元基于從所述復用數據流獲得的所述深度信息，提供所述左眼重疊信息的數據和所述右眼重疊信息的數據之間的視差。
15.如權利要求14所述的立體圖像數據接收設備，其中，在基于包括在所述深度信息中的視差信息提供所述左眼重疊信息的數據和所述右眼重疊信息的數據之間的視差時，如果通過在所述接收單元接收的新的所述描述符更新視差信息，那么所述重疊信息數據輸出單元對于多個幀使用通過內插處理獲得的視差信息，以便在所述多個幀上達到所述新的視差/[目息。
16.如權利要求14所述的立體圖像數據接收設備，其中已經對應于所述圖像數據的每個預定時段的開始時間點，將所述描述符插入所述復用數據流；并且其中，對應于每個時段的開始時間點插入所述復用數據流的描述符包括比所述時段更晚時段的深度信息；并且其中，在每個時段中提供所述左眼重疊信息的數據和所述右眼重疊信息的數據之間的視差時，所述重疊信息數據輸出單元使用通過內插處理獲得的視差信息，所述內插處理使用包括在所述時段和所述時段之前和之后的時段的所述深度信息中的視差信息。
17.—種立體圖像數據接收設備，包括接收單元，配置為接收具有包括構成立體圖像的左眼圖像數據和右眼圖像數據的數據流的復用數據流，所述復用數據流中插入包括對應于所述立體圖像的深度信息的描述符，所述深度信息由圖像顯示平面的分割信息以及分割區域的深度信息構成；以及發送單元，配置為經由發送路徑，發送從所述復用數據流獲得的所述左眼圖像數據和所述右眼圖像數據以及所述深度信息到外部設備。
18.如權利要求17所述的立體圖像數據接收設備，其中所述發送單元通過差分信號，經由多個信道中的所述發送路徑，發送所述圖像數據到所述外部設備；并且其中，所述深度信息插入所述圖像數據的消隱時段中，從而發送所述深度信息到所述外`部設備。
全文摘要
[問題]在顯示立體圖像時，在諸如OSD或其他圖形信息的重疊信息的顯示中，容易地保持圖像中各對象之間距離感知的一致性。[解決方案]深度信息輸出單元輸出對應于立體圖像的深度信息。深度信息包括代表圖像顯示平面的分割的信息以及用于每個分割區域的深度信息。深度信息由例如指示立體圖像平面是否位于監視器位置前面的圖像平面信息，或者由該圖像平面信息和視差信息的組合構成。指示視差信息存在的標記信息插入深度信息。深度信息包括在插入PMT、EIT之下的描述符或者復用數據流的其他表中，并且發送深度信息。
文檔編號H04N13/00GK103053166SQ20118003760
公開日2013年4月17日 申請日期2011年11月1日 優先權日2010年11月8日
發明者塚越郁夫 申請人:索尼公司