專利名稱：三維圖像數據發送設備、三維圖像數據發送方法、三維圖像數據接收設備和三維圖像數據 ...的制作方法
技術領域：
本發明涉及立體圖像數據發送裝置、立體圖像數據發送方法、立體圖像數據接收裝置和立體圖像數據接收方法，并且具體涉及能夠有利地執行諸如字幕的重疊信息的顯示的立體圖像數據發送裝置等。
背景技術：
例如，在PTLl中教導了用于使用電視電波發送立體圖像數據的方法。在此情況下，發送包括左眼圖像數據和右眼圖像數據的立體圖像數據，并且在電視接收機中執行使用雙眼視差的立體圖像顯示。圖43圖示屏幕上對象的左和右圖像的顯示位置以及使用雙眼視差在立體圖像顯示中由此形成的立體圖像的再現位置之間的關系。例如，對于對象A，在屏幕上其左圖像La顯示為向右側偏移并且其右圖像Ra顯示為向左側偏移，如圖所示，左和右視線在屏幕表面前方交叉，并且因此其立體圖像的再現位置在屏幕表面的前方。DPa代表關于對象A在水平方向的視差矢量。此外，例如關于對象B，其左圖像Lb和右圖像Rb顯示在屏幕上的相同位置，如圖所示，左和右視線在屏幕表面上交叉，并且因此其立體圖像的再現位置在屏幕表面上。此外，例如關于對象C，在屏幕上其左圖像Lc顯示為向左側偏移并且其右圖像Re顯示為向右側偏移，如圖所示，左和右視線在屏幕表面后方交叉，并且因此其立體圖像的再現位置在屏幕表面的后方。DPc代表關于對象C在水平方向的視差矢量。引用列表專利文獻PTLl :日本未審專利申請公開No. 2005-611
發明內容
技術問題如上所述，在立體圖像顯示中，觀看者通常使用雙眼視差識別立體圖像中的透視。例如，關于要重疊在圖像上的重疊信息(諸如字幕)，希望不僅在二維空間而且在三維透視中結合立體圖像顯示繪制。例如，在執行在圖像上字幕的重疊顯示(疊加顯示)的情況下，觀看者可能感覺透視不一致，除非字幕在透視方面在圖像中最接近的對象的前方顯示。此外，在執行其他圖形信息或文本信息在圖像上的重疊顯示的情況下，希望根據圖像中個別對象的透視執行視差調整，并且保持透視一致性。本發明的目的是在重疊信息(諸如字幕)的顯示中保持與圖像中個別對象的透視一致性。此外，本發明的目的是在例如無線工商協會(ARIB)方法中易于與重疊信息相關聯地發送視差信息。
問題的解決方案本發明的概念在于一種立體圖像數據發送裝置，包括圖像數據輸出單元，其輸出包括左眼圖像數據和右眼圖像數據的立體圖像數據；重疊信息數據輸出單元，其輸出重疊信息的數據，所述重疊信息要重疊在基于左眼圖像數據和右眼圖像數據的圖像上；視差信息輸出單元，其輸出視差信息，所述視差信息用于通過偏移要重疊在基于左眼圖像數據和右眼圖像數據的圖像上的所述重疊信息給出視差；以及數據發送單元，其發送包括第一數據流和第二數據流的復用數據流，所述第一數據流包括從所述圖像數據輸出單元輸出的立體圖像數據，所述第二數據流包括從所述重疊信息數據輸出單元輸出的重疊信息的數據以及從所述視差信息輸出單元輸出的視差信息，其中，所述第二數 據流包括用于發送關于重疊信息的顯示控制信息的數據單元，并且其中，所述數據單元包括插入其中的視差信息。在本發明中，圖像數據輸出單元輸出包括左眼圖像數據和右眼圖像數據的立體圖像數據。此外，重疊信息數據輸出單元輸出重疊信息的數據，所述重疊信息要重疊在基于左眼圖像數據和右眼圖像數據的圖像上。在此，重疊信息意味著重疊在圖像上的信息，諸如字幕。此外，視差信息輸出單元輸出視差信息，所述視差信息用于通過偏移要重疊在基于左眼圖像數據和右眼圖像數據的圖像上的所述重疊信息給出視差。此外，數據發送單元發送包括第一數據流和第二數據流的復用數據流。所述第一數據流包括從所述圖像數據輸出單元輸出的立體圖像數據。所述第二數據流包括從所述重疊信息數據輸出單元輸出的重疊信息的數據以及從所述視差信息輸出單元輸出的視差信肩、O所述第二數據流包括用于發送關于重疊信息的顯示控制信息的數據單元。視差信息插入所述數據單元。例如，重疊信息的數據是基于ARIB方法的字幕語句數據。其中插入視差信息的數據單元是字幕語句數據組中的數據單元。例如，插入數據單元的視差信息區別于基于類型信息的其他顯示控制信息。例如，插入數據單元的視差信息是對應于在同一屏幕上顯示的特定重疊信息的視差信息，或者是對應于在同一屏幕上顯示的多條重疊信息的視差信息。以此方式，在本發明中，視差信息插入用于發送關于包括在第二數據流中的重疊信息的顯示控制信息的數據單元，使得重疊信息與視差信息相關聯。因此，在接收機側，可以使用相應的視差信息，給出適當的視差到重疊在左眼圖像和右眼圖像上的重疊信息。因此，在顯示諸如字幕的重疊信息時，與圖像中個別對象的透視一致性可以保持在最佳狀態。在本發明中，例如，注意到視差信息包括第一視差信息或者包括第一視差信息和第二視差信息。所述第一視差信息在其中顯示重疊信息的特定數目的幀時段中共同使用。所述第二視差信息在所述特定數目的幀時段中順序更新。所述數據單元可以包括插入其中的標記信息，所述標記信息指示所述第二視差信息存在。在此情況下，可以僅發送第一視差信息，或者可以發送第一視差信息和第二視差信息。通過發送第二視差信息，可以根據接收機側圖像內容的改變，動態改變給到重疊信息的視差。此外，在本發明中，例如，所述第二視差信息可以包括關于所述特定數目的幀時段中的初始幀的視差信息。在此情況下，更新幀間隔可選地設置。例如，如果視差信息在時間方向(幀方向)極大改變，則可以通過減小更新幀間隔，更正確地發送視差信息的時間方向的改變到接收機側。此外，例如，如果視差信息在時間方向適度改變，則可以通過增加更新幀間隔抑制視差信息的數據量。此外，在本發明中，例如，所述第二視差信息可以包括添加到其的用于每個更新幀間隔的個別幀的標記信息，所述標記信息指示是否更新視差信息。在此情況下，如果其中視差信息的時間方向的改變小的時段連續，那么使用該標記信息可以省略該時段中視差信息的發送，使得可以抑制視差信息的數據量。此外，在本發明中，例如，所述第二視差信息可以包括添加到其的用于每個更新幀間隔的個別幀的信息，所述信息調整更新幀間隔。在此情況下，基于調整信息，可以在更短方向或更長方向可選地調整更新幀間隔，使得可以更恰當地發送時間方向的改變到接收機側。此外，在本發明中，例如，用于發送顯示控制信息并且插入視差信息的數據單元可以包括插入其中的信息，所述信息指定幀時段。因此，可以正確地發送在發送機側意圖的視差信息的更新幀間隔到接收機側。如果不添加該信息，那么接收機側例如參照視頻的幀時段。此外，在本發明中，例如，用于發送顯示控制信息并且插入視差信息的數據單元可以包括插入其中的信息，所述信息指示用于顯示重疊信息所需的視差信息的對應級別。在此情況下，該信息實現接收機側與視差信息的 對應控制。此外，在本發明中，例如，在數據單元的上層，第二數據流可以包括指示第二數據流是否兼容重疊信息的擴展顯示的標記信息。在此情況下，該標記信息使得接收機側能夠容易地識別第二數據流是否兼容重疊信息的擴展顯示(例如，3D顯示)。此外，在本發明中，例如，復用數據流可以包括插入其中的標記信息，該標記信息指示第二數據流是否兼容重疊信息的擴展顯示控制。在此情況下，接收機側可以容易地識別第二數據流是否兼容重疊信息的擴展顯示控制，而不用打開第二數據流中的數據。例如，所述復用數據流包括事件信息表，所述事件信息表用作用于以事件為單位執行管理的服務信息。所述標記信息插入所述事件信息表的下層。此外，例如，所述復用數據流包括節目圖表，所述節目圖表用作指示包括在所述復用數據流中的個別基本流所屬的節目的節目專用信息。所述標記信息插入所述節目圖表的下層本發明的另一概念在于一種立體圖像數據接收裝置，包括數據接收單元，其接收包括第一數據流和第二數據流的復用數據流，所述第一數據流包括用于顯示立體圖像的包括左眼圖像數據和右眼圖像數據的立體圖像數據，所述第二數據流包括重疊信息和視差信息的數據，所述重疊信息要重疊在基于左眼圖像數據和右眼圖像數據的圖像上，所述視差信息用于通過偏移要重疊在基于左眼圖像數據和右眼圖像數據的圖像上的所述重疊信息給出視差，所述第二數據流包括用于發送關于重疊信息的顯示控制信息的數據單元，所述視差信息插入所述數據單元；圖像數據獲得單元，其從包括在由所述數據接收單元接收的復用數據流中的所述第一數據流獲得所述立體圖像數據；重疊信息數據獲得單元，其從包括在由所述數據接收單元接收的復用數據流中的所述第二數據流獲得所述重疊信息的數據；視差信息獲得單元，其從包括在由所述數據接收單元接收的復用數據流中的所述第二數據流獲得所述視差信息；以及圖像數據處理單元，其使用包括在由所述圖像數據獲得單元獲得的立體圖像數據中的左眼圖像數據和右眼圖像數據、由所述視差信息獲得單元獲得的視差信息、以及由所述重疊信息數據獲得單元獲得的重疊信息的數據，給出視差到要重疊在左眼圖像和右眼圖像上的同一重疊信息，從而獲得其上重疊所述重疊信息的左眼圖像的數據以及其上重疊所述重疊信息的右眼圖像的數據。在本發明中，數據接收單元接收包括第一數據流和第二數據流的復用數據流。所述第一數據流包括用于顯示立體圖像的包括左眼圖像數據和右眼圖像數據的立體圖像數據。此外，所述第二數據流包括重疊信息和視差信息的數據，所述重疊信息要重疊在基于左眼圖像數據和右眼圖像數據的圖像上，所述視差信息用于通過偏移要重疊在基于左眼圖像數據和右眼圖像數據的圖像上的所述重疊信息給出視差。所述第二數據流包括用于發送關于重疊信息的顯示控制信息的數據單元。所述視差信息插入所述數據 單元。例如，所述重疊信息的數據是基于ARIB方法的字幕語句數據。其中插入視差信息的數據單元是字幕語句數據組中的數據單元。例如，插入數據單元的視差信息區別于基于類型信息的其他顯示控制信息。圖像數據獲得單元從包括在由所述數據接收單元接收的復用數據流中的所述第一數據流獲得所述立體圖像數據。此外，重疊信息數據獲得單元從包括在由所述數據接收單元接收的復用數據流中的所述第二數據流獲得所述重疊信息的數據。此外，視差信息獲得單元從包括在由所述數據接收單元接收的復用數據流中的所述第二數據流獲得所述視Hfs 息。此外，圖像數據處理單元使用左眼圖像數據、右眼圖像數據、重疊信息的數據以及視差信息，給出視差到要重疊在左眼圖像和右眼圖像上的同一重疊信息。因此，獲得其上重疊所述重疊信息的左眼圖像的數據以及其上重疊所述重疊信息的右眼圖像的數據。以此方式，在本發明中，視差信息插入數據單元，所述數據單元用于發送關于重疊信息的顯示控制信息，并且包括在包括重疊信息的第二數據流中，從而重疊信息與視差信息相關聯。因此，圖像數據處理單元可以使用相應的視差信息，給出適當的視差到要重疊在左眼圖像和右眼圖像上的重疊信息。因此，當顯示諸如字幕的重疊信息時，可以以最佳狀態保持與圖像中的個別對象的透視一致性性。此外，在本發明中，例如，插入數據單元的視差信息可以是在其中顯示重疊信息的特定數目的幀時段中順序更新的視差信息，并且可以包括關于特定數目的幀時段中的初始幀的視差信息以及關于每個更新幀間隔中的隨后幀的視差信息。在此情況下，可以根據圖像內容中的改變動態改變給到重疊信息的視差。此外，在本發明中，例如，圖像數據處理單元可以對包括在所述特定數目的幀時段中順序更新的視差信息中關于多個幀的視差信息執行內插處理，從而生成并且使用用于所述特定數目的幀時段中的可選幀間隔的視差信息。在此情況下，即使從發送機側以更新幀間隔發送視差信息，也可以以短間隔(例如，以幀為單位)控制給到重疊信息的視差。在此情況下，內插處理可以是線性內插處理，例如，可以包括時間方向(巾貞方向)的低通濾波處理。因此，即使以更新幀間隔從發送機側發送視差信息，也可以使得內插處理之后視差信息的時間方向中的改變減輕，并且可以抑制由以更新幀間隔給到重疊信息的視差的不連續轉變導致的不自然。本發明的有益效果 根據本發明，視差信息插入數據單元中，所述數據單元用于發送關于重疊信息的顯示控制信息，并且包括在包括重疊信息的第二數據流中，從而重疊信息與視差信息相關聯。因此，在接收機側，使用相應的視差信息，適當的視差可以給到要重疊在左眼圖像和右眼圖像上的重疊信息。因此，當顯示諸如字幕的重疊信息時，可以以最佳狀態保持與圖像中的個別對象的透視一致性。
圖1是根據本發明實施例的立體圖像顯示系統的示例配置的框圖。圖2是圖示廣播站中的發送數據生成單元的示例配置的框圖。圖3是圖示1920X1080像素的像素格式的圖像數據的圖。圖4包括描述作為用于發送立體圖像數據(3D圖像數據)的方法的“上下”方法、“并排方法”和“幀順序”方法的圖。圖5是描述檢測右眼圖像相對于左眼圖像的視差矢量的示例的圖。圖6是描述使用塊匹配方法獲得視差矢量的圖。圖7包括圖示字幕數據流的示例配置和字幕單元(字幕)的示例顯示的圖。圖8是圖示在各個像素的視差矢量的值用作各個像素的亮度值的情況下的示例圖像的圖。圖9是圖示各個塊的視差矢量的示例的圖。圖10包括描述由發送數據生成單元的視差信息創建單元執行的縮小尺寸處理的圖。圖11包括圖示由字幕編碼器生成的字幕數據流的示例配置和在此情況下創建視差矢量的示例的圖。圖12包括圖示由字幕編碼器生成的字幕數據流的另一示例配置和在此情況下創建視差矢量的示例的圖。圖13包括描述偏移重疊在第一和第二視圖上的各個字幕單元的位置的情況的圖。圖14是圖示包括在字幕語句數據組中的PES流中的字幕代碼的分組結構的圖。圖15是圖示包括在字幕管理數據組中的PES流中的控制碼的分組結構的圖。圖16是圖示基于ARIB方法的字幕數據流(PES流)中數據分組的結構的圖。圖17是示意性圖示在字幕語句數據組的情況下用作數據組結構中的“data_group_data_byte”的字幕語句數據(caption_data)的結構的圖。圖18是示意性圖示在字幕管理數據組的情況下用作數據組結構中的“data_group_data_byte” 的字幕管理數據(caption_management_data)的結構的圖。
圖19是圖示包括在字幕數據流中的數據單元(data_unit)的結構的圖。圖20是圖示數據單元、數據單元參數、和功能的類型的圖。圖21是圖示擴展顯示控制的新定義的數據單元(data_unit)的語法的圖。圖22是圖示擴展顯示控制的新定義的數據單元(data_unit)的語法的圖。圖 23 是圖不“Advanced_Rendering_Control” 中的“disparity_information” 的語法的圖。圖 24 是圖不 “disparity_information” 中的 “disparity_temporal_extension”的語法的圖。圖25 是圖不“Advanced_Rendering_Control ” 和“disparity_information” 的語法中的主要數據規范內容的圖。圖26 是圖不“Advanced_Rendering_Control ” 和“disparity_information” 的語法中的主要數據規范內容的圖。圖27是圖示在字幕顯示時段中的每個基礎片段時段(BSP)中更新視差信息的示例的圖。圖28是圖示在字幕顯示時段中的每個基礎片段時段(BSP)中更新視差信息的示例的圖。 圖 29 是圖不 “Advanced_Rendering_Control” 中 “disparity_inormation” 的另
一語法的圖。圖30是圖示包括視頻基本流、音頻基本流和字幕基本流的傳輸流(復用數據流)的示例配置的圖。圖31是圖示插入EIT的較低層的數據內容描述符的示例語法的圖。圖32包括圖示數據內容描述符中包括的“arib_caption_ino”的示例語法的圖。圖33是圖示包括視頻基本流、音頻基本流和字幕基本流的傳輸流(復用數據流)的另一示例配置的圖。圖34是圖示插入PMT的較低層的數據編碼方法描述符的示例語法的圖。圖35是圖示包括在數據編碼方法描述符中的“additional_arib_caption_info”的示例語法的圖。圖36包括圖示在圖像上的字幕(圖形信息)的示例顯示以及背景、前景對象和字幕的透視的圖。圖37包括圖示圖像上的字幕的示例顯示以及用于顯示字幕的左眼字幕LGI和右眼子眷RGI的圖。圖38是圖示形成立體圖像顯示系統的機頂盒的示例配置的框圖。圖39是圖示形成機頂盒的位流處理的示例配置的框圖。圖40是圖示通過對關于形成在字幕顯示時段順序更新的視差信息的多個幀的視差信息執行包括低通濾波處理的內插處理，生成用于可選幀間隔的視差信息(內插視差信息)的示例的圖。圖41是圖示形成立體圖像顯示系統的電視接收機的示例配置的框圖。圖42是圖示立體圖像顯示系統的另一示例配置的框圖。圖43是描述在使用雙眼視差的立體圖像顯示中，屏幕上對象的左和右圖像的顯示位置以及其立體圖像的再現位置之間的關系的圖。
具體實施例方式下文中，將描述用于執行本發明的模式(下文中稱為“實施例”)。將按以下順序給出描述。1.實施例2.修改〈1.實施例 > [立體圖像顯示系統的示例配置]圖1圖示根據實施例的立體圖像顯示系統10的示例配置。立體圖像顯示系統10包括廣播站100、機頂盒(STB) 200和電視接收機(TV) 300。機頂盒200和電視接收機300經由高清晰度多媒體接口(HDMI)線纜400相互連接。機頂盒200提供有HDMI端子202。電視接收機300提供由HDMI端子302。HDMI線纜400的一端連接到機頂盒200的HDMI端子202，并且HDMI線纜400的另一端連接到電視接收機300的HDMI端子302。[廣播站的描述]廣播站100使用電波發送位流數據BSD。廣播站100包括生成位流數據BSD的發送數據生成單元110。位流數據BSD包括具有左眼圖像數據和右眼圖像數據的立體圖像數據、音頻數據、重疊信息的數據以及此外的視差信息(視差矢量)等。重疊信息可以是圖形信息、文本信息等。在該實施例中，重疊信息包括字幕。[發送數據生成單元的示例配置]圖2圖示廣播站100中的發送數據生成單元110的示例配置。發送數據生成單元110發送具有可以容易地兼容日本無線工業及商貿聯合會(ARIB)的數據結構的視差信息(視差矢量)，ARIB是現有廣播標準之一。發送數據生成單元110包括數據取回單元(存檔單元)130、視差信息創建單元131、視頻編碼器113、音頻編碼器117、字幕產生單元132、字幕編碼器133和多工器122。數據記錄介質130a例如以可移除方式加載到數據取回單元130。音頻數據和視差信息相互關聯地與包括左眼圖像數據和右眼圖像數據的立體圖像數據一起，記錄在數據記錄介質130a上。數據取回單元130從數據記錄介質130a取回立體圖像數據、音頻數據、視差信息等，并且輸出它們。數據記錄介質130a是盤形記錄介質、半導體存儲器等。記錄在數據記錄介質130a上的立體圖像數據是基于特定發送方法的立體圖像數據。將描述用于發送立體圖像數據(3D圖像數據)的方法的示例。在此，建議以下第一到第三發送方法，但是可以替代使用其他發送方法。此外，在此將給出以下情況的描述，其中如圖3所示，左眼(L)的圖像數據和右眼(R)的圖像數據的每一個是確定分辨率(例如，1920X1080像素的像素格式)的圖像數據。第一發送方法是“上下”方法，也就是說，用于發送垂直方向中來自前一半的左眼圖像數據的每條線的數據并且發送垂直方向中來自后一半的左眼圖像數據的每條線的數據的方法，如圖4 (a)所示。在此情況下，左眼圖像數據和右眼圖像數據的線稀疏到一半，使得垂直分辨率降低到原始信號的一半。
第二發送方法是“并排”方法，也就是說，用于發送水平方向中來自前一半的左眼圖像數據的像素數據并且發送水平方向中來自后一半的右眼圖像數據的像素數據的方法，如圖4 (b)所示。在此情況下，在左眼圖像數據和右眼圖像數據的每個中，水平方向中的像素數據稀疏到一半。水平分辨率降低到原始信號的一半。第三發送方法是“幀順序”方法，也就是說，用于通過對于每幀在左眼圖像數據和右眼圖像數據之間順序切換，發送左眼圖像數據和右眼圖像數據的方法，如圖4 (C)所示。“幀順序”方法可以稱為“全幀”方法或“向后兼容”方法。數據記錄介質130a上記錄的視差信息例如包括形成圖像的各個像素的視差矢量。將描述檢測視差矢量的示例。在此，將描述檢測右眼圖像相對于左眼圖像的視差矢量的示例。如圖5所示，左眼圖像視為檢測圖像，并且右眼圖像視為參考圖像。在該示例中，檢測位置(xi，yi)和(xj，yj)處的視差矢量。 將描述檢測位置(xi，yi)處的視差矢量的情況作為示例。在該情況下，例如在左眼圖像中設置位置(xi，yi)的像素處于左上的4X4、8X8或16X16的像素塊(視差檢測塊)Bi。然后，在右眼圖像中搜索匹配像素塊Bi的像素塊。在此情況下，在右眼圖像中設置位置(xi，yi)處于中心的搜索范圍，并且通過順序將搜索范圍中的個別像素作為目標像素，順序設置例如類似于上述像素塊Bi的4X4、8X8或16X16的比較塊。在像素塊Bi和順序設置的比較塊之間，獲得相互對應的像素之間差的絕對值的和。在此，如圖6所示，當像素塊Bi的像素值是L(x，y)并且比較塊的像素值是R(x，y)時，像素塊Bi和比較塊之間差的絕對值的和由E |L(x，y)-R(x，y) I表達。當n個像素包括在右眼圖像中設置的搜索范圍中時，最終獲得n個和SI到Sn，并且從中選擇最小和Smin。然后，從由其獲得和Smin的比較塊獲得處于左上的像素的位置(xi’，yi’)。因此，處于位置(xi，yi)的視差矢量檢測為(xi’-xi，yi’-yi)。盡管省略了詳細描述，但是也以類似處理過程檢測處于位置(xj，yj)的視差矢量，其中例如4X4、8X8或16X16的像素塊Bj設置有在處于左眼圖像中的左上的位置(xj，yj)的像素。返回參照圖2，字幕產生單元132產生字幕數據(基于ARIB方法的字幕語句數據)。字幕編碼器133生成包括由字幕產生單元132產生的字幕數據的字幕數據流(字幕基本流)。圖7 (a)圖示字幕數據流的示例配置。在該示例中，如圖7 (b)所示，三個字幕單元(字幕)“第一字幕單元”、“第二字幕單元”和“第三字幕單元”顯示在相同屏幕上。各個字幕單元的各條字幕數據作為字幕語句數據組的各條字幕語句數據(字幕代碼)，插入字幕數據流中。此外，盡管未圖示，關于每個字幕單元的顯示區域的設置數據作為字幕管理數據組的數據，插入字幕數據流中。“第一字幕單元”、“第二字幕單元”和“第三字幕單元”的顯示區域分別由(xl，yl)、(x2, y2)和(x3, y3)代表。視差信息創建單元131具有觀看者功能。視差信息創建單元131對從數據取回單元130輸出的視差信息(即，各個像素的視差矢量)執行縮小尺寸處理，從而生成屬于特定區域的視差矢量。圖8圖示作為各個像素的亮度值給出的相對深度方向中的數據示例。在此，相對深度方向中的數據可以通過使用特定轉換處理為各個像素的視差矢量。在該示例中，亮度值在人的部分中大。這意味著視差矢量的值在人的部分中大，并且因此意味著人的部分感知為在立體圖像顯示中突出。此外，在該示例中，亮度值在背景的部分中小。這意味著視差矢量的值在背景的部分中小，并且因此意味著背景部分在立體圖像顯示中感知為在后側。圖9圖示各個塊的視差矢量的示例。各塊處于位于底層的像素的上層。通過將圖像(畫面)區域分為水平方向和垂直方向的特定尺寸的區域形成這些塊。例如，通過從塊中存在的所有像素的視差矢量中選擇最大值的視差矢量，獲得每個塊的視差矢量。在該示例中，由箭頭代表每個塊的視差矢量，并且箭頭的長度對應于視差矢量的大小。 圖10圖示在視差信息創建單元131中執行的縮小尺寸處理的示例。首先，視差信息創建單元131使用各個像素的視差矢量獲得各個塊的視差矢量，如圖10 (a)所示。如上所述，各塊處于位于底層的像素的上層，并且通過將圖像(畫面)區域分為水平方向和垂直方向的特定尺寸的區域形成。此外，例如通過從塊中存在的所有像素的視差矢量中選擇最大值的視差矢量，獲得每個塊的視差矢量。接下來，視差信息創建單元131使用各個塊的視差矢量，獲得各個組(各塊的組)的視差矢量，如圖10 (b)所示。各組處于各塊的上層，并且通過分組相互接近的多個塊獲得。在圖10 (b)的示例中，通過由虛線框限定的四個塊構成每個組。此外，例如通過從組中存在的所有塊的視差矢量中選擇最大值的視差矢量，獲得每個組的視差矢量。接下來，視差信息創建單元131使用各個組的視差矢量，獲得各個分區的視差矢量，如圖10 (C)所示。各分區處于各組的上層，并且通過分組相互接近的多個組獲得。在圖10 (C)的示例中，通過由虛線框限定的兩個組構成每個分區。此外，例如通過從分區中存在的所有組的視差矢量中選擇最大值的視差矢量，獲得每個分區的視差矢量。接下來，視差信息創建單元131使用各個分區的視差矢量，獲得位于頂層的整個畫面(整個圖像)的視差矢量，如圖10 (d)所示。在圖10 (d)的示例中，通過由虛線框限定的四個分區包括在整個畫面中。此外，例如通過從整個畫面中包括的所有分區的視差矢量中選擇最大值的視差矢量，獲得整個畫面的視差矢量。以此方式，視差信息創建單元131對位于底層的各個像素的視差矢量執行縮小尺寸處理，從而能夠獲得個別層(即，各塊、各組、各分區和整個畫面)中各個區域的視差矢量。注意到，在圖10所示的縮小尺寸處理的示例中，除了像素層外，最終獲得四個層(S卩，各塊、各組、各分區和整個畫面)中的視差矢量。然而，各層的數目、用于劃分每層中區域的方法、以及區域的數目不限于此。視差信息創建單元131通過上述縮小尺寸處理，創建對應于要在同一屏幕上顯示的特定數目的字幕單元(字幕)的視差矢量。在此情況下，視差信息創建單元131創建各個字幕單元的視差矢量(個別視差矢量)或創建個別字幕單元公共的視差矢量(公共視差矢量)。例如，取決于用戶進行的設置執行選擇。在創建個別視差矢量的情況下，視差信息創建單元131通過執行上述縮小尺寸處理，獲得屬于基于顯示區域的各個字幕單元的顯示區域的視差矢量。此外，在創建公共視差矢量的情況下，視差信息創建單元131通過執行上述縮小尺寸處理，獲得整個畫面(整個圖像)的視差矢量(見圖10 (d))。在創建公共視差矢量的情況下，視差信息創建單元131可以獲得屬于各個字幕單元的顯示區域的視差矢量，并且選擇最大值的視差矢量。字幕編碼器133使得以上述方式由視差信息創建單元131創建的視差矢量(視差信息)包括在字幕數據流中。在此情況下，要在同一屏幕上顯示的各個字幕單元的各條字幕數據插入字幕數據流中的字幕語句數據組的PES流中，作為各條字幕語句數據(字幕代碼)。此外，在該字幕數據流中，視差矢量(視差信息)插入字幕語句數據組的PES流中，作為用于字幕的顯示控制信息。現在，將給出由視差信息創建單元131創建個別視差矢量的情況的描述。在此，假設在同一平面上顯示三個字幕單元(字幕)“第一字幕單元”、“第二字幕單元”和“第三字幕單元”。視差信息創建單元131創建對應于各個字幕單元的個別視差矢量，如圖11 (b)所示。“視差I”是對應于“第一字幕單元”的個別視差矢量。“視差2”是對應于“第二字幕單元，，的視差矢量。“視差3”是對應于“第三字幕單元”的個別視差矢量。圖11 (a)圖示由視差信息創建單元131生成的字幕數據流(PES流)中字幕語句數據組的PES流的示例配置。各個字幕單元的各條字幕語句信息(字幕語句數據)插入字幕數據組的PES流中。此外，對應于各個字幕單元的各條字幕語句信息的各條顯示控制信息(視差信息)插入該字幕語句數據組的PES流。在此情況下，用作各條顯示控制信息的各條視差信息是由視差信息創建單元131創建的個別視差矢量，如上所述。注意到，盡管沒有圖示，關于各個字幕單元的顯示區域的設置數據插入字幕管理數據組的PES流，作為各條字幕管理數據(控制代碼)。此外，“第一字幕單元”、“第二字幕單元”和“第三字幕單元”的顯示區域分別由(xl，yl)、(x2，y2)和(x3，y3)代表。圖11 (C)圖示其中個別字幕單元(字幕)重疊例如右眼圖像的第一視圖。此外，圖
11Cd)圖示其中個別字幕單元(字幕)重疊例如左眼圖像的第二視圖。對應于各個字幕單元的個別視差矢量用于例如給出重疊在右眼圖像上的個別字幕單元和重疊在左眼圖像上的個別字幕單元之間的視差，如所圖示的。接下來，將給出由視差信息創建單元131創建個別視差矢量的情況的描述。在該示例中，在同一屏幕上顯示三個字幕單元(字幕)“第一字幕單元”、“第二字幕單元”和“第三字幕單元”。視差信息創建單元131創建對于個別字幕單元公共的公共視差矢量“視差”，如圖12 (b)所示。圖12 Ca)圖示由字幕編碼器133生成的字幕數據流(PES流)中字幕語句數據組的PES流的示例配置。各個字幕單元的各條字幕語句信息(字幕語句數據)插入字幕語句數據組的PES流中。此外，共同對應于各個字幕單元的各條字幕語句信息的顯示控制信息(視差信息)插入字幕語句數據組的PES流。在此情況下，用作顯示控制信息的視差信息是由視差信息創建單元131創建的公共視差矢量，如上所述。盡管沒有圖示，關于各個字幕單元的顯示區域的設置數據插入字幕管理數據組的PES流，作為各條字幕管理數據(控制代碼)。“第一字幕單元”、“第二字幕單元”和“第三字幕單元”的顯示區域分別由(xl，yl)、(x2, y2)和(x3, y3)代表。圖12 (C)圖示其中個別字幕單元(字幕)重疊例如右眼圖像的第一視圖。此外，圖
12Cd)圖示其中個別字幕單元(字幕)重疊例如左眼圖像的第二視圖。對于個別字幕單元公共的公共視差矢量用于例如給出重疊在右眼圖像上的個別字幕單元和重疊在左眼圖像上的個別字幕單元之間的視差，如所圖示的。在圖11 (C)和(d)以及圖12 (C)和(d)圖示的示例中，僅僅重疊在第二視圖(例如，左眼圖像)上的各個字幕單元的位置偏移。然而，僅僅重疊在第一視圖(例如，右眼圖像)上的各個字幕單元的位置偏移的情況，或者重疊在兩個視圖上的各個字幕單元的位置偏移的情況可能是可接受的。圖13 Ca)和(b)圖示重疊在第一和第二視圖兩者上的字幕單元的位置偏移的情況。在此情況下，基于對應于各個字幕單元的視差矢量“視差”的值“視差[i]”，以以下方式獲得第一視圖和第二視圖中各個字幕單元的偏移值(偏置值)D[i]。也就是說，在視差[i]是偶數的情況下，在第一視圖中獲得“D[i]=_視差[i]/2”，并且在第二視圖中獲得“D[i]=視差[i]/2”。因此，重疊在第一視圖(例如，右眼圖像)上的各個字幕單元的位置向左偏移“視差[i]/2”。此外，重疊在第二視圖(例如，左眼圖像)上的各個字幕單元的位置向右偏移“視差[i]/2”。此外，在視差[i]是奇數的情況下，在第一視圖中獲得“D[i]=_ (視差[i]+l)/2”，并且在第二視圖中獲得“D[i]=(視差[i]_l)/2”。因此，重疊在第一視圖(例如，右眼圖像)上的各個字幕單元的位置向左偏移“(視差[i]+l)/2”。此外，重疊在第二視圖(例如，左眼圖像)上的各個字幕單元的位置向右偏移“(視差[i]_l) /2”。現在，將簡要描述字幕代碼和控制代碼的分組結構。首先，將描述包括在字幕語句數據組的PES流中的字幕代碼的基本分組結構。圖14圖示字幕代碼的分組結構。“Data_gr0Up_id”代表數據分組標識。在此，其代表字幕語句數據組。代表字幕語句數據組的“Data_group_id”進一步制定語言。例如，“Data_group_id==0x21”代表字幕語句數據組和
字幕語句(第一語言)。“Data_gr0Up_SiZe”代表隨后數據組數據的字節數。在字幕語句數據組的情況下，數據組數據是字幕語句數據(caption_data)。在字幕語句數據中，安排一個或多個數據單元。個別數據單元由數據單元分離代碼(unit_separator)相互分離。在每個數據單元中安排字幕代碼作為數據單元數據(data_unit_data)。接下來，將描述控制代碼的分組結構。圖15圖示包括在字幕管理數據組的PES流中的控制代碼的分組結構。“Data_gr0Up_id”代表數據組標識。在此，其代表字幕管理數據組，并且獲得“Data_group_id==0x20”。“Data_group_size”代表隨后數據組數據的字節數。在字幕管理數據組的情況下，數據組數據是字幕管理數據(caption_management_data)。在字幕管理數據中，安排一個或多個數據單元。個別數據單元由數據單元分離代碼(unit_wparator)相互分離。在每個數據單元中，安排控制代碼作為數據單元數據(data_unit_data)。在該實施例中，視差矢量的值給出為8單元代碼。“TCS”是2位數據，并且代表字符編碼方法。在此，“ TCS==OO ”代表8單元代碼。圖16圖示字幕數據流(PES流)中數據組的結構。“data_gr0Up_id”的6位字段代表數據組標識，并且標識字幕管理數據的類型和字幕語句數據。“data_gr0Up_SiZe”的16位字段代表該數據組字段中隨后數據組數據的字節數。數據組數據存儲在“data_gr0Up_data_byte”中。“CRC_16”是16位循環冗余檢查代碼。該CRC代碼的編碼部分從“data_group_id” 的頂部到 “data_group_data_byte” 的尾部。在字幕管理數據組的情況下，圖16中的數據組結構中的“ data_group_data_byte”是字幕管理數據(caption_management_data)。在字幕語句數據組的情況下，圖16中的數據組結構中的“data_group_data_byte”是字幕數據(caption_data)。圖17示意性圖示字幕數據的結構。“advanced_rendering_version”是在該實施例中新定義的I位標記信息，并且代表字幕數據是否兼容字幕的擴展顯示。在接收機側，可以基于置于數據單元的上層的這種標記信息，容易地識別字幕數據是否兼容字幕的擴展顯“data_unit_l00p_length”的24位字段指示該字幕語句數據字段中隨后數據單元的字節數。在該字幕語句數據字段中要發送的數據單元存儲在“data_unit”中。此外，圖18示意性圖示字幕管理數據的結構。該結構與前述字幕語句數據的結構類似，除了不存在 “advanced_rendering_version”,盡管省略了詳細描述。圖19圖示包括在字幕數據流中的數據單元(data_unit)的語法。“unit_separator”的8位字段指示數據單元分離代碼，也就是說“OxlF”。“data_unit_parameter”的8位字段是用于標識數據單元的類型的數據單元參數。圖20圖示數據單元的類型、數據單元參數和功能。例如，指示文本的數據單元的數據單元參數是“0x20”。此外,例如,指示幾何的數據單元的數據單元參數是“0x28”。此夕卜，例如，指示位圖的數據單元的數據單元參數是“0x35”。在該實施例中，新定義用于存儲顯示控制信息(擴展顯示控制信息)的擴展顯示控制的數據單元，并且指示該數據單元的數據單元參數例如是“0x4F”。在該數據單元字段中，“data_unit_siZe”的24位字段指示隨后數據單元的字節數。數據單元數據存儲在“data_unit_data_byte”中。圖21圖示擴展顯示控制的數據單元(data_unit)的語法。在此情況下,數據單元參數是“0x4F”,并且顯示控制信息存儲在“Advanced_Rendering_Control ” 作為 “data_unit_data_byte，，。圖22圖不“Advanced_Rendering_Control ”的語法。圖22圖不在插入用于立體視頻的視差信息作為顯示控制信息的情況下的語法。也就是說，圖22圖示包括在字幕語法數據組中的擴展顯示控制的數據單元(data_unit)中的“Advanced_Rendering_Control ”的語法。“start_code，，的 8 位字段指不“Advanced_Rendering_Control” 的開始。“data_unit_id”的16位字段指示數據單元ID。“data_length”的16位字段指示先進渲染控制的字段中的隨后數據的字節數。“Advanced_rendering_type”的8位字段是指定顯示控制信息的類型的先進渲染類型。在此，數據單元參數例如是“0x01”，其指示顯示控制信息是“用于立體視頻的視差信息”。視差信息存儲在“disparity_information”中。注意到，圖25和26圖不“Advanced_Rendering_Control”的上述語法中并且此外在下述圖23和24中圖示的“disparity_information”的語法中的主要數據規范內容。圖23和24圖示包括在字幕語句數據組中的擴展顯示控制的數據單元(data_unit)中的 “Advanced_Rendering_Control ” 中的 “disparity_information” 的語法。“sync_byte” 的 8 位字段是“disparity_information” 的標識信息，并且指示“disparity_information”的開始。“interval_PTS[32. . 0] ”以90KHz為單位指定視差信息(視差)的更新幀間隔中的幀時段(一個幀的間隔)。也就是說，“interVal_PTS[32. . 0] ”用33位長度代表通過在90KHz的時鐘中測量幀時段獲得的值。通過在視差信息中使用“interval_PTS[32. . 0] ”指定幀時段，在發送機側準備的視差信息的更新幀間隔可以適當地發送到接收機側。如果不添加這種信息，則例如在接收機側參考視頻的幀時段。
“renderingjevel”代表當顯示字幕時在接收機側(解碼器側)需要的視差信息(視差)的對應級別(correspondence level)。“00”代表使用視差信息的字幕的3D顯示是可選的。“01”代表在字幕顯示時段中共同使用的使用視差信息(defaUlt_diSparity)的字幕的3D顯示是必須的。“10”代表在字幕顯示時段中順序更新的使用視差信息(disparity_update)的字幕的3D顯示是必須的。“temporal_extension_flag”是I位標記信息，其指示在字幕顯示時段(diSparity_Update)中順序更新的視差信息的存在/不存在。在此情況下，“ I”代表存在，并且“0”代表不存在。“defaUlt_diSparity”的8位字段指示默認的視差信息。默認的視差信息是在不執行更新的情況下的視差信息，即，在字幕顯示時段中共同使用的視差信息。“shared_disparity”指示是否要執行數據單元(Data_unit)公共的視差信息(視差)的控制。“I”代表單條公共視差信息(視差)應用于多個隨后數據單元(Data_unit)。“0”代表單條視差信息(視差)僅應用于單個數據單元(data_unit)。當“temporal_extension flag，，是 I 時，視差信息具有“disparity_temporal_extensionO^0基本上，要在每個基本段時段(BSP)中更新的視差信息存儲在其中。圖27圖示每個BSP中更新視差信息的示例。在此，BSP意味著更新幀間隔。如從圖27清楚的，在字幕顯示時段中順序更新的視差信息包括關于在字幕顯示時段中的初始幀的視差信息，以及關于在每個BSP (更新幀間隔)中的隨后幀的視差信息。“temporal_division_size”的2位字段指示包括在BSP (更新巾貞間隔)中的巾貞數。“00”代表16幀。“01”代表25幀。“10”代表30幀。此外，“11”代表32幀。
“temporal_division_count”代表包括在字幕顯示時段中的BSP的數目。“disparity_curve_no_update_flag”是指示是否更新視差信息的I位標記信息。“I”代表在相應BSP的邊緣不更新視差信息，即，跳過更新。“0”代表在相應BSP的邊緣更新視差信肩、O圖28圖示每個BSP中更新視差信息的示例。在該附圖中，在“跳過”的情況下，在BSP的邊緣不更新視差信息。在存在這種標記信息的情況下，如果視差信息的幀方向中的改變的時段小，那么不更新視差信息，并且可以省略該時段中視差信息的發送，從而抑制視差信息的數據量。當“disparity_curve_no_update_flag”是0并且更新視差信息時，視差信息包括相應 BSP 的 “shifting_interval_counts”。此外，當 “disparity_curve_no_update_flag”是0并且更新視差信息時，視差信息包括“disparity_update”。“shifting_interal_counts”的6位字段指示用于調整BSP (更新幀間隔)的繪制因子，即，要繪制的幀數。在圖28中圖示的在每個BSP中更新視差信息的示例中，在時間點C到F使用關于視差信息的更新時序的繪制因子，調整BSP。存在這種調整信息實現BSP (更新幀間隔)的調整，使得視差信息的時間方向(幀方向)中的改變可以適當地發送到接收機側。對于BSP (更新幀間隔)的調整，可以通過添加幀在較長方向以及通過繪制幀在較短方向調整BSP。例如,通過設置具有符號的整數到“shifting_interval_counts”的6位字段，可以執行雙向調整。“disparity_update”的8位字段指示相應BSP的視差信息。k=0中的“disparity_update”是在字幕顯示時段中在更新幀間隔順序更新的視差信息(S卩，關于字幕顯示時段中的初始幀的視差信息)的初始值。在圖23 中圖不的 “disparity_information” 的語法中，添加了 “interval_PTS [32. . 0] ”。然而，可以米用沒有 “ interval_PTS [32. . 0] ” 的 “disparity_information”的語法。在此情況下,“disparity_information”的語法是圖29中圖示的。返回參照圖2，視頻編碼器113根據MPEG4-AVC、MPEG2、VC-1等對從數據取回單元130提供的立體圖像數據執行編碼，從而生成視頻基本流。音頻編碼器117根據MPEG-2Audio AAC等對從數據取回單元130提供的音頻數據執行編碼，從而生成音頻基本流。多工器122多路復用從視頻編碼器113、音頻編碼器117和字幕編碼器133輸出的個別基本流。然后，多工器122輸出用作發送數據(復用流)的位流數據(傳輸流)BSD。 將簡要描述圖2中圖示的發送數據生成單元110的操作。從數據取回單元130輸出的立體圖像數據提供到視頻編碼器113。在視頻編碼器113中，根據MPEG4-AVC、MPEG2、VC-1等對立體圖像數據執行編碼，使得生成包括編碼的視頻數據的視頻基本流。將該視頻基本流提供到多工器122。此外，在字幕產生單元132中，基于ARIB方法產生字幕數據。將字幕數據提供到字幕編碼器133。在字幕編碼器133中，生成包括由字幕產生單元132產生的字幕數據的字幕基本流(字幕數據流)。將該字幕基本流提供到多工器122。此外，將從數據取回單元130輸出的各個像素的視差矢量提供到視差信息創建單元131。在視差信息創建單元131中，通過縮小尺寸處理創建對應于要在同一屏幕上顯示的特定數目的字幕單元(字幕)的視差矢量(水平方向視差矢量)。在此情況下，在視差信息創建單元131中，創建各個字幕單元的視差矢量(個別視差矢量)或對于所有字幕單元公共的視差矢量(公共視差矢量)。將由視差信息創建單元131創建的視差矢量提供到字幕編碼器133。在字幕編碼器133中，使得視差矢量包括在字幕數據流中(見圖11和圖12)。要在同一屏幕上顯示的各個字幕單元的各條字幕數據插入字幕數據流中的字幕語句數據組的PES流，作為各條字幕語句數據(字幕代碼)。此外，視差矢量(視差信息)插入字幕數據流中的字幕語句數據組的PES流，作為字幕的顯示控制信息。在此情況下，視差矢量插入新定義的用于發送顯示控制信息的擴展顯示控制的數據單元(見圖21到24和29)。此外，從數據取回單元130輸出的音頻數據提供到音頻編碼器117。在音頻編碼器117中，根據MPEG-2Audio AAC等對音頻數據執行編碼，使得生成包括編碼音頻數據的音頻基本流。將該音頻基本流提供到多工器122。如上所述，多工器122提供由來自視頻編碼器113、音頻編碼器117和字幕編碼器133的基本流。然后，在多工器122中，分組并且多路復用從各個編碼器提供的基本流，使得獲得位流數據(傳輸流)BSD作為發送數據。圖30圖示包括視頻基本流、音頻基本流和字幕基本流的典型傳輸流(復用數據流)的示例配置。該傳輸流包括通過分組個別基本流獲得的PES分組。在該示例配置中，包括視頻基本流的PES分組“視頻PES ”。此外，在該示例配置中，包括音頻基本流的PES分組“音頻PES”和字幕基本流的PES分組“字幕PES”。此外，傳輸流包括用作節目專用信息(PSI)的節目圖表(PMT)。PSI是指示包括在傳輸流中的個別基本流所屬的節目的信息。此外，傳輸流包括用作用于以事件為單位執行管理的服務信息(SI)的事件信息表(EIT)。描述與整個節目相關的信息的節目描述符存在于PMT中。此外，具有與各個基本流相關的信息的基本環存在于PMT中。在該示例配置中，存在視頻基本環、音頻基本環和字幕基本環。在每個基本環中，為每個流提供包括分組標識符(PID)和流類型(Stream_Type)的信息。此外，盡管沒有圖示，但是提供描述與基本流相關信息的描述符。在該實施例中，從多工器122 (見圖2)輸出的傳輸流(復用數據流)包括插入其中的標記信息。標記信息指示字幕數據流是否兼容字幕的擴展顯示控制。在此，字幕的擴展顯示控制例如是使用視差信息的3D字幕顯示。在此情況下，接收機側(機頂盒200)可以識別字幕數據流是否兼容字幕的擴展顯示控制而不用打開字幕數據流中的數據。多工器122將標記信息插入上述EIT的下層。在圖30的示例配置中，數據內容描述符插入EIT的下層。該數據內如描述符包括標記信息“Advanced_Rendering_support”。圖31圖示數據內如描述符的示例語法。“descriptorjag”是指示描述符(S卩，這里的數據內如描述符)的類型8位數據。“descriptor_length”是指示描述符的長度(大小)的8位數據。該數據指示“descriptorjength”之后的字節數作為描述符的長度。“component_tag”是用于進行與字幕基本流的關聯的8位數據。“arib_caption_info” 在 “component_tag” 之后定義。圖 32 Ca)圖不了 “arib_caption_info” 的不例語法。“Advanced_Rendering_support”是指示字幕數據流是否兼容字幕的擴展顯示控制的I位標記信息，如圖32 (b)所示。“I”代表字幕數據流兼容字幕的擴展顯示控制。“0”代表字幕數據流不兼容字幕的擴展顯示控制。 此外，多工器122能夠將上述標記信息插入PMT的下層。圖33圖示在此情況下的傳輸流(復用數據流)的示例配置。在該示例配置中，數據編碼方法描述符插入PMT的字幕ES環的下層。數據編碼方法描述符包括標記信息“Advanced_Rendering_support”。圖34圖示數據編碼方法描述符的示例語法。“deSCript0r_tag”是指示描述符(即，在此的數據內容描述符)的類型的8位數據。“descriptorjength”是指示描述符的長度(大小)的8位數據。該數據指示“descriptorjength”之后的字節數作為描述符的長度。“component_tag”是用于進行與字幕基本流的關聯的8位數據。在此，“data_component_id，，是代表字幕數據的“0x0008，，。“additional_arib_caption_info，@^“data_component_id” 之后定義。圖 35 圖不“additional_arib_caption_info” 的不例語法。“Advanced_Rendering_support”是指示字幕數據流是否兼容字幕的擴展顯示控制的I位標記信息，如圖32 (b)所示。“I”代表字幕數據流兼容字幕的擴展顯示控制。“0”代表字幕數據流不兼容字幕的擴展顯示控制。如上所述，在圖2所示的發送數據生成單元110中，從多工器122輸出的位流數據BSD是包括視頻數據流和字幕數據流的復用數據流。視頻數據流包括立體圖像數據。此外，字幕數據流包括基于ARIB方法和視差矢量(視差信息)的字幕(字幕單元)的數據。此外，視差信息插入數據單元，用于發送字幕語句數據組的PES流中的字幕顯示控制信息，使得字幕語句數據(字幕語句信息)與視差信息相關聯。因此，在接收機側(機頂盒200)，可以使用相應的視差矢量(視差信息)給出適當的視差到重疊在左眼圖像和右眼圖像上的字幕單元(字幕)。因此，當顯示字幕單元(字幕)時，可以以最佳狀態保持與圖像中的個別對象的透視一致性。此外，在圖2中圖示的發送數據生成單元110中，在字幕顯示時段中共同使用的視差信息(見圖23中的“default_disparity”)插入擴展顯示控制的新定義的數據單元。此夕卜，在字幕顯示時段中順序更新的視差信息(見圖24中的“diSparity_Update”)可以插入該數據單元。此外，指示在字幕顯示時段中順序更新的視差信息存在的標記信息插入擴展顯示控制的數據單元(見圖23中的“temporal_extension_flag”)。因此，可以僅發送在字幕顯示時段中共同使用的視差信息，或者可以發送在字幕顯示時段中順序更新的視差信息。通過發送在字幕顯示時段中順序更新的視差信息，可以根據接收機側(機頂盒200)圖像的改變動態改變給出到重疊信息的視差。在圖2所示的發送數據生成單元110中，插入擴展顯示控制的數據單元并且在字幕顯示時段中順序更新的視差信息基本是用于每個BSP的視差信息(見圖27)。也就是說，視差信息包括關于字幕顯示時段中的初始幀的視差信息以及關于每個BSP中的隨后幀的視差信息。BSP (更新巾貞間隔)可以可選地設置(見圖24中的“temporal_division_size”)。因此，例如，當視差信息在時間方向(幀方向)上迅速改變時，縮短更新幀間隔，從而能夠更精確地發送視差信息的時間方向上的改變到接收機側(機頂盒200)。此外，例如，當視差信息在時間方向上緩慢改變時，使得更新幀間隔更長，從而能夠抑制視差信息的數據量。此外，在圖2所示的發送數據生成單元110中，當在字幕顯示時段中順序更新的視差信息插入擴展顯示控制的數據單元時，添加隨后的標記信息。標記信息是指示是否更新視差信息的標記信息(見圖24中的“disparity_curve_no_update_flag”)。該標記信息添加到每個BSP (更新幀間隔)中的個別巾貞。在此情況下，如果其中視差信息的時間方向上的改變小的時段連續，那么使用標記信息可以省略該時段中的視差信息的發送(見圖28中具有“跳過”的BSP的邊緣)，使得可以抑制視差信息的數據量。此外，在圖2所示的發送數據生成單元110中，當在字幕顯示時段中順序更新的視差信息插入擴展顯示控制的數據單元時，添加以下調整信息。該調整信息是用于調整BSP(更新巾貞間隔)的調整信息(見圖24中的“shifting_interval_counts”)。在此情況下,基于調整信息，BSP可以可選地在較短方向或較長方向調整。因此，視差信息的時間方向(幀方向)上的改變可以更精確地發送到接收機側(機頂盒200)(見圖28中使用“繪制因子”的調整)。此外， 在圖2所示的發送數據生成單元110中，指定幀時段的信息插入擴展顯示控制的數據單元(見圖23中的“interval_PTS[32. .0]”)。因此，發送機側(廣播站100)意圖的視差信息的BSP (更新幀間隔)可以精確地發送到接收機側(機頂盒200)。如果不添加這樣的信息，那么接收機側例如參照視頻的幀時段。此外，在圖2所示的發送數據生成單元110中，擴展顯示控制的數據單元包括指示在顯示字幕時接收機側(機頂盒200)需要的視差信息(視差)的對應級別的信息(見圖23中的“rendering_level”)。在此情況下,可以通過使用該信息控制與接收機側的視差信息的對應。此外，在圖2所示的發送數據生成單元110中，指示字幕數據流是否兼容字幕的擴展顯示的I位標記信息插入字幕數據流(字幕語句數據組的PES流)層，也就是說，插入擴展顯示控制的數據單元的上層(見圖17中的“advanced_rendering_version”)。基于該標記信息，接收機側可以容易地識別字幕數據流是否兼容字幕的擴展顯示。此外，在圖2所示的發送數據生成單元110中，指示字幕數據流是否兼容重疊信息的擴展顯示控制的標記信息插入復用數據流(傳送流)，也就是說，插入系統層(見圖32和35中的“Advanced_Redndering_support”)。因此,接收機側(機頂盒200)可以識別字幕數據流是否兼容字幕的擴展顯示控制而不用打開字幕數據流中的數據。[機頂盒的描述]返回參照圖1，機頂盒200接收從廣播站100使用電波發送的位流數據(傳輸流)BSD。位流數據BSD包括立體圖像數據和音頻數據，立體圖像數據包括左眼圖像數據和右眼圖像數據。此外，位流數據BSD包括字幕單元的各條字幕數據，以及此外用于給出視差到字幕單元的視差矢量(視差信息)。機頂盒200包括位流處理單元201。位流處理單元201從位流數據BSD提取立體圖像數據、音頻數據、字幕單元的各條字幕數據、視差矢量等。位流處理單元201使用立體圖像數據、字幕單元的各條字幕數據等生成其上重疊字幕的左眼圖像和右眼圖像的數據。在此情況下，基于視差矢量和字幕單元的字幕數據，生成要重疊在左眼圖像和右眼圖像上的左眼字幕和右眼字幕的數據。在此，左眼字幕和右眼字幕是同一字幕。然而，左眼字幕和右眼字幕的圖像中的重疊位置相互在水平方向偏移視差矢量。因此，給出左眼字幕和右眼字幕之間的視差，并且識別字幕的位置處于圖像前面。圖36 (a)圖示圖像上字幕單元(字幕)的示例顯示。在該顯示示例中，字幕重疊在由背景和前景對象構成的圖像上。圖36 (b)圖示背景、前景和字幕的透視，并且圖示字幕識別為最近。 圖37 (a)圖示圖像上字幕單元(字幕)的示例顯示，如在圖36 (a)中。圖37 (b)圖示重疊在左眼圖像上的左眼字幕LGI和重疊在右眼圖像上的右眼字幕RGI。圖37 (c)圖示給出左眼字幕LGI和右眼字幕RGI之間的視差，使得字幕識別為最近。[機頂盒的示例配置]將描述機頂盒200的示例配置。圖38圖示機頂盒200的示例配置。機頂盒200包括位流處理單元201、數字調諧器204、視頻信號處理電路205、HDMI發送單元206和音頻信號處理電路207。此外，機頂盒200包括中央處理單元(CPU) 211、閃速只讀存儲器(ROM)212、動態隨機存取存儲器(DRAM)213、內部總線214、遙控接收單元215和遙控發送器216。天線端子203是用于輸入由接收天線(未圖示)接收的電視廣播信號的端子。數字調諧器204處理輸入到天線端子203的電視廣播信號，并且輸出對應于由用戶選擇的頻道的特定位流數據(傳輸流)。如上所述，位流處理單元201從位流數據BSD提取立體圖像數據、音頻數據、字幕單元的各條字幕數據、視差矢量等。位流處理單元201組合左眼字幕和右眼字幕的數據與立體圖像數據，從而生成要顯示的立體圖像數據并且輸出該數據。此外，位流處理單元201輸出音頻數據。下面將描述位流處理單元201的特定配置。視頻信號處理電路205對從位流處理單元201輸出的立體圖像數據根據需要執行圖像質量調整處理等，并且將處理的立體圖像數據提供到HDMI發送單元206。音頻信號處理電路207對從位流處理單元201輸出的音頻數據根據需要執行音頻質量調整處理等，并且將處理的音頻數據提供到HDMI發送單元206。HDMI發送單元206通過與HDMI兼容的通信，從HDMI端子202發送基帶的圖像(視頻)和音頻的數據。在此情況下，使用HDMI的最小化傳輸差分(TMDS)信道傳輸該數據，并因此封裝圖像和音頻的數據，并且從HDMI發送單元206輸出到HDMI端子202。CPU211控制機頂盒200的個別單元的操作。閃速R0M212存儲控制軟件并且存儲數據。DRAM213形成CPU211的工作區域。CPU211在DRAM213上擴展從閃速R0M212讀取的軟件和數據并啟動軟件，并且控制機頂盒200的個別單元。遙控接收單元215接收從遙控發送器216發送的遙控信號(遙控代碼)，并且將其提供到CPU211。CPU211基于該遙控代碼控制機頂盒200的個別單元。CPU211、閃速R0M212和DRAM213連接到內部總線214。將簡要描述機頂盒200的操作。輸入到天線端子203的電視廣播信號提供到數字調諧器204。數字調諧器204處理電視廣播信號，并且輸出對應于由用戶選擇的頻道的特定位流數據(傳輸流)BSD。從數字調諧器204輸出的位流數據BSD提供到位流處理單元201。在位流處理單元201中，從位流數據BSD提取圖像數據、音頻數據、字幕單元的各條字幕數據、視差矢量等。此外，在位流處理單元201中，組合左眼字幕和右眼字幕的數據與立體圖像數據，使得生成要顯示的立體圖像數據。此時，在位流處理單元201中，基于視差信息給出左眼字幕和右眼字幕之間的視差。由位流處理單元201生成的要顯示的立體圖像數據提供到視頻信號處理電路205。在視頻信號處理電路205中，對要顯示的立體圖像數據根據需要執行圖像質量調整處理等。將從視頻信號處理電路205輸出的要顯示的處理的立體圖像數據提供到HDMI發送單元206。此外，在位流處理單元201中獲得的音頻數據提供到音頻信號處理電路207。在音頻信號處理電路207中，對音頻數據根據需要執行音頻質量調整處理等。將從音頻信號處理電路207輸出的處理的音頻數據提供到HDMI發送單元206。然后，使用HDMI的TMDS信道，將提供到HDMI發送單元206的立體圖像數據和音頻數據從HDMI端子202發送到HDMI線纜400。 [位流處理單元的示例配置]圖39圖示位流處理單元201的示例配置。位流處理單元201具有對應于圖2中的上述發送數據生成單元110的配置。位流處理單元201包括信號分離器221、視頻解碼器222和字幕解碼器223。此外，位流處理單元201包括立體圖像字幕產生單元224、視差信息取回單元225、視頻重疊單元226、音頻解碼器227和視差信息處理單元228。信號分離器221從位流數據BSD提取視頻、音頻和字幕的分組，并且將它們發送到各個解碼器。視頻解碼器222執行由發送數據生成單元110的上述視頻解碼器113執行處理的相反處理。也就是說，視頻解碼器222從由信號分離器221提取的視頻分組重建視頻基本流，執行解碼處理，并且獲得包括左眼圖像數據和右眼圖像數據的立體圖像數據。用于發送立體圖像數據的方法示例是上述第一發送方法(“上下”方法)、第二發送方法(“并排”方法)、第三發送方法(“幀順序”方法)等(見圖4)。
字幕解碼器223執行發送數據生成單元110的上述字幕編碼器133執行的處理的相反處理。也就是說，字幕解碼器223從由信號分離器221提取的字幕分組重建字幕基本流(字幕數據流)，執行解碼處理，并且獲得各個字幕單元的各條字幕數據(基于ARIB方法的字幕數據)。視差信息取回單元225從通過字幕解碼器223獲得的字幕流取回對應于各個字幕單元的視差矢量(視差信息)。在此情況下，獲得各個字幕單元的視差矢量(個別視差矢量)或個別字幕單元公共的視差矢量(公共視差矢量)(見圖11和12)。如上所述，字幕數據流包括基于ARIB方法的各條字幕數據(字幕單元)以及視差信息(視差矢量)。視差信息插入數據單元用于發送字幕顯示控制信息。因此，視差信息取回單元225可以取回與各個字幕單元的各條字幕數據相關聯的視差矢量。視差信息取回單元225獲得在字幕實現時段中共同使用的視差信息(見圖23中的“defaUlt_diSparity”)。此外，視差信息取回單元225可以進一步獲得在字幕顯示時段中順序更新的視差信息(見圖24中的“disparity_update”)。由視差信息取回單元225取回的視差信息(視差矢量)經由視差信息處理單元228發送到立體圖像字幕產生單元224。如上所述，在字幕顯示時段中順序更新的視差信息包括關于字幕顯示時段中的初始幀的視差信息以及每個BSP (更新幀間隔)中的隨后幀的視差信息。視差信息處理單元228將在字幕顯示時段中共同使用的視差信息發送到立體圖像字幕產生單元224，而不用對其執行任何處理。另一方面，視差信息處理單元228對在字幕顯示時段中順序更新的視差信息執行內插處理，從而生成用于每個字幕顯示時段中的可選幀間隔的視差信息(例如，用于一幀間隔的視差信息)，并且發送該視差信息到立體圖像字幕產生單元224。視差信息處理單元228執行包括時間方向(幀方向)的低通濾波(LPF)處理的內插處理而不是線性內插處理作為前述內插處理，以便減輕內插處理之后對于特定幀間隔的視差信息的時間方向(幀方向)上的改變。圖40圖示包括由視差信息處理單元228執行的LPF處理的前述內插處理的示例。該示例對應于圖28中圖示的更新視差信息的上述示例。立體圖像字幕產生單元224生成分別要重疊在左眼圖像和右眼圖像上的左眼字幕和右眼字幕的數據。基于由字幕解碼器223獲得的各個字幕單元的各條字幕數據和經由視差信息處理單元228提供的視差信息(視差矢量)，執行該生成處理。然后，立體圖像字幕產生單元224輸出左眼字幕和右眼字幕的數據(位圖數據)。在此情況下，用于左眼和右眼的字幕(字幕單元)是相同信息。然而，在左眼字幕和右眼字幕的圖像中的重疊位置例如相互相對在水平方向偏移視差矢量。因此，已經對其根據圖像中的個別對象的透視執行視差調整的字幕可以用作要重疊在左眼圖像和右眼圖像上的同一字幕，使得在該字幕的顯示中可以保持與圖像中的個別對象的透視一致性。 在此，如果從視差信息處理單元228僅發送在字幕顯示時段中共同使用的視差信息(視差矢量)，那么立體圖像字幕產生單元224使用該視差信息。如果還從視差信息處理單元228發送在字幕顯示時段中順序更新的視差信息，那么立體圖像字幕產生單元224使用它們中的任何視差信息。例如，基于代表在顯示字幕時接收機側(解碼器側)需要的視差信息(視差)對應級別的信息(見圖23中的“renderingjevel”)，選擇要使用的視差信息，如上所述，該信息包括在擴展顯示控制的數據單元中。在此情況下，例如，如果該信息是“00”，其取決于用戶設置。通過使用在字幕顯示時段中順序更新的視差信息，可以根據圖像內容的改變動態改變用于左眼和右眼的視差。視頻重疊單元226將由立體圖像字幕產生單元224產生的用于左眼和右眼的字幕的數據(位圖數據)重疊在由視頻解碼器222獲得的立體圖像數據(左眼圖像數據和右眼圖像數據)上，從而獲得要顯示的Vout的立體圖像數據。然后，視頻重疊單元226輸出顯示的Vout的立體圖像數據到位流處理單元201的外部。此外，音頻解碼器227執行由發送數據生成單元110的上述音頻編碼器117執行的處理的相反處理。也就是說，音頻解碼器227從由信號分離器221提取的音頻分組重建音頻基本流，執行解碼處理，并且獲得音頻數據Aout。然后，音頻解碼器227將音頻數據Aout輸出到位流處理單元201的外部。將簡要描述圖39圖示的位流處理單元201的操作。從數字調諧器204 (見圖38)輸出的位流數據BSD提供到信號分離器221。在信號分離器221中，從位流數據BSD提取視頻、音頻和字幕的分組，并且提供到各個解碼器。在視頻解碼器222中，從由信號分離器221提取的視頻分組重建視頻基本流，此外執行解碼處理，并且獲得包括左眼圖像數據和右眼圖像數據的立體圖像數據。將立體圖像數據提供到視頻重疊單元226。此外，在字幕解碼器223中，從由信號分離器221提取的字幕分組重建字幕基本流，此外執行解碼處理，并且獲得各個字幕單元的各條字幕數據(基于ARIB方法的字幕數據)。將各個字幕單元的各條字幕數據提供到立體圖像字幕產生單元224。在視差信息取回單元225中，從通過字幕解碼器223獲得的字幕流取回對應于各個字幕單元的視差矢量(視差信息)。在此情況下，獲得各個字幕單元的視差矢量(個別視差矢量)或個別字幕單元公共的視差矢量(公共視差矢量)。此外，在視差信息取回單元225中，獲得在字幕顯示時段中共同使用的視差信息，或者與在字幕顯示時段中共同使用的視差信息一起獲得在字幕顯示時段中順序更新的視差f目息。由視差彳目息取回單兀225取回的視差彳目息(視差矢量)經由視差彳目息處理單兀228發送到立體圖像字幕產生單元224。在視差信息處理單元228中，對在字幕顯示時段中順序更新的視差信息執行以下處理。也就是說，在視差信息處理單元228中，執行包括在時間方向(幀方向)的LPF處理的內插處理，使得生成用于字幕顯示時段中的可選幀間隔的視差信息(例如，用于一幀間隔的視差信息)，并且將該視差信息發送到立體圖像字幕產生單元224。在立體圖像字幕產生單元224中，基于各個字幕單元的各條字幕數據和對應于各個字幕單元的視差矢量，生成要重疊在左眼圖像和右眼圖像上的左眼字幕和右眼字幕的數據(位圖數據)。在此情況下，在右眼字幕的圖像中的重疊位置相對于左眼字幕在水平方向偏移視差矢量。將左眼字幕和右眼字幕的數據提供到視頻重疊單元226。在視頻重疊單元226中，由立體圖像字幕產生單元224產生的左眼字幕和右眼字幕的數據(位圖數據)重疊在由解碼器222獲得的立體圖像上，使得獲得要顯示的Vout的立體圖像數據。將要顯示的Vout的立體圖像數據輸出到位流處理單元201的外部。此外，在音頻解碼器227中，從由信號分離器221提取的音頻分組重建音頻基本流，執行解碼處理，并且獲得音頻數據Aout。然后，音頻解碼器227將音頻數據Aout輸出到位流處理單元201的外部。如上所述，在圖38中圖示的機頂盒200中，接收的字幕數據流包括字幕的數據(字幕單元)和視差矢量(視差信息)。此外，視差矢量(視差信息)插入用于發送字幕語句數據組的PES流中的字幕顯示控制信息的數據單元，并且各條字幕數據與視差矢量相關聯。因此，在位流處理單元201中，通過使用相應的視差矢量(視差信息)，適當的視差可以給到要重疊在左眼圖像和右眼圖像的字幕單元(字幕)。因此，當顯示字幕單元(字幕)時，與圖像中個別對象的透視一致性可以保持在最佳狀態。此外，在圖38中圖示的機頂盒200中，位流處理單元201的視差矢量取回單元225獲得在字幕顯示時段中共同使用的視差信息，或者與在字幕顯示時段中共同使用的視差信息一起獲得在字幕顯示時段中順序更新的視差信息。在立體圖像字幕產生單元224中，使用在字幕顯示時段中順序更新的視差信息，使得可以根據圖像內容的改變動態改變給到用于左眼和右眼的字幕的視差。此外，在圖38中圖示的機頂盒200中，位流處理單元201的視差信息處理單元228對在字幕顯示時段中順序更新的視差信息執行內插處理，從而生成用于字幕顯示時段中的最佳幀間隔的視差信息。在此情況下，即使在例如對應于16幀的每個BSP (更新幀間隔)中從發送機側(廣播站100)發送視差信息，也可以在例如以幀為單位的短間隔控制給到用于左眼和右眼的字幕的視差。
此外，在圖38中圖示的機頂盒200中，位流處理單元201的視差信息處理單元228在時間方向(幀方向)執行包括LPF處理的內插處理。因此，即使在每個BSP (更新幀間隔)中從發送機側(廣播站100)發送視差信息，也可以使得內插處理之后視差信息的時間方向(幀方向)中的改變減輕(見圖40)。因此，可以抑制由在更新幀間隔給到用于左眼和右眼的字幕的視差的不連續轉變導致的不自然。[電視接收機的描述]返回參照圖1，電視接收機300接收經由HDMI線纜400從機頂盒200發送的立體圖像數據。電視接收機300包括3D信號處理單元301。3D信號處理單元301對立體圖像數據執行對應于發送方法的處理(解碼處理)，從而生成左眼圖像數據和右眼圖像數據。[電視接收機的示例配置]將描述電視接收機300的示例配置。圖41圖示電視接收機300的示例配置。電視接收機300包括3D信號處理單元301、HDMI端子302、HDMI接收單元303、天線端子304、數字調諧器305和位流處理單元306。此外，電視接收機300包括視頻/圖形處理電路307、面板驅動電路308、顯示面板309、音頻信號處理電路310、音頻放大器電路311和揚聲器312。此外，電視接收機300包括CPU321、閃速R0M322、DRAM323、內部總線324、遙控接收單元325和遙控發送器326。天線端子304是用于輸入由接收天線(未圖示)接收的電視廣播信號的端子。數字調諧器305處理輸入到天線端子304的電視廣播信號，并且輸出對應于由用戶選擇的頻道的特定位流數據(傳輸流)。位流處理單元306類似于圖38中圖示的機頂盒200中的位流處理單元201配置。位流處理單元306從位流數據BSD提取立體圖像數據、音頻數據、字幕單元的各條字幕數據、視差矢量等。此外，位流處理單元306組合左眼字幕和右眼字幕的數據與立體圖像數據，從而生成要顯示的立體圖像數據并且輸出該數據。此外，位流處理單元306輸出音頻數據。HDMI接收單元303接收通過兼容HDMI的通信經由HDMI線纜400提供到HDMI端子302的未壓縮的圖像數據和音頻數據。HDMI接收單元303的版本例如是HDMI1. 4a，并且處于能夠處理立體圖像數據的狀態。3D信號處理單元301對由HDMI接收單元303接收的或由位流處理單元306獲得的立體圖像數據執行解碼處理，從而生成左眼圖像數據和右眼圖像數據。在此情況下，3D信號處理單元301對由位流處理單元306獲得的立體圖像數據執行對應于發送方法(見圖4)的解碼處理。此外，3D信號處理單元301對由HDMI接收單元303接收的立體圖像數據執行對應于TMDS發送數據結構的解碼處理。視頻/圖形處理電路307基于由3D信號處理單元301生成的左眼圖像數據和右眼圖像數據，生成用于顯示立體圖像的圖像數據。此外，視頻/圖形處理電路307根據需要對圖像數據執行圖像質量調整處理。此外，視頻/圖形處理電路307根據需要組合諸如菜單和節目表的重疊信息的數據與圖像數據。面板驅動電路308基于從視頻/圖形處理電路307輸出的圖像數據，驅動顯示面板309。顯示面板309由液晶顯示器(IXD)、等離子體顯示面板(PDP)等構成。音頻信號處理電路310對由HDMI接收單元303接收的或由位流處理單元306獲得的音頻數據執行需要的處理，諸如D/A轉換。音頻放大器電路311放大從音頻信號處理電路310輸出的音頻信號，并且將其提供到揚聲器312。CPU321控制電視接收機300的個別單元的操作。閃速R0M322存儲控制軟件并且存儲數據。DRAM323形成CPU321的工作區域。CPU321在DRAM323上擴展從閃速R0M322讀取的軟件和數據，并且控制電視接收機300的個別單元。遙控接收單元325接收從遙控發送器326發送的遙控信號(遙控代碼)，并且將其提供到CPU321。CPU321基于該遙控代碼控制電視接收機300的個別單元。CPU321、閃速R0M322和DRAM323連接到內部總線324。將簡要描述圖41中圖示的電視接收機300的操作。HDMI接收單元303接收從經由HDMI線纜400連接到HDMI端子302的機頂盒200發送的立體圖像數據和音頻數據。由HDMI接收單元303接收的立體圖像數據提供到3D信號處理單元301。此外，由HDMI接收單元303接收的音頻數據提供到音頻信號處理電路310。將輸入天線端子304的電視廣播信號提供到數字調諧器305。數字調諧器305處理該電視廣播信號，并且輸出對應于由用戶選擇的頻道的特定位流數據(傳送流)BSD。從數字調諧器305輸出的位流數據BSD提供到位流處理單元306。在位流處理單元306中，從位流數據BSD提取立體圖像數據、音頻數據、字幕單元的各條字幕數據、視差矢量等。此外，在位流處理單元306中，左眼字幕和右眼字幕的數據與立體圖像數據組合，使得生成要顯示的立體圖像數據。由位流處理單元306生成的要顯示的立體圖像數據提供到3D信號處理單元301。此外，由位流處理單元306獲得的音頻數據提供到音頻信號處理電路310。在3D信號處理單元301中，對由HDMI接收單元303接收的或由位流處理單元 306獲得的立體圖像數據執行解碼處理，使得生成左眼圖像數據和右眼圖像數據。將左眼圖像數據和右眼圖像數據提供到視頻/圖形處理電路307。在視頻/圖形處理電路307中，基于左眼圖像數據和右眼圖像數據生成用于顯示立體圖像的圖像數據，并且根據需要執行圖像質量調整處理和組合重疊信息數據的處理。由視頻/圖形處理電路307獲得的圖像數據提供到面板驅動電路308。因此，在顯示面板309上顯示立體圖像。例如，以時分方式在顯示面板309上交替顯示基于左眼圖像數據的左眼圖像和基于右眼圖像數據的右眼圖像。通過佩戴其中左眼快門和右眼快門與顯示面板309上的顯示同步交替打開的快門眼鏡，觀看者可以用左眼僅觀看左眼圖像，并且可以用右眼僅觀看右眼圖像，從而能夠察覺立體圖像。此外，在音頻信號處理電路310中，對由HDMI接收單元303接收的或由位流處理單元306獲得的音頻數據執行需要的處理，諸如D/A轉換。由音頻放大器電路311放大音頻信號，然后將其提供到揚聲器312。因此，從揚聲器312輸出對應于在顯示面板309上顯示的圖像的音頻。<2.修改〉在上述實施例中，由廣播站100、機頂盒200和電視接收機300構造立體圖像顯示系統10。然而，電視接收機300提供有位流處理單元306，其等價于機頂盒200中的位流處理單元201運行，如圖41所示。因此，由廣播站100和電視接收機300構造立體圖像顯示系統IOA也是可行的，如圖42所示。此外，在上述實施例中，已經描述了其中由廣播站100廣播包括立體圖像數據的數據流(位流數據)的示例。然而，本發明還可以應用于具有這樣配置的系統，其中使用網絡(諸如因特網)將該數據流分發到接收終端。此外，在上述實施例中，機頂盒200經由HDMI的數字接口連接到電視接收機300。然而，本發明還可以應用于這樣的情況，其中那些經由類似于HDMI的數字接口的數字接口(包括有線的或無線的)連接。此外，在上述實施例中，字幕單元(字幕)處理為重疊信息。可替代地，本發明還可以應用于其他重疊信息，諸如圖形信息或文本信息。工業應用性本發明可以應用于顯示諸如重疊在圖像上的字幕的重疊信息的立體圖像系統。參考標號列表10, 10A:立體圖像顯示系統100:廣播站110:發送數據生成單元113:視頻編碼器117:音頻編碼器122:多工器130:數據取回單元130a:數據記錄介質131:視差信息創建單元132:字幕產生單元
133:字幕編碼器200:機頂盒(STB)201:位流處理單元202: HDMI 端子203:天線端子204:數字調諧器205:視頻信號處理電路206: HDMI 發送單元207:音頻信號處理電路211:CPU215:遙控接收單元216:遙控發送器 221:信號分離器222:視頻解碼器223:字幕解碼器224:立體圖像字幕產生單元225:視差信息取回單元226:視頻重疊單元227:音頻解碼器228:視差信息處理單元300:電視接收機(TV)301:3D信號處理單元302: HDMI 端子303: HDMI 接收單元304:天線端子305:數字調諧器306:位流處理單元307:視頻/圖形處理單元308:面板驅動電路309:顯示面板310:音頻信號處理電路311:音頻放大器電路312:揚聲器321: CPU325:遙控接收單元326:遙控發送器400: HDMI 線纜
權利要求
1.一種立體圖像數據發送裝置，包括 圖像數據輸出單元，其輸出包括左眼圖像數據和右眼圖像數據的立體圖像數據； 重疊信息數據輸出單元，其輸出重疊信息的數據，所述重疊信息要重疊在基于左眼圖像數據和右眼圖像數據的圖像上； 視差信息輸出單元，其輸出視差信息，所述視差信息用于通過偏移要重疊在基于左眼圖像數據和右眼圖像數據的圖像上的所述重疊信息給出視差；以及 數據發送單元，其發送包括第一數據流和第二數據流的復用數據流，所述第一數據流包括從所述圖像數據輸出單元輸出的立體圖像數據，所述第二數據流包括從所述重疊信息數據輸出單元輸出的重疊信息的數據以及從所述視差信息輸出單元輸出的視差信息， 其中，所述第二數據流包括用于發送關于重疊信息的顯示控制信息的數據單元，并且 其中，所述數據單元包括插入其中的視差信息。
2.如權利要求1所述的立體圖像數據發送裝置， 其中，所述視差信息包括第一視差信息或者包括第一視差信息和第二視差信息，所述第一視差信息在其中顯示重疊信息的特定數目的幀時段中共同使用，所述第二視差信息在所述特定數目的幀時段中順序更新，并且 其中，所述數據單元包括插入其中的標記信息，所述標記信息指示所述第二視差信息的存在。
3.如權利要求2所述的立體圖像數據發送裝置， 其中，所述第二視差信息包括關于所述特定數目的幀時段中的初始幀的視差信息，以及關于每個更新幀間隔中的隨后幀的視差信息。
4.如權利要求3所述的立體圖像數據發送裝置， 其中，所述第二視差信息包括添加到其的用于每個更新幀間隔中的個別幀的標記信息，所述標記信息指示是否更新視差信息。
5.如權利要求3所述的立體圖像數據發送裝置， 其中，所述第二視差信息包括添加到其的用于每個更新幀間隔中的個別幀的信息，所述信息調整所述更新幀間隔。
6.如權利要求3所述的立體圖像數據發送裝置， 其中，所述數據單元包括插入其中的信息，所述信息指定幀時段。
7.如權利要求1所述的立體圖像數據發送裝置， 其中，插入所述數據單元的視差信息包括對應于要在同一屏幕上顯示的特定重疊信息的視差信息，或者對應于要在同一屏幕上顯示的多條重疊信息的視差信息。
8.如權利要求2所述的立體圖像數據發送裝置， 其中，所述數據單元包括插入其中的信息，需要所述信息用于顯示重疊信息，所述信息指示用于視差信息的對應級別。
9.如權利要求1所述的立體圖像數據發送裝置， 其中，所述第二數據流包括所述數據單元的上層中的標記信息，所述標記信息指示所述第二數據流是否兼容重疊信息的擴展顯示。
10.如權利要求1所述的立體圖像數據發送裝置， 其中，所述復用數據流包括插入其中的標記信息，所述標記信息指示所述第二數據流是否兼容重疊信息的擴展顯示控制。
11.如權利要求10所述的立體圖像數據發送裝置， 其中，所述復用數據流包括事件信息表，所述事件信息表用作用于以事件為單位執行管理的服務信息，并且 其中，所述標記信息插入所述事件信息表的下層。
12.如權利要求10所述的立體圖像數據發送裝置， 其中，所述復用數據流包括節目圖表，所述節目圖表用作指示包括在所述復用數據流中的個別基本流所屬的節目的節目專用信息，并且其中，所述標記信息插入所述節目圖表的下層。
13.如權利要求1所述的立體圖像數據發送裝置， 其中，所述重疊信息的數據包括基于ARIB方法的字幕語句數據，并且 其中，所述數據單元包括字幕語句數據組中的數據單元。
14.一種立體圖像數據發送方法，包括 圖像數據輸出步驟，其輸出包括左眼圖像數據和右眼圖像數據的立體圖像數據； 重疊信息數據輸出步驟，其輸出重疊信息的數據，所述重疊信息要重疊在基于左眼圖像數據和右眼圖像數據的圖像上； 視差信息輸出步驟，其輸出視差信息，所述視差信息用于通過偏移要重疊在基于左眼圖像數據和右眼圖像數據的圖像上的所述重疊信息給出視差；以及 數據發送步驟，其發送包括第一數據流和第二數據流的復用數據流，所述第一數據流包括在所述圖像數據輸出步驟輸出的立體圖像數據，所述第二數據流包括在所述重疊信息數據輸出步驟輸出的重疊信息的數據以及在所述視差信息輸出步驟輸出的視差信息， 其中，所述第二數據流包括用于發送關于重疊信息的顯示控制信息的數據單元，并且 其中，所述數據單元包括插入其中的視差信息。
15.一種立體圖像數據接收裝置，包括 數據接收單元，其接收包括第一數據流和第二數據流的復用數據流， 所述第一數據流包括用于顯示立體圖像的、包括左眼圖像數據和右眼圖像數據的立體圖像數據， 所述第二數據流包括重疊信息和視差信息的數據，所述重疊信息要重疊在基于左眼圖像數據和右眼圖像數據的圖像上，所述視差信息用于通過偏移要重疊在基于左眼圖像數據和右眼圖像數據的圖像上的所述重疊信息給出視差， 所述第二數據流包括用于發送關于重疊信息的顯示控制信息的數據單元，所述視差信息插入所述數據單元； 圖像數據獲得單元，其從包括在由所述數據接收單元接收的復用數據流中的所述第一數據流獲得所述立體圖像數據； 重疊信息數據獲得單元，其從包括在由所述數據接收單元接收的復用數據流中的所述第二數據流獲得所述重疊信息的數據； 視差信息獲得單元，其從包括在由所述數據接收單元接收的復用數據流中的所述第二數據流獲得所述視差信息；以及 圖像數據處理單元，其使用包括在由所述圖像數據獲得單元獲得的立體圖像數據中的左眼圖像數據和右眼圖像數據、由所述視差信息獲得單元獲得的視差信息、以及由所述重疊信息數據獲得單元獲得的重疊信息的數據，給出視差到要重疊在左眼圖像和右眼圖像上的同一重疊信息，從而獲得其上重疊所述重疊信息的左眼圖像的數據以及其上重疊所述重疊信息的右眼圖像的數據。
16.如權利要求15所述的立體圖像數據接收裝置， 其中，插入所述數據單元的視差信息是在其中顯示重疊信息的特定數目的幀時段中順序更新的視差信息，并且包括關于所述特定數目的幀時段中的初始幀的視差信息，以及關于每個更新幀間隔中的隨后幀的視差信息。
17.如權利要求15所述的立體圖像數據接收裝置， 其中，所述圖像數據處理單元對包括在所述特定數目的幀時段中順序更新的視差信息中的關于多個幀的視差信息執行內插處理，從而生成并且使用用于所述特定數目的幀時段中的可選幀間隔的視差信息。
18.如權利要求17所述的立體圖像數據接收裝置， 其中，所述內插處理包括時間方向的低通濾波處理。
19.一種立體圖像數據接收方法，包括 數據接收步驟，其接收包括第一數據流和第二數據流的復用數據流， 所述第一數據流包括用于顯示立體圖像的包括左眼圖像數據和右眼圖像數據的立體圖像數據， 所述第二數據流包括重疊信息和視差信息的數據，所述重疊信息要重疊在基于左眼圖像數據和右眼圖像數據的圖像上，所述視差信息用于通過偏移要重疊在基于左眼圖像數據和右眼圖像數據的圖像上的所述重疊信息給出視差， 所述第二數據流包括用于發送關于重疊信息的顯示控制信息的數據單元，所述視差信息插入所述數據單元； 圖像數據獲得步驟，其從包括在所述數據接收步驟中接收的復用數據流中的所述第一數據流獲得所述立體圖像數據； 重疊信息數據獲得步驟，其從包括在所述數據接收步驟中接收的復用數據流中的所述第二數據流獲得所述重疊信息的數據； 視差信息獲得步驟，其從包括在所述數據接收步驟中接收的復用數據流中的所述第二數據流獲得所述視差信息；以及 圖像數據處理步驟，其使用包括在所述圖像數據獲得步驟中獲得的立體圖像數據中的左眼圖像數據和右眼圖像數據、在所述視差信息獲得步驟中獲得的視差信息、以及在所述重疊信息數據獲得步驟中獲得的重疊信息的數據，給出視差到要重疊在左眼圖像和右眼圖像上的同一重疊信息，從而獲得其上重疊所述重疊信息的左眼圖像的數據以及其上重疊所述重疊信息的右眼圖像的數據。
全文摘要
當顯示具有重疊在其上的ARIB標準字幕(字幕單元)時，保持圖像中的每個對象之間透視的一致性。用于每個字幕單元的字幕數據插入字幕數據流中，作為字幕文本數據組的字幕文本數據(字幕編碼)。新定義發送顯示控制信息的用于擴展顯示控制的數據單元(數據單元參數=0x4F)。對于字幕文本數據組的PES流，視差信息插入發送顯示控制信息的數據單元中，并且視差信息與字幕文本數據(字幕文本信息)相關聯。在接收側，適當的視差信息可以應用于重疊在左眼圖像和右眼圖像上的字幕單元。
文檔編號H04N7/03GK103039084SQ20118003755
公開日2013年4月10日 申請日期2011年10月14日 優先權日2010年11月2日
發明者塚越郁夫 申請人:索尼公司