專利名稱：3d觀看者元數據的傳送的制作方法
技術領域：
本發明涉及用于處理三維[3D]圖像數據以便針對觀看者而顯示在3D顯示器上的方法。本發明進一步涉及3D源設備和3D顯示設備，并涉及被安排用于處理三維[3D]圖像數據以便針對觀看者而顯示在3D顯示器上的3D顯示信號。本發明涉及處理3D圖像數據以便顯示在3D顯示器上以及用于在源3D圖像設備與3D顯示設備之間經由例如HDMI之類的高速數字接口傳送例如3D視頻之類的這樣的三維圖像數據的領域。
背景技術：
用于提供2D視頻數據的設備是已知的，例如，類似于DVD播放器或機頂盒之類的提供數字視頻信號的視頻播放器。源設備將被耦合到類似于電視機或監視器之類的顯示設備。經由適當的接口、優選地經由類似于HDMI之類的高速數字接口從源設備傳送圖像數據。當前，正提議用于提供三維(3D)圖像數據的3D增強設備。類似地，正提議用于顯示 3D圖像數據的設備。為了將3D視頻信號從源設備傳送到顯示設備，例如，正在研制以現有 HDMI標準為基礎并與現有HDMI標準相兼容的新的高數據速率數字接口標準。文獻W02008/038205描述3D圖像處理以便在3D顯示器上顯示的示例。3D圖像信號被處理，以便在3D顯示器的單獨深度范圍中與圖形數據進行組合。文獻US2005/0219239描述用于處理3D圖像的系統。該系統從數據庫中對象的3D 數據中生成3D圖像信號。該3D數據涉及完全模型化的對象，S卩，具有三維結構。該系統根據在計算機模擬環境中的對象在3D世界中放置虛擬相機，并生成用于特定觀看配置的3D 信號。為了生成3D圖像信號，使用觀看配置的各種參數，諸如顯示器大小和觀看距離。信息獲取單元接收用戶輸入，諸如用戶與顯示器之間的距離。
發明內容
文獻W02008/038205提供3D顯示設備的示例，該3D顯示設備顯示在處理之后的源3D圖像數據，以便在與其他3D數據進行組合時優化觀看者體驗。傳統的3D圖像顯示系統處理將在有限的3D深度范圍中顯示的源3D圖像數據。然而，當在特定3D顯示器上顯示源3D圖像數據時，尤其在不同的顯示器上顯示被安排用于特定觀看配置的3D圖像數據時， 3D圖像效果的觀看者體驗可能被證明是不夠的。本發明的目的是提供一種用于處理3D圖像數據的系統，其中3D圖像數據當在任何特定的3D顯示設備上顯示時為觀看者提供足夠的3D體驗。為此目的，根據本發明的第一方面，如在首段中描述的方法包括接收被安排用于源空間觀看配置的源3D圖像數據；提供定義3D顯示器的空間顯示參數的3D顯示器元數據；提供定義觀看者相對于3D顯示器的空間觀看參數的觀看者元數據；處理源3D圖像數據，以生成用于在3D顯示器上以目標空間觀看配置顯示的目標3D顯示數據，該處理包括根據3D顯示器元數據和觀看者元數據，確定目標空間配置；以及基于源空間觀看配置與目標空間觀看配置之間的差異，將源3D圖像數據轉換為目標3D顯示數據。為此目的，根據本發明的進一步方面，用于處理3D圖像數據以便針對觀看者在3D 顯示器上顯示的3D圖像設備包括輸入裝置，用于接收被安排用于源空間觀看配置的源3D 圖像數據；顯示器元數據裝置，用于提供定義3D顯示器的空間顯示參數的3D顯示器元數據；觀看者元數據裝置，用于提供定義觀看者相對于3D顯示器的空間觀看參數的觀看者元數據；處理裝置，用于處理源3D圖像數據，以生成用于在3D顯示器上以目標空間觀看配置顯示的3D顯示信號，所述處理裝置被安排用于根據3D顯示器元數據和觀看者元數據，確定目標空間配置；以及基于源空間觀看配置與目標空間觀看配置之間的差異，將源3D圖像數據轉換為3D顯示信號。為此目的，根據本發明的進一步方面，用于提供3D圖像數據以便針對觀看者在3D 顯示器上顯示的3D源設備包括輸入裝置，用于接收被安排用于源空間觀看配置的源3D圖像數據；圖像接口裝置，用于與具有3D顯示器的3D顯示設備對接，以傳送3D顯示信號；觀看者元數據裝置，用于提供定義觀看者相對于3D顯示器的空間觀看參數的觀看者元數據； 處理裝置，用于生成3D顯示信號，以便以目標空間觀看配置在3D顯示器上顯示，所述處理裝置被安排用于將觀看者元數據包括在顯示信號中，以使得3D顯示設備能夠處理源3D圖像數據，從而以目標空間觀看配置在3D顯示器上顯示，所述處理包括根據3D顯示器元數據和觀看者元數據，確定目標空間配置；以及基于源空間觀看配置與目標空間觀看配置之間的差異，將源3D圖像數據轉換為3D顯示信號。為此目的，根據本發明的進一步方面，3D顯示設備包括3D顯示器，用于顯示3D 圖像數據；顯示器接口裝置，用于與源3D圖像設備對接，以傳送3D顯示信號，所述源3D圖像設備包括輸入裝置，用于接收被安排用于源空間觀看配置的源3D圖像數據；觀看者元數據裝置，用于提供定義觀看者相對于3D顯示器的空間觀看參數的觀看者元數據；處理裝置，用于生成3D顯示信號，以便顯示在3D顯示器上，所述處理裝置被安排用于經由顯示器接口裝置在顯示信號中將觀看者元數據傳送到源3D圖像設備，以使得源3D圖像設備能夠處理源3D圖像數據，從而以目標空間觀看配置在3D顯示器上顯示，所述處理包括根據3D 顯示器元數據和觀看者元數據，確定目標空間配置；以及基于源空間觀看配置與目標空間觀看配置之間的差異，將源3D圖像數據轉換為3D顯示信號。為此目的，根據本發明的進一步方面，用于在3D圖像設備與3D顯示器之間傳送 3D圖像數據以便針對觀看者而顯示在3D顯示器上的3D顯示信號包括觀看者元數據，用于使得3D圖像設備能夠接收被安排用于源空間觀看配置的源3D圖像數據以及處理源3D 圖像數據，以便以目標空間觀看配置而顯示在3D顯示器上，經由單獨的數據信道從3D顯示器傳送觀看者元數據至3D圖像設備，或者從3D圖像設備傳送觀看者元數據至3D顯示器， 其中觀看者元數據被包括在單獨分組中，所述處理包括根據3D顯示器元數據和觀看者元數據，確定目標空間配置；以及基于源空間觀看配置與目標空間觀看配置之間的差異，將源 3D圖像數據轉換為3D顯示信號。為此目的，根據本發明的進一步方面，用于將3D圖像數據傳送至3D圖像設備以便針對觀看者而顯示在3D顯示器上的3D圖像信號包括源3D圖像數據，其被安排用于源空間觀看配置；以及指示源空間觀看配置的源圖像元數據，用于使得3D圖像設備能夠處理源3D圖像數據，以便以目標空間觀看配置而顯示在3D顯示器上，所述處理包括根據3D顯示器元數據和觀看者元數據，確定目標空間配置；以及基于源空間觀看配置與目標空間觀看配置之間的差異，將源3D圖像數據轉換為3D顯示信號。這些措施具有的效果是處理源3D圖像數據，以便在顧及諸如屏幕尺寸之類的實際的顯示器元數據以及諸如觀看者的觀看距離和瞳孔間距離之類的實際的觀看者元數據的情況下為觀看者提供預期的3D體驗。特別地，首先接收被安排用于源空間觀看配置的3D 圖像數據，并且隨后基于實際觀看配置中的實際觀看者元數據，針對不同的目標空間觀看配置來重新安排3D圖像數據。有利地，提供給人類觀看者的雙眼的圖像被適配成與3D顯示器和觀看者的實際的空間觀看配置相適應，從而生成預期的3D體驗。本發明也基于以下認識。傳統的源3D圖像數據固有地被安排用于特定的空間觀看配置，諸如用于電影院的電影。發明人已明白這樣的源空間觀看安排可能實質上不同于實際的觀看安排，而實際的觀看安排牽涉具有諸如屏幕尺寸之類的特定空間顯示參數的特定3D顯示器，并且牽涉例如處于實際觀看距離上的至少一個實際觀看者，其具有實際的空間觀看參數。此外，為了最佳的3D體驗，觀看者的瞳孔間距離要求由3D顯示器在雙眼中產生的圖像具有將被人腦感知為自然的3D圖像輸入的專用差異。例如，3D對象必須被兒童感知，而兒童具有的實際瞳孔間距離小于在源3D圖像數據中固有使用的瞳孔間距離。發明人已明白目標空間觀看配置受這樣的觀看者的空間觀看參數的影響。特別地，這意味著 對于源(未處理的)3D圖像內容(尤其在無限范圍)，兒童的眼睛需要發散，這導致眼睛疲勞或惡心。另外，3D體驗取決于人們的觀看距離。所提供的解決方案牽涉提供3D顯示器元數據和觀看者元數據，以及隨后通過基于3D顯示器元數據和觀看者元數據的計算來確定目標空間配置。基于所述目標空間觀看配置，通過基于源空間觀看配置與目標空間觀看配置之間的差異轉換源3D圖像數據，能夠生成所需的3D圖像數據。在該系統的一個實施例中，觀看者元數據包括以下空間觀看參數中的至少一個 觀看者相對于3D顯示器的觀看距離；觀看者的瞳孔間距離；觀看者相對于3D顯示器的平面的視角；觀看者位置相對于3D顯示器的中心的觀看偏移。效果是觀看者元數據允許計算3D圖像數據，以便為實際的觀看者提供自然的3D 體驗。有利地，對于實際的觀看者來說，沒有疲乏或眼睛疲勞發生。當具有若干觀看者時， 考慮多個觀看者的平均參數，以致對于所有的觀看者具有全局優化的觀看體驗。在該系統的一個實施例中，3D顯示器元數據包括提供以下空間顯示參數中的至少一個3D顯示器的屏幕尺寸；由3D顯示器支持的深度范圍；用戶偏好的3D顯示器的深度范圍。效果是顯示器元數據允許計算3D圖像數據，以便為實際顯示器的觀看者提供自然的3D體驗。有利地，對于觀看者來說，沒有疲乏或眼睛疲勞發生。注意觀看者元數據、顯示器元數據和/或源圖像元數據在源3D圖像設備中和/ 或在3D顯示設備中可能是可獲得的或檢測到的。同樣，用于目標空間觀看配置的源3D數據的處理可以在源3D圖像設備中或在3D顯示設備中執行。因此，在處理的位置上提供元數據可能牽涉以下之中的任何一項經由任何適當的外部接口，檢測、設置、估計、應用默認值、生成、計算和/或接收所需的元數據。特別地，在兩個設備之間也傳送3D顯示信號的接口或提供源圖像數據的接口可以用于傳送元數據。此外，必要時是雙向的圖像數據接口也可以將觀看者元數據從源設備運送到3D顯示設備，或反之亦然。因此，在所請求保護的相應設備中，根據系統配置和可用接口，元數據裝置被安排用于與用于所述接收和/或傳送元數據的接口協作。效果是能夠進行各種配置，其中觀看者元數據和顯示器元數據被提供并被傳送至處理的位置。有利地，實際設備能夠被配置用于輸入或檢測觀看者元數據以及隨后據此處理3D源數據的任務。在該系統的一個實施例中，觀看者元數據裝置包括用于設置兒童模式的裝置，以便提供代表兒童的瞳孔間距離作為空間觀看參數。效果是通過設置兒童模式，為兒童優化目標空間觀看配置。有利地，用戶不必明白觀看者元數據的細節。在該系統的一個實施例中，觀看者元數據裝置包括觀看者檢測裝置，用于檢測在 3D顯示器的觀看區域中出現的觀看者的至少一個空間觀看參數。效果是該系統自主檢測實際觀看者的相關參數。有利地，該系統可以在觀看者改變時適配目標空間觀看配置。在所附的權利要求書中給出根據本發明的方法、3D設備和信號的進一步優選的實施例，其公開被引入在這里作為參考。
本發明的這些和其他方面從以下描述中利用示例并結合附圖所描述的實施例中將是清楚的，并且本發明的這些和其他方面將進一步參考這些實施例來闡述，其中
圖1顯示用于處理三維(3D)圖像數據的系統， 圖2顯示3D圖像數據的示例， 圖3顯示3D圖像設備和3D顯示設備元數據接口，和圖4顯示利用元數據擴展的AVI信息幀的表格。在附圖中，與已經描述的元素相對應的元素具有相同的參考數字。
具體實施例方式圖1顯示用于處理諸如視頻、圖形或其他視覺信息之類的三維(3D)圖像數據的系統。3D圖像設備10被耦合到3D顯示設備13，用于傳送3D顯示信號56。3D圖像設備具有用于接收圖像信息的輸入單元51。例如，輸入單元設備可以包括光盤單元58，用于從類似于DVD或藍光碟之類的光學記錄載體討中檢索各種類型的圖像信息。可選擇地，輸入單元可以包括用于耦合到例如因特網或廣播網絡之類的網絡55的網絡接口單元59，這樣的設備通常被稱為機頂盒。圖像數據可以從遠程媒體服務器57中進行檢索。3D圖像設備也可以是衛星接收器或直接提供顯示信號的媒體服務器，即，輸出將被直接耦合到顯示單元的3D顯示信號的任何適當設備。3D圖像設備具有耦合到輸入單元51的圖像處理單元52，用于處理圖像信息，以生成將經由圖像接口單元12傳送至顯示設備的3D顯示信號56。處理單元52被安排用于生成包括在3D顯示信號56中的圖像數據，以便在顯示設備13上顯示。該圖像設備裝備有用戶控制元件15，用于控制諸如對比度或顏色參數之類的圖像數據的顯示參數。用戶控制元件同樣是眾所周知的，并且可以包括遙控單元，其具有各種按鈕和/或光標控制功能來控制3D圖像設備的各種功能，諸如回放和記錄功能，并且用于例如經由圖形用戶界面和/或菜單來設置所述顯示參數。在一個實施例中，3D圖像設備具有用于提供元數據的元數據單元11。該元數據單元包括觀看者元數據單元111，用于提供定義觀看者相對于3D顯示器的空間觀看參數的觀看者元數據；以及顯示器元數據單元112，用于提供定義3D顯示器的空間顯示參數的3D 顯示器元數據。在一個實施例中，觀看者元數據包括以下空間觀看參數中的至少一個 -觀看者相對于3D顯示器的觀看距離；
-觀看者的瞳孔間距離； -觀看者相對于3D顯示器的平面的視角； -觀看者位置相對于3D顯示器的中心的觀看偏移。在一個實施例中，3D顯示器元數據包括以下空間顯示參數中的至少一個 -3D顯示器的屏幕尺寸；
-由3D顯示器支持的深度范圍；
-工廠推薦的深度范圍，即，所指示的用于提供所需質量3D圖像的范圍，其可以小于最大支持的深度范圍；
-用戶偏好的3D顯示器的深度范圍。注意對于深度范圍而言，也能夠指示視差或像差(disparity)。上面的參數定義 3D顯示器和觀看者的幾何排列，并因此允許計算將為人類觀看者的左右眼生成的所需圖像。例如，當某個對象將在觀看者的眼睛的所需距離上被感知時，所述對象在左右眼圖像中相對于背景的移位能夠容易地進行計算。3D圖像處理單元52被安排用于處理源3D圖像數據的功能，以生成用于在3D顯示器上以目標空間觀看配置顯示的目標3D顯示數據，其中源3D圖像數據被安排用于源空間觀看配置。該處理包括首先，根據3D顯示器元數據和觀看者元數據來確定目標空間配置，其中觀看者元數據可從元數據單元11中獲得。隨后，基于源空間觀看配置與目標空間觀看配置之間的差異，將源3D圖像數據轉換為目標3D顯示數據。確定空間觀看配置以實際觀看空間中實際屏幕的基本設置以及實際觀眾的位置和安排例如顯示屏至觀看者的眼睛的距離為基礎，其中所述屏幕具有預定義的物理尺寸和進一步3D顯示參數。注意在當前方案中，針對只存在單個觀看者的情況，討論觀看者。顯然，多個觀看者也可能存在，并且空間觀看配置的計算和3D圖像處理能夠被適配成例如使用平均值、對于特定觀看區域或類型的觀看者的最佳值等等，為所述大眾提供最佳可能的3D體驗。3D顯示設備13用于顯示3D圖像數據。該設備具有顯示器接口單元14，用于接收包括從3D圖像設備10傳送的3D圖像數據的3D顯示信號56。該顯示設備裝備有進一步用戶控制元件16，用于設置顯示器的顯示參數，諸如對比度、顏色或深度參數。在圖像處理單元18中根據來自用戶控制元件的設置命令來處理所傳送的圖像數據，并根據3D圖像數據生成用于在3D顯示器上再現3D圖像數據的顯示控制信號。該設備具有接收顯示控制信號以便顯示經處理的圖像數據的3D顯示器17，例如，雙或透鏡IXD。顯示設備13可以是任何類型的立體顯示器，也稱為3D顯示器，并具有利用箭頭44所指示的顯示器深度范圍。在一個實施例中，3D圖像設備具有用于提供元數據的元數據單元19。該元數據單元包括觀看者元數據單元191，用于提供定義觀看者相對于3D顯示器的空間觀看參數的觀看者元數據；以及顯示器元數據單元192，用于提供定義3D顯示器的空間顯示參數的3D 顯示器元數據。3D圖像處理單元18被安排用于處理源3D圖像數據的功能，以生成用于在3D顯示器上以目標空間觀看配置顯示的目標3D顯示數據，其中源3D圖像數據被安排用于源空間觀看配置。該處理包括首先，根據3D顯示器元數據和觀看者元數據來確定目標空間配置，其中所述元數據可從元數據單元19獲得。隨后，基于源空間觀看配置與目標空間觀看配置之間的差異，將源3D圖像數據轉換為目標3D顯示數據。在一個實施例中，提供觀看者元數據在3D圖像設備中例如通過經由用戶接口 15 設置相應的空間觀看參數來執行。作為選擇，提供觀看者元數據可以在3D顯示設備中例如通過經由用戶接口 16設置相應的空間觀看參數來執行。此外，所述3D數據的處理以使得源空間觀看配置適應于目標空間觀看配置可以在所述設備中的任何一個中執行。因此，在該系統的各種安排中，所述元數據和3D圖像處理在圖像設備或3D顯示設備之中任何一個中提供。兩個設備也可以被組合成單個多功能設備。因此，在所述各種系統安排中兩個設備的實施例中，圖像接口單元12和/或顯示器接口單元14可以被安排為發送和/或接收所述觀看者元數據。顯示器元數據也可以經由接口 14從3D顯示設備傳送至3D圖像設備的接口 12。在所述各種系統安排中，用于傳送3D圖像數據的3D顯示信號包括觀看者元數據。 注意該元數據可以使用雙向接口而具有與3D圖像數據不同的方向。提供觀看者元數據以及酌情也提供所述顯示器元數據的信號使得3D圖像設備能夠處理被安排用于源空間觀看配置的源3D圖像數據，以便以目標空間觀看配置顯示在3D顯示器上。該處理對應于上述的處理。3D顯示信號可以通過適當的高速數字視頻接口諸如眾所周知的HDMI接口(例如， 參見“High Definition Multimedia Interface Specification Version 1. 3a of Nov 10 2006”)來傳送，其被擴展為定義觀看者元數據和/或顯示器元數據。圖1進一步顯示記錄載體M作為3D圖像數據的載體。該記錄載體是盤形的，并且具有軌道和中心孔。利用一系列物理可檢測標記構成的軌道根據信息層上構成基本平行軌道的螺旋形或同心圖案的圈來安排。該記錄載體可以是光學可讀的，其被稱為光盤，例如， CD、DVD或BD (藍光盤)。利用例如坑和脊之類的沿著軌道的光學可檢測標記在信息層上表示信息。軌道結構也包括用于指示通常被稱為信息塊的信息單元的位置的位置信息，例如， 標題和地址。記錄載體M以對于3D擴展的如同DVD或BD格式之類的預定義記錄格式來運送代表如同視頻之類的數字編碼的3D圖像數據的信息。例如利用軌道中的標記被包括在記錄載體上的或者經由網絡55檢索的3D圖像數據提供3D圖像信號，用于傳送3D圖像數據，以便對于觀看者而顯示在3D顯示器上。在一個實施例中，3D圖像信號包括源圖像元數據，其指示源空間觀看配置，而該源圖像數據被安排用于該源空間觀看配置。該源圖像元數據使得3D圖像設備能夠處理源3D圖像數據，以便在3D顯示器上以目標空間觀看配置來顯示，如上所述。注意在沒有提供特定的源圖像元數據時，可以由元數據單元基于源數據的一般分類來設置這樣的數據。例如，可以假設3D電影數據已被設想用于在具有平均大小的電影院中觀看，并且例如在具有預定大小的屏幕的預定距離上對于中心觀看區域而被優化。例如，對于TV廣播源材料而言，可以采用平均觀看者房間尺寸和TV尺寸。例如移動電話3D 顯示器之類的目標空間觀看配置可以具有顯著不同的顯示參數。因此，上面的轉換能夠使用有關源空間觀看配置的假設來實現。以下章節提供三維顯示器和人類的深度知覺的綜述。3D顯示器在其能夠提供更生動的深度知覺的意義上而言是不同于2D顯示器的。這是因為3D顯示器提供比只能顯示單眼深度提示以及基于運動的提示的2D顯示器更多的深度提示而達到的。單眼(或靜態)深度提示能夠使用單只眼睛從靜態圖像中獲得。畫家經常使用單眼提示在其繪畫中創建深度感。這些提示包括相對大小、相對于地平線的高度、閉塞 (occlusion)、透視、紋理梯度和照明/陰影。動眼提示是從觀看者眼睛的肌肉的張力中導出的深度提示。眼睛具有用于旋轉眼睛以及用于拉伸眼睛晶狀體的肌肉。眼睛晶狀體的拉伸和放松被稱為(眼睛)適應性調節(accommodation)，并且是在聚焦于圖像上時完成的。晶狀體肌肉的拉伸或放松的量對于對象有多遠或多近提供了提示。完成眼睛的旋轉，以使得雙眼聚焦于同一對象上，這被稱為會聚(convergence )。最后，運動視差是靠近觀看者的對象看來似乎比更遠的對象更快速移動的效果。雙目視差是從我們的雙眼看到略微不同的圖像的事實中導出的深度提示。單眼深度提示可以處于任何的2D視覺顯示類型中，并且可以用于任何的2D視覺顯示類型中。在顯示器中重建雙目視差要求該顯示器能夠分段左右眼的視圖，以使得每只眼睛在顯示器上看到略微不同的圖像。能夠重建雙目視差的顯示器是專用的顯示器，我們將其稱為3D或立體顯示器。3D顯示器能夠沿著人眼實際感知的深度尺寸來顯示圖像，其在這個文獻中被稱為具有顯示深度范圍的3D顯示器。因此，3D顯示器給左右眼提供不同的視圖。能夠提供兩個不同視圖的3D顯示器已存在了長時間。這其中的大多數基于使用眼鏡來分離左右眼視圖。現在，隨著顯示技術的進步，新的顯示器已進入市場，這些新的顯示器能夠在不使用眼鏡的情況下提供立體視圖。這些顯示器被稱為自動立體顯示器。第一方案基于允許用戶在沒有眼鏡的情況下看到立體視頻的IXD顯示器。這些顯示器基于兩種技術即透鏡狀屏幕和屏障顯示器中的任何一種。由于光柵顯示器，IXD被一層雙凸透鏡所覆蓋。這些透鏡衍射來自顯示器的光，以使得左右眼接收來自不同像素的光。 這允許顯示兩個不同的圖像，其中一個圖像用于左眼視圖，而另一個圖像用于右眼視圖。替換透鏡狀屏幕的一種選擇方案是屏障顯示器，其使用位于IXD之后并且在背光之前的視差屏障來分離來自LCD中的像素的光。該屏障使得從屏幕前方的設置位置中，左眼看到與右眼不同的像素。該屏障也可以位于LCD與人類觀看者之間，以使得利用左右眼交替可看到顯示器的行中的像素。屏障顯示器具有的問題是不但損失亮度和分辨率，而且具有非常窄的視角。這使之與透鏡狀屏幕相比作為起居室TV是不太吸引人的，其中例如透鏡狀屏幕具有9個視圖和多個觀看區域。進一步方案仍基于與高分辨率投影儀(beamer)結合使用快門眼鏡，其中所述投影儀能夠以高刷新率(例如，120Hz)來顯示幀。需要高刷新率，這是因為利用快門眼鏡方法， 左右眼視圖被交替顯示。對于佩戴眼鏡的觀看者而言，以60Hz感知立體視頻。快門眼鏡方法顧及高質量視頻和大的深度級。自動立體顯示器和快門眼鏡方法二者確實遭受到(眼睛)適應性調節-會聚失配。 這的確限制了使用這些設備觀看到的能夠是舒適的深度和時間的量。具有其他的沒有遭遇到這個問題的顯示技術，諸如全息與立體顯示器。注意本發明可以用于任何類型的具有深度范圍的3D顯示器。假設用于3D顯示器的圖像數據可作為電子的、通常數字的數據而獲得。本發明涉及這樣的圖像數據，并且在數字域中操縱該圖像數據。例如，通過使用雙攝像頭，該圖像數據當從某個源中傳送時可能已包含3D信息，或者專用的預處理系統可以被包括來從2D圖像中(重新)創建3D信息。圖像數據可以如同幻燈片一樣是靜態的，或者可以包括如同電影一樣的移動視頻。通常被稱為圖形數據的其他圖像數據可以作為已存儲的對象來獲得，或者根據應用需要動態生成。例如，如同菜單、導航項或文本以及幫助注釋之類的用戶控制信息可以被添加到其他的圖像數據。具有可以格式化立體圖像的許多不同的方式，其被稱為3D圖像格式。一些格式基于使用2D通道來同樣運送立體信息。例如，左右視圖能夠被交錯，或者能夠并排以及上下放置。這些方法犧牲分辨率來運送立體信息。另一選項是犧牲顏色，這種方案被稱為補色立體法(anaglyphic stereo)。補色立體法使用基于以互補色顯示兩個單獨的覆蓋圖像的頻譜復用。通過使用具有彩色過濾器的眼鏡，每只眼睛只看到具有與在那只眼睛前方的過濾器相同的顏色的圖像。因此，例如，右眼只看到紅色圖像，而左眼只看到綠色圖像。不同的3D格式基于使用2D圖像和附加深度圖像的兩個視圖，其中附加深度圖像即為所謂的深度圖，其傳送有關對象在2D圖像中的深度的信息。稱為圖像+深度的格式的不同之處在于它是2D圖像與所謂的“深度”或像差圖(視差圖)的組合。這是灰度圖像，由此像素的灰度值指示相關聯的2D圖像中相應像素的像差(或在深度圖情況中的深度)的量。 顯示設備使用像差、深度或視差圖來計算附加視圖，其中采用2D圖像作為輸入。這可以采用各種方式來完成，在最簡單的形式中這是取決于與像素相關聯的像差值而將這些像素移位至左側或右側的問題。由Christoph Fehn撰寫的題為“D印th image based rendering, compression and transmission for a new approach on 3D TV，，的論文給出該技術的完美綜述(參見 http://iphome. hhi. de/fehn/Publications/fehn_EI2004. pdf)。圖2顯示3D圖像數據的示例。該圖像數據的左側部分是通常帶有顏色的2D圖像 21，而該圖像數據的右側部分是深度圖22。2D圖像信息可以采用任何適當的圖像格式來表示。深度圖信息可以是具有每個像素的深度值的附加數據流，與2D圖像相比，其有可能在降低的分辨率上。在深度圖中，灰度值指示2D圖像中相關像素的深度。白色指示靠近觀看者，而黑色指示遠離觀看者的大深度。3D顯示器能夠通過使用來自深度圖的深度值以及通過計算所需的像素變換來計算立體感覺所需的附加視圖。閉塞可以使用估計或孔填充技術來解決。附加幀可以被包括在數據流中，例如，進一步被添加到圖像和深度圖格式，類似于閉塞圖、視差圖和/或用于在背景前方移動的透明物體的透明度圖。當從諸如藍光碟播放器之類的播放器設備發送視頻到立體顯示器時，給視頻添加立體感覺也影響該視頻的格式。在2D情況中，只發送2D視頻流(解碼的畫面數據)。由于這像現在增加立體視頻，所以必須發送包含第二視圖(用于立體感覺)或深度圖的第二流。這可能使得電氣接口上所需的比特率加倍。不同的方案是犧牲分辨率和格式化該流，以使得第二視圖或深度圖與2D視頻進行交錯或并排放置。在家中的多個設備(DVD/BD/TV)或在家之外的多個設備(電話，便攜式媒體播放器)將在未來支持在立體或自動立體顯示器上3D內容的顯示。但是，3D內容主要是針對特定的屏幕尺寸而研制的。這意味著在已針對數字影院記錄了內容的情況下，將需要針對家庭顯示來重新安排。一種解決方案是在播放器中重新安排內容。取決于圖像數據格式， 這需要處理深度圖，例如，因數縮放，或者移位立體內容的左或右視圖。另外，屏幕尺寸需要被播放器知曉。為了進行該內容的正確再利用，不但屏幕尺寸是重要的，而且也必須考慮其他的因素。例如，這是觀眾，例如，兒童的瞳孔間距離小于成人。不正確的3D數據(尤其，無限范圍)需要兒童的雙眼發散，這引起眼睛疲勞或惡心。此外，3D體驗取決于人們的觀看距離。涉及觀看者的數據及其相對于3D顯示器的位置被稱為觀看者元數據。同樣，顯示器可能具有動態顯示區域、最佳深度范圍等等。在顯示器的深度范圍之外，偽像可能變得太高， 例如，類似于視圖之間的串擾。這也降低客戶的觀看舒適度。實際的3D顯示數據被稱為顯示器元數據。當前解決方案是存儲、分發元數據并且使得元數據在家庭系統的各個設備之間是可訪問的。例如，元數據可以經由顯示器的EDID信息來傳送。圖3顯示3D圖像設備和3D顯示設備元數據接口。示意性顯示在3D圖像設備10 與3D顯示設備13之間的雙向接口 31上的消息。例如回放設備的3D圖像設備10經由接口讀取顯示器13的能力，并且調節視頻的格式和定時參數，以便空間以及時間發送該顯示器能夠處理的最高分辨率視頻。在實踐中，使用稱為EDID的標準。擴展的顯示器標識數據 (EDID)是由顯示設備提供來向例如顯卡之類的圖像源描述其能力的數據結構。它使得現代的個人計算機能夠知曉連接什么類型的監視器。EDID利用由視頻電子標準協會(VESA) 公布的標準來定義。進一步參見經由http://www.vesa. org/可獲得的VESA DisplayPort Standard Version 1, Revision la, January 11, 2008。傳統的EDID包括制造商名稱、產品類型、磷光體或過濾器類型、顯示器支持的定時、顯示器大小、亮度數據以及(僅僅針對數字顯示器)像素映射數據。用于將EDID從顯示器發送到顯卡的通道通常是所謂的I2C總線。EDID與I2C的組合稱為顯示數據信道版本2 (Display Data Channel version 2)或 DDC2。所述(DDC)2 與 VESA 的原始 DDC 不同，其中原始DDC使用不同的串行格式。EDID時常存儲在與1 總線兼容的稱為串行PR0M(可編程只讀存儲器)或EEPROM (電可擦除PR0M)的存儲設備的監視器中。 回放設備通過DDC2通道將E-EDID請求發送到顯示器。顯示器通過發送E-EDID信息來響應。播放器確定最佳格式，并通過視頻通道開始發送。在較舊類型的顯示器中，顯示器在DDC通道上持續地發送E-EDID信息。沒有請求被發送。為了進一步定義在接口上使用的視頻格式，進一步組織(Consumer Electronics Association (消費電子協會);CEA)針對E-EDID定義若干附加的限制和擴展，以使之更適合于與TV類型的顯示器一起使用。除了特定的E-EDID要求之外，HDMI標準(上面提到的)還支持用于許多不同視頻格式的標識碼和相關定時信息。例如，在接口標準HDMI中采用CEA 861-D標準。HDMI定義物理鏈接， 并且它支持CEA 861-D和VESA E-EDID標準，以處理更高層信令。VESA E-EDID標準允許顯示器指示它是否支持立體視頻傳輸以及采用什么格式。將注意這樣的關于顯示器的能力的信息后向傳播到源設備。已知的VESA標準沒有定義任何的控制顯示器中的3D處理的前向3D信息。 在當前系統的一個實施例中，顯示器提供實際的觀看者元數據和/或實際的顯示器元數據。將注意，實際的顯示器元數據與諸如E_EDID中的現有顯示器尺寸參數的不同之處在于它定義用于顯示3D圖像數據的顯示區域的實際大小，這不同于(例如，小于)先前包括在E-EDID中的顯示尺寸。E-EDID傳統地提供來自PROM的關于該設備的靜態信息。所提議的擴展動態地包括當在顯示設備上可獲得時的觀看者元數據以及與針對目標空間觀看配置而處理源3D圖像數據相關的其他的顯示器元數據。在一個實施例中，觀看者元數據和/或顯示器元數據單獨地進行傳送，例如，在識別它所涉及的相應的元數據類型的同時作為數據流中的單獨分組來傳送。該分組可以包括用于調節3D處理的進一步元數據或控制數據。在實際的實施例中，該元數據被插入HDMI 數據島(Data Island)內的分組中。將元數據包括在音頻視頻數據(AV)流中如在HDMI中定義的輔助視頻信息(AVI) 中的示例如下。AVI作為信息幀在AV流中從源設備傳送到數字電視(DTV)監視器。通過交換控制數據，可以首先確立兩個設備是否支持所述元數據的傳輸。圖4顯示利用元數據擴展的AVI信息幀的表格。AVI信息幀由CEA定義，并且被 HDMI和其他視頻傳輸標準采用來提供關于顏色和色度采樣、過掃描與欠掃描以及寬高比的幀信令。如下所述，已添加附加信息來包括元數據。將注意元數據也可以采用類似方式經由E-EDID或任何其他適當的傳送協議來傳送。該圖顯示從信源到信宿的通信。利用任何適當的協議，類似的通信有可能是雙向的或者從信宿到信源。在圖4的通信示例中，在標準的AVI信息幀中保留數據字節1的最后比特即F17 以及數據字節4的最后比特即F47。在一個實施例中，這些用于指示在黑條信息中元數據的存在。黑條信息通常被包含在數據字節6-13中。在HDMI中通常保留字節14-27。該表格的語法如下。如果設置F17 (=1)，那么數據字節9 一 13包含3D元數據參數信息。默認情況是不設置F17 (=0)時，這意味著沒有3D元數據參數信息。如利用圖4中的示例所顯示的，以下信息能夠被添加到AVI或EDID信息 -由顯示器支持的(推薦的)最小視差(或深度或像差)；
-由顯示器支持的(推薦的)最大視差(或深度或像差)； -用戶偏好的最小深度(或視差或像差)； -用戶偏好的最大深度(或視差或像差)； -兒童模式(包括瞳孔間距離)； -最小和最大觀看距離。注意可以使用上述參數的組合值和/或單獨的最小與最大或平均值。此外，一些信息不需要存在于所傳送的信息中，而能夠相應地在播放器或顯示器中提供、設置和/或存儲，并且由圖像處理單元用于生成對于特定顯示器而言的最佳3D內容。那個信息也能夠從播放器朝著顯示器進行傳送，以便能夠基于所有可用的觀看者信息通過在顯示設備中應用處理來進行最佳可能的再現。觀看者元數據能夠采用自動的或用戶控制的方式來檢索。例如，最小和最大觀看距離能夠由用戶借助于用戶菜單來插入。兒童模式能夠利用遙控器上的按鈕來控制。在一個實施例中，顯示器具有內置照相機。通過如此的圖像處理，該設備能夠檢測觀眾的臉部， 并且據此來估計觀看距離和可能的瞳孔間距離。在顯示器元數據的一個實施例中，由顯示器支持的推薦的最小和/或最大深度由顯示器制造商來提供。顯示器元數據可以存儲在存儲器中，或者經由諸如因特網之類的網絡進行檢索。
總之，協作來如上所述交換觀看者元數據和顯示器元數據的3D顯示器或具有3D 能力的播放器具有所有的信息來處理3D圖像數據，以便最佳再現內容，并且如此給用戶提供最佳觀看體驗。將注意本發明可以使用可編程組件在硬件和/或軟件中進行實施。用于實施本發明的方法具有與參考圖1闡述的3D圖像數據的處理相對應的處理步驟。雖然本發明已主要通過使用來自光學記錄載體或因特網的將顯示在家庭3D顯示設備上的3D源圖像數據的實施例進行解釋了，但是本發明也適合于任何的圖像處理環境，類似于具有3D顯示器的移動PDA或移動電話、3D個人計算機顯示器接口或耦合到無線3D顯示設備的3D媒體中心。注意在這個文獻中，詞“包括”并不排除除了所列之外的其他元素或步驟的存在， 并且在元素之前的詞“一”或“一個”并不排除多個這樣的元素的存在，任何參考符號并不限制權利要求書的范疇，本發明可以借助于硬件和軟件二者來實施，并且若干“裝置”或“單元”可以利用同一項硬件或軟件來表示，而且處理器可以有可能與硬件元件協作來實現一個或更多單元的功能。進一步，本發明并不限于這些實施例，而在于上述的每一個新穎特征或特征的組合。
權利要求
1.一種處理三維[3D]圖像數據以便針對觀看者而顯示在3D顯示器上的方法，所述方法包括接收被安排用于源空間觀看配置的源3D圖像數據， 提供定義3D顯示器的空間顯示參數的3D顯示器元數據， 提供定義觀看者相對于3D顯示器的空間觀看參數的觀看者元數據， 處理源3D圖像數據，以生成目標3D顯示數據，以便以目標空間觀看配置在3D顯示器上顯示，所述處理包括根據3D顯示器元數據和觀看者元數據，確定目標空間配置，以及基于源空間觀看配置與目標空間觀看配置之間的差異，將源3D圖像數據轉換為目標 3D顯示數據。
2.如權利要求1所述的方法，其中提供觀看者元數據包括提供以下空間觀看參數中的至少一個觀看者相對于3D顯示器的觀看距離；觀看者的瞳孔間距離；觀看者相對于3D顯示器的平面的視角；觀看者位置相對于3D顯示器的中心的觀看偏移。
3.如權利要求1所述的方法，其中提供3D顯示器元數據包括提供以下空間顯示參數中的至少一個3D顯示器的屏幕尺寸； 由3D顯示器支持的深度范圍； 工廠推薦的3D顯示器的深度范圍； 用戶偏好的3D顯示器的深度范圍。
4.一種用于處理三維[3D]圖像數據以便針對觀看者而顯示在3D顯示器上的3D圖像設備，所述設備包括輸入裝置(51)，用于接收被安排用于源空間觀看配置的源3D圖像數據， 顯示器元數據裝置(112，192)，用于提供定義3D顯示器的空間顯示參數的3D顯示器元數據，觀看者元數據裝置(111，191)，用于提供定義觀看者相對于3D顯示器的空間觀看參數的觀看者元數據，處理裝置(52，18)，用于處理源3D圖像數據，以生成3D顯示信號(56)，以便以目標空間觀看配置顯示在3D顯示器上，所述處理裝置(52)被安排用于 根據3D顯示器元數據和觀看者元數據，確定目標空間配置，以及基于源空間觀看配置與目標空間觀看配置之間的差異，將源3D圖像數據轉換為3D顯示信號。
5.如權利要求4所述的設備，其中所述設備是源3D圖像設備，并且包括圖像接口裝置 (12)，用于輸出3D顯示信號(56)和傳送觀看者元數據。
6.如權利要求4所述的設備，其中所述設備是3D顯示設備，并且包括用于顯示3D圖像數據的3D顯示器(17)以及用于接收3D顯示信號(56)和傳送觀看者元數據的顯示器接口裝置(14)。
7.—種3D源設備，用于提供三維[3D]圖像數據，以便針對觀看者而顯示在3D顯示器上，所述設備包括輸入裝置(51)，用于接收被安排用于源空間觀看配置的源3D圖像數據， 圖像接口裝置(12)，用于與具有3D顯示器的3D顯示設備對接，以便傳送3D顯示信號 (56)，觀看者元數據裝置(111)，用于提供定義觀看者相對于3D顯示器的空間觀看參數的觀看者元數據，處理裝置(52)，用于生成3D顯示信號(56)，以便以目標空間觀看配置在3D顯示器上顯示，所述處理裝置被安排用于將觀看者元數據包括在顯示信號中，以使得3D顯示設備能夠處理源3D圖像數據，從而以目標空間觀看配置在3D顯示器上顯示，所述處理包括 根據3D顯示器元數據和觀看者元數據，確定目標空間配置，以及基于源空間觀看配置與目標空間觀看配置之間的差異，將源3D圖像數據轉換為3D顯示信號。
8.一種3D顯示設備，包括3D顯示器(17)，用于顯示3D圖像數據，顯示器接口裝置(14)，用于與源3D圖像設備對接，以便傳送3D顯示信號(56 )，所述源 3D圖像設備包括輸入裝置(51)，用于接收被安排用于源空間觀看配置的源3D圖像數據，觀看者元數據裝置(191)，用于提供定義觀看者相對于3D顯示器的空間觀看參數的觀看者元數據，處理裝置(18)，用于生成3D顯示信號(56)，以便在3D顯示器(17)上顯示，所述處理裝置(18)被安排用于經由顯示器接口裝置(14)在3D顯示信號(56)中傳送觀看者元數據到源3D圖像設備，以使得源3D圖像設備能夠處理源3D圖像數據，從而以目標空間觀看配置顯示在3D顯示器上，所述處理包括根據3D顯示器元數據和觀看者元數據，確定目標空間配置，以及基于源空間觀看配置與目標空間觀看配置之間的差異，將源3D圖像數據轉換為3D顯示信號。
9.如權利要求4-8之中任何一項權利要求所述的設備，其中觀看者元數據裝置(111， 191)包括用于設置兒童模式的裝置，以便提供代表兒童的瞳孔間距離作為空間觀看參數。
10.如權利要求4-8之中任何一項權利要求所述的設備，其中觀看者元數據裝置(111， 191)包括觀看者檢測裝置，用于檢測在3D顯示器的觀看區域中出現的觀看者的至少一個空間觀看參數。
11.一種3D顯示信號，用于在3D圖像設備與3D顯示器之間三維[3D]圖像數據的傳送，以便針對觀看者而顯示在3D顯示器上，所述3D顯示信號包括觀看者元數據，用于使得 3D圖像設備能夠接收被安排用于源空間觀看配置的源3D圖像數據和處理源3D圖像數據， 以便以目標空間觀看配置顯示在3D顯示器上，經由單獨的數據信道從3D顯示器傳送觀看者元數據至3D圖像設備，或者從3D圖像設備傳送觀看者元數據至3D顯示器，其中觀看者元數據被包括在單獨分組中，所述處理包括根據3D顯示器元數據與觀看者元數據，確定目標空間配置，以及基于源空間觀看配置與目標空間觀看配置之間的差異，將源3D圖像數據轉換為3D顯示信號。
12.如權利要求11所述的信號，其中所述信號是HDMI信號，并且經由顯示數據信道 (DDC)從3D顯示器傳送觀看者元數據至3D圖像設備，或者從3D圖像設備傳送觀看者元數據至3D顯示器，其中觀看者元數據被包括在HDMI數據島的分組中。
13.—種3D圖像信號，用于三維[3D]圖像數據至3D圖像設備的傳送，以便針對觀看者而顯示在3D顯示器上，所述3D圖像信號包括被安排用于源空間觀看配置的源3D圖像數據以及指示源空間觀看配置的源圖像元數據，以使得3D圖像設備能夠處理源3D圖像數據，從而以目標空間觀看配置顯示在3D顯示器上，所述處理包括根據3D顯示器元數據和觀看者元數據，確定目標空間配置，以及基于源空間觀看配置與目標空間觀看配置之間的差異，將源3D圖像數據轉換為3D顯示信號。
14.一種記錄載體，包括代表如權利要求13所述的3D圖像信號的物理可檢測標記。
全文摘要
描述了處理三維[3D]圖像數據以便針對觀看者而顯示在3D顯示器上的系統。3D顯示器元數據定義3D顯示器的空間顯示參數，諸如由3D顯示器支持的深度范圍。觀看者元數據定義觀看者相對于3D顯示器的空間觀看參數，諸如觀看距離或瞳孔間距離。處理被安排用于源空間觀看配置的源3D圖像數據，以生成用于以目標空間觀看配置而顯示在3D顯示器上的目標3D顯示數據。首先，根據3D顯示器元數據和觀看者元數據，確定目標空間配置。然后，基于源空間觀看配置與目標空間觀看配置之間的差異，將源3D圖像數據轉換為目標3D顯示數據。
文檔編號H04N13/00GK102326395SQ201080008277
公開日2012年1月18日 申請日期2010年2月11日 優先權日2009年2月18日
發明者Cb. 貝尼恩 C., G. 格雷姆澤 F., W. T. 范 德 海登 G., S. 牛頓 P. 申請人:皇家飛利浦電子股份有限公司