專利名稱：數據結構、圖像處理設備、圖像處理方法和程序的制作方法
技術領域：
本發明涉及數據結構、圖像處理設備、圖像處理方法和程序，并且更加具體地涉及用于允許用戶觀看3D內容而無論用戶將3D內容視為3D圖像還是2D圖像都不會感覺不適的數據結構、圖像處理設備、圖像處理方法和程序。
背景技術：
2D圖像主要用作視頻內容。然而近來3D圖像引人注目。例如，如日本專利申請公開第10-327430號和第2008-182669號所示，針對3D圖像顯示設備和3D圖像編碼和解碼方法已提議了各種技術。3D圖像由用左眼觀看的左眼圖像和用右眼觀看的右眼圖像構成。左眼圖像和右眼圖像中的每一個都具有預定視差，所以用戶可以將圖像識別為立體圖像。近來的3D電影使用了一種技術，該技術用于將黑色邊緣插入到圖像幀的外圍，以便允許用戶容易地觀看圖像幀的外圍中的圖像(圖像的外部邊緣部分)。根據場景中的視差的量(視差量)動態地改變黑色邊緣的尺寸。因此，黑色邊緣也被稱為浮動視窗。圖IA至IC是圖示插入黑色邊緣的例子的示圖。圖IA是突出的量為零的3D圖像的例子。在左眼圖像和右眼圖像中的每一個中， 蘋果的顯示位置相同。因此，突出的量為零。圖IB是其中蘋果看起來突出的3D圖像的例子。當圖IB的3D圖像與圖IA的3D 圖像相比較時，可以理解的是，圖IB的3D圖像中的左眼圖像中的蘋果向右側(圖像的內側)轉移了 X。換言之，在左眼圖像中的蘋果和右眼圖像中的蘋果之間存在視差，并且視差量為X。因此，蘋果看起來突出。然而，沒有將黑色邊緣插入到圖IB的3D圖像中。黑色邊緣的缺乏造成在圖像幀處突出。因此，用戶在觀看3D圖像時會有困難(感覺不適)。圖IC是其中將黑色邊緣插入到圖IB的3D圖像中的例子。將寬度與視差量X相同的黑色邊緣插入到圖IC的左眼圖像中。結果，圖像易于由用戶觀看。
發明內容
然而，不是所有的3D內容(將來會廣泛可用)都是如上所述使黑色邊緣插入其中的圖像。相反地，如果所有的3D內容都假定始終使黑色邊緣插入其中，則這在可能難以將 3D內容視為3D圖像的環境中會造成問題，例如可能沒有準備附有快門的眼鏡，或者眼鏡破了。這是因為例如當左眼圖像和右眼圖像中只有一個用于示出為2D圖像時，黑色邊緣隨著場景移動，這造成圖像看起來不自然。本發明是考慮到這樣的狀況來進行的，并且允許用戶觀看3D內容而無論用戶將 3D內容視為3D圖像還是2D圖像都不會感覺不適。根據本發明的實施例，提供了一種圖像處理設備，該圖像處理設備包括獲得單元，用于獲得沒有黑色邊緣插入其中的3D內容的左眼圖像和右眼圖像的圖像數據、根據所述左眼圖像和所述右眼圖像之間的右圖像幀的外圍中的視差量的黑色邊緣寬度、以及根據所述左眼圖像和所述右眼圖像之間的左圖像幀的外圍中的視差量的黑色邊緣寬度；以及生成單元，用于通過將具有獲得的根據右圖像幀的外圍中的視差量的黑色邊緣寬度的圖像和具有獲得的根據左圖像幀的外圍中的視差量的黑色邊緣寬度的圖像插入到所述左眼圖像和所述右眼圖像中，來生成附有邊緣的左眼圖像和附有邊緣的右眼圖像。根據本發明的另一個實施例，提供了一種圖像處理方法，該圖像處理方法由包括用于獲得圖像數據的獲得單元和生成單元的圖像處理設備執行，所述方法包括以下步驟 使所述獲得單元獲得沒有黑色邊緣插入其中的3D內容的左眼圖像和右眼圖像的圖像數據、根據所述左眼圖像和所述右眼圖像之間的右圖像幀的外圍中的視差量的黑色邊緣寬度、以及根據所述左眼圖像和所述右眼圖像之間的左圖像幀的外圍中的視差量的黑色邊緣寬度；以及使所述生成單元通過將具有獲得的根據右圖像幀的外圍中的視差量的黑色邊緣寬度的圖像和具有獲得的根據左圖像幀的外圍中的視差量的黑色邊緣寬度的圖像插入到所述左眼圖像和所述右眼圖像中來生成附有邊緣的左眼圖像和附有邊緣的右眼圖像。根據本發明的另一個實施例，提供了一種用于使計算機執行處理的程序，所述處理包括以下步驟獲得沒有黑色邊緣插入其中的3D內容的左眼圖像和右眼圖像的圖像數據、根據所述左眼圖像和所述右眼圖像之間的右圖像幀的外圍中的視差量的黑色邊緣寬度、以及根據所述左眼圖像和所述右眼圖像之間的左圖像幀的外圍中的視差量的黑色邊緣寬度；以及通過將具有獲得的根據右圖像幀的外圍中的視差量的黑色邊緣寬度的圖像和具有獲得的根據左圖像幀的外圍中的視差量的黑色邊緣寬度的圖像插入到所述左眼圖像和所述右眼圖像中，來生成附有邊緣的左眼圖像和附有邊緣的右眼圖像。根據本發明的另一個實施例，獲得了沒有黑色邊緣插入其中的3D內容的左眼圖像和右眼圖像的圖像數據、根據所述左眼圖像和所述右眼圖像之間的右圖像幀的外圍中的視差量的黑色邊緣寬度、以及根據所述左眼圖像和所述右眼圖像之間的左圖像幀的外圍中的視差量的黑色邊緣寬度，并且通過將具有獲得的根據右圖像幀的外圍中的視差量的黑色邊緣寬度的圖像和具有獲得的根據左圖像幀的外圍中的視差量的黑色邊緣寬度的圖像插入到所述左眼圖像和所述右眼圖像中，生成了附有邊緣的左眼圖像和附有邊緣的右眼圖像。根據本發明的另一個實施例，提供了一種數據結構，該數據結構包括沒有黑色邊緣插入其中的3D內容的左眼圖像和右眼圖像的圖像數據；根據所述左眼圖像和所述右眼圖像之間的右圖像幀的外圍中的視差量的黑色邊緣寬度；以及根據所述左眼圖像和所述右眼圖像之間的左圖像幀的外圍中的視差量的黑色邊緣寬度。根據本發明的另一個實施例，包括了沒有黑色邊緣插入其中的3D內容的左眼圖像和右眼圖像的圖像數據、根據所述左眼圖像和所述右眼圖像之間的右圖像幀的外圍中的視差量的黑色邊緣寬度、以及根據所述左眼圖像和所述右眼圖像之間的左圖像幀的外圍中的視差量的黑色邊緣寬度。應當注意的是，通過經由傳送介質來傳送程序或者將程序記錄到記錄介質，可以提供程序。圖像處理設備可以是獨立的設備，也可以是構成一個設備的內部塊。根據本發明的第一和第二方面，用戶可以觀看3D內容而無論用戶將3D內容視為 3D圖像還是2D圖像都不會感覺不適。
圖IA至IC是圖示插入黑色邊緣的例子的示圖；圖2是圖示根據本發明實施例的記錄設備的示例性配置的框圖；圖3是圖示由圖2的記錄設備執行的記錄處理的流程圖；圖4是圖示被記錄到記錄介質的數據的層次結構的示圖；圖5是圖示MPEG4的方框的擴展區域的例子的示圖；圖6是圖示MPEG4的方框的擴展區域的另一個例子的示圖；圖7是圖示MPEG4的方框的擴展區域的還有另一個例子的示圖；圖8是圖示根據本發明實施例的再現設備的示例性配置的框圖；圖9是圖示后處理單元的詳細示例性配置的框圖；圖10是圖示后處理單元的另一個詳細示例性配置的框圖；圖IlA至IlC是圖示用于計算黑色邊緣寬度的計算處理的示圖；圖12是圖示黑色邊緣寬度計算單元的詳細示例性配置的框圖；圖13是圖示由圖8的再現設備執行的再現處理的流程圖；以及圖14是圖示根據本發明實施例的計算機的示例性配置的框圖。
具體實施例方式在下文中，將參考附圖詳細地描述本發明的優選實施例。注意，在本說明書和附圖中，具有基本上相同的功能和結構的結構性元件用相同的標號來指示，并且省略這些結構性元件的重復說明。<記錄設備的實施例>[記錄設備的示例性配置]圖2是圖示根據本發明實施例的記錄設備的示例性配置的框圖。圖2的記錄設備包括黑色邊緣寬度計算單元10、視頻編碼器11、音頻編碼器12、多路復用單元13和記錄控制單元14。記錄設備1編碼3D內容的內容數據，并且將內容數據記錄到記錄介質20如 Blu-Ray (注冊商標)盤只讀存儲器(BDROM)。內容數據包括3D圖像的圖像數據(其在下文中可以被稱為3D視頻數據)和對應于圖像數據的音頻數據。3D視頻數據包括用于左眼圖像的圖像數據和用于右眼圖像的圖像數據。內容數據還包括關于黑色邊緣的寬度(在下文中被稱為黑色邊緣寬度)的額外信息，所述黑色邊緣要被插入到圖像幀的外圍中，以便允許用戶容易地觀看圖像幀的外圍中的圖像。因此，記錄介質20中記錄的3D視頻數據中的左眼圖像和右眼圖像是不包括任何黑色邊緣的圖像，以便允許用戶容易地觀看圖像幀的外圍中的圖像。根據從外部輸入的3D視頻數據，記錄設備1的黑色邊緣寬度計算單元10計算黑色邊緣的黑色邊緣寬度，所述黑色邊緣被插入以允許用戶容易地觀看3D圖像的圖像幀的外圍中的圖像。更加具體地，黑色邊緣寬度計算單元10檢測3D視頻數據的左眼圖像和右眼圖像之間的視差量，根據檢測的視差量計算黑色邊緣寬度，并且將黑色邊緣寬度提供給視頻編碼器11。如稍后說明的那樣，可以針對每個幀或域計算并設置黑色邊緣寬度，也可以針對由多個幀或域構成的每個單元，例如針對每個場景計算并設置黑色邊緣寬度。盡管稍后在關于再現設備50的詳細配置的說明中會詳細地說明黑色邊緣寬度計算單元10的細節，但是這里將會簡短地說明黑色邊緣寬度計算單元10。針對左眼圖像和右眼圖像中的每一個，黑色邊緣寬度計算單元10分開計算用于右側圖像幀(在下文中被稱為右圖像幀)的黑色邊緣寬度和用于左側圖像幀(在下文中被稱為左圖像幀)的黑色邊緣寬度。換言之，黑色邊緣寬度計算單元10計算四個黑色邊緣寬度，并且將黑色邊緣寬度提供給視頻編碼器11。根據編碼方法如運動圖像專家組階段2 (MPEG2)、MPEG4和高級視頻編碼(AVC)，視頻編碼器11對從外部輸入的元數據和3D視頻數據進行編碼。元數據包括充當3D圖像額外信息的黑色邊緣寬度。視頻編碼器11向多路復用單元13提供作為編碼的結果而獲得的視頻流，亦即基本流(ES)。根據編碼方法如MPEG，音頻編碼器12對從外部輸入的對應于3D視頻數據的音頻數據進行編碼，并且向多路復用單元13提供作為編碼的結果而獲得的音頻流，亦即ES。多路復用單元13對由視頻編碼器11提供的視頻流和由音頻編碼器12提供的音頻流進行多路復用，并且向記錄控制單元14提供作為多路復用的結果而獲得的多路復用流。記錄控制單元14將由多路復用單元13提供的多路復用流記錄到記錄介質20。記錄設備1具有上述配置。[關于記錄設備的處理的說明]隨后參考圖3的流程圖來說明圖2的記錄設備1所執行的記錄處理。例如當輸入 3D視頻數據和音頻數據時，這個記錄處理開始。在步驟SlO中，根據從外部輸入的3D視頻數據，黑色邊緣寬度計算單元10分別計算左眼圖像的黑色邊緣寬度和右眼圖像的黑色邊緣寬度。在步驟Sll中，根據編碼方法如MPEG2、MPGE4和AVC，視頻編碼器11對從外部輸入的元數據和3D視頻數據進行編碼。元數據包括在步驟SlO中計算的用于左眼圖像的黑色邊緣寬度和用于右眼圖像的黑色邊緣寬度中的每一個。視頻編碼器11向多路復用單元 13提供作為編碼的結果而獲得的視頻流。在步驟S12中，根據編碼方法如MPEG，音頻編碼器12對從外部輸入的對應于3D視頻數據的音頻數據進行編碼，并且向多路復用單元13提供作為編碼的結果而獲得的音頻流。在步驟S13中，多路復用單元13對由視頻編碼器11提供的視頻流和由音頻編碼器12提供的音頻流進行多路復用，并且向記錄控制單元14提供作為多路復用的結果而獲得的多路復用流。在步驟S14中，記錄控制單元14將由多路復用單元13提供的多路復用流記錄到記錄介質20，并且終止處理。如上所述，記錄設備1向記錄介質20記錄不包括任何黑色邊緣的左眼圖像和右眼圖像的3D視頻數據，并且還向記錄介質20記錄關于黑色邊緣寬度的額外信息(元數據)， 所述黑色邊緣寬度用于將黑色邊緣插入到左眼圖像和右眼圖像。因此，當再現記錄介質20 中記錄的3D內容并且用戶將3D內容視為3D圖像時，記錄設備1可以在基于作為額外信息提供的黑色邊緣寬度將黑色邊緣插入到左眼圖像和右眼圖像中之后顯示3D內容，以便圖像幀的外圍中的圖像易于觀看。代替地，當再現記錄介質20中記錄的3D內容并且用戶將 3D內容視為2D圖像時，可以再現3D圖像，因為沒有黑色邊緣插入其中。因此，觀看者不會感覺到由圖像幀的外圍中的突出圖像造成的不自然。所以，記錄設備1可以提供3D內容， 用戶可以觀看該3D內容，而無論用戶將3D內容視為3D圖像還是2D圖像都不會感覺不適。[關于額外信息的存儲位置的說明]圖4是圖示被記錄到記錄介質20的數據的層次結構的示圖。如圖4所示，被記錄到記錄介質20的數據的層次包括ES如音頻流和視頻流的層 C ；充當用于多路復用流的系統層的層B ；以及對于記錄介質20唯一的信息的層A。“黑色邊緣寬度”亦即額外信息可以記錄在層A、層B和層C中的一個或多個中。例如，當額外信息被記錄到層C并且編碼方法是AVC時，額外信息被記錄為補充增強信息(SEI)，或者被記錄為序列參數集(SPS)和圖片參數集(PPS)的一部分。當編碼方法是MPEG2時，額外信息被記錄為視頻序列或擴展與用戶數據。在這種情況下，可以在一個視頻流之內改變額外信息，因此可以針對左眼圖像和右眼圖像中的每一個或者針對每個場景設置“黑色邊緣寬度”。代替地，當額外信息被記錄到層B時，額外信息被記錄到運輸流(TS)的專用包、程序流(PS)的專用包和MPEG4的配置信息中包括的方框的擴展區域。例如，如圖5所示，可以在緊接著位于文件頭部的ftyp框之后的專用擴展框(圖 5中的uuid)中放置在其中記錄額外信息的MPEG4的方框的擴展區域。在這種情況下，當再現設備再現被記錄到記錄介質20的3D視頻數據時，再現設備可以在解碼處理之前獲得 “黑色邊緣寬度”亦即額外信息，但是額外信息貫穿文件不變。應當注意的是，專用擴展框不僅包括“黑色邊緣寬度”，而且還包括編解碼器的類型、比特率、幀尺寸、高寬比以及表示圖像是2D圖像還是3D圖像的信息。代替地，如圖6所示，可以在moov框中的軌道信息(trak)的區域(圖6中的stsd) 中放置在其中記錄額外信息的MPEG4的方框的擴展區域。在這種情況下，視頻流包括表示被引用的額外信息的區域的信息，并且再現設備基于該信息獲得“黑色邊緣寬度”。因此，在這種情況下，可以在視頻流之內改變“黑色邊緣寬度”。因此，可以針對左眼圖像和右眼圖像中的每一個或者針對每個場景設置“黑色邊緣寬度”。代替地，如圖7所示，可以在mdat框中放置在其中記錄額外信息的MPEG4的方框的擴展區域。換言之，額外信息可以被記錄為一個介質流(副信息流)。在這種情況下，視頻流和額外信息可以與時間信息同步，因此可以針對左眼圖像和右眼圖像中的每一個或者針對每個場景設置“黑色邊緣寬度”。在圖5至7的例子中，moov框和mdat框按順序布置在ftyp框之后。然而，moov 框和mdat框的布置不限于此。<再現設備的實施例>[再現設備的示例性配置]圖8是圖示根據本發明實施例的再現設備的示例性配置的框圖。圖8的再現設備50包括讀取單元51、分離單元52、視頻解碼器53、后處理單元54 和音頻解碼器55。再現設備50再現記錄介質20中記錄的3D視頻數據和與其相對應的音頻數據，并且顯示3D圖像。更加具體地，再現設備50的讀取單元51讀取記錄介質20中記錄的多路復用流， 并且將多路復用流提供給分離單元52。分離單元52將讀取單元51所提供的多路復用流分成視頻流和音頻流。然后，分離單元52將視頻流提供給視頻解碼器53，并且將音頻流提供給音頻解碼器55。根據與圖2的視頻編碼器11所執行的編碼方法相對應的方法，視頻解碼器53對分離單元52所提供的視頻流進行解碼，并且向后處理單元54提供作為解碼的結果而獲得的3D視頻數據和元數據(額外信息)。換言之，根據本發明的圖像處理設備可以包括獲得單元(在本實施例中指的是讀取單元51、分離單元52和視頻解碼器53，但不限于此)，用于獲得沒有黑色邊緣插入其中的 3D內容的左眼圖像和右眼圖像的圖像數據、根據所述左眼圖像和所述右眼圖像之間的右圖像幀的外圍中的視差量的黑色邊緣寬度、以及根據所述左眼圖像和所述右眼圖像之間的左圖像幀的外圍中的視差量的黑色邊緣寬度。基于從視頻解碼器53作為額外信息提供的黑色邊緣寬度，后處理單元54執行處理(后處理)，以便將黑色邊緣插入到3D視頻數據的左眼圖像和右眼圖像中。后處理單元 54向顯示單元61輸出使黑色邊緣插入其中的左眼圖像和右眼圖像的圖像數據。根據與圖2的音頻編碼器12所執行的編碼方法相對應的方法，音頻解碼器55對分離單元52所提供的音頻流進行解碼，并且向揚聲器62提供作為解碼的結果而獲得的音頻數據。例如，顯示單元61以時分方式基于后處理單元54所提供的圖像數據顯示左眼圖像和右眼圖像。例如在這種場合下，觀看者佩戴附有快門的眼鏡，該眼鏡與左眼圖像和右眼圖像之間的切換同步，以便觀看者只用他/她的左眼觀看左眼圖像，并且只用他/她的右眼觀看右眼圖像。因此，觀看者可以立體地識別3D圖像。揚聲器62輸出與音頻解碼器55所提供的音頻數據相對應的聲音。[后處理單元54的示例性配置]圖9是圖示圖8的后處理單元54的詳細示例性配置的框圖。后處理單元54包括黑色邊緣插入單元71。黑色邊緣插入單元71從視頻解碼器53接收四種黑色邊緣寬度。這四種黑色邊緣寬度包括左眼圖像的右圖像幀和左圖像幀的黑色邊緣寬度以及右眼圖像的右圖像幀和左圖像幀的黑色邊緣寬度。黑色邊緣插入單元71基于接收的黑色邊緣寬度將黑色邊緣(的圖像)插入到左眼圖像和右眼圖像中，并且生成附有邊緣的左眼圖像和附有邊緣的右眼圖像。然后，黑色邊緣插入單元71將生成的附有邊緣的左眼圖像和生成的附有邊緣的右眼圖像的圖像數據輸出到顯示單元61 (圖8)。換言之，根據本發明的圖像處理設備可以進一步包括生成單元(在本實施例中指的是黑色邊緣插入單元71，但不限于此)，用于通過將具有獲得的根據右圖像幀的外圍中的視差量的黑色邊緣寬度的圖像和具有獲得的根據左圖像幀的外圍中的視差量的黑色邊緣寬度的圖像插入到左眼圖像和右眼圖像中，來生成附有邊緣的左眼圖像和附有邊緣的右眼圖像。[后處理單元54的另一個示例性配置]
圖10是圖示圖8的后處理單元54的另一個詳細示例性配置的框圖。根據本發明的另一個實施例的圖像處理設備可以包括獲得單元，用于獲得3D內容的內容數據，所述內容數據至少包括沒有黑色邊緣插入其中的3D內容的左眼圖像和右眼圖像的圖像數據。即使當沒有黑色邊緣寬度作為元數據記錄在再現的記錄介質20中時，圖10的后處理單元54也可以工作。換言之，當黑色邊緣寬度作為元數據記錄在再現的記錄介質20 中時，后處理單元54使用從記錄介質20讀取的黑色邊緣寬度，并且生成附有邊緣的左眼圖像和附有邊緣的右眼圖像。另一方面，當沒有黑色邊緣寬度作為元數據記錄在再現的記錄介質20中時，圖10的后處理單元54根據3D視頻數據的左眼圖像和右眼圖像計算適當的黑色邊緣寬度，并且使用從計算的結果獲得的黑色邊緣寬度來生成附有邊緣的左眼圖像和附有邊緣的右眼圖像。此時，根據本發明的另一個實施例的圖像處理設備可以進一步包括 黑色邊緣寬度計算單元，用于檢測根據左眼圖像和右眼圖像之間的右圖像幀的外圍中的視差量，根據檢測到的視差量計算黑色邊緣寬度，檢測根據左眼圖像和右眼圖像之間的左圖像幀的外圍中的視差量，并且根據檢測到的視差量計算黑色邊緣寬度；以及生成單元，用于通過將具有計算的根據右圖像幀的外圍中的視差量的黑色邊緣寬度的圖像和具有計算的根據左圖像幀的外圍中的視差量的黑色邊緣寬度的圖像插入到左眼圖像和右眼圖像中，來生成附有邊緣的左眼圖像和附有邊緣的右眼圖像。圖10的后處理單元54包括類似于圖9的黑色邊緣插入單元71、黑色邊緣寬度確定單元72和黑色邊緣寬度計算單元73。黑色邊緣寬度確定單元72確定黑色邊緣寬度是否作為元數據記錄在記錄介質20 中，亦即視頻解碼器53是否提供黑色邊緣寬度。當視頻解碼器53提供黑色邊緣寬度時，黑色邊緣確定單元72將接收的黑色邊緣寬度提供給黑色邊緣插入單元71。另一方面，當視頻解碼器53不提供黑色邊緣寬度時，黑色邊緣寬度確定單元72向黑色邊緣寬度計算單元73 提供用于計算黑色邊緣寬度的命令。當黑色邊緣寬度計算單元73從黑色邊緣寬度確定單元72接收到用于計算黑色邊緣寬度的命令時，黑色邊緣寬度計算單元73根據由視頻解碼器53提供的3D視頻數據的左眼圖像和右眼圖像來計算適當的黑色邊緣寬度，并且將適當的黑色邊緣寬度提供給黑色邊緣插入單元71。[黑色邊緣寬度計算單元73的處理]隨后，使用左眼圖像的左圖像幀的黑色邊緣寬度的計算的例子，參考圖IlA至IlC 來說明由黑色邊緣寬度計算單元73執行的黑色邊緣寬度計算處理。應當注意的是，由記錄設備1的黑色邊緣寬度計算單元10(圖2)執行的處理與這個處理相同。首先，通過比較接收到的左眼圖像和接收到的右眼圖像來計算右眼圖像的左圖像幀的外圍中的視差量。可以通過迄今已知的各種方法來檢測視差量。在關于本實施例的這個說明中，通過塊匹配進行檢測。黑色邊緣寬度計算單元73接收寬度Xa作為參數。寬度Xa確定了用于塊匹配的塊的尺寸。塊的高度Ya與圖像的尺寸相同。如圖1IA所示，在右眼圖像中，采用在左邊緣具有寬度Xa和高度Ya的塊作為參考塊。然后，在左眼圖像中，黑色邊緣寬度計算單元73將具有與參考塊相同尺寸的比較塊向右側移動預定量(例如一個像素)，直到比較塊到達其中移動量D是搜索范圍SR的位置，從而獲得參考塊和比較塊之間的相關值。具有最高相關值的移動量D是右眼圖像的左圖像幀的視差量。黑色邊緣寬度計算單元73采用右眼圖像的左圖像幀的視差量作為用于左眼圖像的左圖像幀的黑色邊緣寬度。圖IlB圖示了通過插入具有與右眼圖像的左圖像幀的視差量Dl相等的黑色邊緣寬度的黑色邊緣而生成的附有邊緣的左眼圖像。已知的是，當左眼圖像和右眼圖像兩者都包括黑色邊緣時，可以獲得右圖像和左圖像之間的對應性，這使得易于觀看圖像。因此，可以布置參數“偏移量”，以同樣將黑色邊緣插入與黑色邊緣已插入其中的圖像相對的一側的圖像(在圖11的例子中為右眼圖像)， 以便用于右眼和左眼的圖像兩者都始終使黑色邊緣插入其中。在圖IlC的例子中，設置預定偏移量，并且將黑色邊緣插入到左眼圖像和右眼圖像兩者中。以這種方式，可以針對左眼圖像和右眼圖像中的每一個計算右圖像幀和左圖像幀的黑色邊緣寬度。[黑色邊緣寬度計算單元73的詳細示例性配置]圖12是圖示黑色邊緣寬度計算單元73的詳細示例性配置的框圖。黑色邊緣寬度計算單元73包括參數保持單元81、輸出選擇單元82、左圖像幀視差量檢測單元83、右圖像幀視差量檢測單元84和黑色邊緣寬度確定單元85。參數保持單元81存儲如參考圖IlA至IlC說明的參數，亦即用于確定塊尺寸的寬度Xa、搜索范圍SR和偏移量。然后，在必要時，參數保持單元81將塊尺寸的寬度Xa和搜索范圍SR提供給左圖像幀視差量檢測單元83和右圖像幀視差量檢測單元84，并且將偏移量提供給黑色邊緣寬度確定單元85。這些參數可以預先存儲為固定值。代替地，在必要時或者以預定時刻，可以用操作輸入單元等(未示出)輸入這些值。基于從黑色邊緣寬度確定單元72提供的用于計算黑色邊緣寬度的命令，輸出選擇單元82選擇接收的左眼圖像和接收的右眼圖像的輸出的接通/斷開。換言之，當黑色邊緣寬度確定單元72提供用于計算黑色邊緣寬度的命令時，輸出選擇單元82選擇輸出接通， 以便將從視頻解碼器53接收的左眼圖像和右眼圖像輸出到左圖像幀視差量檢測單元83和右圖像幀視差量檢測單元84。另一方面，當黑色邊緣寬度確定單元72不提供用于計算黑色邊緣寬度的命令時，輸出選擇單元82選擇輸出斷開，以便不輸出從視頻解碼器53接收的左眼圖像和右眼圖像。因此，當黑色邊緣寬度確定單元72不提供用于計算黑色邊緣寬度的命令時，黑色邊緣寬度計算單元73不計算黑色邊緣寬度。基于從參數保持單元81提供的塊尺寸的寬度Xa和搜索范圍SR，左圖像幀視差量檢測單元83檢測接收的左眼圖像和接收的右眼圖像之間的左圖像幀的外圍中的視差量， 并且將檢測結果提供給黑色邊緣寬度確定單元85。換言之，黑色邊緣寬度確定單元85接收通過在將參考塊固定在右眼圖像的左邊緣的同時移動左眼圖像的比較塊而檢測的視差量， 以及通過在將參考塊固定在左眼圖像的左邊緣的同時移動右眼圖像的比較塊而檢測的視 Hfio基于從參數保持單元81提供的塊尺寸的寬度Xa和搜索范圍SR，右圖像幀視差量檢測單元84檢測接收的左眼圖像和接收的右眼圖像之間的右圖像幀的外圍中的視差量，并且將檢測結果提供給黑色邊緣寬度確定單元85。換言之，黑色邊緣寬度確定單元85接收通過在將參考塊固定在右眼圖像的右邊緣的同時移動左眼圖像的比較塊而檢測的視差量， 以及通過在將參考塊固定在左眼圖像的右邊緣的同時移動右眼圖像的比較塊而檢測的視差量。黑色邊緣寬度確定單元85將由參數保持單元81提供的偏移量添加到由左圖像幀視差量檢測單元83和右圖像幀視差量檢測單元84提供的四個視差量，從而確定四種黑色邊緣寬度。換言之，用于左眼圖像的左圖像幀和右圖像幀的黑色邊緣寬度以及用于右眼圖像的左圖像幀和右圖像幀的黑色邊緣寬度被確定并被提供給黑色邊緣插入單元71 (圖 10)。在上述說明中，針對左眼圖像和右眼圖像確定了四種黑色邊緣寬度。代替地，可以針對左圖像幀和右圖像幀共同確定左圖像幀和右圖像幀的黑色邊緣寬度。左圖像幀和右圖像幀的黑色邊緣寬度中的每一個也可以使用它們的最大值或平均值來共同確定。換言之，左圖像幀和右圖像幀的黑色邊緣寬度可以是相同值，例如最大值、平均值等等。在這個配置中，較少可能的是觀看者在觀看圖像時有困難，即使當左圖像幀和右圖像幀的黑色邊緣寬度差異很大時。進一步，可以在包括在時間軸方向上不同的多個左眼圖像或右眼圖像的組中(例如以場景為單位)平滑并確定黑色邊緣寬度。可以在時間軸方向上進一步平滑并確定左圖像幀和右圖像幀中的每一個的最大值或平均值的表示值。圖2的黑色邊緣寬度計算單元10具有與圖12相同的配置。然而，記錄設備1有望計算并記錄黑色邊緣寬度。因此，將輸出選擇單元82維持在輸出接通狀態下，或者不提供輸出選擇單元82。在圖2的黑色邊緣寬度計算單元10和圖10的黑色邊緣寬度計算單元73中的任何一個中，偏移量都可以省略。[關于再現設備的處理的說明]隨后，參考圖13的流程圖來說明再現處理。在再現處理中，包括具有如圖10所示的配置的后處理單元54的再現設備50再現3D內容的圖像。例如，當用操作輸入單元等給出用于再現記錄介質20中記錄的3D內容的命令時，再現處理開始。在其中處理開始的圖 13的狀態下，假定保持在參數保持單元81中的各種參數已經被提供給需要參數的各個單元。在步驟S31中，讀取單元51讀取并解碼記錄介質20中記錄的3D內容的多路復用流。換言之，讀取單元51從記錄介質20中讀取3D內容的多路復用流，并且分離單元52將多路復用流分成視頻流和音頻流。然后，根據與記錄設備1的編碼方法相對應的方法，視頻解碼器53對由分離單元52提供的視頻流進行解碼。將作為視頻解碼器53所執行的解碼的結果而獲得的3D視頻數據提供給后處理單元54。當視頻流包括作為元數據的黑色邊緣寬度亦即額外信息時，同樣將關于黑色邊緣寬度的信息提供給后處理單元54。在步驟S32中，黑色邊緣寬度確定單元72確定視頻解碼器53是否提供黑色邊緣寬度。當確定視頻解碼器53提供黑色邊緣寬度時，隨后執行步驟S33的處理。將接收到的黑色邊緣寬度提供給黑色邊緣插入單元71。另一方面，當在步驟S32中確定視頻解碼器53不提供黑色邊緣寬度時，隨后執行步驟S34的處理。黑色邊緣寬度確定單元72向黑色邊緣寬度計算單元73提供用于計算黑色邊緣寬度的命令。因此，黑色邊緣寬度計算單元73的輸出選擇單元82選擇輸出接通，以便將從視頻解碼器53接收到的左眼圖像和右眼圖像輸出到左圖像幀視差量檢測單元83和右圖像幀視差量檢測單元84。然后，在步驟S35中，基于從參數保持單元81提供的塊尺寸的寬度Xa和搜索范圍 SR，左圖像幀視差量檢測單元83檢測接收的左眼圖像和接收的右眼圖像之間的左圖像幀的外圍中的視差量，并且將檢測結果提供給黑色邊緣寬度確定單元85。在步驟S36中，基于從參數保持單元81提供的塊尺寸的寬度Xa和搜索范圍SR，右圖像幀視差量檢測單元84檢測接收的左眼圖像和接收的右眼圖像之間的右圖像幀的外圍中的視差量，并且將檢測結果提供給黑色邊緣寬度確定單元85。步驟S35和S36的處理可以按照相反的順序執行，也可以同時執行。在步驟S37中，黑色邊緣寬度確定單元85將偏移量添加到由左圖像幀視差量檢測單元83和右圖像幀視差量檢測單元84提供的四個視差量，從而確定四種黑色邊緣寬度，并且將確定的黑色邊緣寬度提供給黑色邊緣插入單元71。在步驟S33或S37的處理之后，黑色邊緣插入單元71在步驟S38中基于接收的黑色邊緣寬度將黑色邊緣插入到左眼圖像和右眼圖像的左圖像幀和右圖像幀中的每一個中， 并且生成附有邊緣的左眼圖像和附有邊緣的右眼圖像。然后，在步驟S39中，黑色邊緣插入單元71將生成的附有邊緣的左眼圖像和生成的附有邊緣的右眼圖像的圖像數據輸出到顯示單元61，并且終止處理。在上述再現處理中，當除了 3D內容的圖像數據之外黑色邊緣寬度亦即額外信息也記錄在記錄介質20中時，黑色邊緣寬度被讀取，并且可以將黑色邊緣插入到左眼圖像和右眼圖像中的每一個的左圖像幀和右圖像幀中，以便可以生成附有邊緣的左眼圖像和附有邊緣的右眼圖像。因此，當用戶將記錄介質20中記錄的3D內容視為3D圖像時，可以在顯示單元61上顯示使黑色邊緣插入其中的3D圖像，以便可以顯示3D圖像而不會在圖像幀的外圍中造成不適。當除了 3D內容的圖像數據之外黑色邊緣寬度沒有記錄在記錄介質20中時，再現處理執行如下。檢測已被讀出的左眼圖像和右眼圖像之間的視差量，并且確定適合于視差量的黑色邊緣寬度，以便可以生成使黑色邊緣插入其中的附有邊緣的左眼圖像和附有邊緣的右眼圖像。因此，即使當記錄介質20中記錄的3D內容的內容數據不包括關于黑色邊緣寬度的信息時，也可以在顯示單元61上顯示使黑色邊緣插入其中的3D圖像，以便可以顯示 3D圖像而不會在圖像幀的外圍中造成不適。再現設備50可以提供有操作輸入單元和設置屏幕，它們用于設置黑色邊緣的插入的接通/斷開。在這種情況下，當黑色邊緣的插入被斷開并且只有3D圖像的一側用于將圖像示出為2D圖像時，不顯示圖像幀。因此，用戶不會感覺到因為不必要的黑色邊緣造成的不適。因此，再現設備50允許用戶觀看3D內容而無論用戶將3D內容視為3D圖像還是 2D圖像都不會感覺不適。在上述例子中，用于塊匹配的塊的高度Ya與圖像的尺寸相同，并且在每行圖像中的相同寬度處設置黑色邊緣寬度。代替地，用于塊匹配的塊的高度Ya可以小于圖像的尺寸，并且可以在縱向方向(垂直方向)上應用多個塊。在這種情況下，通過檢測各個視差量可以在縱向方向上設置多個黑色邊緣寬度。作為最小單位，可以根據視差量針對每行設置黑色邊緣寬度。在上述例子中，本發明被應用于再現設備，并且被解釋為如下再現設備的實施例 在讀取與記錄介質20中的3D內容的圖像數據分開地記錄的黑色邊緣寬度的信息之后，插入黑色邊緣。然而，本發明還可以應用于除了再現設備之外的設備。例如，可以經由網絡如衛星廣播、電纜電視和因特網通過傳輸來提供3D內容的圖像數據和關于黑色邊緣寬度的信息。 因此，本發明可以應用于顯示設備和記錄/再現設備，所述設備接收經由網絡通過傳輸而傳輸的3D內容的圖像數據和關于黑色邊緣寬度的信息，讀取關于黑色邊緣寬度的信息，將黑色邊緣插入到3D圖像中，并且顯示使黑色邊緣插入其中的3D圖像。換言之，本發明可以應用于獨立的圖像處理設備，所述設備分開地獲得3D內容的圖像數據和關于黑色邊緣寬度的信息，根據關于黑色邊緣寬度的信息存在與否確定黑色邊緣寬度，生成使黑色邊緣插入其中的附有邊緣的左眼圖像和附有邊緣的右眼圖像，并且輸出使黑色邊緣插入其中的附有邊緣的左眼圖像和附有邊緣的右眼圖像。[關于應用本發明的計算機的說明]上述系列的處理可以通過硬件或軟件來執行。當系列的處理通過軟件來執行時， 構成軟件的程序安裝在通用計算機等中。圖14是用于執行上述系列處理的程序安裝在其中的計算機的實施例的示例性配置。程序可以預先存儲在充當結合到計算機中的記錄介質的存儲單元208和只讀存儲器(ROM) 202中。代替地，程序可以存儲(記錄)到可移動介質211。這個可移動介質211可以被提供作為所謂的軟件包。在這種情況下，可移動介質211的例子例如包括緊致盤只讀存儲器 (CD-ROM)、磁光(MO)盤、數字通用盤(DVD)、磁盤和半導體存儲器。可以使用驅動器210從如上所述的可移動介質211中將程序安裝到計算機。代替地，可以經由通信網絡或廣播網絡將程序下載到計算機，并且可以將程序安裝到其中提供的存儲單元208。換言之，程序可以經由有線或無線傳輸介質由通信單元209接收，并且可以安裝到存儲單元208。計算機具有中央處理單元(CPU) 201。CPU 201經由總線204連接到輸入/輸出接 Π 205。當用戶操作輸入單元206以經由輸入/輸出接口 205將命令輸入到CPU 201時， CPU 201響應于該命令執行ROM 202中存儲的程序。代替地，CPU 201將存儲單元208中存儲的程序加載到隨機存取存儲器(RAM) 203，并且執行程序。這樣一來，CPU 201就執行了根據上述流程圖的處理或以如上所述框圖中的配置執行的處理。然后，例如在必要時，CPU 201經由輸入/輸出接口 205從輸出單元207輸出其執行結果，從通信單元209傳輸其處理結果，或者將其處理結果記錄到存儲單元208。輸入單元206包括鍵盤、鼠標和麥克風。輸出單元207包括液晶顯示器(IXD)和
揚聲器。
在本說明書中，由計算機根據程序執行的處理可以不必根據在流程圖中描述的順序以時間序列執行。換言之，由計算機根據程序執行的處理包括獨立地或者并行地執行的處理(例如以對象的方式執行的處理或并行處理)。程序可以由一個計算機(處理器)處理，也可以由多個計算機作為分布式處理來處理。進一步，程序可以被傳送到位于遠處的計算機并可以被執行。本領域技術人員應當理解的是，取決于設計需要和其它因素，可以發生各種修改、 組合、再組合和變更，它們都處在所附權利要求或其等價物的范圍之內。本申請包含與2010年4月16日向日本專利局申請的日本優先權專利申請JP 2010-095403中公開的主題相關的主題，該專利申請的整體內容通過引用結合于此。
權利要求
1.一種圖像處理設備，包括獲得單元，用于獲得沒有黑色邊緣插入其中的3D內容的左眼圖像和右眼圖像的圖像數據、根據所述左眼圖像和所述右眼圖像之間的右圖像幀的外圍中的視差量的黑色邊緣寬度、以及根據所述左眼圖像和所述右眼圖像之間的左圖像幀的外圍中的視差量的黑色邊緣寬度；以及生成單元，用于通過將具有獲得的根據右圖像幀的外圍中的視差量的黑色邊緣寬度的圖像和具有獲得的根據左圖像幀的外圍中的視差量的黑色邊緣寬度的圖像插入到所述左眼圖像和所述右眼圖像中，來生成附有邊緣的左眼圖像和附有邊緣的右眼圖像。
2.根據權利要求1所述的圖像處理設備，進一步包括黑色邊緣寬度計算單元，用于檢測根據所述左眼圖像和所述右眼圖像之間的右圖像幀的外圍中的視差量，根據檢測到的視差量計算黑色邊緣寬度，檢測根據所述左眼圖像和所述右眼圖像之間的左圖像幀的外圍中的視差量，并且根據檢測到的視差量計算黑色邊緣寬度，其中，所述獲得單元獲得由所述黑色邊緣寬度計算單元計算的黑色邊緣寬度。
3.根據權利要求2所述的圖像處理設備，進一步包括黑色邊緣寬度確定單元，用于確定從外部獲得的3D內容的內容數據是否包括除了所述左眼圖像和所述右眼圖像的圖像數據之外的關于黑色邊緣寬度的信息，其中，當所述黑色邊緣寬度確定單元確定3D內容的內容數據不包括黑色邊緣寬度時， 所述黑色邊緣寬度計算單元計算黑色邊緣寬度，并且當確定3D內容的內容數據包括黑色邊緣寬度時，所述獲得單元獲得3D內容的內容數據中包括的關于黑色邊緣寬度的信息。
4.根據權利要求1所述的圖像處理設備，其中，黑色邊緣寬度包括與視差量相對應的寬度和插入到所述左眼圖像和所述右眼圖像兩者中的偏移量。
5.根據權利要求1所述的圖像處理設備，其中，所述獲得單元進一步包括讀取單元，用于讀取記錄介質中記錄的多路復用流；分離單元，用于將由所述讀取單元提供的所述多路復用流分成視頻流和音頻流；以及視頻解碼器，用于對由所述分離單元提供的所述視頻流進行解碼，以便獲得所述圖像數據和黑色邊緣寬度。
6.一種圖像處理方法，該圖像處理方法由包括用于獲得圖像數據的獲得單元和生成單元的圖像處理設備執行，所述方法包括以下步驟使所述獲得單元獲得沒有黑色邊緣插入其中的3D內容的左眼圖像和右眼圖像的圖像數據、根據所述左眼圖像和所述右眼圖像之間的右圖像幀的外圍中的視差量的黑色邊緣寬度、以及根據所述左眼圖像和所述右眼圖像之間的左圖像幀的外圍中的視差量的黑色邊緣寬度；以及使所述生成單元通過將具有獲得的根據右圖像幀的外圍中的視差量的黑色邊緣寬度的圖像和具有獲得的根據左圖像幀的外圍中的視差量的黑色邊緣寬度的圖像插入到所述左眼圖像和所述右眼圖像中來生成附有邊緣的左眼圖像和附有邊緣的右眼圖像。
7.一種用于使計算機執行處理的程序，所述處理包括以下步驟獲得沒有黑色邊緣插入其中的3D內容的左眼圖像和右眼圖像的圖像數據、根據所述左眼圖像和所述右眼圖像之間的右圖像幀的外圍中的視差量的黑色邊緣寬度、以及根據所述左眼圖像和所述右眼圖像之間的左圖像幀的外圍中的視差量的黑色邊緣寬度；以及通過將具有獲得的根據右圖像幀的外圍中的視差量的黑色邊緣寬度的圖像和具有獲得的根據左圖像幀的外圍中的視差量的黑色邊緣寬度的圖像插入到所述左眼圖像和所述右眼圖像中，來生成附有邊緣的左眼圖像和附有邊緣的右眼圖像。
8.一種數據結構，包括沒有黑色邊緣插入其中的3D內容的左眼圖像和右眼圖像的圖像數據； 根據所述左眼圖像和所述右眼圖像之間的右圖像幀的外圍中的視差量的黑色邊緣寬度；以及根據所述左眼圖像和所述右眼圖像之間的左圖像幀的外圍中的視差量的黑色邊緣寬度。
9.一種圖像處理設備，包括獲得單元，用于獲得3D內容的內容數據，所述內容數據至少包括沒有黑色邊緣插入其中的3D內容的左眼圖像和右眼圖像的圖像數據；黑色邊緣寬度計算單元，用于檢測根據所述左眼圖像和所述右眼圖像之間的右圖像幀的外圍中的視差量，根據檢測到的視差量計算黑色邊緣寬度，檢測根據所述左眼圖像和所述右眼圖像之間的左圖像幀的外圍中的視差量，并且根據檢測到的視差量計算黑色邊緣寬度；以及生成單元，用于通過將具有計算的根據右圖像幀的外圍中的視差量的黑色邊緣寬度的圖像和具有計算的根據左圖像幀的外圍中的視差量的黑色邊緣寬度的圖像插入到所述左眼圖像和所述右眼圖像中，來生成附有邊緣的左眼圖像和附有邊緣的右眼圖像。
10.根據權利要求9所述的圖像處理設備，進一步包括黑色邊緣寬度確定單元，用于確定3D內容的內容數據是否包括黑色邊緣寬度， 其中，當所述黑色邊緣寬度確定單元確定3D內容的內容數據不包括黑色邊緣寬度時， 所述黑色邊緣寬度計算單元計算黑色邊緣寬度，并且當確定3D內容的內容數據包括黑色邊緣寬度時，所述獲得單元獲得3D內容的內容數據中包括的關于黑色邊緣寬度的信息作為由所述黑色邊緣寬度計算單元計算的黑色邊緣寬度。
11.根據權利要求9所述的圖像處理設備，其中，所述獲得單元進一步包括 讀取單元，用于讀取記錄介質中記錄的多路復用流；分離單元，用于將由所述讀取單元提供的所述多路復用流分成視頻流和音頻流；以及視頻解碼器，用于對由所述分離單元提供的所述視頻流進行解碼，以便至少獲得所述圖像數據。
12.—種圖像處理方法，包括獲得3D內容的內容數據，所述內容數據至少包括沒有黑色邊緣插入其中的3D內容的左眼圖像和右眼圖像的圖像數據；檢測根據所述左眼圖像和所述右眼圖像之間的右圖像幀的外圍中的視差量，根據檢測到的視差量計算黑色邊緣寬度，檢測根據所述左眼圖像和所述右眼圖像之間的左圖像幀的外圍中的視差量，并且根據檢測到的視差量計算黑色邊緣寬度；以及通過將具有計算的根據右圖像幀的外圍中的視差量的黑色邊緣寬度的圖像和具有計算的根據左圖像幀的外圍中的視差量的黑色邊緣寬度的圖像插入到所述左眼圖像和所述右眼圖像中，來生成附有邊緣的左眼圖像和附有邊緣的右眼圖像。
全文摘要
本發明公開了一種數據結構、圖像處理設備、圖像處理方法和程序。再現設備再現記錄介質中記錄的3D內容的左眼圖像和右眼圖像的圖像數據。記錄介質存儲關于根據左眼圖像和右眼圖像之間的右圖像幀和左圖像幀的外圍中的每個視差量的黑色邊緣寬度的信息。通過將具有獲得的根據右圖像幀的外圍中的視差量的黑色邊緣寬度的圖像和具有獲得的根據左圖像幀的外圍中的視差量的黑色邊緣寬度的圖像插入到左眼圖像和右眼圖像中，后處理單元生成并輸出附有邊緣的左眼圖像和附有邊緣的右眼圖像。本發明可以應用于處理3D圖像的圖像數據的圖像處理設備。
文檔編號H04N5/14GK102223551SQ201110092550
公開日2011年10月19日 申請日期2011年4月8日 優先權日2010年4月16日
發明者森藤孝文, 牛木卓, 高橋邦明 申請人:索尼公司, 索尼電影娛樂公司