圖像處理裝置、圖像處理方法和程序的制作方法

文檔序號：7768578閱讀：144來源：國知局

專利名稱：圖像處理裝置、圖像處理方法和程序的制作方法
技術領域：
本發明涉及圖像處理裝置、圖像處理方法以及程序，尤其涉及用于通過對二維圖像執行圖像轉換生成對應于立體視覺的雙眼視差圖像的圖像處理裝置、圖像處理方法以及程序。
背景技術：
在相關技術中提出了用于將二維圖像轉換為對應于立體視覺的雙眼視差圖像的多種裝置和方法。基于二維圖像生成的雙眼視差圖像包括一對由左眼觀看的左眼圖像和由右眼觀看的右眼圖像。包括該對左眼圖像和右眼圖像的雙眼視差圖像被顯示在能夠將雙眼視差圖像分離為左眼圖像和右眼圖像并且將它們提供給觀看者的左眼和右眼的顯示裝置上，觀看者可以將圖像識別為立體圖像。關于上述圖像生成和顯示處理的相關技術如下。例如，日本未審查專利申請公開No 8-30806披露了將左眼圖像和右眼圖像相對于靜止圖像或具有少量運動的圖像在水平方向上偏移預定量，使得圖像看上去好像向上浮動。而且，日本未審查專利申請公開No 10-51812披露了一種方法，該方法將圖像劃分為多個視差計算區域，根據每個區域中的圖像的特征值計算偽-深度，并且基于該深度在相反方向上水平地偏移左眼圖像和右眼圖像。另外，日本未審查專利申請公開No 2005-151534披露了一種方法，該方法計算圖像的上部和下部的特征值，并且調節表示預先準備的深度信息的多個場景結構的合成比率，從而通過簡單結構的結合顯示圖像。然而，上述相關技術具有以下問題。根據日本未審查專利申請No 8-30806中披露的圖像轉換裝置，整個屏幕相對于靜止圖像或具有少量動作的圖像簡單地偏移，并且可能不表示圖像中的對象的情境。根據日本未審查專利申請公開No 10-51812中披露的圖像轉換裝置，從圖像的特征值估計偽-深度。然而，由于該估計基于位于屏幕前面的對象的銳度、亮度和飽和度高的假設，不能說該估計在全部時間都是正確的。由于錯誤視網膜像差被應用至對其錯誤地執行了深度估計的對象，因而圖像可能被設置在錯誤的位置。根據日本未審查專利申請公開No 2005-151534中披露的圖像轉換裝置，由于圖像的結構適于相對簡單的有限結構，因而防止不自然深度出現。然而，在所有上述相關方法中都出現了共同的問題。即，在所生成的雙眼視差圖像中出現了相對大的視網膜像差。使用立體顯示裝置三維地顯示雙眼視差圖像。通常，使用允許用戶通過使用特定立體視覺眼鏡觀看圖像的立體顯示裝置。立體顯示裝置被分類為無源眼鏡型立體顯示裝置，其通過偏振濾光片或濾色片來分離由雙眼觀看的圖像；有源眼鏡型立體顯示裝置，其通過液晶快門等暫時將圖像分離為左眼圖像和右眼圖像。在觀察具有大視網膜像差的雙眼視差圖像的情況下，當用戶佩戴這種立體視覺眼鏡時，可以感知由于視網膜像差產生的立體效果。然而，當用戶在拿掉眼鏡之后觀看圖像時，由于圖像被看作左眼圖像和右眼圖像很大程度上相互重疊的重像，圖像通常可能不被觀看為二維圖像。即，僅當用戶佩戴眼鏡時，才能真正地欣賞到由現有圖像轉換裝置轉換的圖像。而且，大視網膜像差被認為對觀看者疲勞有影響。例如，根據日本未審查專利申請公開No 6-194602，當左眼圖像和右眼圖像相互明顯偏移時，在現實世界中控制會聚的角度與調節目鏡的可視度會發生矛盾，導致使用雙眼視差的立體視覺疲勞。另外，作為對于所有以上相關方法共有的因素，在對應于立體視覺的雙眼視差圖像的生成方法中采用最廣泛使用的像素偏移部件。然而，當通過像素偏移生成雙眼視差圖像時，可能出現沒有像素信息的區域(即，遮擋區域)。將參考圖IA至圖ID描述當使用像素偏移部件生成左眼圖像和右眼圖像時，遮擋區域的生成。圖IA至圖ID分別示出輸入圖像、深度信息(距離圖像)、右眼圖像和左眼圖像。圖IB的深度信息(距離圖像)為通過根據亮度顯示圖IA的輸入圖像的距離信息獲得的圖像，高亮度區域為對應于相機附近的對象的像素部分，并且低亮度區域為對應于離相機較遠的對象的像素部分。通過基于圖IB的深度信息(距離圖像，distance image)，在左方向上偏移圖IA 的輸入圖像的近范圍處的像素部分(主體區域)，生成圖IC的右眼圖像。通過基于圖IB的深度信息(距離圖像)，在右方向上偏移圖IA的輸入圖像的近距離處的像素部分(主體區域)，生成圖ID的左眼圖像。如圖IA至圖ID所示，沒有像素信息的區域(S卩，遮擋區域)出現在通過以上像素偏移處理生成的圖IC的右眼圖像和圖ID的左眼圖像。關于在雙眼視差圖像的兩個圖像中的一個或兩個中生成的遮擋區域，由于在輸入圖像中不存在輸入圖像的像素信息，必須使用在(空間)外圍區域中存在的像素執行填充處理。日本未審查專利申請公開No2005-151534披露了使用對應于輸入圖像的部分的像素信息的插入處理的示例。而且，圖像信息與電視工程協會的雜志第5期第56卷第 863-866 頁(2002. 5)(合著者為 Yamada Kunio, Mochiduchi Kenji, AizawaKiyoharu 和 Saito Takahiro, "Disocclusion Based On The TextureStatistics Of The Image Segmented By The Region CompetitionAlgorithm”)還披露了插入處理的示例。然而，雖然使用這些插入處理，但是諸如伸展圖像的不自然性可能會發生在雙眼視差圖像的兩個圖像的至少一個中。而且，根據日本未審查專利申請公開No 10-51812和2005-151534中披露的圖像轉換裝置，從圖像估計偽-深度。然而，很難從一個圖像檢測詳細深度。例如，不容易對樹枝、電線或毛發的微細結構執行深度估計。在通過使用這種深度信息進行像素偏移，生成雙眼視差圖像的情況下，在這種微細對象中出現等效于(空間上的)外圍區域的視差。從而，由于微細對象和背景之間的間隔可能不設置成不同深度效果，所以不可能允許雙眼視差圖像具有根據實際對象距離的立體效果。

發明內容
希望生成能夠防止由于錯誤深度估計導致的錯誤立體效果的視差圖像。而且，希望在合成左眼圖像和右眼圖像并且顯示所合成圖像的情況下，提供被欣賞為立體圖像和二維圖像的圖像。即，希望提供用于生成和提供當觀看者拿掉立體視覺眼鏡時通常可以被欣賞為二維圖像并減少觀看者的疲勞的雙眼視差圖像的圖像處理裝置、圖像處理方法以及程序。而且，在通過像素偏移生成雙眼視差圖像時，希望實現在不生成相關技術中必須生成的遮擋區域(occlusion area)的情況下不要求像素值的填充處理的雙眼視差圖像的生成。由于缺少深度信息的分辨力，在通過像素偏移生成的雙眼視差圖像中很容易感知不自然的立體效果。在這點上，希望提供用于防止不自然立體效果被感知的圖像處理裝置、圖像處理方法以及程序。根據本發明的第一實施例，提供了一種圖像處理裝置，包括圖像輸入單元，輸入二維圖像信號；深度信息輸出單元，輸入或生成構成二維圖像信號的圖像區域的深度信息；圖像轉換單元，接收來自圖像輸入單元和深度信息輸出單元的圖像信號和深度信息，并且生成用于實現雙眼立體視覺的左眼圖像和右眼圖像；以及圖像輸出單元，輸出從圖像轉換單元輸出的左眼圖像和右眼圖像，其中，圖像轉換單元提取輸入圖像信號的空間特征值，并且對輸入圖像信號執行包括應用特征值和深度信息的加重處理的圖像轉換處理，從而生成左眼圖像和右眼圖像中的至少之一。另外，在根據本發明的實施例的圖像處理裝置中，圖像轉換單元可以提取輸入圖像信號的亮度微分信號，將亮度微分信號設定為特征值，通過對微分信號基于以圖像區域為單位的深度信息執行增益控制來生成校正微分信號，將通過將校正微分信號加入輸入圖像信號或者從輸入圖像信號減去校正微分信號來獲得的轉換信號中的任一個轉換信號生成為左眼圖像或右眼圖像，并且將對應于未經過處理的輸入圖像信號的非轉換信號輸出為不同于轉換信號的眼圖像。另外，在根據本發明的實施例的圖像處理裝置中，圖像轉換單元可以提取輸入圖像信號的亮度微分信號，將亮度微分信號設定為特征值，通過對微分信號基于以圖像區域為單位的深度信息執行增益控制來生成校正微分信號，生成通過將校正微分信號加入輸入圖像信號以及從輸入圖像信號中減去校正微分信號來獲得的信號，并且將這兩個信號生成為一對左眼圖像和右眼圖像。另外，在根據本發明的實施例的圖像處理裝置中，圖像轉換單元可以對從深度信息輸出單元輸出的深度信息大的圖像區域基于大增益執行亮度微分信號的校正處理，并且對深度信息小的圖像區域基于小增益執行亮度微分信號的校正處理，從而生成校正微分信號。另外，在根據本發明的實施例的圖像處理裝置中，圖像轉換單元可以生成通過將通過非線性轉換校正微分信號獲得的信號加入輸入圖像信號而獲得的信號或者從輸入圖像信號減去通過非線性轉換校正微分信號獲得的信號而獲得的多個信號，并且將該多個信號中的任一個信號生成為左眼圖像或右眼圖像。另外，在根據本發明的實施例的圖像處理裝置中，圖像轉換單元可以包括(a)相位控制信號生成部，生成輸入信號的微分信號；(b)非線性轉換部，對由所述相位控制信號生成部生成的微分信號執行非線性轉換處理；(C)圖像合成部，將非線性轉換部的輸出加入輸入信號或者從輸入信號減去非線性轉換部的輸出；以及處理路徑，通過處理路徑重復由包括(a)相位控制信號生成部、(b)非線性轉換部和(C)圖像合成部的圖像轉換模塊進行的圖像轉換處理，其中，圖像轉換單元根據從深度信息輸出單元輸出的深度信息選擇并且合成構成處理路徑的每個圖像轉換模塊的輸出，從而生成左眼圖像或右眼圖像。另外，在根據本發明的實施例的圖像處理裝置中，圖像轉換單元可以包括(a)相位控制信號生成部，生成輸入信號的微分信號；(b)增益控制部，對由相位控制信號生成部生成的微分信號，基于根據從深度信息輸出單元輸出的深度信息設定的增益系數，執行增益控制，從而生成校正微分信號；(c)非線性轉換部，對增益控制部的輸出執行非線性轉換處理；(d)圖像合成部，將非線性轉換部的輸出加入輸入信號或者從輸入信號減去非線性轉換部的輸出；處理路徑，通過處理路徑重復由包括(a)相位控制信號生成部、(b)增益控制部、(c)非線性轉換部和(d)圖像合成部的圖像轉換模塊進行的圖像轉換處理；權重值計算部件，根據從深度信息輸出單元輸出的深度信息設定構成處理路徑的每個圖像轉換模塊的權重值；以及圖像合成部件，根據由權重值計算部計算的權重值，合成構成處理路徑的每個圖像轉換模塊的輸出，從而生成左眼圖像或右眼圖像。另外，在根據本發明的實施例的圖像處理裝置中，圖像轉換單元可以包括(a)相位控制信號生成部，生成輸入信號的微分信號；(b)乘法處理部，通過將由所述相位控制信號生成部生成的微分信號乘以根據從深度信息輸出單元輸出的深度信息設定的增益系數，生成校正微分信號；(c)非線性轉換部，對乘法處理部的輸出執行非線性轉換處理；(d)圖像合成部，將非線性轉換部的輸出加入輸入信號或者從輸入信號減去非線性轉換部的輸出；處理路徑，通過處理路徑重復由包括(a)相位控制信號生成部、(b)乘法處理部、(c) 非線性轉換部和(d)圖像合成部的圖像轉換模塊進行的圖像轉換處理；權重值計算部件，根據從深度信息輸出單元輸出的深度信息，設定構成處理路徑的每個圖像轉換模塊的權重值；以及圖像合成部件，根據由權重值計算部計算的權重值，合成構成處理路徑的每個圖像轉換模塊的輸出，從而生成左眼圖像或右眼圖像。另外，在根據本發明的實施例的圖像處理裝置中，圖像轉換單元可以對構成運動圖像的每幀生成左眼圖像和右眼圖像。另外，在根據本發明的實施例的圖像處理裝置中，該圖像處理裝置可以進一步包括圖像輸出單元，以輸入圖像幀的幀率的兩倍幀率，交替地輸出由圖像轉換單元生成的左眼圖像和右眼圖像。另外，在根據本發明的實施例的圖像處理裝置中，圖像轉換單元可以對構成運動圖像的每幀交替地生成左眼圖像或右眼圖像。另外，在根據本發明的實施例的圖像處理裝置中，所述圖像轉換單元可以對構成運動圖像的每幀生成左眼圖像和右眼圖像，并且生成交替地包括構成所生成的左眼圖像和右眼圖像的線數據的雙眼視差圖像。另外，在根據本發明的實施例的圖像處理裝置中，圖像轉換單元可以基于所生成的左眼圖像和右眼圖像的相加信號等效于或幾乎等效于輸入信號的設定，生成左眼圖像和右眼圖像。另外，在根據本發明的實施例的圖像處理裝置中，圖像處理裝置可以進一步包括圖像顯示單元，顯示由圖像轉換單元生成的圖像。另外，在根據本發明的實施例的圖像處理裝置中，圖像顯示單元可以執行交替地輸出左眼圖像和右眼圖像的時分立體顯示處理。另外，在根據本發明的實施例的圖像處理裝置中，當圖像顯示單元執行交替地輸出左眼圖像和右眼圖像的時分立體顯示處理時，圖像顯示單元可以與圖像觀看者所佩戴的眼鏡的左部分和右部分的快門切換同步地切換左眼圖像和右眼圖像的輸出切換定時。另外，在根據本發明的實施例的圖像處理裝置中，圖像顯示單元可以具有偏振濾光片被附著至其前表面的配置，并且顯示交替地包括構成由圖像轉換單元生成的左眼圖像和右眼圖像的線數據的雙眼視差圖像，偏振濾光片的偏振方向被設置成對于每條水平線改變。根據本發明的第二實施例，提供了一種圖像處理裝置中的圖像處理方法，其包括通過圖像輸入單元輸入二維圖像信號；通過深度信息輸出單元接收或生成構成二維圖像信號的圖像區域的深度信息；接收從圖像輸入單元輸出的圖像信號和從深度信息輸出單元輸出的深度信息，并且通過圖像轉換單元生成和輸出用于實現雙眼立體視覺的左眼圖像和右眼圖像；以及通過圖像輸出單元輸出從圖像轉換單元輸出的左眼圖像和右眼圖像，其中，在接收圖像信號和深度信息的步驟中，提取輸入圖像信號的空間特征值，并且對輸入圖像信號執行包括應用特征值和深度信息的加重處理的圖像轉換處理，導致生成左眼圖像和右眼圖像中的至少之一。根據本發明的第三實施例，提供了一種使計算機執行圖像處理裝置的圖像處理的程序，該圖像處理包括通過圖像輸入單元輸入二維圖像信號；通過深度信息輸出單元接收或生成構成二維圖像信號的圖像區域的深度信息；接收從圖像輸入單元輸出的圖像信號和從深度信息輸出單元輸出的深度信息，并且通過圖像轉換單元生成和輸出用于實現雙眼立體視覺的左眼圖像和右眼圖像；以及通過圖像輸出單元輸出從圖像轉換單元輸出的左眼圖像和右眼圖像，其中，在接收圖像信號和深度信息的步驟中，提取輸入圖像信號的空間特征值，并且對輸入圖像信號執行包括應用特征值和深度信息的加重處理的圖像轉換處理，導致生成左眼圖像和右眼圖像中的至少之一。另外，例如，本發明的程序可以提供給能夠通過計算機可讀格式提供的記錄介質或通信介質執行多種類型的程序和編碼的通用系統。以計算機可讀格式提供這種程序，使得在計算機或系統上執行基于程序的處理。將參考附圖和隨后描述的本發明的實施例，通過更詳細的描述闡述本發明的其他和進一步對象、特征和優點。應該注意，在此涉及的系統表示多個裝置的邏輯集合，并且在同一機架(housing)中不必須容納每個組件裝置。根據本發明的實施例，可以生成一圖像信號，該圖像信號可以被立體地看作通過簡單信號處理反映對象距離的圖像信號。根據本發明的實施例的圖像處理裝置對輸入圖像信號的空間特征值執行應用作為對象距離的深度信息的不同加重處理，從而生成左眼圖像和右眼圖像。詳細地，通過對輸入信號的微分信號執行基于深度信息的增益控制來生成校正微分信號。將其校正微分信號或非線性轉換信號加入輸入圖像信號或者從輸入圖像信號中減去其校正微分信號或非線性轉換信號，并且這些信號對是左眼圖像和右眼圖像。利用這種配置，可以生成設定基于對象距離的視差的視差圖像。而且，左眼圖像和右眼圖像的相加信號等效于輸入信號，并且當用戶不佩戴立體視覺眼鏡觀看圖像時，可以被觀看為正常二維圖像。

圖IA至圖I D是解釋遮擋的示意圖。圖2是示出根據本發明的實施例的圖像處理裝置的配置示例的示意圖。圖3是示出根據本發明的實施例的圖像處理裝置的配置示例的示意圖。圖4是示出根據本發明的實施例的圖像處理裝置的圖像轉換單元的配置示例的示意圖。圖5是示出根據本發明的實施例的圖像處理裝置的增益控制部件的配置示例的示意圖。圖6是示出根據本發明的實施例的圖像處理裝置的增益控制部件的增益控制處理的示意圖。圖7A至圖7D是示出根據本發明的實施例的應用至圖像處理裝置的處理的信號的示意圖。圖8是示出根據本發明的實施例的圖像處理裝置的非線性轉換部件的非線性轉換處理的示意圖。圖9A至圖9E是示出根據本發明的實施例的由圖像處理裝置的圖像轉換單元執行的，從輸入圖像生成左眼圖像信號和右眼圖像信號的處理的示例的示意圖。圖IOA至圖IOE是示出根據本發明的實施例的由圖像處理裝置的圖像轉換單元執行的，從輸入圖像生成左眼圖像信號和右眼圖像信號的處理的示例的示意圖。圖11是示出左眼信號和右眼信號、輸入信號和微分信號以及視網膜像差之間的對應關系的示意圖。圖12是示出右眼信號和左眼信號、輸入信號和微分信號以及視網膜像差之間的對應關系的示意圖。圖13是示出右眼信號和左眼信號、輸入信號和微分信號以及視網膜像差之間的對應關系的示意圖。圖14是示出右眼信號和左眼信號、輸入信號和微分信號以及視網膜像差之間的對應關系的示意圖，其中，右眼信號和左眼信號以及微分信號通過根據本發明的實施例的圖像處理裝置的圖像轉換單元生成。圖15A至圖15E是示出根據本發明的實施例的由圖像處理裝置的圖像轉換單元執行的，從輸入圖像生成左眼圖像信號和右眼圖像信號的處理的示例的示意圖。圖16A至圖16E是示出根據本發明的實施例的由圖像處理裝置的圖像轉換單元執行的，從輸入圖像生成左眼圖像信號和右眼圖像信號的處理的示例的示意圖。圖17A至圖17E是示出根據本發明的實施例的由圖像處理裝置的圖像轉換單元執行的，從輸入圖像生成左眼圖像信號和右眼圖像信號的處理的示例的示意圖。圖18A、圖18B、圖18C和圖18D是示出根據本發明的實施例的由圖像處理裝置的圖像轉換單元執行的，從輸入圖像生成左眼圖像信號和右眼圖像信號的處理的示例的示意圖。
圖19A、圖19B、圖19C和圖19D是示出根據本發明的實施例的由圖像處理裝置的圖像轉換單元執行的，從輸入圖像生成左眼圖像信號和右眼圖像信號的處理的示例的示意圖。
圖20A、圖20B、圖20C、圖20D和圖20E是示出根據本發明的實施例的由圖像處理
裝置的圖像轉換單元執行的，從輸入圖像生成左眼圖像信號和右眼圖像信號的處理的示例的示意圖。圖21是示出根據本發明的實施例的圖像處理裝置的圖像轉換單元的配置示例的示意圖。圖22是示出根據本發明的實施例的圖像處理裝置的圖像轉換單元的配置示例的示意圖。圖23是示出根據本發明的實施例的圖像處理裝置的圖像轉換單元的配置示例的示意圖。圖24是示出根據本發明的實施例的圖像處理裝置的圖像轉換單元的配置示例的示意圖。圖25是示出根據本發明的實施例的圖像處理裝置的圖像轉換單元的配置示例的示意圖。圖26是示出根據本發明的實施例的由圖像處理裝置的圖像轉換單元執行的處理順序的流程圖。圖27是示出根據本發明的實施例的圖像處理裝置的圖像轉換單元的配置示例的示意圖。圖28是示出根據本發明的實施例的圖像處理裝置的配置示例的示意圖。
具體實施例方式以下，將參考附圖詳細地描述根據本發明的實施例的圖像處理裝置、圖像處理方法以及程序。根據以下順序給出描述。1、圖像處理裝置的配置示例2、深度信息輸出單元的處理3、圖像轉換單元的處理4、增益控制部件的處理5、非線性轉換部件的處理6、圖像合成部件的處理7、由于視網膜像差(視差)導致的立體效果8、具有根據對象距離的增益的校正微分信號&圖像生成配置示例9、圖像轉換單元的處理順序10、在二維(2D)顯示處理時的效果11、包括圖像顯示單元的實施例1、圖像處理裝置的配置示例圖2是示出根據本發明的實施例的圖像處理裝置的示意圖。在圖像處理裝置100 中，圖像輸入單元110接收從數碼相機等輸出的靜止圖像文件，以及從便攜式攝像機等輸出的運動圖像數據，并且將其轉換為內部數據格式。在此，內部數據格式表示基帶的運動圖像數據，并且包括三基色(紅色(R)、綠色(G)和藍色(B))的視頻數據或者亮度(Y)和色差(Cb和Cr)的視頻數據。在內部數據格式中，如果色空間的識別信號被疊加并且后續階段的色空間轉換單元120對應于圖像輸入單元110，則可以采用任何色空間。
深度信息輸出單元115從外部接收對應于圖像輸入單元110的輸入圖像信號的深度信息或者在深度信息輸出單元115中生成深度信息，并且將深度信息輸出至圖像轉換單元130。例如，深度信息包括距離圖像，諸如對應于圖IB所示的對象距離的亮度分布數據。不指定數據格式。在深度信息輸出單元115中接收或生成的深度信息可以是這樣的信息，該信息具有對應于輸入圖像信號的相對位置關系并且可以用于確定每個像素是否具有特定等級深度。輸入圖像信號可以不以一對一方式對應于像素數量。而且，在運動圖像的情況下，輸入圖像信號可以不以一對一方式對應于幀數量。即，可以采用以多個幀(例如，兩個幀或者四個幀)為單位使用一條公共深度信息的配置。從圖像輸入單元110輸出的視頻數據被輸入至色空間轉換單元120并且被轉換為亮度信號和色差信號。此時，當輸入視頻數據符合Y、Cb和Cr色空間時，色空間轉換單元 120輸出該輸入視頻數據而不執行色空間轉換。當輸入視頻數據符合R、G和B色空間或其他色空間時，色空間轉換單元120將輸入視頻數據轉換為亮度(Y)和色差(Cb和Cr)信號并輸出轉換后的信號。在此，從色空間轉換單元120輸出的視頻數據的色空間不限于Y、Cb和Cr色空間。例如，如果亮度分量和彩色分量互分離，可以采用任何色空間。從色空間轉換單元120輸出的視頻數據被輸入至圖像轉換單元130。同時，將深度信息從深度信息輸出單元115輸入至圖像轉換單元130。例如，圖像轉換單元130通過之后描述的處理生成包括左眼圖像L (左)和右眼圖像R(右)的雙眼視差圖像，根據立體顯示裝置的類型合成這些圖像，并且輸出合成后的圖像。即，圖像轉換單元130從輸入圖像信號提取空間特征值并且對所提取的特征值執行不同加重處理，從而生成左眼圖像和右眼圖像。從圖像轉換單元130輸出的視頻數據被輸入至反向色空間轉換單元140，并且Y、 Cb和Cr色空間被轉換為對應于輸出圖像格式的色空間。此時，當輸出圖像格式基于Y、Cb 和Cr色空間時，反向色空間轉換單元140輸出視頻數據而不執行色空間轉換。如上所述，圖2示出包括色空間轉換單元120和反向色空間轉換單元140的配置。該配置不是必須的并且該配置可以被省略。從反向色空間轉換單元140輸出的視頻數據被輸入至圖像輸出單元150。圖像輸出單元150將視頻數據轉換為可以在立體顯示裝置(其能夠通過顯示由圖像轉換單元130 轉換的雙眼視差圖像來實現立體視覺)中接收的視頻數據，并且輸出轉換后的數據，其中，立體顯示裝置從外部連接至圖像處理裝置100。另外，該實施例描述了在圖像輸入單元110中將輸入靜止圖像轉換為視頻數據的方法。然而，本發明不限于該方法。可以采用這樣一種配置，在該配置中，將一靜止圖像轉換為左眼圖像和右眼圖像，然后例如以文件形式輸出至存儲卡等作為兩個靜止圖像。2、深度信息輸出單元的處理
接下來，將描述深度信息輸出單元115的處理的示例。深度信息輸出單元115從外部接收深度信息并且輸出深度信息，或者在深度信息輸出單元115中生成深度信息并且輸出深度信息。當從外部接收深度信息時，不指定深度信息的獲取方法。例如，可以使用用于使用市場上的范圍掃描儀(range scanner)獲取深度信息的方法，用于在圖像獲取時通過使用一部以上相機(共計兩部相機)拾取圖像信號之后使用立體方法獲取深度信息的方法。而且，深度信息輸出單元115還可以通過使用作為二維圖像的輸入圖像信號在其中生成深度信息，而不從圖像處理裝置100的外部接收深度信息。用于從二維圖像獲取距離信息的方法包括由A. Saxena于2008年在IEEE模式分析與機器智能(PAMI)會報中發表的名為“Make3D learning 3-D Scene Structure from a Single Still Image”的方法，在日本未審查專利申請公開No. 2005-151534中披露的方
法等。通過使用這些文獻中披露的方法，深度信息輸出單元115可以通過使用作為二維圖像的輸入圖像信號生成深度信息，并且將深度信息輸出至圖像轉換單元130。在采用這種配置的情況下，圖像處理裝置100具有以下配置，其中，深度信息輸出單元115通過圖像輸入單元110接收圖像，基于輸入圖像生成深度信息，并且將所生成的深度信息輸出至圖3中所示的圖像轉換單元130。3、圖像轉換單元的處理接下來，將描述圖像轉換單元130的處理的示例。圖4是說明根據本實施例的圖像轉換單元130的配置的框圖。圖像轉換單元130提取輸入圖像信號的空間特征值并且對所提取特征值執行不同加重處理，從而生成左眼圖像和右眼圖像。圖像轉換單元130包括微分器131、增益控制部件132、非線性轉換部件133以及圖像合成部件134。微分器131從輸入到圖像轉換單元130的視頻數據提取亮度信號，并且生成亮度信號的微分信號H。詳細地，例如，微分器131接收圖像在水平方向上的亮度信號并且通過初步對輸入亮度信號進行微分來生成信號。在初步微分處理中，例如，在水平方向上使用三抽頭一階線性微分濾波器。另外，在該實施例中，描述了亮度信號被用作處理數據的示例。然而，代替亮度信號，彩色信號(RGB等)也可以被用作待處理的信號。增益控制部件132基于預定規則通過將從微分器131輸出的微分信號H乘以一系數(增益系數)控制微分信號的幅度值，從而生成校正微分信號H’，校正微分信號H’為微分信號的校正信號。非線性轉換部件133非線性地轉換從增益控制部件132輸出的校正微分信號H'，并且將視差加重信號E'輸出至圖像合成部件134。圖像合成部件134通過應用構成視頻數據的每個幀圖像、以及從幀圖像生成的空間特征值(即，亮度信號的校正微分信號H'或者通過非線性地轉換校正微分信號生成的視差加重信號E')來生成左眼圖像和右眼圖像。另外，如圖4中的虛線所示，可以采用這樣一種配置，其中，非線性轉換部件133的轉換處理被省略，通過增益控制部件132的校正處理生成的校正微分信號H'被直接輸入至圖像合成部件134，并且圖像合成部件134通過應用校正微分信號生成左眼圖像L和右眼圖像R。
4、增益控制部件的處理接下來，描述通過增益控制部件132執行的處理。圖5是示出根據本實施例的增益控制部件132的配置的框圖。增益控制部件132 也基于輸入深度信息控制輸入微分信號的幅度值。另外，在以下描述的實施例中，以具有一深度值的所謂的深度地圖的形式，為輸入微分信號的每個像素輸入深度信息。增益系數計算部201使用用于每個像素的輸入深度信息，以輸出用于相應像素的增益系數。乘法處理部202對用于每個像素的輸入微分信號，執行將微分信號H的幅度值乘以從增益系數計算部201輸出的用于每個像素的增益系數的乘法處理，從而輸出通過對該幅度值進行增益控制而獲取的校正微分信號H'。圖6是示出用于確定增益系數的方法的示例的曲線圖，該方法由增益系數計算部 201執行。水平軸表示作為輸入信號的深度信息。垂直軸表示在增益系數計算部201中的增益系數的輸出。增益系數計算部201通過使用預定函數f (χ)對輸入深度信息In進行轉換，以輸出增益系數Out。此時，函數f(x)可以被不同地設定。作為函數f(x)的一個示例，例如，使用由以下公式表示的線性函數。f(x) = AXx(A 為整數)在以上公式中，A為預先確定的整數并且可以被設定成各種值。而且，增益系數計算部201中的轉換函數不限于線性函數，也可以執行非線性轉換。關于深度信息，輸入微分信號的對應于每個像素的值并且輸出對應于每個像素的增益系數。圖6是示出增益系數計算部的輸入值(深度信息)對應于輸出值(增益系數)的示例的曲線圖。圖6示出分別對應于三個輸入值(深度信息)的三個輸出值(增益系數) 的示例。Dl至D3為輸入值(深度信息)的示例，并且假設對應于這些特定三個像素的深度值。另外，深度為對應于從觀看者(用戶)或相機到對象的距離的值。深度(=對象距離)以Dl < D2 < D3的順序從前側到后側增加(遠離用戶或相機)。此時，Gl至G3為通過將Dl至D3輸入至圖6的函數f(x)獲取的輸出值(增益系數)的示例。通過該示例，增益系數計算部201輸出微分信號的對應于每個像素的增益系數。圖7A至圖7D示出增益控制部件132控制微分信號的幅度值的處理的示例。圖7A至圖7D示出輸入信號、微分信號、深度信息以及校正微分信號的示例。圖7A示出輸入圖像信號的示例。圖7B示出通過對圖7A的輸入圖像信號執行微分處理獲取的圖像。圖7C示出對應于圖7A的輸入圖像信號的深度信息，該深度信息通過將深度值賦予通過劃分圖像獲取的三個區域中的每個區域而被簡單地獲得。在此，將圖6中限定的深度信息D3、D2和Dl的值(Dl < D2 < D3)從上部依次賦予圖7C的表示深度信息的圖像信號。此時，如同圖6中所示的深度和增益值之間的關系一樣，乘以圖7B中的微分信號的每個像素的增益值從圖像的上部依次為G3、G2和Gl (Gl < G2 < G3)。圖7D中所示的校正微分信號為通過將圖7B的微分信號的每個像素乘以基于圖7C 的深度信息的增益值獲得的結果的示例。在圖7D中所示的校正微分信號中，將大增益值乘以屏幕的上部(遠處區域)，將小增益值乘以屏幕的下部(近處區域)。結果，微分信號的幅度值在屏幕的上部(遠處區域)大，在屏幕的下部(近處區域)小。如上所述，根據本發明的實施例的圖像處理裝置通過使用具有與距離相應的不同幅度的微分信號，來生成左眼圖像和右眼圖像，并且輸出左眼圖像和右眼圖像。結果，圖像處理裝置生成具有與距離相應的不同視差的圖像。以下將詳細描述具體處理示例。5、非線性轉換部件的處理接下來，將描述非線性轉換部件133執行的處理。非線性轉換部件133對經過與距離相應的增益控制之后的從增益控制部件132輸出的校正微分信號H'進行非線性轉換來生成視差加重信號E'，并且將視差加重信號E'輸出至圖像合成部件134。圖8示出通過非線性轉換部件133執行的非線性轉換處理的示例。水平軸表示經過與距離相應的增益控制(校正)之后的從增益控制部件132輸出的微分信號((亮度)校正微分信號)。水平軸表示通過非線性轉換部件133執行非線性轉換處理之后的輸出。非線性轉換部件133通過使用預定函數f (χ)轉換輸入校正微分信號In來輸出視差加重信號 Out。S卩，0ut = f(In)。此時，函數f(x)可以被不同地設定。作為函數f(x)的一個示例，例如，使用由以下公式表示的指數函數。f (χ) = χΥ在以上公式中，Y為預定系數并且可以被設置為各種值。而且，非線性轉換部件133中的轉換函數不限于指數函數，也可以執行線性轉換。圖像合成部件134接收從非線性轉換部件133輸出的視差加重信號和輸入至圖像轉換單元130中的視頻數據，合成構成視頻數據的每幀圖像和視差加重信號，并且生成左眼圖像和右眼圖像。另外，如圖4的虛線所表示的，可以采用這樣一種配置，其中，省略非線性轉換部件133的轉換處理，校正微分信號H'(其由增益控制部件132對由微分器131生成的微分信號執行與距離相應的增益控制獲得)被直接輸入至圖像合成部件134。在這種情況下，圖像合成部件134通過在經過與深度(對象距離)相應的增益控制之后應用校正微分信號 H'來生成左眼圖像和右眼圖像。6、圖像合成部件的處理接下來，將描述圖像合成部件134的處理。圖像合成部件134通過應用每幀圖像(其構成視頻數據)和從幀圖像生成的空間特征值(即，亮度信號的校正微分信號，或通過非線性地轉換校正微分信號生成的視差加重信號)來生成左眼圖像和右眼圖像。圖9A至圖9E和圖IOA至圖IOE示出由圖像合成部件134執行的圖像合成處理的
原理。圖9A至圖9E示出具有大距離的圖像區域(具有大深度的圖像區域)。圖IOA至圖IOE示出具有小距離的圖像區域(具有小深度的圖像區域)。圖9A至圖9E和圖IOA至圖IOE從上部依次分別示出關于各個圖像區域的輸入信號S、微分信號H、校正(增益控制)微分信號H'、右眼圖像信號R、和左眼圖像信號L。對應于圖7C的深度信息給出描述。例如，圖9A至圖9E示出對應于圖7C中所示的圖像的上部的具有大距離(D3)的圖像區域(具有大深度的圖像區域)的處理示例。同時，圖IOA至圖IOE示出對應于圖7C中所示的圖像的下部的具有小距離(Dl)的圖像區域 (具有小深度的圖像區域)的處理示例。首先，將描述圖9A至圖9E中所示的具有大距離的圖像區域(具有大深度的圖像區域)中的處理示例。圖9A表示對于視頻數據的任一幀的任一水平線的輸入信號S的亮度的改變。圖 9A舉例說明中心處存在高亮度區域的一條線。在線位置xl和線位置x2之間的區域A中，亮度逐漸增加。在線位置x2和線位置x3之間，存在保持高亮度等級的高亮度部分。在線位置x3和線位置x4之間的區域B中，亮度逐漸減小。圖9B中所示的微分信號H為通過對輸入信號進行微分獲得的結果。微分信號由圖4中所示的圖像轉換單元130的微分器131生成。如圖9B所示，由微分器131生成的微分信號H在區域A中具有正值，在區域A中，圖9A中所示的輸入信號S的亮度改變是正的，在區域B中具有負值，在區域B中，圖9A中所示的輸入信號S的亮度改變是負的。在圖9C中所示的校正之后的校正(增益控制)微分信號H'由圖4中所示的圖像轉換單元130的增益控制部件132生成，并且通過基于深度信息對圖9B的微分信號執行校正(增益控制)獲得。另外，圖9A至圖9E的示例為具有大距離(例如，圖6和圖7C的 D3)的圖像區域(具有大深度的圖像區域)的處理示例，參考圖6和圖7A至圖7D的描述執行使用較大增益G3的校正處理，并且微分信號的幅度被校正為較大幅度。圖9C中所示的虛線為校正之前的信號(圖9B的微分信號H)，并且圖9C中所示的實線為與距離相應的校正之后的校正微分信號H'。如上所述，通過與距離相應的增益控制，將校正微分信號H'的幅度校正為大。圖9D中所示的右眼圖像信號和圖9E中所示的左眼圖像信號通過圖4中所示的圖像轉換單元130的圖像合成部件134生成。圖像合成部件134合成圖9A中所示的輸入信號S和圖9C中所示的視差加重信號E'，從而生成圖9D所示的右眼圖像信號和圖9E所示的左眼圖像信號，其中，視差加重信號E’是非線性轉換部件133對校正后的(增益控制) 校正微分信號H’進行非線性轉換獲得的結果(非線性轉換部件133的輸出)。接下來，將描述圖IOA至圖IOE中所示的具有小距離的圖像區域(具有小深度的圖像區域)的處理示例。圖IOA至圖IOE示出對應于圖7C中所示的圖像的下部的具有小距離(Dl)的圖像區域(具有小深度的圖像區域)的處理示例。圖IOA中所示的輸入信號和圖IOB中所示的微分信號為類似于圖9A中所示的輸入信號和圖9B中所示的微分信號的信號。圖IOB中所示的微分信號H通過對圖IOA中所示的輸入信號S進行微分來獲得。通過圖4中所示的圖像轉換單元130的微分器131生成微分信號。如圖IOB所示，由微分器131生成的微分信號在區域A中具有正值，在區域A中，圖IOA中所示的輸入信號的亮度改變為正，以及在區域B中具有負值，在區域B中，圖IOA 中所示的輸入信號的亮度改變為負。圖IOC中所示的校正之后的校正(增益控制)微分信號H'通過圖4中所示的圖像轉換單元130的增益控制部件132生成，以及通過基于深度信息對圖IOB的微分信號執行校正(增益控制)來獲得。圖IOA至圖IOE的示例為具有小距離(例如，圖6和圖7C的Dl)的圖像區域(具有小深度的圖像區域)中的處理示例，執行參考圖6和圖7A至圖7D描述的使用小增益Gl 的校正處理，并且微分信號的幅度被校正為小幅度。圖IOC中所示的虛線為校正之前的信號(圖IOB的微分信號)，并且圖IOC中所示的實線為在與距離相應的校正之后的校正微分信號。如上所述，通過與距離相應的增益控制，將微分信號的幅度校正為小。圖IOD中所示的右眼圖像信號和圖IOE中所示的左眼圖像信號通過圖4中所示的圖像轉換單元130的圖像合成部件134生成。圖像合成部件134合成圖IOA中所示的輸入信號S和圖IOC中所示的視差加重信號E'，從而生成圖IOD中所示的右眼圖像信號和圖 IOE中所示的左眼圖像信號，其中，視差加重信號E’是非線性轉換部件133對校正后的(增益控制)校正微分信號H’進行非線性轉換獲得的結果(非線性轉換部件133的輸出)。如上所述，根據本發明的實施例的圖像處理裝置當距離大時生成具有大幅度的校正微分信號(圖9C)，以及當距離小時生成具有小幅度的校正微分信號(圖10C)，并且通過校正微分信號(或通過非線性地轉換視差加重信號獲得的視差加重信號)以及圖9A和圖 IOA中所示的輸入信號的合成處理，生成圖9D和圖IOD中所示的右眼圖像信號以及圖9E和圖IOE中所示的左眼圖像信號。將使用公式描述用于生成圖9D和圖IOD中所示的右眼圖像信號以及圖9E和圖 IOE中所示的左眼圖像信號的處理。對應于圖9A和圖IOA中所示的輸入信號的視頻數據的亮度等級被表示為S，并且圖9B和圖IOB中所示的微分信號的信號等級被表示為H。而且，作為在增益控制部件132中執行的對微分信號的校正結果的校正微分信號的信號等級被表示為H'。另外，當生成校正微分信號H'時，從基于深度信息D等預先設定的函數確定乘以圖9B和圖IOB中所示的微分信號H的增益值G。當距離大時(如圖9A至圖9E所示)的增益值被表示為G3，以及當距離小時(如圖IOA至圖IOE所示)的增益值被表示為Gl。在圖9A至圖9E以及圖IOA至圖IOE中所示的示例中，假設關系為G3 > 1 >G1。如果圖9C和圖IOC中所示的校正微分信號的信號等級被表示為H'，則H'由以下公式表示為使用增益值G3和Gl校正的信號。當距離大時(如圖9A至圖9E所示)的校正微分信號H'和當距離小時(如圖 IOA至圖IOE所示)的校正微分信號H'分別由以下公式表示。
H' = G3XHH' =GlXH通過以上公式計算的信號具有圖9C和圖IOC中所示的校正微分信號的信號等級 H'。當距離大時(如圖9C所示)，如果將由實線表示的校正微分信號H'與由虛線表示的校正之前的微分信號(參考圖9B)進行比較，則由實線表示的校正微分信號H'的幅度大于由虛線表示的校正之前的微分信號的幅度。同時，當距離大時(如圖IOC所示)，如果將由實線表示的校正微分信號H'與由虛線表示的校正之前的微分信號(參考圖9B)進行比較，則由實線表示的校正微分信號H' 的幅度小于由虛線表示的校正之前的微分信號的幅度。這是因為圖9C和圖IOC中所示的校正微分信號通過乘以不同增益值生成。即，對于從深度信息輸出單元115輸出的大深度信息(與相機的距離大)，圖9B中所示的微分信號乘以大增益值并且被校正，從而生成圖9C中所示的校正微分信號。同時，對于從深度信息輸出單元115輸出的具有小深度信息(與相機的距離小) 的像素，圖IOB中所示的微分信號乘以小增益值并且被校正，從而生成圖IOC中所示的校正微分信號。例如，圖9C和圖IOC中所示的校正微分信號經過通過先前參考圖8描述的設定由非線性轉換部件133進行的非線性轉換處理，導致生成視差加重信號E'。圖像合成部件134接收對應于圖9A和圖IOA中所示的輸入信號的視頻數據S以及通過非線性地轉換圖9C和圖IOC中所示的校正微分信號H'獲得的視差加重信號E'，從而通過以下公式生成右眼圖像信號Right和左眼圖像信號Left。Right = S-E'Left = S+E'通過以上處理生成的信號Right和Left分別為由圖9D和圖IOD中的實線表示的右眼圖像信號以及由圖9E和圖IOE中的實線表示的左眼圖像信號。同時，由圖9D和圖9E以及圖IOD和圖IOE中的虛線表示的信號不是圖9C和圖 IOC中所示的校正微分信號H，而是對應于使用通過對校正之前的微分信號(S卩，圖9B和圖 IOB中所示的微分信號H)應用非線性轉換獲得的視差加重信號E生成的右眼圖像信號和左眼圖像信號。即，建立以下公式。Right = S-ELeft = S+E在將實線與虛線(其為圖9D和圖IOD中所示的右眼圖像信號以及圖9E和圖IOE 中所示的左眼圖像信號)進行比較的情況下，當距離大時(如圖9A至圖9E所示)，在圖9D 中所示的右眼圖像信號和圖9E中所示的左眼圖像信號中，實線(校正微分信號)的幅度均大于虛線(校正之前的微分信號)的幅度。同時，當距離小時(如圖IOA至圖IOE所示)，在圖IOD中所示的右眼圖像信號和圖IOE中所示的左眼圖像信號中，實線(校正微分信號)的幅度均小于虛線(校正之前的微分信號)的幅度。也就是說，當距離大時，圖9D中所示的右眼圖像信號和圖9E中所示的左眼圖像信號之間的差(difference)增加。當距離小時，圖IOD中所示的右眼圖像信號和圖IOE中所示的左眼圖像信號之間的差減小。在顯示如上所述的圖9D和圖IOD中所示的右眼圖像信號以及圖9E和圖IOE中所示的左眼圖像信號的情況下，當距離大時，由于圖9D和圖IOD中所示的右眼圖像信號與圖 9E和圖IOE中所示的左眼圖像信號之間的視網膜像差大，因而圖像看起來位于長距離處。當距離小時，由于圖9D和圖IOD中所示的右眼圖像信號與圖9E和圖IOE中所示的左眼圖像信號之間的視網膜像差小，因而圖像看起來位于短距離處。另外，以上實施例描述了圖像合成部件134使用視差加重信號E'和輸入信號S，根據以下公式生成圖9D和圖IOD中所示的右眼圖像信號Right以及圖9E和圖IOE中所示的左眼圖像信號Left的示例，其中，非線性轉換部件133對圖9C和圖IOC中所示的校正微分信號H'執行作為視差加重處理的非線性轉換處理(參照圖8)獲得視差加重信號E'。Right = S-E'Left = S+E，然而，如上所述，由非線性轉換部件133執行的視差加重處理不是必須的。S卩，可以采用這樣一種配置，其中，圖像合成部件134使用由圖4中的虛線表示的輸入(即，根據以下公式的圖9C和圖IOC中所示的校正微分信號H')和輸入信號S，生成圖9D和圖IOD 中所示的右眼圖像信號Right以及圖9E和圖IOE中所示的左眼圖像信號Left。Right = S-H'Left = S+H'7、由于視網膜像差(視差)導致的立體效果在生成關于圖9A至圖9E和圖IOA至圖IOE描述的右眼圖像信號和左眼圖像信號之后，通過觀看者的右眼和左眼觀看這些圖像信號的圖像，使得發生視差，從而觀看者可以感覺到深度。這是基于右眼圖像和左眼圖像的視網膜像差的現象。此后，將描述根據本發明的實施例的在圖像處理裝置100中生成的右眼圖像R(Right)和左眼圖像L(Left)的視網膜像差。如上所述，根據本發明的實施例的圖像處理裝置通過將圖9B和圖IOB中所示的微分信號H乘以與距離相應的增益值，生成圖9C和圖IOC中所示的校正微分信號H'，并且使用圖9C和圖IOC中所示的校正微分信號H'和輸入信號S，生成圖9D和圖IOD中所示的右眼圖像信號Right以及圖9E和圖IOE中所示的左眼圖像信號Left。Right = S-H'Left = S+H'可選地，根據本發明的實施例的圖像處理裝置使用通過非線性地轉換圖9C和圖 IOC中所示的校正微分信號H'獲得的視差加重信號E'和輸入信號S，根據以下公式生成圖9D和圖IOD中所示的右眼圖像信號Right以及圖9E和圖IOE中所示的左眼圖像信號 Left。Right = S-E' Left = S+E'使用與距離相應的增益值生成圖9C和圖IOC中所示的校正微分信號H'的原因是用于對具有大距離的對象進一步增加視差。
本申請人具有本申請的在先申請，其為日本優先權專利申請JP2008-203614。在先申請披露了這樣一種配置，其中，通過獨立于對象距離的處理設定右眼圖像和左眼圖像之間的視差。首先，將描述在先申請的處理。根據在先申請的處理(日本優先權專利申請JP 2008-203614)，右眼圖像信號 Right和左眼圖像信號Left通過應用輸入信號S的微分信號H來生成。S卩，不使用對象距罔fn息。此后，將描述一個示例，其中，省略非線性轉換處理，并且通過輸入信號S和微分信號H的相加和相減，生成右眼圖像信號Right和左眼圖像信號Left。在在先申請(日本優先權專利申請JP 2008-203614)中，根據以下公式，通過應用輸入信號S和輸入信號的微分信號H生成右眼圖像信號Right和左眼圖像信號Left。Right = S-H Right = S+H右眼圖像信號Right和左眼圖像信號Left對應于由圖9D和圖9E以及圖IOD和圖IOE中的虛線表示的信號。在圖9D和圖9E以及圖IOD和圖IOE中，虛線的信號等級彼此相等。即，信號為未執行與對象距離相應的校正的信號。圖11是示出圖9D和圖9E以及圖IOD和圖IOE中的虛線所示的右眼圖像信號 Right和左眼圖像信號Left中出現的視網膜像差的曲線圖，右眼圖像信號Right和左眼圖像信號Left是通過將未執行與對象距離相應的校正的微分信號(圖9B =圖10B)加入輸入信號或從輸入信號中減去該微分信號生成的。在此，為了簡化描述，圖11示出了一維正弦波信號被輸入作為輸入信號S的情況。根據以下公式，通過應用輸入信號S和輸入信號的微分信號H生成右眼圖像信號 Right和左眼圖像信號Left。Right = S-HLeft = S+H在圖11中，水平軸表示圖像的水平方向上的像素位置，以及垂直軸表示像素的亮度等級。輸入信號S由正弦波信號表示，即，以下公式。S = Sincox此時，微分信號H由余弦波信號表示，即，以下公式。H= cos ω χ此時，左眼圖像信號L和右眼圖像信號R由以下公式表示。[公式1]Z = 5, + i7 = sinim; + cosffiK = V2sin ojx + —
\ 4 J
f π\R = S-H = sinCK -cosepc = λ/2 sin <m--
I _ 4J根據以上公式，左眼圖像信號L的相位與輸入信號S相比提前π /4，以及右眼圖像信號R的相位與輸入信號S相比延遲π /4。即，左眼圖像信號L的幅度是輸入信號的幅度的兩倍并且在水平方向上偏移由角頻率ω確定的周期的1/8。與此類似，右眼圖像信號 R的幅度是輸入信號的幅度的兩倍并且在水平方向上偏移由角頻率ω確定的周期的1/8。如上所述，由于在左眼圖像信號L和右眼圖像信號R之間存在π/2的相位差，相位差被感知為視網膜像差，使得可以感覺到深度。另外，視網膜像差隨著角頻率ω而改變。與圖11相比，圖12示出當輸入信號的角頻率減小1/2時的波形。可以從圖12 了解，視網膜像差為圖11的情況的兩倍。當用雙眼立體地觀察輸入信號時，與圖11所示的輸入信號相比，輸入信號看起來位于后面。而且，與圖11相比，圖13示出當輸入信號的角頻率增加兩倍時的波形。從圖13 可以了解，與圖11相比，視網膜像差減小1/2。當用雙眼立體地觀察輸入信號時，與圖11中所示的輸入信號相比，輸入信號看起來位于前面。如上所述，視網膜像差隨著角頻率ω而改變。然而，在該方案中，左眼圖像信號L 和右眼圖像信號R之間的相位差不取決于對象的距離。左眼圖像信號L和右眼圖像信號R 之間的相位差(對應于視網膜像差)最大限度地限于輸入信號的空間頻率的1/2波長的寬度。其不取決于對象的距離。如上所述，該方案的問題在于，不管對象的距離如何，都設定相同的視差。本發明的實施例是為了解決以上問題。即，根據本發明的實施例的圖像處理裝置通過將圖9Β和圖IOB中所示的微分信號H乘以與距離相應的增益值生成校正微分信號 H'(圖9C和圖IOC中的實線表示的數據)。圖像處理裝置通過使用與距離相應的校正微分信號H'(由圖9C和圖IOC中的實線表示的數據)生成圖9D和圖IOD中所示的右眼圖像信號Right以及圖9E和圖IOE中所示的左眼圖像信號Left。即，圖像合成部件134根據以下公式生成圖9D和圖IOD中所示的右眼圖像信號Right以及圖9E和圖IOE中所示的左眼圖像信號Left，其中，該公式表示輸入信號和乘以與距離相應的增益值獲得的校正微分信號H'的相加和相減。Right = S-H'Left = S+H'另外，以上公式表示執行非線性轉換處理(參考圖8)的處理示例。在執行非線性轉換處理的情況下，執行以下處理。圖像合成部件134通過使用視差加重信號E'(其是由非線性轉換部件133對圖 9C和圖IOC中所示的校正微分信號H'執行作為視差加重處理的非線性轉換處理(參考圖 8)獲得的)和輸入信號S，根據以下公式生成圖9D和圖IOD中所示的右眼圖像信號Right 以及圖9E和圖IOE中所示的左眼圖像信號Left。Right = S-E'Left = S+E'在根據本發明的實施例的配置中，通過將校正微分信號H'(通過乘以與距離相應的增益值獲得)或視差加重信號E'(通過非線性地轉換校正微分信號H'生成)加入至輸入信號S，或者從輸入信號S減去校正微分信號H'或視差加重信號E'生成右眼圖像信號Right和左眼圖像信號Left。通過以上處理，與具有小距離的對象相比，用于具有大距離的對象的視差可以增加。將參考圖14描述根據本發明的實施例的處理，S卩，根據對象距離的視差調節的原理。為了簡化描述，類似于圖1，圖14示出一維正弦波信號被輸入作為輸入信號S的情況。圖14示出五個信號輸入信號S ；第一左眼信號Ll (當對象距離(深度)小時)；第二左眼信號L2 (當對象距離(深度)大時)；第一右眼信號Rl (當對象距離(深度)小時)；以及第二右眼信號R2 (當對象距離(深度)大時)。例如，第一左眼信號Ll (當對象距離(深度)小時)和第一右眼信號Rl (當對象距離(深度)小時)對應于圖IOA至圖IOE中所示的設定。例如，第二左眼信號L2 (當對象距離(深度)大時)和第二右眼信號R2 (當對象距離(深度)大時)對應于通過圖9A至圖9E中所示的設定生成的左眼信號和右眼信號。詳細地，在與距離相應的增益(Gl < G3)的情況下，通過將校正微分信號H'(通過將與對象距離相應的增益乘以微分信號H，根據以下公式生成)加入到輸入信號S，或者從輸入信號S減去校正微分信號H'生成左眼信號和右眼信號。第一右眼信號Rl = S-H' = S-(GlXH)第一左眼信號Ll = S+H' = S+(G1 XH) 第二右眼信號R2 = S-H' = S_(G3XH)第二左眼信號L2 = S+H' = S+ (G3XH)結果，與輸入信號相比，第一右眼信號R1( = S-H' =S-(GlXH))的相位提前了常
量α ο與輸入信號相比，第一左眼信號L1( = S+H' = S+(G1XH))的相位延遲了常量 α ο而且，與輸入信號相比，第二右眼信號R2( = S_H' =S_(G3XH))的相位提前了量 (α+β)。與輸入信號相比，第二左眼信號L2( = S+H' = S+(G3XH))的相位延遲了量 (α+β)。結果，當對象距離小時用雙眼觀看的圖像包括第一右眼信號Rl( = S-H'= S-(GlXH))和第一左眼信號Ll ( = S+H' =S+(G1XH))的結合。此時，視網膜像差為2 α。同時，當對象距離大時用雙眼觀看的圖像包括第二右眼信號R2( = S-H'= S-(G3XH))和第二左眼信號L2( = S+H' = S+(G3XH))的結合。此時，視網膜像差為 2(α+β)。S卩，當對象距離小時用雙眼觀看的圖像的視差為2 α，以及當對象距離大時用雙眼觀看的圖像的視差為2(α+β)。如上所述，當對象距離小時，用雙眼觀看的圖像的視差被設定為小，以及當對象距離大時，用雙眼觀看的圖像的視差被設定為大。即，根據對象距離設定視差。從而，可以給圖像的觀看者(用戶)提供具有小對象距離的物體似乎位于前面以及具有大對象距離的物體似乎位于比較近物體更遠的感覺。如上所述，根據本發明的實施例的圖像處理裝置100提取校正微分信號H‘(通過將與深度(即，對象距離D)相應的增益G乘以作為輸入圖像信號S的空間特征值的亮度微分信號H生成)或通過非線性地轉換校正微分信號H'生成的視差加重信號E'，并且執行將特征值應用至輸入圖像信號的不同加重處理，從而生成左眼圖像和右眼圖像。
另外，圖9D和圖IOD中所示的右眼圖像信號Right被生成為具有以下信號特征dl 至d3的信號。信號特征(dl)在區域A(其中，圖9A和圖IOA中所示的輸入信號的亮度的改變為正并且圖 9B和圖IOB中所示的微分信號(或者圖9C和圖IOC中所示的校正微分信號)具有正值) 的至少一部分中，出現信號區域(在其中，與圖9A和圖IOA中所示的輸入信號相比，亮度減小)。(d2)在區域B(其中，圖9A和圖IOA中所示的輸入信號的亮度的改變為負并且圖 9B和圖IOB中所示的微分信號(或者圖9C和圖IOC中所示的校正微分信號)具有負值) 的至少一部分中，出現信號區域(在其中，與圖9A和圖IOA中所示的輸入信號相比，亮度增加)。(d3)在圖9B和圖IOB中所示的微分信號(或者圖9C和圖IOC中所示的校正微分信號)的值為0的區域中，輸入信號的亮度不發生改變。而且，圖9E和圖IOE中所示的左眼圖像信號Left被生成為具有以下信號特征el 至e3的信號。信號特征(el)在區域A(其中，圖9A和圖IOA中所示的輸入信號的亮度的改變為正并且圖 9B和圖IOB中所示的微分信號(或者圖9C和圖IOC中所示的校正微分信號)具有正值)) 的至少一部分中，出現信號區域(其中，與圖9A和圖IOA中所示的輸入信號相比，亮度增加)。(e2)在區域B (其中，圖9A和圖IOA中所示的輸入信號的亮度的改變為負，并且圖 9B和圖IOB中所示的微分信號(或者圖9C和圖IOC中所示的校正微分信號)具有負值) 的至少一部分中，出現信號區域(其中，與圖9A和圖IOA中所示的輸入信號相比，亮度減小)。(e3)在圖9B和圖IOB中所示的微分信號(或者圖9C和圖IOC中所示的校正微分信號)的值為0的區域中，輸入信號的亮度不發生改變。如上所述，圖4中所示的信號合成部件134合成圖9A和圖IOA中所示的輸入信號 S和圖9C和圖IOC中所示的根據距離校正的校正微分信號H'、或者作為由非線性轉換部件133通過進一步非線性地轉換校正微分信號H'獲得的結果(非線性轉換部件133的輸出)的視差加重信號E'，從而生成圖9D和圖IOD中所示的右眼圖像信號Right以及圖9E 和圖IOE中所示的左眼圖像信號Left。例如，如果待轉換的輸入信號為靜止圖像，則圖像合成部件134根據以下公式對構成靜止圖像的一幀圖像執行信號合成處理，從而生成圖9D和圖IOD中所示的右眼圖像信號Right以及圖9E和圖IOE中所示的左眼圖像信號Left。右眼圖像信號R = S-H'左眼圖像信號L = S+H'或者右眼圖像信號R = S-E' 左眼圖像信號L = S+E'
而且，如果待轉換的輸入信號為運動圖像，則圖像合成部件134根據以下公式對構成運動圖像的每幀圖像執行信號合成處理，從而生成圖9D和圖IOD中所示的右眼圖像信號Right以及圖9E和圖IOE中所示的左眼圖像信號Left。R = S-H'L = S+H'或者R = S-E'L = S+E'然而，在運動圖像的情況下，還可以根據最終執行顯示裝置的圖像顯示和控制方案的圖像輸出單元150 (參考圖2)，改變左眼圖像信號和右眼圖像信號的生成圖案。之后，參考圖15A至圖15E以及其他附圖描述當待轉換輸入信號為運動圖像時由圖像合成部件 134執行的多個處理示例。首先，參考圖15A至圖15E描述當待轉換輸入信號為運動圖像時，由圖像合成部件 134執行的基本處理示例。根據圖15A至圖15E所示的處理示例，圖像合成部件134(參考圖4)生成和輸出關于輸入視頻數據的所有幀(幀n，幀n+1，幀n+2，幀n+3...)的左眼圖像 Left和右眼圖像Right的圖像。圖15A至圖15E示出輸入圖像幀S、深度信息D、校正微分信號H'、右眼信號R、和左眼信號L的詳細圖像示例。另外，圖15B中所示的深度信息D為對應于亮度的深度信息數據，其表示對象距離在明亮部分中小(近)以及在黑暗部分中大(遠)。圖像合成部件134將圖15A中所示的輸入圖像幀的亮度信號S和校正微分信號 H'[=通過基于圖15B中所示的深度信息控制微分圖像信號的增益獲得的校正微分信號 H']輸入到圖15A中所示的輸入圖像幀的所有幀，并且根據由以下公式表示的計算處理，生成和輸出圖15D中所示的右眼圖像信號和圖15E中所示的左眼圖像信號。在這種情況下，圖像合成部件134輸出兩個系統的視頻信號。右眼圖像信號R = S-H'左眼圖像信號L = S+H'另外，圖像合成部件134可以通過使用用于校正微分信號H'的非線性轉換(參考圖8)，根據由以下公式表示的計算處理，生成和輸出如圖15D中所示的右眼圖像信號和如圖15E中所示的左眼圖像信號。右眼圖像信號R = S-E'左眼圖像信號L = S+E'根據圖15A至圖15E中所示的基本處理示例，圖像合成部件134輸出對應于所有幀的右眼圖像和左眼圖像的兩個系統的視頻信號。接收兩個系統的信號的圖像輸出單元 150(參考圖1)將數據輸出至用于實現立體視覺的顯示裝置。顯示裝置根據用于實現立體視覺的多種顯示方案執行輸出控制。例如，顯示裝置包括顯示方案，諸如對應于用于通過偏振濾光片或濾色器分離由雙眼觀看到的圖像的無源眼鏡方法的圖像輸出方案，對應于用于通過從一側到另一側交替地打開和閉合液晶快門，相對于雙眼交替地暫時分離所觀看的圖像的有源眼鏡方法的圖像輸出方案等。顯示裝置根據上述顯示方案中的任一個，通過使用由圖像合成部件134生成的兩個系統的視頻信號顯示圖像。
根據圖15A至圖15E中所示的基本處理示例，為每幀單獨生成或輸入深度信息，并且執行處理。然而，可以采用使用以多個幀為單位從一幀創建的深度信息或者對應于一個代表幀的輸入深度信息的配置。圖16A至圖16E示出使用以兩個幀為單位從一幀創建的深度信息的示例，以及圖 17A至圖17E示出使用以四個幀為單位從一幀創建的深度信息的示例。通過這種處理配置，可以進行數據處理，其中，減少深度信息的精煉加載 (refining load)，并且雖然減小了裝置的處理容量，但是不發生處理延遲等。

而且，在預先確定圖像顯示方案的情況下，可以將圖像合成部件134設定為生成和輸出對應于每個圖像輸出方案的輸出圖像信號。之后，將參考圖18A、圖18C、圖18D和圖 18E、圖19A、圖19C、圖19D和圖19E以及圖20A、圖20C、圖20D、圖20E和圖20F描述對應于三個不同顯示方案的圖像合成部件134的處理示例。例如，最終執行圖像顯示的顯示裝置的多種類型顯示方案如下。(1)左眼圖像和右眼圖像被時分處理并且交替輸出的方案(圖18A、圖18C、圖18D 和圖18E)這是例如對應于用于通過從一側到另一側交替打開和閉合液晶快門，相對于雙眼交替地暫時分離所觀看圖像的有源眼鏡方法的圖像輸出方案。(2)對應于具有高輸出幀率的有源眼鏡方法的方案，在該方案中，左眼圖像和右眼圖像被時分處理并且交替輸出(圖19A、圖19C、圖19D和圖19E)除輸出幀率高之外，這是類似于圖18A、圖18C、圖18D和圖18E的時分方案。(3)左眼圖像和右眼圖像在空間上被分離并且同時輸出的方案(圖20A、圖20C、圖 20D、圖 20E 和圖 20F)這例如為對應于用于通過偏振濾光片或濾色器分離由雙眼觀看的圖像的無源眼鏡方法的圖像輸出方案。例如，在采用空分方案的立體顯示裝置中，在偏振濾光片(其中，其偏振方向被設定為對于每條水平線改變)被附著至顯示單元的前面之后，當用戶用基于偏振濾光片方案的眼鏡觀察圖像時，通過用戶的雙眼觀看對于每條水平線分離的視頻。首先，將參考圖18A、圖18C、圖18D和圖18E描述當最終執行圖像顯示的顯示裝置的顯示方案為左眼圖像和右眼圖像被時分處理并且被交替輸出的方案時，圖像合成部件 134的處理示例。在這種圖像顯示方案中，圖像合成部件134通過相對于輸入視頻數據的所有幀 (幀n，幀n+1，幀n+2，幀n+3...)來切換左眼圖像Left和右眼圖像Right來生成左眼圖像 Left和右眼圖像Right，并且將其輸出。輸入視頻數據的奇數幀和偶數幀被設定為用于輸出的左眼圖像和右眼圖像(或者右眼圖像和左眼圖像)。關于輸出圖像，左眼圖像和右眼圖像通過圖像輸出單元150在圖像顯示裝置中被時分處理并交替輸出。例如，與基于液晶快門方案的眼鏡(由觀看圖像的用戶佩戴)中提供的快門的打開/閉合同步地控制每個圖像的輸出定時。即，控制輸出定時，使得左眼圖像和右眼圖像分別由左眼和右眼暫時和交替地觀看。由于圖像被輸出到采用這種時分方案的立體顯示裝置中，圖像合成部件134通過以多個幀為單位切換左眼圖像和右眼圖像，對輸入視頻數據的所有幀(幀n，幀n+1，幀n+2，幀n+3...)執行圖像合成處理。即，如圖18D和圖18E中所示，圖像合成部件134以多個幀為單位交替地執行左眼圖像Left的合成和右眼圖像Right的合成，并且輸出合成后的圖像。在圖18A、圖18C、圖18D和圖18E中所示的示例中，首先根據以下公式在幀η中生成右眼圖像。即，當圖18Α中所示的輸入信號的幀η的視頻數據的亮度等級由S表示，并且圖18C中所示的幀η的校正微分信號的信號等級由H'表示時，通過以下相加和相減生成圖18D中所示的右眼圖像信號和圖18Ε中所示的左眼圖像信號。右眼圖像信號Right = S-H'左眼圖像信號Left = S+H'另外，當通過非線性地轉換校正微分信號H'獲得的視差加重信號的信號等級由 E'表示時，還可以通過以下相加和相減生成圖18D中所示的右眼圖像信號和圖18E中所示的左眼圖像信號。右眼圖像信號Right = S-E'左眼圖像信號Left = S+E'根據這種方案，圖像合成部件134對應于每幀生成右眼圖像或左眼圖像中的一個圖像，并且輸出所生成的圖像。即，圖像合成部件134輸出一個系統的視頻數據。關于輸出圖像，左眼圖像和右眼圖像通過圖像輸出單元150在圖像顯示裝置中被時分處理或交替地輸出。與基于液晶快門方案的眼鏡(由觀看圖像的用戶佩戴)中提供的快門的打開/閉合同步地控制每個圖像的輸出定時。即，控制輸出定時，使得左眼圖像和右眼圖像分別由左眼和右眼暫時和交替地觀看。圖19A、圖19C、圖19D和圖19E示出當最終執行圖像顯示的顯示裝置的顯示方案為左眼圖像和右眼圖像被時分處理并且交替輸出(類似于圖18A、圖18C、圖18D和圖18E的情況)的方案時，圖像合成部件134的處理示例。然而，不同于圖18A、圖18C、圖18D和圖 18E的情況，在該處理示例中，關于輸入視頻數據的每幀，根據以下公式，通過合成處理合成左眼圖像Left和右眼圖像Right的圖像。右眼圖像信號Right = S-H'左眼圖像信號Left = S+H'或者右眼圖像信號Right = S-E'左眼圖像信號Left = S+E ‘在執行圖像輸出的顯示裝置中，左眼圖像和右眼圖像被時分處理并且以輸入視頻數據的幀率兩倍幀率交替地輸出。在這種處理中，如圖19A、圖19C、圖19D和圖19E中所示，圖像合成部件134通過應用以下公式，從一幀(例如，圖19A中所示的輸入圖像的幀η)以及圖19C中所示的輸入圖像的校正微分信號圖像(或視差加重信號)生成圖19D中所示的右眼圖像R和圖19Ε中所示的左眼圖像L。R = S-H' , L = S+H'或者R = S-E'，L = S+E'另外，圖像合成部件134通過應用以上公式，從下一幀(即，圖19Α中所示的輸入圖像的幀η+1)以及圖19C中所示的輸入圖像的校正微分信號圖像(或者視差加重信號)生成圖19D中所示的右眼圖像和圖19E中所示的左眼圖像。以此方式，從一幀生成左眼圖像和右眼圖像。關于從一幀生成的兩個圖像(即，右眼圖像和左眼圖像)，左眼圖像和右眼圖像通過圖像輸出單元150在圖像顯示裝置中被時分處理并且交替地輸出。圖像輸出單元150輸出圖像，使得以圖19A中所示的輸入圖像的幀率兩倍幀率顯示圖像。另外，圖像輸出單元150與圖像的顯示定時一致地同步控制觀看圖像的用戶佩戴的基于液晶快門方案的眼鏡中提供的快門的打開/閉合。即，圖像輸出單元150允許左眼圖像和右眼圖像分別被左眼和右眼暫時和交替地觀看。在這種方案中，圖像合成部件134 以一個系統的輸入視頻數據的幀率的兩倍幀率輸出視頻數據。圖20A、圖20C、圖20D、圖20E和圖20F示出當圖像被輸出至采用空分方案的立體顯示裝置時圖像合成部件134的處理示例。在采用空分方案的立體顯示裝置中，在偏振濾光片(其中，其偏振方向被設定成對于每條水平線改變)被附著至顯示單元的前表面之后，當用戶用基于偏振濾光片方案的眼鏡觀看圖像時，對于每條水平線分離的視頻被提供給用戶的雙眼。即，眼鏡的左偏振濾光片和右偏振濾光片也為其中濾光片的偏振方向被設定成改變的濾光片，圖20D中所示的右眼圖像僅由右眼觀看，以及圖20E中所示的左眼圖像僅由左眼觀看。在這種處理中，如圖20A、圖20C、圖20D、圖20E和圖20F中所示，圖像合成部件134 對一幀(例如，圖20A中所示的輸入圖像的幀η)和圖20C中所示的輸入圖像的校正微分信號圖像(或者視差加重信號)，根據以下公式執行合成處理，從而生成圖20D中所示的右眼圖像和圖20Ε中所示的左眼圖像。右眼圖像信號Right = S-H'左眼圖像信號Left = S+H'或者右眼圖像信號Right = S-E'左眼圖像信號Left = S+E'另外，圖像合成部件134從圖20D中所示的右眼圖像和圖20E中所示的左眼圖像生成圖20F中所示的雙眼視差圖像。即，圖像合成部件134通過將圖像偏移一條線，在垂直方向上將圖20D中所示的右眼圖像和圖20E中所示的左眼圖像的相位減小到1/2。圖像合成部件134以水平線為單位，交替地合成以此方式生成的左眼圖像和右眼圖像，從而生成和輸出圖20F中所示的一個雙眼視差圖像。通過將圖20D中所示的右眼圖像和圖20E中所示的左眼圖像的有效區域(除黑線之外的圖像顯示部分)相互連接生成圖20F中所示的雙眼視差圖像。即，圖20F中所示的雙眼視差圖像交替地包括圖20D中所示的右眼圖像和圖20E中所示的左眼圖像的每個線數據。以此方式，圖像合成部件134生成和輸出圖20F中所示的雙眼視差圖像。在這種方案中，圖像合成部件134輸出具有與輸入圖像的幀率相同的幀率的一個系統的視頻數據。圖像輸出單元150在采用空分方案的立體顯示裝置上顯示圖20F中所示的雙眼視差圖像。如上所述，采用空分方案的立體顯示裝置包括在顯示單元的前表面提供的偏振濾光片，其中，其偏振方向被設定為對于每條水平線改變。用戶用基于偏振濾光片方案的眼鏡觀看雙眼視差圖像。眼鏡的左眼和右眼偏振濾光片也為其中濾光片的偏振方向被設定為改變的濾光片，圖20D中所示的右眼圖像僅由右眼觀看，并且圖20E中所示的左眼圖像僅由左眼觀看。參考圖18A、圖18C、圖18D和圖18E、圖19A、圖19C、圖19D和圖19E以及圖20A、圖20C、圖20D、圖20E和圖20F描述的右眼圖像信號Right和左眼圖像信號Left為根據先前已經描述的以下公式生成的圖像。右眼圖像信號Right = S-H'左眼圖像信號Left = S+H' 或者右眼圖像信號Right = S-E'左眼圖像信號Left = S+E'在以上公式中，S表示輸入信號，H'表示通過將與距離相應的增益G乘以輸入信號S的微分信號H生成的校正微分信號，以及E'表示通過非線性地轉換校正微分信號H' 獲得的視差加重信號。另外，還可以通過用于輸入信號S的校正微分信號H'的非線性轉換以及線性轉換獲得視差加重信號E'。上述右眼圖像信號Right和左眼圖像信號Left被生成并且由觀看者的雙眼觀看，使得深度可以被感知。這種現象基于右眼圖像和左眼圖像的視網膜像差。8、具有與對象距離相應的增益的校正微分信號&圖像生成配置示例接下來，將描述具有與對象距離相應的增益的校正微分信號和執行圖像生成的圖像轉換單元的具體配置示例。先前參考圖4描述了圖像轉換單元130的配置示例。圖4中所示的圖像轉換單元 130的配置為圖像轉換單元的一個配置示例。圖21示出與圖4中的圖像轉換單元不同的圖像轉換單元130的配置示例。圖21中所示的圖像轉換單元130包括第一路徑圖像轉換部件300-1、第二至第 η路徑圖像轉換部件L (300-L2至300_Ln)、第二至第η路徑圖像轉換部件R (300-R2至 300-Rn)、輸出選擇部件L(301L)以及輸出選擇部件R(301R)。第一路徑圖像轉換部件300-1、第二至第η路徑圖像轉換部件L (300-L2至 300-Ln)以及第二至第η路徑圖像轉換部件R(300-R2至300-Rn)具有將參考圖22描述的相同配置。從而，例如，每個圖像轉換部件300均可以通過重復地使用單個硬件進行配置。輸出選擇部件L(301L)接收第一路徑圖像轉換部件300_1的輸出和第二至第η路徑圖像轉換部件L(300-L2至300-Ln)的輸出，并且根據以像素或像素塊為單位的距離信息，以像素或像素塊為單位選擇性地輸出第一路徑圖像轉換部件300-1的輸出和第二至第 η路徑圖像轉換部件L(300-L2至300-Ln)的輸出中的任一輸出。輸出圖像為左眼圖像L。輸出選擇部件R(301R)接收第一路徑圖像轉換部件300_1的輸出和第二至第η路徑圖像轉換部件R(300-R2至300-Rn)的輸出，并且根據以像素或像素塊為單位的距離信息，以像素或像素塊為單位選擇性地輸出第一路徑圖像轉換部件300-1的輸出和第二至第 η路徑圖像轉換部件R(300-R2至300-Rn)的輸出中的任一輸出。輸出圖像為右眼圖像R。另外，關于在圖21中所示的圖像轉換單元130中的待處理數據，輸入信號被限定為亮度信號Y，并且基于亮度信號生成亮度圖像。然而，通過以彩色信號(RGB等)反映亮度圖像的亮度，亮度圖像被輸出為像素值，使得可以生成圖像信號L和R用于輸出。將參考圖22描述第一路徑圖像轉換部件300-1、第二路徑圖像轉換部件L(300-L2)以及第二路徑圖像轉換部件R(300-R2)的具體配置示例和處理。第一路徑圖像轉換部件300-1包括第一路徑相位控制信號生成部311、第一路徑非線性轉換部312以及第一路徑圖像合成部313。第一路徑相位控制信號生成部311對輸入信號S執行處理。另外，在以下描述中，為了闡明對輸入信號的亮度Y執行處理，輸入信號S由輸入信號Y表示。第一路徑相位控制信號生成部311對輸入信號Y執行微分處理，以生成微分信號h(Y)。第一路徑非線性轉換部312對微分信號h (Y)執行非線性轉換處理，以控制視差的生成。第一路徑非線性轉換部312執行已經參考圖8描述的非線性轉換處理，以生成視差加重信號e (Y)作為輸出。第一路徑圖像合成部313將視差加重信號e (Y)(為非線性轉換后的微分信號)加入輸入亮度信號Y并且從輸入亮度信號Y減去視差加重信號e (Y)，從而生成以下信號。左眼信號Ll = Y+e (Y)右眼信號Rl = Y-e(Y)第二路徑圖像轉換部件L(300_L2)接收由第一路徑圖像轉換部件300_1生成的左眼信號Ll并且生成導致大視差的左眼信號L2。第二路徑圖像轉換部件R(300_R2)接收由第一路徑圖像轉換部件300_1生成的右眼信號Rl并且生成導致大視差的右眼信號R2。第二路徑圖像轉換部件L(300-L2)和第二路徑圖像轉換部件R (300-R2)具有與第一路徑圖像轉換部件300-1相同的配置。即，第二路徑圖像轉換部件L(300-L2)包括第二路徑相位控制信號生成部321、第二路徑非線性轉換部322以及第二路徑圖像合成部323。第二路徑圖像轉換部件R(300_R2)包括第二路徑相位控制信號生成部331、第二路徑非線性轉換部332以及第二路徑圖像合成部333。第二路徑圖像轉換部件L(300-L2)接收由第一路徑圖像轉換部件300_1生成的左眼信號Ll并且通過執行以下處理生成導致大視差的左眼信號L2。第二路徑相位控制信號生成部321對輸入信號(左眼信號Li)執行微分處理，以生成微分信號h (Li)。第二路徑非線性轉換部322對微分信號h (Li)執行非線性轉換處理，以控制視差的生成。第二路徑非線性轉換部322執行已經參考圖8描述的非線性轉換處理，以生成視差加重信號e (Li)作為輸出。第二路徑圖像合成部323將視差加重信號e (Li)(為非線性轉換后的視差信號) 加入輸入信號(左眼信號Li)，從而生成以下信號。左眼信號L2 = Ll+e (Li)如上所述，第二路徑圖像轉換部件L(300-L2)接收由第一路徑圖像轉換部件 300-1生成的左眼信號Ll并且生成導致大視差的左眼信號L2。第二路徑圖像轉換部件R(300_R2)接收由第一路徑圖像轉換部件300_1生成的右眼信號Rl并且通過執行以下處理生成導致大視差的右眼信號R2。
第二路徑相位控制信號生成部331對輸入信號(右眼信號Rl)執行微分處理，以生成微分信號h (Rl)。第二路徑非線性轉換部322對微分信號h (Rl)執行非線性轉換處理，以控制視差的生成。第二路徑非線性轉換部332執行已經參考圖8描述的非線性轉換處理，以生成視差加重信號e (Rl)作為輸出。第二路徑圖像合成部333從輸入信號(右眼信號Rl)中減去視差加重信號e (Rl)，從而生成以下信號。右眼信號R2 = Rl-e (Rl) 如上所述，第二路徑圖像轉換部件R(300_R2)接收由第一路徑圖像轉換部件 300-1生成的右眼信號Rl并且生成導致大視差的右眼信號R2。圖22示出第一路徑圖像轉換部件300-1、第二路徑圖像轉換部件L(300-L2)以及第二路徑圖像轉換部件R(300-R2)的配置。而且，第三至第η路徑圖像轉換部件L和R也具有相同配置。第k路徑圖像轉換部件L和R接收先前階段的第(k-Ι)路徑圖像轉換部件 L和R的輸出(L(k-l)和R(k-l))，并且分別生成導致視差的左眼信號Lk和右眼信號Rk。輸出選擇部件L(301L)接收第一路徑圖像轉換部件300_1的輸出以及第二至第η 路徑圖像轉換部件L (300-L2至300-Ln)的輸出，并且根據以像素或像素塊為單位的距離信息，以像素或像素塊為單位選擇性地輸出第一路徑圖像轉換部件300-1的輸出以及第二至第η路徑圖像轉換部件L(300-L2至300-Ln)的輸出中的任一輸出。輸出圖像為左眼圖像 L0對于對象距離小的像素區域，將第一路徑圖像轉換部件300-1的輸出Ll選擇作為像素區域的輸出。對于對象距離大的像素區域，將第η路徑圖像轉換部件L(300-Ln)的輸出 Ln選擇作為像素區域的輸出。即，根據距離信息的尺寸選擇第一路徑圖像轉換部件300-1 至第η路徑圖像轉換部件L(300-Ln)的輸出，并且生成每個像素區域的左眼圖像L用于輸
出ο同時，輸出選擇部件R(301R)接收第一路徑圖像轉換部件300_1的輸出以及第二至第η路徑圖像轉換部件R(300-R2至300-Rn)的輸出，并且根據以像素或像素塊為單位的距離信息，以像素或像素塊為單位選擇性地輸出第一路徑圖像轉換部件300-1的輸出以及第二至第η路徑圖像轉換部件R(300-R2至300-Rn)的輸出中的任一輸出。輸出圖像為右眼圖像R。對于對象距離小的像素區域，將第一路徑圖像轉換部件300-1的輸出Rl選擇作為像素區域的輸出。對于對象距離大的像素區域，將第η路徑圖像轉換部件R(300-Rn)的輸出 Rn選擇作為像素區域的輸出。即，根據距離信息的尺寸選擇第一路徑圖像轉換部件300-1 至第η路徑圖像轉換部件R(300-Rn)的輸出，并且生成每個像素區域的右眼圖像R用于輸
出ο通過這些處理，生成每只眼的圖像用于輸出，其中，左眼圖像和右眼圖像之間的視差在對象距離小的像素區域中被設定為小，在對象距離大的像素區域中被設定為大。例如，被獲得作為第一路徑圖像轉換部件300-1的輸出的圖像信號為圖14中所示的第一左眼圖像Ll和第一右眼圖像R1。第二路徑圖像轉換部件L(300-L2)的輸出對應于圖14中所示的第二左眼信號L2，以及第二路徑圖像轉換部件R(300-R2)的輸出對應于圖14中所示的第二右眼信號R2。
在對象距離小的像素區域中，使用圖14中所示的第一左眼信號Ll和第一右眼信號Rl (被獲得作為第一路徑圖像轉換部件300-1的輸出)，并且第一左眼信號Ll和第一右眼信號Rl之間的視差為2α。而且，在對象距離大的像素區域中，使用第二路徑圖像轉換部件L(300_L2)的輸出和第二路徑圖像轉換部件R(300-R2)的輸出，并且第一左眼信號L2和第一右眼信號R2 之間的視差為2(α+β)。如上所述，在根據本發明的實施例的圖像處理裝置中，可以生成與對象距離相應的視差。接下來，將參考圖23描述圖像轉換單元130的另一配置示例。圖23中所示的圖像轉換單元130包括第一路徑圖像轉換部件400-1、第二至第 η路徑圖像轉換部件L (400-L2至400_Ln)、第二至第η路徑圖像轉換部件R (400-R2至 400-Rn)、圖像合成權重值計算部件405、圖像合成處理部件L(410L)以及圖像合成處理部件 R(410R)。第一路徑圖像轉換部件400-1、第二至第η路徑圖像轉換部件L (400-L2至 400-Ln)、以及第二至第n路徑圖像轉換部件R(400_R2至400-Rn)具有與將參考圖24和圖 25描述的配置相同的配置。從而，例如，可以使用單個硬件重復地配置每個圖像轉換部件 400。圖像合成權重值計算部件405接收來自深度信息輸出單元115 (參考圖2和圖3) 的深度信息，并且根據預先設定的信息，將基于每個像素的深度的權重(W)信息輸出到圖像合成處理部件L(410L)和圖像合成處理部件R(410R)。權重是指關于第一至第η路徑圖像轉換部件的各個輸出值的權重信息。圖像合成處理部件L(410L)根據從圖像合成權重值計算部件405輸入的權重信息，將第一路徑圖像轉換部件和第二至第η路徑圖像轉換部件L的輸出值相加，從而生成左眼圖像L。圖像合成處理部件R(410R)根據從圖像合成權重值計算部件405輸入的權重信息，將第一路徑圖像轉換部件和第二至第η路徑圖像轉換部件R的輸出值相加，從而生成右眼圖像R。將參考圖24描述第一路徑圖像轉換部件400-1、第二路徑圖像轉換部件 L(400-L2)以及第二路徑圖像轉換部件R(400-R2)的詳細配置示例和處理。第一路徑圖像轉換部件400-1包括第一路徑相位控制信號生成部411、第一路徑增益控制部412、第一路徑非線性轉換部413以及第一路徑圖像合成部414。第一路徑相位控制信號生成部411對輸入亮度信號Y執行微分處理，以生成微分信號h(Y)。第一路徑增益控制部412將微分信號h (Y)乘以基于每個像素的距離信息的增益，從而生成校正微分信號h' (Y)0第一路徑非線性轉換部413對校正微分信號h' (Y)執行非線性轉換處理，以控制視差的生成。第一路徑非線性轉換部413執行已經參考圖8描述的非線性轉換處理，以生成視差加重信號e' (Y)作為輸出。
第一路徑圖像合成部414將視差加重信號e' (Y)(為非線性轉換后的校正微分信號)加入輸入亮度信號Y并且從輸入亮度信號Y減去視差加重信號e' (Y)，從而生成以下信號。左眼信號Ll=Y+e' (Y)右眼信號Rl=Y-e' (Y)第二路徑圖像轉換部件L(400-L2)接收由第一路徑圖像轉換部件400_1生成的左眼信號Ll并且生成導致大視差的左眼信號L2。第二路徑圖像轉換部件R(400_R2)接收由第一路徑圖像轉換部件400_1生成的右眼信號Rl并且生成導致大視差的右眼信號R2。第二路徑圖像轉換部件L(400-L2)和第二路徑圖像轉換部件R(400_R2)具有與第一路徑圖像轉換部件400-1相同的配置。S卩，第二路徑圖像轉換部件L(400-L2)包括第二路徑相位控制信號生成部421、第二路徑增益控制部422、第二路徑非線性轉換部423以及第二路徑圖像合成部424。第二路徑圖像轉換部件R(400_R2)包括第二路徑相位控制信號生成部431、第二路徑增益控制部432、第二路徑非線性轉換部433以及第二路徑圖像合成部434。第二路徑圖像轉換部件L(400-L2)接收由第一路徑圖像轉換部件400_1生成的左眼信號Ll并且通過執行以下處理生成導致大視差的左眼信號L2。第二路徑相位控制信號生成部421對輸入信號(左眼信號Li)執行微分處理，以生成微分信號h (Li)。第二路徑增益控制部422將微分信號h(Ll)乘以基于每個像素的距離信息的增益，從而生成校正微分信號h' (Li)。第二路徑非線性轉換部423對校正微分信號h' (Li)執行非線性轉換處理，以控制視差的生成。第二路徑非線性轉換部423執行已經參考圖8描述的非線性轉換處理，以生成視差加重信號e' (Li)作為輸出。第二路徑圖像合成部424將視差加重信號e' (Li)(為非線性轉換后的微分信號)加入輸入信號(左眼信號Li)，從而生成以下信號。左眼信號L2 = Ll+e' (Li)如上所述，第二路徑圖像轉換部件L(400-L2)接收由第一路徑圖像轉換部件 400-1生成的左眼信號Ll并且生成導致大視差的左眼信號L2。第二路徑圖像轉換部件R(400_R2)接收由第一路徑圖像轉換部件400_1生成的右眼信號Rl并且通過執行以下處理生成導致大視差的右眼信號R2。第二路徑相位控制信號生成部431對輸入信號(右眼信號Rl)執行微分處理，以生成微分信號h (Rl)。第二路徑增益控制部432將微分信號h(Rl)乘以基于每個像素的距離信息的增益，從而生成校正微分信號h' (Rl)。第二路徑非線性轉換部433對校正微分信號h' (Rl)執行非線性轉換處理，以控制視差的生成。第二路徑非線性轉換部433執行已經參考圖8描述的非線性轉換處理，以生成視差加重信號e' (Rl)作為輸出。第二路徑圖像合成部434從輸入信號(右眼信號Rl)減去視差加重信號e' (Rl)，從而生成以下信號。右眼信號R2 = Rl-e' (Rl)如上所述，第二路徑圖像轉換部件R(400_R2)接收由第一路徑圖像轉換部件 400-1生成的右眼信號Rl并且生成導致大視差的眼信號R2。圖24示出第一路徑圖像轉換部件400-1、第二路徑圖像轉換部件L(400-L2)以及第二路徑圖像轉換部件R(400-R2)的配置。而且，第三至第η路徑圖像轉換部件L和R也具有相同配置。第k路徑圖像轉換部件L和R接收先前階段的第(k-Ι)路徑圖像轉換部件 L和R的輸出(L(k-l)和R(k-l))，并且分別生成導致視差的左眼信號Lk和右眼信號Rk。由第一路徑圖像轉換部件400-1和第二至第η路徑圖像轉換部件L(400-L2至 400-Ln)生成的左眼信號Ll至Ln被輸入至圖像合成處理部件L(410L)。由第一路徑圖像轉換部件400-1和第二至第η路徑圖像轉換部件R(400_R2至 400-Rn)生成的右眼信號Rl被輸入至圖像合成處理部件R(410R)。如上所述，將包括根據深度設定的每個路徑圖像轉換部件的相加權重的權重信息從圖像合成權重值計算部件405輸入圖像合成處理部件L(410L)和圖像合成處理部件 R(410R)。

圖像合成處理部件L(410L)根據從圖像合成權重值計算部件405輸入的權重信息，將第一路徑圖像轉換部件和第二至第η路徑圖像轉換部件L的輸出值相加，從而生成左眼圖像L。圖像合成處理部件R(410R)根據從圖像合成權重值計算部件405輸入的權重信息，將第一路徑圖像轉換部件和第二至第η路徑圖像轉換部件R的輸出值相加，從而生成右眼圖像R。將對應于輸入圖像的深度信息輸入至圖像合成權重值計算部件405。當深度信息被輸入至圖像的特定區域(或像素)時，基于預先確定的設定來確定對應于該區域的η個權重值Wl至Wn(η對應于圖像轉換中的路徑數)。它們是乘以每條路徑的輸出結果的權重值。基于權重值，在圖像合成處理部件L(410L)和圖像合成處理部件R(410R)中執行適于圖像的該區域的權重相加。其中，對于特定像素[坐標為(X，y)]，如果第k路徑輸出圖像中的像素值被設定
為Pk(x，y)并且權重被設定為Wk(x，y)，則通過以下公式計算輸出圖像中的像素值Pout (X， y)。[公式2]
ηPou1、x，” — X pk{x,y)xWk{x,y)其中
ηΣ 概(義,少)=1 k=\將以上計算公式應用于左眼圖像L和右眼圖像R。對于權重Wl至Wn的設定，可以分配實數，使得權重值的總和為1，并且不特別限制方法。當認為具有大量路徑的圖像中的視差大時，即，生成看起來位于前面的圖像時，在對應區域被示出在“前面”的情況下，基于深度信息，將對于具有少量路徑的輸出圖像的權重設定為大(具有小k個Wk的權重值增加)，在對應區域被示出在“后面”的情況下，基于深度信息，將對于具有大量路徑的輸出圖像的權重設定為大(具有大k個Wk的權重值增加)。另外，包括在每個路徑圖像轉換部件中的增益控制部基于預先設定的深度信息計算增益系數。可以使用多種方法設定基于深度信息的增益系數。例如，在對象的距離小 (即，深度淺)的情況下，在具有少量路徑的階段中乘以的增益系數增大，并且在具有大量路徑的階段中乘以的增益系數減小。而且，在對象的距離大(即，深度深)的情況下，在具有少量路徑的階段中乘以的增益系數減小，并且在具有大量路徑的階段中乘以的增益系數增大。將參考圖25描述構成圖23中所示的圖像轉換單元的第一路徑圖像轉換部件 400-1、第二路徑圖像轉換部件L(400-L2)以及第二路徑圖像轉換部件R(400_R2)的另一配置示例。圖25中所示的配置不同于參考圖24描述的配置，并且深度信息被輸入至增益系數計算部件480。增益系數計算部件480基于預先設定的算法(對應深度數據和增益系數)計算與以輸入圖像區域為單位的深度信息相對應的增益系數，并且將增益系數作為計算結果輸出至每個路徑圖像轉換部件。第一路徑圖像轉換部件400-1包括第一路徑相位控制信號生成部451、第一路徑乘法處理部452、第一路徑非線性轉換部453以及第一路徑圖像合成部454。第一路徑相位控制信號生成部451對輸入亮度信號Y執行微分處理，以生成微分信號h(Y)。第一路徑乘法處理部452將微分信號h(Y)乘以從增益系數計算部件480輸入的增益系數，從而生成校正微分信號h' (Y)。從增益系數計算部件480輸入的增益系數基于每個像素的距離信息。第一路徑非線性轉換部453對校正微分信號h' (Y)執行非線性轉換處理，以控制視差的生成。第一路徑非線性轉換部453執行已經參考圖8描述的非線性轉換處理，以生成視差加重信號e' (Y)作為輸出。第一路徑圖像合成部454將視差加重信號e' (Y)(為非線性轉換后的校正微分信號)加入輸入亮度信號Y并且從輸入亮度信號Y減去視差加重信號e' (Y)，從而生成以下信號。左眼信號Ll=Y+e' (Y)右眼信號Rl=Y-e' (Y) 第二路徑圖像轉換部件L(400-L2)包括第二路徑相位控制信號生成部461、第二路徑乘法處理部462、第二路徑非線性轉換部463以及第二路徑圖像合成部464。第二路徑圖像轉換部件L(400-L2)接收由第一路徑圖像轉換部件400-1生成的左眼信號Ll并且生成導致大視差的左眼信號L2。第二路徑圖像轉換部件R(400_R2)包括第二路徑相位控制信號生成部471、第二路徑乘法處理部472、第二路徑非線性轉換部473以及第二路徑圖像合成部474。第二路徑圖像轉換部件R(400_R2)接收由第一路徑圖像轉換部件400-1生成的右眼信號Rl并且生成導致大視差的右眼信號R2。與參考圖24描述的配置的不同之處在于，增益系數不由每個路徑圖像轉換部件計算，并且由增益系數計算部件480生成的增益系數被輸入并且乘以由每個路徑相位控制信號生成部生成的微分信號h，從而生成校正微分信號h'。另外，增益系數計算部件480基于預先設定的深度信息計算增益系數并且將增益系數輸出至每個路徑圖像轉換部件。可以使用多種方法設定基于深度信息的增益系數。例如，在對象的距離小(即，深度淺)的情況下，在具有少量路徑的階段中乘以的增益系數增大，并且在具有大量路徑的階段中乘以的增益系數減小。而且，在對象的距離大(即，深度深)的情況下，在具有少量路徑的階段中乘以的增益系數減小，并且在具有大量路徑的階段中乘以的增益系數增大。至此，圖22中所示的配置已經被描述為構成圖21中所示的圖像轉換單元的路徑圖像轉換部件的配置示例，并且圖24和圖25中所示的配置已經被描述為構成圖23中所示的圖像轉換單元的路徑圖像轉換部件的配置示例。然而，圖22、圖24和圖25中所示的路徑圖像轉換部件的所有配置均可以用作構成圖21中所示的圖像轉換單元或者圖23中所示的圖像轉換單元的路徑圖像轉換部件的配置。9、圖像轉換單元的處理順序接下來，將參考圖26中所示的流程圖描述根據本發明的實施例的圖像處理裝置 100的圖像轉換單元130執行的處理順序。另外，圖26中所示的流程圖示出當輸入圖像為運動圖像(視頻數據)時的處理。在步驟SlOl中，微分器131 (參考圖4)對輸入至圖像轉換單元130的視頻數據的亮度信號執行微分處理。即，微分器131例如對圖9A和圖IOA中所示的輸入信執行微分處理，以生成在圖9B和圖IOB中所示的微分信號H。在步驟S102中，確定是否更新深度信息。根據預先設定的信息(諸如，一幀單位、兩幀單位或四幀單位)執行深度信息的更新。以一幀為單位的深度信息的更新例如對應于先前已經參考圖15A至圖15E描述的處理，以兩幀為單位的深度信息的更新對應于圖16A 至圖16E中所示的處理，以及以四幀為單位的深度信息的更新對應于圖17A至圖17E中所示的處理。根據以上設定來確定是否到達更新時間。當更新時間到達時，由于步驟“S102”中的確定為“是”，則圖像轉換處理進行到步驟S103，并且更新深度信息。即，獲取對應于最新輸入幀的深度信息。在步驟S104中，執行增益系數的計算處理。對應于深度信息計算增益系數。然而，增益系數的內容隨著圖像轉換單元的配置而改變。在此，將描述使用圖4中所示的圖像轉換單元130的配置的情況。在這種情況下，圖4中所示的增益控制部件132計算增益系數。當對象距離大時，所計算的增益系數被設定為大，以及當對象距離小時，所計算的增益系數被設定為小。在步驟S105中，執行微分信號校正處理。通過應用在圖4中所示的增益控制部件 132計算的增益系數執行微分信號的校正處理。具體地，如參考圖5所描述的，增益控制部件132中的乘法處理部202將微分信號乘以基于深度信息計算的增益G。通過以上校正處理，例如，生成圖9C和圖IOC中所示的校正微分信號H'。
在步驟S106中，對校正微分信號H'執行非線性轉換處理。非線性轉換部件 133(參考圖4)對從增益控制部件132輸出的校正微分信號H'執行非線性轉換處理。例如，非線性轉換處理為對應于圖8中所示的曲線圖的非線性轉換處理。通過圖像合成部件134執行步驟S107中的處理和隨后的步驟。在步驟S107中，圖像合成部件134的控制部確定是否對當前輸入幀的左眼圖像執行同步。根據從圖像處理裝置100輸出的圖像顯示裝置的顯示方案以及在圖像合成部件134中提供的幀計數器的值執行確定處理。幀計數器保持與輸入圖像幀的幀數量對應的值。當圖像顯示裝置的輸出方案例如為圖18A、圖18B、圖18C、圖18D和圖18E中所示的時分輸出方案時，圖像合成部件134確定是否根據幀計數器的值輸出左眼圖像。S卩，根據圖18A、圖18B、圖18C、圖18D和圖18E中所示的時分輸出方案，控制在奇數幀或偶數幀中輸出左眼圖像。當確定根據幀計數器的值輸出左眼圖像時，圖像轉換處理進行到步驟S108。同時，當確定當前輸入幀為根據幀計數器的值輸出右眼圖像的幀時，圖像轉換處理進行到步驟S110。而且，當圖像顯示裝置的輸出方案不為圖18A、圖18C、圖18D和圖18E中所示的時分輸出方案時，即，當圖像顯示裝置的輸出方案為使用圖19A、圖19C、圖19D和圖19E中所示的兩倍幀率的時分輸出方案，圖20A、圖20C、圖20D、圖20E和圖20F中所示的空分輸出方案，或者圖像顯示裝置接收左眼圖像和右眼圖像并且執行顯示控制時，圖像合成部件134 確定是否對所有輸入幀合成左眼圖像，并且圖像轉換處理進行到步驟S108。在步驟S108中，圖像合成部件134根據先前已經描述的以下公式生成左眼圖像 Left。左眼圖像信號Left = S+E ‘另外，對應于圖19A中所示的輸入信號的視頻數據的亮度等級由S表示，并且視差加重信號的信號等級(通過非線性地轉換校正微分信號H'獲得，所述校正微分信號H'通過應用與對象距離(深度信息)相應的增益G對微分信號H進行校正獲得)由E'表示。同時，當在步驟S107中確定不對當前輸入幀的左眼圖像執行合成時，圖像轉換處理進行到步驟S110，并且對當前輸入幀生成右眼圖像。圖像合成部件134根據先前已經描述的以下公式生成右眼圖像Right。右眼圖像信號Right = S-E'另外，對應于圖19A中所示的輸入信號的視頻數據的亮度等級由S表示，并且視差加重信號的信號等級(其通過非線性地轉換校正微分信號H'獲得，所述校正微分信號H' 通過應用與對象距離(深度信息)相應的增益G對微分信號H進行校正獲得)由E'表示。如果在步驟S108中完成右眼圖像的生成，則在步驟S109中確定是否對與左眼圖像的生成幀相同的幀生成右眼圖像。當圖像顯示裝置的輸出方案為圖18A、圖18C、圖18D 和圖18E中所示的時分輸出方案時，由于在每幀中僅合成用于左眼和右眼中任一只眼的圖像，所以確定不執行右眼圖像的生成，并且圖像轉換處理進行到步驟S111。而且，當圖像顯示裝置的輸出方案不是圖18A、圖18C、圖18D和圖18E中所示的時分輸出方案時，即，當圖像顯示裝置的輸出方案為使用圖19A、圖19C、圖19D和圖19E中所示的兩倍幀率的時分輸出方案，圖20A、圖20C、圖20D、圖20E和圖20F中所示的空分輸出方案，或者圖像顯示裝置接收左眼圖像和右眼圖像并且執行顯示控制時，圖像合成部件134確定是否對所有輸入幀合成右眼圖像，并且圖像轉換處理進行到步驟S110。步驟SllO中的處理為根據先前描述的以上公式進行的右眼圖像的生成處理。在步驟Slll中，圖像合成部件134的控制部確定是否執行圖像減少處理。當圖像顯示裝置的輸出方案為圖20A、圖20C、圖20D、圖20E和圖20F中所示的空分輸出方案時，確定執行圖像減少處理并且圖像轉換處理進行到步驟S112。當圖像顯示裝置的輸出方案不為圖20A、圖20C、圖20D、圖20E和圖20F中所示的空分輸出方案時，即，當圖像顯示裝置的輸出方案為圖15A至圖15E、圖16A至圖16E以及圖17A至圖17E中所示的左眼圖像和右眼圖像的同時輸出方案、圖18A、圖18C、圖18D和圖18E中所示的時分輸出方案、以及圖19A、圖19C、圖19D和圖19E中所示的使用兩倍幀率的時分輸出方案中的任一個方案時，由于圖像減小處理不是必須的，因而圖像轉換處理進行到步驟S114。在步驟S112和S113中，圖像合成部件134從圖20D中所示的右眼圖像和圖20E 中所示的左眼圖像生成圖20F中所示的雙眼視差圖像，如先前參考圖20A、圖20C、圖20D、圖20E和圖20F所描述的。即，圖像合成部件134通過將右眼圖像和左眼圖像的相位偏移一條線，將圖20D中所示的右眼圖像和圖20E中所示的左眼圖像在垂直方向上減小1/2(步驟S112)。另外，圖像合成部件134以水平線為單位，交替地合成以此方式獲得的左眼圖像和右眼圖像，從而生成圖20F中所示的一個雙眼視差圖像(步驟S113)。在步驟S114中，確定在圖像輸出單元150中是否已經完成圖像輸出處理。當已經完成圖像輸出處理時，完成圖像轉換處理。當未完成圖像轉換處理時，圖像轉換處理進行到步驟S115。在步驟Sl 15中，在幀計數器加1之后，圖像轉換處理進行到步驟SlOl，并且重復步驟SlOl至步驟Sl 14的處理。另外，圖26中所示的流程對應于具有圖4中所示的配置的圖像轉換單元的處理。在使用具有通過連接參考圖21至圖25描述的多個路徑圖像轉換部件連續生成導致大視差的圖像的配置的圖像轉換單元的情況下，例如，不同地設置圖26中所示的流程中的步驟S104至S106的處理。在參考圖21描述的圖像轉換單元的配置中，圖21中所示的輸出選擇部件301執行選擇路徑圖像轉換部件的處理，其中，路徑圖像轉換部件采用對應于每個像素的輸出作為其本身的輸出。執行確定與基于深度信息的選擇相關的信息的處理。從而，在圖21的配置中，圖26中所示的流程中的步驟S104至S106的處理可以用基于深度信息的路徑選擇處
理來代替。而且，在具有參考圖23描述的配置的圖像轉換單元的配置中，步驟S104的增益系數計算處理的內容不同。在參考圖23描述的圖像轉換單元的配置中，每個路徑圖像轉換部件400均計算待使用的增益系數。根據增益系數計算處理，基于以下設定計算增益系數。在對象的距離小(即，深度淺)的情況下，在具有少量路徑的階段中乘以的增益系數增大，并且在具有大量路徑的階段中乘以的增益系數減小。而且，在對象的距離大(即，深度深)的情況下，在具有少量路徑的階段中乘以的增益系數減小，并且在具有大量路徑的階段中乘以的增益系數增大。另外，在具有參考圖23描述的配置的圖像轉換單元的配置中，必須計算與第一至第η路徑圖像轉換部件的各個輸出值相關的權重信息。
而且，圖像轉換單元例如可以具有圖27中所示的配置。根據圖27中所示的圖像轉換單元130的配置，與圖4中所示的圖像轉換單元的配置相比，增益控制部件132和非線性轉換部件133的位置改變。根據圖27中所示的配置，非線性轉換部件133用微分器131生成的微分信號執行非線性轉換(參考圖8)并且將非線性轉換結果輸入至增益控制部件132，使得乘以基于對象距離(深度信息)的增益系數，以生成校正微分&非線性處理信號E'。在這種情況下，處理順序不同于圖4中所示的配置中的處理順序。然而，結果與圖4中所示的配置中的結果基本相同。根據上述本發明的實施例的圖像處理裝置，輸入二維圖像數據，改變圖像的特征值(即，其亮度改變被提取的邊緣部分)和邊緣部分的圖像圖案，從而生成右眼圖像和左眼圖像。通過這種配置，可以在立體顯示裝置中生成合適的雙眼視差圖像。另外，獲得對應于對象與相機的距離的深度信息，根據深度信息，對輸入信號S執行微分信號H的增益控制，以生成校正微分信號H'，并且通過校正微分信號H'或視差加重信號E'(通過非線性地轉換校正微分信號H'獲取)和輸入信號的相加和相減生成左眼信號L和右眼信號R，使得可以生成其中設定了基于對象距離(深度)的視差的雙眼視差圖像。而且，可以生成嵌入有所有有效像素值的視差圖像，而不存在根據相關技術的由像素偏移導致的在視差圖像的生成中出現的遮擋等任何問題(參考圖1)。10、二維(2D)顯示處理時的效果另外，根據本發明的實施例的圖像處理裝置生成以下描述的右眼圖像Right和左眼圖像Left。S卩，將對于在圖9A和圖IOA中所示的輸入信號S的圖9B和圖IOB中所示的微分信號H乘以基于距離的增益值，生成圖9C和圖IOC中所示的校正微分信號H'，并且使用圖 9C和圖IOC中所示的校正微分信號H'和輸入信號S，生成圖9D和圖IOD中所示的右眼圖像信號Right以及圖9E和圖IOE中所示的左眼圖像信號Left。Right = S-H'Left = S+H'另外，使用視差加重信號E'(其通過非線性地轉換圖9C和圖IOC中所示的校正微分信號H'獲得)和輸入信號S生成圖9D和圖IOD中所示的右眼圖像信號Right以及圖 9E和圖IOE中所示的左眼圖像信號Left。Right = S-E'Left = S+E'可以從以上公式理解，通過將右眼圖像信號和左眼圖像信號相加生成的相加信號如下。相加信號=(S+H') + (S-H' ) = S或者相加信號=(S+E') + (S-E' ) = S結果，相加信號等效于輸入圖像。從而，例如，在采用參考圖18A、圖18C、圖18D和圖18E或者圖19A、圖19C、圖19D和圖19E描述的時分方案的立體顯示裝置上顯示圖像的情況下，如果用戶(觀看者)在不佩戴基于液晶快門方案的眼鏡的情況下觀看圖像，用戶感知到左眼圖像Left和右眼圖像 Right已經通過人類視覺系統的時間整合功能被整合的圖像。即，圖像等于相加信號S。相加信號=(S+H') + (S-H' ) = S或者相加信號=(S+E') + (S-E' ) = S換句話說，可以感知二維輸入圖像本來的樣子。即，輸入圖像不被看作不自然的雙重圖像并且可以被觀看為未執行處理的圖像。而且，在采用圖20A、圖20C、圖20D、圖20E和圖20F中所示的空分方案的立體顯示
裝置上顯示圖像的情況下，當用戶從不佩戴偏振眼鏡不能感知在垂直方向上的一個像素的距離觀看圖像時，用戶能夠感知在垂直方向上兩個像素相加的圖像。即，該圖像等效于相加信號S。

相加信號=(S+H') + (S-H' ) = S或者相加信號=(S+E') + (S-E' ) = S同時，由于在使用眼鏡時人類視力的視網膜像差是正常視力的10倍，因而即使用戶從這種距離觀看圖像時，仍可以充分識別左眼圖像和右眼圖像之間的視網膜像差。從而，當用戶拿掉偏振眼鏡時，圖像不被看作不自然的雙重圖像并且可以被觀看為未經處理的圖像。如果用戶佩戴偏振眼鏡，則可以立體感知。如上所述，根據本發明的實施例的圖像處理裝置生成的圖像被顯示在立體顯示裝置上，使得當用戶佩戴立體視覺眼鏡時可以立體感知，并且當用戶不佩戴立體視覺眼鏡時，圖像可以被感知為未經轉換的二維圖像。如上所述，相加信號被設定為等效于或基本等效于輸入信號。從而，當用戶看到顯示在立體顯示裝置上的圖像時，如果用戶佩戴立體視覺眼鏡，則用戶可以感知立體表示，如果用戶沒有佩戴立體視覺眼鏡，則可以感知圖像為正常二維圖像。即，不管用戶是否佩戴眼鏡，都可以欣賞圖像。而且，在根據本發明的實施例的圖像處理裝置中，左眼圖像和右眼圖像之間的視差非常小，并且可以減少當用戶佩戴立體視覺眼鏡時用戶的疲勞。11、包括圖像顯示單元的實施例參考圖2和圖3描述的圖像處理裝置不具有圖像顯示單元。然而，圖像處理裝置也可以具有圖像顯示單元。圖28是示出根據實施例的包括圖像顯示單元的圖像處理裝置的示意圖。在圖像顯示裝置500中，圖像輸入單元110接收從數碼相機等輸出的靜止圖像文件和從便攜式攝像機等輸出的運動圖像數據，并且將它們轉換為內部數據格式。其中，內部數據格式表示基帶的運動圖像數據，并且包括三基色(紅色(R)、綠色(G)和藍色(B))的視頻數據或亮度(Y)和色差(Cb和Cr)的視頻數據。在內部數據格式中，如果色空間的識別信號重疊并且隨后階段的色空間轉換單元120對應于圖像輸入單元110，則可以采用任何色空間。深度信息輸出單元115從外部接收對應于圖像輸入單元110的輸入圖像信號的深度信息或者在深度信息輸出單元115中生成深度信息，并且將深度信息輸出至圖像轉換單元130。深度信息例如包括圖IB中所示的距離圖像等。不指定數據格式。從圖像輸入單元110輸出的視頻數據被輸入色空間轉換單元120并且被轉換成亮度信號和色差信號。此時，當輸入視頻數據符合Y、cb和Cr色空間時，色空間轉換單元120 輸出輸入視頻數據，而不執行色空間轉換。當輸入視頻數據符合R、G和B色空間或其他色空間時，色空間轉換單元120將輸入視頻數據轉換為亮度(Y)和色差(Cb和Cr)信號并且輸出轉換后的信號。其中，從色空間轉換單元120輸出的視頻數據的色空間不限于Y、Cb和Cr色空間。例如，如果亮度分量和彩色分量相互分離，則可以采用任何色空間。從色空間轉換單元120輸出的視頻數據被輸入圖像轉換單元130。圖像轉換單元 130通過先前描述的處理生成用于左眼和右眼的雙眼視差圖像，根據圖像顯示單元550的類型合成這些圖像，并且輸出合成后的圖像。從圖像轉換單元130輸出的視頻信號被輸入反向色空間轉換單元140，并且將Y、 Cb和Cr色空間轉換為R、G和B色空間。從反向色空間轉換單元140輸出的視頻數據被輸入圖像顯示單元550。圖像顯示單元550用作圖像輸出單元和顯示單元，并且根據以下描述的立體顯示方案(時分方案或空分方案)中的任一個方案執行圖像顯示。時分方案根據時分立體顯示方法，輸入視頻數據的奇數幀和偶數幀分別被識別為左眼圖像和右眼圖像(或者右眼圖像和左眼圖像)，并且通過控制用戶佩戴的基于液晶快門方案的眼鏡，視頻被暫時和交替地提供給左眼和右眼。根據該顯示方法，圖像顯示單元550與用戶佩戴的眼鏡的左部分和右部分的快門切換同步地控制左眼圖像和右眼圖像的輸出切換定時。空分方案根據空分立體顯示方法，在偏振濾光片(其中，其偏振方向被設定成對于每個水平線改變)被附著至顯示單元的前表面之后，當用戶用基于偏振濾光片方案的眼鏡觀看圖像時，對于每條水平線分離的視頻被提供給用戶的雙眼。如上所述，在根據本發明的實施例的圖像處理裝置中，輸入二維圖像數據，并且以偽方式根據圖像的特征值生成左眼圖像和右眼圖像，使得可以執行使用雙眼視差的立體顯示。另外，在根據本發明的實施例的圖像處理裝置中，由于執行圖像轉換使得通過將左眼圖像加入到右眼圖像獲得的圖像等效于輸入圖像，所以如果用戶佩戴了立體視覺眼鏡，用戶可以感知立體表示(stereoscopic r印resentation)，如果用戶沒有佩戴立體視覺眼鏡，則可以感知圖像為正常二維圖像，使得不管用戶是否佩戴眼鏡，都可以欣賞圖像。而且，在根據本發明的實施例的圖像顯示裝置中，左眼圖像和右眼圖像之間的視差非常小，并且可以減小當用戶佩戴立體視覺眼鏡時用戶的疲勞。至此，詳細描述了本發明的特定實施例。然而，本領域技術人員應該明白，在本發明的范圍內可以作出修改和替換。即，本發明以示例的形式被披露并且不限于說明的形式。為了確定本發明的范圍，應該考慮所附權利要求部分。而且，可以通過硬件、軟件、或硬件和軟件的組合配置執行說明書中描述的一系列處理。當通過軟件執行這些處理時，記錄處理順序的程序(其被嵌入專用硬件中)可以在安裝于計算機中的存儲器中之后被執行，或者程序可以在安裝于能夠執行多種處理的通用計算機中之后被執行。例如，程序可以預先記錄在記錄介質上。程序不僅可以從記錄介質安裝到計算機，而且還可以在通過所謂的LAN(局域網)或互聯網的網絡被接收之后安裝在記錄介質(諸如嵌入式硬盤)上。另外，在說明書中寫入的多種處理不僅可以根據其寫入順序按照時間序列執行，而且還可以根據執行處理的裝置的處理能力或者是否必要并行地或單獨執行。而且，應該注意，在此所指的系統表示多個裝置的邏輯集合，并且每個組件裝置不必須容納在同一機架中。本申請包括關于2009年12月14日提交到日本專利局的日本優先權專利申請JP 2009-283080中披露的主題，通過參考其全部內容結合于此。本領域技術人員應該明白，根據設計要求和其他因素等可以出現多種修改、結合、子結合以及改變，它們均在所附權利要求或其等價物的范圍內。
權利要求
1.一種圖像處理裝置，包括圖像輸入單元，輸入二維圖像信號；深度信息輸出單元，輸入或生成構成所述二維圖像信號的圖像區域的深度信息；圖像轉換單元，接收來自所述圖像輸入單元的圖像信號和來自所述深度信息輸出單元的所述深度信息，并且生成和輸出用于實現雙眼立體視覺的左眼圖像和右眼圖像；以及圖像輸出單元，輸出從所述圖像轉換單元輸出的所述左眼圖像和所述右眼圖像，其中，所述圖像轉換單元提取輸入圖像信號的空間特征值，并且對所述輸入圖像信號執行包括應用所述特征值和所述深度信息的加重處理的圖像轉換處理，從而生成所述左眼圖像和所述右眼圖像中的至少之一。
2.根據權利要求1所述的圖像處理裝置，其中，所述圖像轉換單元提取所述輸入圖像信號的亮度微分信號，將所述亮度微分信號設定為所述特征值，通過對所述微分信號基于以圖像區域為單位的深度信息執行增益控制來生成校正微分信號，將通過將所述校正微分信號加入所述輸入圖像信號或從所述輸入圖像信號減去所述校正微分信號獲得的轉換信號中的任一個轉換信號生成為所述左眼圖像或所述右眼圖像，并且將對應于未經過處理的所述輸入圖像信號的非轉換信號輸出為不同于所述轉換信號的眼圖像。
3.根據權利要求1所述的圖像處理裝置，其中，所述圖像轉換單元提取所述輸入圖像信號的亮度微分信號，將所述亮度微分信號設定為所述特征值，通過對所述微分信號基于以圖像區域為單位的深度信息執行增益控制來生成校正微分信號，生成通過將所述校正微分信號加入所述輸入圖像信號獲得的信號以及生成從所述輸入圖像信號減去所述校正微分信號獲得的信號，并且將這兩個信號的對生成為所述左眼圖像和所述右眼圖像的對。
4.根據權利要求2或3所述的圖像處理裝置，其中，所述圖像轉換單元對從所述深度信息輸出單元輸出的所述深度信息大的圖像區域基于大增益執行所述亮度微分信號的校正處理，并且對所述深度信息小的圖像區域基于小增益執行所述亮度微分信號的校正處理，從而生成所述校正微分信號。
5.根據權利要求2和3中任一項所述的圖像處理裝置，其中，所述圖像轉換單元生成通過將通過非線性轉換所述校正微分信號獲得的信號加入所述輸入圖像信號或者從所述輸入圖像信號減去通過非線性轉換所述校正微分信號獲得的信號而獲得的信號，并且將所述信號中的任一個生成為所述左眼圖像或所述右眼圖像。
6.根據權利要求1所述的圖像處理裝置，其中，所述圖像轉換單元包括相位控制信號生成部，生成輸入信號的微分信號；非線性轉換部，對由所述相位控制信號生成部生成的所述微分信號執行非線性轉換處理；圖像合成部，將所述非線性轉換部的輸出加入所述輸入信號或者從所述輸入信號減去所述非線性轉換部的輸出；以及處理路徑，通過所述處理路徑重復由包括所述相位控制信號生成部、所述非線性轉換部和所述圖像合成部的圖像轉換模塊進行的圖像轉換處理，其中，所述圖像轉換單元根據從所述深度信息輸出單元輸出的所述深度信息，選擇并且合成構成所述處理路徑的每個圖像轉換模塊的輸出，從而生成所述左眼圖像或所述右眼圖像。
7.根據權利要求1所述的圖像處理裝置，其中，所述圖像轉換單元包括相位控制信號生成部，生成輸入信號的微分信號；增益控制部，對由所述相位控制信號生成部生成的所述微分信號，基于根據從所述深度信息輸出單元輸出的所述深度信息設定的增益系數，執行增益控制，從而生成校正微分信號；非線性轉換部，對所述增益控制部的輸出執行非線性轉換處理；圖像合成部，將所述非線性轉換部的輸出加入所述輸入信號或者從所述輸入信號減去所述非線性轉換部的輸出；處理路徑，通過所述處理路徑重復由包括所述相位控制信號生成部、所述增益控制部、所述非線性轉換部和所述圖像合成部的圖像轉換模塊進行的圖像轉換處理；權重值計算部件，根據從所述深度信息輸出單元輸出的所述深度信息，設定構成所述處理路徑的每個圖像轉換模塊的權重值；以及圖像合成部件，根據由所述權重值計算部計算的所述權重值，合成構成所述處理路徑的每個圖像轉換模塊的輸出，從而生成所述左眼圖像或所述右眼圖像。
8.根據權利要求1所述的圖像處理裝置，其中，所述圖像轉換單元包括相位控制信號生成部，生成輸入信號的微分信號；乘法處理部，通過將由所述相位控制信號生成部生成的所述微分信號乘以根據從所述深度信息輸出單元輸出的所述深度信息設定的增益系數，來生成校正微分信號；非線性轉換部，對所述乘法處理部的輸出執行非線性轉換處理；圖像合成部，將所述非線性轉換部的輸出加入所述輸入信號或者從所述輸入信號減去所述非線性轉換部的輸出；處理路徑，通過所述處理路徑重復由包括所述相位控制信號生成部、所述乘法處理部、所述非線性轉換部和所述圖像合成部的圖像轉換模塊進行的圖像轉換處理；權重值計算部件，根據從所述深度信息輸出單元輸出的所述深度信息，設定構成所述處理路徑的每個圖像轉換模塊的權重值；以及圖像合成部件，根據由所述權重值計算部計算的所述權重值，合成構成所述處理路徑的每個圖像轉換模塊的輸出，從而生成所述左眼圖像或所述右眼圖像。
9.根據權利要求1至8中任一項所述的圖像處理裝置，其中，所述圖像轉換單元對構成運動圖像的每幀生成所述左眼圖像和所述右眼圖像。
10.根據權利要求9所述的圖像處理裝置，進一步包括圖像輸出單元，以輸入圖像幀的幀率的兩倍幀率，交替地輸出由所述圖像轉換單元生成的所述左眼圖像和所述右眼圖像。
11.根據權利要求1至8中任一項所述的圖像處理裝置，其中，所述圖像轉換單元對構成運動圖像的每幀交替地生成所述左眼圖像或所述右眼圖像。
12.根據權利要求1至8中任一項所述的圖像處理裝置，其中，所述圖像轉換單元對構成運動圖像的每幀生成所述左眼圖像和所述右眼圖像，并且生成交替地包括構成所生成的左眼圖像和右眼圖像的線數據的雙眼視差圖像。
13.根據權利要求1至12中任一項所述的圖像處理裝置，其中，所述圖像轉換單元基于所生成的左眼圖像和右眼圖像的相加信號等效于或幾乎等效于所述輸入信號的設定，生成所述左眼圖像和所述右眼圖像。
14.根據權利要求1至13中任一項所述的圖像處理裝置，進一步包括圖像顯示單元，顯示由所述圖像轉換單元生成的圖像。
15.根據權利要求14所述的圖像處理裝置，其中，所述圖像顯示單元執行交替地輸出所述左眼圖像和所述右眼圖像的時分立體顯示處理。
16.根據權利要求15所述的圖像處理裝置，其中，當所述圖像顯示單元執行交替地輸出所述左眼圖像和所述右眼圖像的時分立體顯示處理時，所述圖像顯示單元與圖像觀看者所佩戴的眼鏡的左部分和右部分的快門切換同步地切換所述左眼圖像和所述右眼圖像的輸出切換定時。
17.根據權利要求14所述的圖像處理裝置，其中，所述圖像顯示單元具有偏振濾光片被附著至其前表面的配置，并且顯示交替地包括構成由所述圖像轉換單元生成的所述左眼圖像和所述右眼圖像的所述線數據的所述雙眼視差圖像，所述偏振濾光片的偏振方向被設置成對于每條水平線改變。
18.一種圖像處理裝置中的圖像處理方法，包括以下步驟通過圖像輸入單元輸入二維圖像信號；通過深度信息輸出單元接收或生成構成所述二維圖像信號的圖像區域的深度信息；接收從所述圖像輸入單元輸出的圖像信號和從所述深度信息輸出單元輸出的所述深度信息，并且通過圖像轉換單元生成和輸出用于實現雙眼立體視覺的左眼圖像和右眼圖像；以及通過圖像輸出單元輸出從所述圖像轉換單元輸出的所述左眼圖像和所述右眼圖像，其中，在接收所述圖像信號和所述深度信息的步驟中，提取輸入圖像信號的空間特征值，并且對所述輸入圖像信號執行包括應用所述特征值和所述深度信息的加重處理的圖像轉換處理，導致生成所述左眼圖像和所述右眼圖像中的至少之一。
19.一種使計算機執行圖像處理裝置的圖像處理的程序，所述圖像處理包括通過圖像輸入單元輸入二維圖像信號；通過深度信息輸出單元接收或生成構成所述二維圖像信號的圖像區域的深度信息；接收從所述圖像輸入單元輸出的圖像信號和從所述深度信息輸出單元輸出的所述深度信息，并且通過圖像轉換單元生成和輸出用于實現雙眼立體視覺的左眼圖像和右眼圖像；以及通過圖像輸出單元輸出從所述圖像轉換單元輸出的所述左眼圖像和所述右眼圖像，其中，在接收所述圖像信號和所述深度信息的步驟中，提取輸入圖像信號的空間特征值，并且對所述輸入圖像信號執行包括應用所述特征值和所述深度信息的加重處理的圖像轉換處理，導致生成所述左眼圖像和所述右眼圖像中的至少之一。
全文摘要
本發明涉及圖像處理裝置、圖像處理方法和程序。一種圖像處理裝置，包括圖像輸入單元，輸入二維圖像信號；深度信息輸出單元，輸入或生成構成二維圖像信號的圖像區域的深度信息；圖像轉換單元，接收來自圖像輸入單元和深度信息輸出單元的圖像信號和深度信息，并且生成和輸出用于實現雙眼立體視覺的左眼圖像和右眼圖像；以及圖像輸出單元，輸出左眼圖像和右眼圖像。圖像轉換單元提取輸入圖像信號的空間特征值，并且對輸入圖像信號執行包括應用特征值和深度信息的加重處理的圖像轉換處理，從而生成左眼圖像和右眼圖像中的至少之一。
文檔編號H04N13/00GK102104786SQ20101058628
公開日2011年6月22日申請日期2010年12月7日優先權日2009年12月14日
發明者伊藤厚史, 小林誠司, 山崎壽夫申請人:索尼公司

完整全部詳細技術資料下載