專利名稱:圖像處理設備、圖像處理方法和程序的制作方法
技術領域:
本公開涉及圖像處理設備、圖像處理方法和程序。具體來說,本公開涉及執行三維圖像顯示的圖像處理設備、圖像處理方法和程序。
背景技術:
最近,已經開發并使用能夠顯示稱為立體圖像的三維圖像(3D圖像)的顯示裝置(如電視和PC)以及能夠記錄三維圖像(3D圖像)的攝像機和靜止圖像照相機。為了顯示3D圖像,有必要從不同視角拍攝兩個圖像。即,這兩個圖像是從左眼視點拍攝的左眼圖像和從右眼視點拍攝的右眼圖像。當顯示從不同視點拍攝的兩個圖像吋,執行控制,使得左眼圖像只被觀賞者的左 眼看到,右眼圖像只被觀賞者的右眼看到,從而觀賞者能夠感覺到立體效果。此外,記錄、傳送以及顯示3D圖像的方法包括多種方法。作為顯示3D圖像的方法之一,ー種方法是在顯示裝置上交替顯示左眼圖像和右眼圖像,觀賞者戴上快門型眼鏡;針對左眼圖像顯示時段和右眼圖像顯示時段中的每ー個執行快門轉換;以及每個圖像只被一只眼睛觀看到。例如,在顯示3D圖像的情況下,顯示左眼圖像和右眼圖像,使得同一顯示對象的顯示位置在左右方向上偏離。通過顯示具有這種視差的圖像,觀賞者能夠感到具有深度感的立體圖像。以下將參照圖IA到2描述設定視差的示例。圖IA示出了不存在視差的圖像的顯示圖像和感受圖像,圖IB示出了存在視差的圖像的顯示圖像和感受圖像,這兩個圖彼此平行布置。在圖IA中,在不存在視差的圖像的顯示圖像的情況下,在左眼圖像和右眼圖像中,對象(蘋果)在圖像顯示表面上的顯示位置相同。在此情況下,如圖IA所示,在觀賞者的左眼觀看到的左眼圖像和觀賞者的右眼觀看到的右眼圖像兩者中,完全在顯示表面上的同一位置處看到顯示對象(蘋果)。結果,觀賞者感覺到顯示對象(蘋果)位于顯示表面位置處。另ー方面,如圖IB的顯示圖像所示,在圖IB中的存在視差的情況(視差設置示例I)示出了一種視差設置示例,其中顯示在顯示面上的左眼圖像向左(從觀賞者觀看時的左偵D偏離,并且右眼圖像向右(從觀賞者觀看時的右側)偏離。在該設置中,如圖IB的感覺到的圖像所示,觀賞者感覺到與圖像對應的對象比顯示面更靠內側(更遠的位置)。此外,如圖2的顯示圖像所示,圖2中存在視差的情況(視差設置示例2)示出了一種視差設置示例,其中顯示在顯示面上的左眼圖像向右(從觀賞者觀看時的右側)偏離,并且右眼圖像向左(從觀賞者觀看時的左側)偏離。在該設置中,如圖2的感覺到的圖像所示,觀賞者感覺到與圖像對應的對象比顯示面更靠前側(更近的位置)。這樣,觀賞者能夠通過左眼圖像和右眼圖像的視差設置,感覺到位于各種位置處的顯示對象的位置。
然而,存在如下情況如果顯示存在視差的圖像,一些觀賞者會感覺到不適或者眼睛疲勞。為了解決該問題,提出了能夠調節視差的結構。例如,日本專利No. 3749227公開了ー種在整個畫面均勻偏離的情況下調節視差的結構。然而,如果整體移動圖像,會存在如下問題原本要顯示在顯示單元上的圖像的端部會被略去。
發明內容
期望提供ー種圖像處理設備、圖像處理方法和程序,其在整個圖像不偏移的情況下實現視差調節。此外,期望提供ー種圖像處理設備、圖像處理方法和程序,其能夠在減輕圖像略去或者沒有圖像略去的情況下執行視差調節。根據本公開的ー個實施例,提供了ー種圖像處理設備,包括立體效果調節單元,接收用于三維圖像顯示的左眼圖像和右眼圖像,并通過校正作為輸入圖像的接收圖像來執行立體效果調節;其中,所述立體效果調節單元對所述左眼圖像和右眼圖像中的至少任意圖像執行橫向方向上的縮小處理或放大處理,并生成調節了視差的校正圖像。所述立體效果調節單元可以確定通過對所述左眼圖像和右眼圖像中的至少任意圖像進行縮小或放大而生成的校正圖像在顯示單元上的顯示位置。所述圖像處理設備還可以包括輸入單元,能夠向所述輸入單元輸入圖像設置信息;和立體效果調節量確定單元,根據從所述輸入單元輸入的圖像設置信息確定用于確定圖像校正類型的控制參數。其中,所述立體效果調節單元可以根據由所述立體效果調節量確定單元確定的控制參數,執行圖像校正處理和顯示位置確定處理。從所述輸入單元輸入的圖像設置信息可以是顯示圖像的左端部深度信息ZL和右端部深度信息ZR,并且,在此情況下,所述立體效果調節量確定單元可以基于所述深度信息ZL和ZR,確定所述左眼圖像和右眼圖像的縮放率及其在所述顯示単元上的顯示位置。此外,所述立體效果調節量確定單元可以基于附加到所述輸入圖像的元數據,確定所述左眼圖像和右眼圖像的縮放率及其在所述顯示単元上的顯示位置。所述圖像處理設備還可以包括顯示單元,所述顯示単元執行應用了作為由所述立體效果調節單元生成的校正圖像的左眼圖像和右眼圖像的3D圖像顯示。根據本公開的另ー實施例,提供了一種在圖像處理設備中執行的圖像處理方法,包括使立體效果調節單元接收用于三維圖像顯示的左眼圖像和右眼圖像,并通過校正作為輸入圖像的接收圖像來執行立體效果調節;其中,立體效果的調節包括對所述左眼圖像和右眼圖像中的至少任意圖像執行橫向方向上的縮小處理或放大處理,并生成調節了視差的校正圖像。根據本公開的還ー實施例,提供了一種使圖像處理設備能夠執行包括以下步驟的圖像處理的程序使立體效果調節單元接收用于三維圖像顯示的左眼圖像和右眼圖像,并通過校正作為輸入圖像的接收圖像來執行立體效果調節;其中,立體效果的調節包括對所述左眼圖像和右眼圖像中的至少任意圖像執行橫向方向上的縮小處理或放大處理,并生成調節了視差的校正圖像。此外,根據本公開的還一實施例的程序例如是可以由存儲介質或通信介質提供的程序,以計算機可讀格式將存儲介質或通信介質提供給能夠執行各種程序或代碼的信息處、理設備或計算機系統。以計算機可讀格式提供這種程序,從而在信息處理設備或計算機系統上實現與程序對應的處理。將基于以下描述的本公開的實施例或附圖,通過更詳細的描述來給出本公開的其他目的、特征或優點。此外,在本說明書中,系統是多個組成裝置的邏輯集合并且并不限于在同ー機殼內的各個組成裝置。根據本公開的實施例的結構,能夠提供一種能夠通過簡單的處理來調節立體效果的設備和方法。具體來說,提供了ー種立體效果調節單元,其接收用于三維圖像顯示的左眼圖像和右眼圖像,并通過校正作為輸入圖像的接收圖像來執行立體效果調節。所述立體效果調節單元根據例如從用戶輸入的設置信息,對所述左眼圖像和右眼圖像中的至少任意圖像執行橫向方向上的縮小處理或放大處理,并生成調節了視差的校正圖像。此外,所述立體效果調節單元確定校正圖像在顯示單元上的顯示位置,并將所確定的顯示位置輸出到顯示單元 以執行3D圖像顯示處理。在本結構中,例如,可以僅通過對圖像的縮小處理來調節視差,因此可以執行用于在任意深度位置處顯示對象的控制。
圖IA和IB是圖解說明視差設置和觀賞者感覺到的圖像的示例的圖。圖2是圖解說明視差設置和觀賞者感覺到的圖像的示例的圖。圖3A和3B是圖解說明根據本公開的ー個實施例的圖像處理設備執行的處理的示例的圖。圖4A和4B是圖解說明根據本公開的ー個實施例的圖像處理設備執行的處理的示例的圖。圖5A和5B是圖解說明根據本公開的ー個實施例的圖像處理設備執行的處理的示例的圖。圖6A和6B是圖解說明根據本公開的ー個實施例的圖像處理設備執行的處理的示例的圖。圖7是圖解說明根據本公開的ー個實施例的圖像處理設備的結構示例的圖。圖8A到SC是圖解說明輸入到根據本公開的ー個實施例的圖像處理設備的圖像的示例的圖。圖9是圖解說明根據本公開的ー個實施例的圖像處理設備執行的處理的示例的圖。圖10是圖解說明根據本公開的ー個實施例的圖像處理設備執行的處理的示例的圖。圖11是圖解說明根據本公開的ー個實施例的圖像處理設備執行的處理的示例的圖。圖12是圖解說明根據本公開的ー個實施例的圖像處理設備執行的處理的示例的圖。圖13是圖解說明根據本公開的ー個實施例的圖像處理設備執行的處理序列的流程圖。
具體實施例方式以下,參照附圖描述根據本公開的實施例的圖像處理設備、圖像處理方法以及程序。將按以下順序進行描述。I.根據本公開的ー個實施例的圖像處理設備執行的處理1-1.處理示例I :感覺到顯示對象比顯示表面更靠前方的顯示處理示例1-2.處理示例2:感覺到顯示對象比顯示表面更靠內側的顯示處理示例1-3.處理示例3:感覺到左顯示對象比顯示表面更靠前方并且右顯示對象比顯示表面更靠內側的顯示處理示例
1-4.處理示例4:感覺到左顯示對象比顯示表面更靠內側并且右顯示對象比顯示表面更靠前方的顯示處理示例2.圖像處理設備的結構和處理3.圖像處理設備執行的處理序列4.根據本公開的結構的結論I.根據本公開的ー個實施例的圖像處理設備執行的處理首先,參照圖3A和3B以及之后的圖描述根據本公開的ー個實施例的成像設備執行的處理的詳細示例。在本公開的ー個實施例的成像設備中,輸入預先生成的3D圖像顯示用左眼圖像(L圖像)和右眼圖像(R圖像),并對LR圖像執行例如圖像校正處理,從而生成調節了視差的左眼圖像(L圖像)和右眼圖像(R圖像)。將所生成的圖像輸出到例如顯示裝置,并顯示為3D圖像。將參照圖3A和3B以及之后的圖描述詳細處理示例。將順序描述以下四個詳細處
理示例。1-1.處理示例I :感覺到顯示對象比顯示表面更靠前方的顯示處理示例1-2.處理示例2:感覺到顯示對象比顯示表面更靠內側的顯示處理示例1-3.處理示例3:感覺到左顯示對象比顯示表面更靠前方并且右顯示對象比顯示表面更靠內側的顯示處理示例1-4.處理示例4:感覺到左顯示對象比顯示表面更靠內側并且右顯示對象比顯示表面更靠前方的顯示處理示例1-1.處理示例I :感覺到顯示對象比顯示表面更靠前方的顯示處理示例首先,作為處理示例1,將參照圖3A和3B描述感覺到顯示對象比顯示表面更靠前方的顯示處理示例。圖3A示出了顯示圖像生成示例1,圖3B示出了顯示圖像感覺示例I (全部都向前突出)。圖3A的顯示圖像生成示例I示出了由根據本公開的實施例的圖像處理設備執行的圖像處理的詳細示例。在根據本公開的實施例的圖像處理設備中,輸入預先生成的3D圖像顯示用左眼圖像(L圖像)和右眼圖像(R圖像);對LR圖像中的至少ー個執行圖像縮小處理以生成校正LR圖像;以及確定生成的校正LR的顯示位置。輸入圖像處理設備的3D圖像顯示用左眼圖像(L圖像)和右眼圖像(R圖像)是從不同視點拍攝的圖像,并且是如參照圖IA到2所描述的那樣設定了與對象距離相應的視差的圖像。當在顯示單元上原樣顯示這種圖像時,可以感受到與視差相應的立體效果(深度感)。圖像處理設備接收從不同視點拍攝的3D圖像顯示用LR圖像(例如,由3D攝像機拍攝的LR圖像或從廣播站接收的3D廣播LR圖像),并且圖像處理設備對LR圖像進行再處理以生成校正的LR圖像,以供輸出到顯示單元。根據本公開的實施例的圖像處理設備以下對輸入的LR圖像中的至少ー個圖像執行水平方向(左右方向)上的圖像縮小處理,從而實現視差調節。
圖3A所示的示例示出了一個處理示例,其中作為輸入圖像的左眼圖像(L圖像)和右眼圖像(R圖像)兩者均在水平方向上被縮小,從而產生左眼校正圖像111和右眼校正圖像112。將左眼校正圖像111和右眼校正圖像112輸出到顯示裝置,該顯示裝置能夠將3D圖像顯示為3D顯示圖像113。例如,交替輸出縮小的左眼校正圖像111和縮小的右眼校正圖像112,進行設定,使得佩戴快門型眼鏡的觀賞者的左眼僅觀看到左眼校正圖像111并且右眼僅觀看到右眼校正圖像112,從而能夠觀看到3D圖像。以下將詳細描述圖3A所示的圖像校正處理。輸入到圖像處理設備的原始輸入LR圖像的寬度由W來表示。圖像處理設備將輸入的L圖像的水平寬度縮小LX 1,由此執行縮小處理,其中L圖像在水平方向上的圖像寬度從W減小到(W-LX I)。換句話說,如果L圖像在水平方向上的縮小比例是Lm,Lm = (ff-LX I)/W0按設定的縮小比例執行圖像水平方向上的圖像縮小處理,從而生成左眼校正圖像111。此外,圖像處理設備將輸入的R圖像的水平寬度縮小RX 2,由此執行縮小處理,其中R圖像在水平方向上的圖像寬度從W減小到(W-RX 2)。換句話說,如果R圖像在水平方向上的縮小比例是Rm,Rm = (W_RX2)/W。按設定的縮小比例執行圖像水平方向上的圖像縮小處理,從而生成右眼校正圖像112。此外,在該處理示例中,假設Lxl三Rx2。圖像處理設備確定所生成的左眼校正圖像111和右眼校正圖像112在顯示單元上的顯示位置。在顯示單元上的顯示位置是圖3A所示的左眼校正圖像111和右眼校正圖像112的位置。也就是說,如果針對圖3A中的左眼校正圖像111和右眼校正圖像112中的每ー個所示的橫向范圍=W(x = 0到w)的虛線范圍是顯示單元的顯示畫面區域,那么左眼校正圖像111以X = LX I到w的位置為顯示位置。
右眼校正圖像112以X = 0到(W-RX2)的位置為顯示位置。如上所述,圖像處理設備確定所生成的左眼校正圖像111和右眼校正圖像112在顯示單元上的顯示 位置。如在圖3A的左端所示,將描述左眼校正圖像111和右眼校正圖像112在水平方向是X并且垂直方向是y的坐標上的顯示位置。在校正前的輸入LR圖像在不校正的情況下顯示在顯示裝置上的情況下,L圖像和R圖像均顯示在X = 0到w的位置。與此對照,通過縮小處理生成的左眼校正圖像111的水平方向寬度=(W-LX I)。圖像處理設備執行顯示位置確定處理,使得左眼校正圖像111的顯示位置是X =LXl到w的位置。此外,通過縮小處理生成的右眼校正圖像112的水平方向寬度=(W-RX2)。圖像處理設備執行顯示位置確定處理,使得右眼校正圖像112的顯示位置是X =0到(w-RX2)的位置。圖3B是圖解說明在根據上述圖像縮小處理和顯示位置確定處理的處理結果來顯示3D圖像的情況下觀賞者感覺到的圖像的圖。為便于說明,將在如下假設下進行說明圖像沒有視差,即,將校正前的作為輸入圖像的LR圖像原樣顯示為3D圖像,執行設定,從而在顯示單元上將對象圖像(即,輸入的LR圖像中包括的對象(蘋果)和對象(桔子))顯示在與它們在LR圖像上的位置相同的位置。換句話說,假設在顯示單元上原樣顯示輸入的LR圖像的情況下,觀賞者將對象(蘋果)和對象(桔子)感覺成位于顯示単元的顯示表面的深度位置處的對象。已經參照圖IA描述了該設置。根據上述圖像縮小處理和顯示位置確定處理的處理結果顯示3D圖像,從而觀賞者感覺到對象好像位于圖3B所示的感覺表面122處一祥。換句話說,對象(蘋果)和對象(桔子)看起來好像它們兩者都位于從顯示表面121往前突出的感覺表面122上一祥。這基于參照圖2描述的原理。圖3B示出了在感覺表面122與顯示表面121之間的距離是深度距離,并且左端深度和右端深度分別被設定為左端深度=ZL和右端深度=ZR的情況下,顯示表面與感覺圖像之間的距離信息。此外,在該圖所示的示例中,將作為產生每個對象的視差的因素的畫面上的偏差量表示成如下。左對象(蘋果)的對象偏差量=(LX I)右對象(桔子)的對象偏差量=(RX 2)此外,對象偏差量=(LxlXRx2)對象偏差量=(Lxl)三(Rx2)均這種偏差是通過對輸入LR圖像的縮小和顯
示位置控制而產生的,通過這些處理產生了視差,并且感覺每個對象好像它位于在比顯示表面121位于更前方的感覺表面122上一祥。
由于對象偏差量=(Lxl)三(Rx2),因此顯示圖像中的左端深度和右端深度ZL和ZR是ZL三ZR。這樣,在該處理示例I中,執行顯示處理,其中感覺到總體顯示圖像比顯示表面更靠前方。在該示例中,如上所述,在校正前的輸入LR圖像中,如果原樣觀賞未對對象(蘋果和桔子)設定視差的圖像(即,輸入LR圖像),那么感覺到這些對象(蘋果和桔子)位于顯示表面上。圖像處理設備通過在水平方向上對輸入LR圖像執行縮小處理和顯示位置控制,來控制視差控制,由此可以顯示具有與輸入LR圖像的視差不同的視差的3D圖像。在本示例中,實現了這樣的設置可以感覺到整個顯示畫面在屏幕的前方。
此外,在本處理示例中,執行處理,從而在橫向方向上縮小左眼圖像和右眼圖像中的至少ー個,并且沒有圖像在顯示表面以外的圖像略去,因此可以在顯示表面上顯示期望顯示的總體圖像。1-2.處理示例2:感覺到顯示對象比顯示表面更靠內側的顯示處理示例接下來,作為處理示例2,參照圖4A和4B描述感覺到顯示對象比顯示表面更靠內側的顯示處理示例。類似于圖3A和3B,圖4A示出了顯示圖像生成示例2,圖4B示出了顯示圖像感覺示例2(全部都向內凹迸)。圖4A的顯示圖像生成示例2示出了由根據本公開的實施例的圖像處理設備執行的圖像處理的詳細示例。如上所述,在根據本公開的實施例的圖像處理設備中,輸入預先生成的3D圖像顯示用左眼圖像(L圖像)和右眼圖像(R圖像);對LR圖像中的至少ー個執行圖像縮小處理以生成校正LR圖像;以及確定生成的校正LR的顯示位置。圖像處理設備接收從不同視點拍攝的3D圖像顯示用LR圖像(例如,由3D攝像機拍攝的LR圖像或從廣播站接收的3D廣播LR圖像),并且圖像處理設備對LR圖像進行再處理以生成校正的LR圖像,以供輸出到顯示單元。類似于參照圖3A描述的處理示例,圖4A所示的示例示出了一個處理示例,其中作為輸入圖像的左眼圖像(L圖像)和右眼圖像(R圖像)兩者均在水平方向上被縮小,從而產生左眼校正圖像131和右眼校正圖像132。將左眼校正圖像131和右眼校正圖像132輸出到顯示裝置,該顯示裝置能夠將3D圖像顯示為3D顯示圖像133。例如,交替輸出縮小的左眼校正圖像131和縮小的右眼校正圖像132,進行設定,使得佩戴快門型眼鏡的觀賞者的左眼僅觀看到左眼校正圖像131并且右眼僅觀看到右眼校正圖像132,從而能夠觀看到3D圖像。以下將詳細描述圖4A所示的圖像校正處理。輸入到圖像處理設備的原始輸入LR圖像的寬度由W來表示。圖像處理設備將輸入的L圖像的水平寬度縮小LX2,由此執行縮小處理,其中L圖像在水平方向上的圖像寬度從W減小到(W-LX 2)。換句話說,如果L圖像在水平方向上的縮小比例是Lm,Lm = (W_LX2)/W。
按設定的縮小比例執行圖像水平方向上的圖像縮小處理,從而生成左眼校正圖像
131。此外,圖像處理設備將R圖像的水平寬度縮小RX 1,由此執行縮小處理,其中R圖像在水平方向上的圖像寬度從W減小到(W-RX I)。換句話說,如果R圖像在水平方向上的縮小比例是Rm,Rm = (ff-RX I)/W。
按設定的縮小比例執行圖像水平方向上的圖像縮小處理,從而生成右眼校正圖像
132。此外,在該處理示例中,假設Rx l=Lx2。圖像處理設備確定所生成的左眼校正圖像131和右眼校正圖像132在顯示單元上的顯示位置。在顯示單元上的顯示位置是圖4A所示的左眼校正圖像131和右眼校正圖像132的位置。也就是說,如果針對圖4A中的左眼校正圖像131和右眼校正圖像132中的每ー個所示的橫向范圍=W(x = 0到w)的虛線范圍是顯示單元的顯示畫面區域,那么左眼校正圖像131以X = 0到(W-LX2)的位置為顯示位置。右眼校正圖像132以X = RX I到w的位置為顯示位置。如上所述,圖像處理設備確定所生成的左眼校正圖像131和右眼校正圖像132在顯示單元上的顯示位置。如在圖4A的左端所示,將描述左眼校正圖像131和右眼校正圖像132在水平方向是X并且垂直方向是y的坐標上的顯示位置。在校正前的輸入LR圖像在不校正的情況下顯示在顯示裝置上的情況下,L圖像和R圖像均顯示在X = 0到w的位置。與此對照,通過縮小處理生成的左眼校正圖像131的水平方向寬度=(W-LX2)。圖像處理設備執行顯示位置確定處理,使得左眼校正圖像131的顯示位置是X =0到(w-LX2)的位置。此外,通過縮小處理生成的右眼校正圖像132的水平方向寬度=(W-RXl)。圖像處理設備執行顯示位置確定處理,使得右眼校正圖像132的顯示位置是X =RXl到w的位置。圖4B是圖解說明在根據上述圖像縮小處理和顯示位置確定處理的處理結果來顯示3D圖像的情況下觀賞者感覺到的圖像的圖。為便于說明,將在如下假設下進行說明圖像沒有視差,即,將校正前的作為輸入圖像的LR圖像原樣顯示為3D圖像,執行設定,從而在顯示單元上將對象圖像(即,輸入的LR圖像中包括的對象(蘋果)和對象(桔子))顯示在與它們在LR圖像上的位置相同的位置。換句話說,假設在顯示單元上原樣顯示輸入的LR圖像的情況下,觀賞者將對象(蘋果)和對象(桔子)感覺成位于顯示単元的顯示表面的深度位置處的對象。已經參照圖IA描述了該設置。根據上述圖像縮小處理和顯示位置確定處理的處理結果顯示3D圖像,從而觀賞者感覺到對象好像位于圖4B所示的感覺表面142處一祥。
換句話說,對象(蘋果)和對象(桔子)看起來好像它們兩者都位于從顯示表面141往內凹進的感覺表面142上一祥。這基于參照圖IB描述的原理。圖4B示出了在感覺表面142與顯示表面141之間的距離是深度距離,并且左端深度和右端深度分別被設定為左端深度=ZL和右端深度=ZR的情況下,顯示表面與感覺圖像之間的距離信息。此外,在該圖所示的示例中,將作為產生每個對象的視差的因素的畫面上的偏差量表示成如下。左對象(蘋果)的對象偏差量=(RX I) 右對象(桔子)的對象偏差量=(LX 2)此外,對象偏差量=(Rxl)三(Lx2)對象偏差量=(Rxl)三(Lx2)的這種偏差是通過對輸入LR圖像的縮小和顯
示位置控制而產生的,通過這些處理產生了視差,并且感覺每個對象好像它位于在比顯示表面141更遠離觀賞者的感覺表面142上一祥。由于對象偏差量=(Rxl)三(Lx2),因此顯示圖像中的左端深度和右端深度ZL和ZR是ZL三ZR。這樣,在該處理示例2中,執行顯示處理,其中感覺到總體顯示圖像比顯示表面位于更遠的位置。在該示例中,如上所述,在校正前的輸入LR圖像中,如果原樣觀賞未對對象(蘋果和桔子)設定視差的圖像(即,輸入LR圖像),那么感覺到這些對象(蘋果和桔子)位于顯示表面上。圖像處理設備通過在水平方向上對輸入LR圖像執行縮小處理和顯示位置控制,來控制視差控制,由此可以顯示具有與輸入LR圖像的視差不同的視差的3D圖像。在本示例中,實現了這樣的設置可以感覺到整個顯示畫面在比屏幕更遠的位置。此外,在本處理示例中,執行處理,從而在橫向方向上縮小左眼圖像和右眼圖像中的至少ー個,并且沒有圖像在顯示表面以外的圖像略去,因此可以在顯示表面上顯示期望顯示的總體圖像。1-3.處理示例3:感覺到左顯示對象比顯示表面更靠前方并且右顯示對象比顯示表面更靠內側的顯示處理示例接下來,作為處理示例3,參照圖5A和5B描述感覺到左顯示對象比顯示表面更靠前方并且右顯示對象比顯示表面更靠內側的顯示處理示例。類似于圖3A到4B,圖5A示出了顯示圖像生成示例3,圖5B示出了顯示圖像感覺示例3 (左顯示對象向前突出,右顯示對象向內凹進)。圖5A的顯示圖像生成示例3示出了由根據本公開的實施例的圖像處理設備執行的圖像處理的詳細示例。如上所述,在根據本公開的實施例的圖像處理設備中,輸入預先生成的3D圖像顯示用左眼圖像(L圖像)和右眼圖像(R圖像);對LR圖像中的至少ー個執行圖像縮小處理以生成校正LR圖像;以及確定生成的校正LR的顯示位置。
圖像處理設備接收從不同視點拍攝的3D圖像顯示用LR圖像(例如,由3D攝像機拍攝的LR圖像或從廣播站接收的3D廣播LR圖像),并且圖像處理設備對LR圖像進行再處理以生成校正的LR圖像,以供輸出到顯示單元。在圖5A所示的示例中,僅對作為輸入圖像的左眼圖像(L圖像)在水平方向上進行縮小,然后生成左眼校正圖像151。在不縮小的情況下,使用輸入的右眼圖像(R圖像)作為右眼圖像152。將左眼校正圖像151和右眼圖像152輸出到顯示裝置,該顯示裝置能夠將3D圖像顯示為3D顯示圖像153。例如,交替輸出縮小的左眼校正圖像151和右眼圖像152,進行設定,使得佩戴快
門型眼鏡的觀賞者的左眼僅觀看到左眼校正圖像151并且右眼僅觀看到右眼圖像152,從而能夠觀看到3D圖像。以下將詳細描述圖5A所示的圖像校正處理。輸入到圖像處理設備的原始輸入LR圖像的寬度由W來表示。圖像處理設備將輸入的L圖像的水平寬度縮小(LX I+LX 2),由此執行縮小處理,其中L圖像在水平方向上的圖像寬度從W減小到(W-(LX1+LX2))。換句話說,如果L圖像在水平方向上的縮小比例是Lm,Lm = (W_(LX 1+LX2))/W。按設定的縮小比例執行圖像水平方向上的圖像縮小處理,從而生成左眼校正圖像151。此外,在該處理示例中,假設Lxl三Lx2。在不縮小的情況下,使用輸入的右眼圖像(R圖像)作為右眼圖像152。圖像處理設備確定所生成的左眼校正圖像151和右眼圖像152在顯示單元上的顯示位置。在顯示單元上的顯示位置是圖5A所示的左眼校正圖像151和右眼圖像152的位置。也就是說,如果針對圖5A中的左眼校正圖像151和右眼圖像152中的每ー個所示的橫向范圍=W(x = 0到w)的虛線范圍是顯示單元的顯示畫面區域,那么左眼校正圖像151以X = LXl到(W-LX2)的位置為顯示位置。右眼圖像152以X = 0到w的位置為顯示位置。如上所述,圖像處理設備確定所生成的左眼校正圖像151和右眼圖像152在顯示單元上的顯示位置。如在圖5A的左端所示,將描述左眼校正圖像151和右眼圖像152在水平方向是X并且垂直方向是y的坐標上的顯示位置。在校正前的輸入LR圖像在不校正的情況下顯示在顯示裝置上的情況下,L圖像和R圖像均顯示在X = 0到w的位置。與此對照,通過縮小處理生成的左眼校正圖像151的水平方向寬度=(ff-(LXl+LX2)) o圖像處理設備執行顯示位置確定處理,使得左眼校正圖像151的顯示位置是X =LXl到(w-LX2)的位置。此外,通過縮小處理生成的右眼圖像152的水平方向寬度=0到W。
圖像處理設備執行顯示位置確定處理,使得右眼校正圖像152的顯示位置是X =0到w的位置。圖5B是圖解說明在根據上述圖像縮小處理和顯示位置確定處理的處理結果來顯示3D圖像的情況下觀賞者感覺到的圖像的圖。為便于說明,將在如下假設下進行說明圖像沒有視差,即,將校正前的作為輸入圖像的LR圖像原樣顯示為3D圖像,執行設定,從而在顯示單元上將對象圖像(即,輸入的LR圖像中包括的對象(蘋果)和對象(桔子))顯示在與它們在LR圖像上的位置相同的位置。換句話說,假設在顯示單元上原樣顯示輸入的LR圖像的情況下,觀賞者將對象(蘋果)和對象(桔子)感覺成位于顯示単元的顯示表面的深度位置處的對象。
已經參照圖IA描述了該設置。根據上述圖像縮小處理和顯示位置確定處理的處理結果顯示3D圖像,從而觀賞者感覺到對象好像位于圖5B所示的感覺表面162處一祥。換句話說,左對象(蘋果)看起來好像它比顯示表面161更靠前方一祥,而右對象(桔子)看起來好像它位于從顯示表面161往內凹進的感覺表面162上一祥。這基于參照圖IB和2描述的原理。圖5B示出了在感覺表面162與顯示表面161之間的距離是深度距離,并且左端深度和右端深度分別被設定為左端深度=ZL和右端深度=ZR的情況下,顯示表面與感覺圖像之間的距離信息。此外,在該圖所示的示例中,將作為產生每個對象的視差的因素的畫面上的偏差量表示成如下。左對象(蘋果)的對象偏差量=(LX I)右對象(桔子)的對象偏差量=(LX 2)此外,對象偏差量=(Lxl)三(Lx2)對象偏差量=(Lxl)三(Lx2)的這種偏差是通過對輸入LR圖像的縮小和顯
示位置控制而產生的,通過這些處理產生了視差。結果,感覺左對象(蘋果)比顯示表面161更靠前方,而感覺右對象(桔子)位于比顯示表面161更遠離觀賞者的位置處。換句話說,感覺各個對象好像位于感覺表面162上一祥,該感覺表面162傾斜,使得左側位于比顯示表面161更靠前的位置處,而右側位于比顯示表面162更靠內的位置處。由于對象偏差量=(Lxl)三(Lx2),因此顯示圖像中的左端深度和右端深度ZL和ZR是ZL三ZR。這樣,在該處理示例3中,執行顯示處理,其中感覺各個對象好像位于感覺表面162上一祥,該感覺表面162傾斜,使得左側位于比顯示表面161更靠前的位置處,而右側位于比顯示表面162更靠內的位置處。在該示例中,如上所述,在校正前的輸入LR圖像中,如果原樣觀賞未對對象(蘋果和桔子)設定視差的圖像(即,輸入LR圖像),那么感覺到這些對象(蘋果和桔子)位于顯示表面上。
圖像處理設備通過在水平方向上對輸入LR圖像執行縮小處理和顯示位置控制,來控制視差控制,由此可以顯示具有與輸入LR圖像的視差不同的視差的3D圖像。在本示例中,執行顯示處理,其中感覺各個對象好像位于感覺表面上一祥,該感覺表面傾斜,使得左側位于比顯示表面更靠前的位置處,而右側位于比顯示表面更靠內的位置處。此外,在本處理示例中,執行處理,從而在橫向方向上縮小左眼圖像和右眼圖像中的至少ー個,并且沒有圖像在顯示表面以外的圖像略去,因此可以在顯示表面上顯示期望顯示的總體圖像。1-4.處理示例4:感覺到左顯示對象比顯示表面更靠內側并且右顯示對象比顯示表面更靠前方的顯示處理示例
接下來,作為處理示例4,參照圖6A和6B描述感覺到左顯示對象比顯示表面更靠內側并且右顯示對象比顯示表面更靠前方的顯示處理示例。類似于圖3A到5B,圖6A示出了顯示圖像生成示例4,圖6B示出了顯示圖像感覺示例4(左顯示對象向內凹進,右顯示對象向前突出)。圖6A的顯示圖像生成示例4示出了由根據本公開的實施例的圖像處理設備執行的圖像處理的詳細示例。如上所述,在根據本公開的實施例的圖像處理設備中,輸入預先生成的3D圖像顯示用左眼圖像(L圖像)和右眼圖像(R圖像);對LR圖像中的至少ー個執行圖像縮小處理以生成校正LR圖像;以及確定生成的校正LR的顯示位置。圖像處理設備接收從不同視點拍攝的3D圖像顯示用LR圖像(例如,由3D攝像機拍攝的LR圖像或從廣播站接收的3D廣播LR圖像),并且圖像處理設備對LR圖像進行再處理以生成校正的LR圖像,以供輸出到顯示單元。在圖6A所示的示例中,僅對作為輸入圖像的右眼圖像(R圖像)在水平方向上進行縮小,然后生成右眼校正圖像172。在不縮小的情況下,使用輸入的左眼圖像(L圖像)作為左眼圖像171。將左眼圖像171和右眼校正圖像172輸出到顯示裝置,該顯示裝置能夠將3D圖像顯示為3D顯示圖像173。例如,交替輸出左眼圖像171和縮小的右眼校正圖像172,進行設定,使得佩戴快門型眼鏡的觀賞者的左眼僅觀看到左眼圖像171并且右眼僅觀看到右眼校正圖像172,從而能夠觀看到3D圖像。以下將詳細描述圖6A所示的圖像校正處理。輸入到圖像處理設備的原始輸入LR圖像的寬度由W來表示。在不縮小的情況下,圖像處理設備使用輸入的左眼圖像(L圖像)作為左眼圖像
171。圖像處理設備將輸入的R圖像的水平寬度縮小(RX I+RX 2),由此執行縮小處理,其中R圖像在水平方向上的圖像寬度從W減小到(W-(RX1+RX2))。換句話說,如果R圖像在水平方向上的縮小比例是Rm,Rm = (W_(RX 1+RX2))/W。按設定的縮小比例執行圖像水平方向上的圖像縮小處理,從而生成右眼校正圖像
172。
此外,在該處理示例中,假設Rxl三Rx2。圖像處理設備確定所生成的左眼圖像171和右眼校正圖像172在顯示單元上的顯示位置。在顯示單元上的顯示位置是圖6A所示的左眼圖像171和右眼校正圖像172的位置。也就是說,如果針對圖6A中的左眼圖像171和右眼校正圖像172中的每ー個所示的橫向范圍=W(x = 0到w)的虛線范圍是顯示單元的顯示畫面區域,那么左眼圖像171以X = 0到w的位置為顯示位置。右眼校正圖像172以X = RX I到(w_RX2)的位置為顯示位置。如上所述,圖像處理設備確定所生成的左眼圖像171和右眼校正圖像172在顯示 單元上的顯示位置。如在圖6A的左端所示,將描述左眼圖像171和右眼校正圖像172在水平方向是x并且垂直方向是y的坐標上的顯示位置。在校正前的輸入LR圖像在不校正的情況下顯示在顯示裝置上的情況下,L圖像和R圖像均顯示在X = 0到w的位置。與此對照,通過縮小處理生成的右眼校正圖像172的水平方向寬度=(W-(RX1+RX2))。圖像處理設備執行顯示位置確定處理,使得右眼校正圖像172的顯示位置是X =RXl到(w-RX2)的位置。此外,通過縮小處理生成的左眼圖像171的水平方向寬度W = 0到W。圖像處理設備執行顯示位置確定處理,使得左眼圖像171的顯示位置是X = 0到w的位置。圖6B是圖解說明在根據上述圖像縮小處理和顯示位置確定處理的處理結果來顯示3D圖像的情況下觀賞者感覺到的圖像的圖。為便于說明,將在如下假設下進行說明圖像沒有視差,即,將校正前的作為輸入圖像的LR圖像原樣顯示為3D圖像,執行設定,從而在顯示單元上將對象圖像(即,輸入的LR圖像中包括的對象(蘋果)和對象(桔子))顯示在與它們在LR圖像上的位置相同的位置。換句話說,假設在顯示單元上原樣顯示輸入的LR圖像的情況下,觀賞者將對象(蘋果)和對象(桔子)感覺成位于顯示単元的顯示表面的深度位置處的對象。已經參照圖IA描述了該設置。根據上述圖像縮小處理和顯示位置確定處理的處理結果顯示3D圖像,從而觀賞者感覺到對象好像位于圖6B所示的感覺表面182處一祥。換句話說,感覺左對象(蘋果)位于比顯示表面181更凹進(更遠)的位置,而感覺右對象(桔子)比顯示表面161更靠前方。也就是說,看起來對象好像位于感覺表面182一祥。這基于參照圖IB和2描述的原理。圖6B示出了在感覺表面182與顯示表面181之間的距離是深度距離,并且左端深度和右端深度分別被設定為左端深度=ZL和右端深度=ZR的情況下,顯示表面與感覺圖像之間的距離信息。此外,在該圖所示的示例中,將作為產生每個對象的視差的因素的畫面上的偏差量表示成如下。左對象(蘋果)的對象偏差量=(RX I)右對象(桔子)的對象偏差量=(RX 2)此外,對象偏差量=(Rxl)三(Rx2)對象偏差量=(Rxl)三(Rx2)的這種偏差是通過對輸入LR圖像的縮小和顯
示位置控制而產生的,通過這些處理產生了視差。
結果,感覺左對象(蘋果)比顯示表面181更靠內側,而感覺右對象(桔子)比顯示表面181更靠前方。換句話說,感覺各個對象好像位于感覺表面182上一祥,該感覺表面182傾斜,使得左側位于比顯示表面181更靠內的位置處,而右側位于比顯示表面182更靠前的位置處。
由于對象偏差量=(Rxl)三(Rx2),因此顯示圖像中的左端深度和右端深度ZL和ZR是ZL三ZR。這樣,在該處理示例4中,執行顯示處理,其中感覺各個對象好像位于感覺表面182上一祥,該感覺表面182傾斜,使得左側位于比顯示表面181更靠內的位置處,而右側位于比顯示表面181更靠前的位置處。在該示例中,如上所述,在校正前的輸入LR圖像中,如果原樣觀賞未對對象(蘋果和桔子)設定視差的圖像(即,輸入LR圖像),那么感覺到這些對象(蘋果和桔子)位于顯示表面上。圖像處理設備通過在水平方向上對輸入LR圖像執行縮小處理和顯示位置控制,來控制視差控制,由此可以顯示具有與輸入LR圖像的視差不同的視差的3D圖像。在本示例中,執行顯示處理,其中感覺各個對象好像位于感覺表面上一祥,該感覺表面傾斜,使得左側位于比顯示表面更靠內的位置處,而右側位于比顯示表面更靠前的位置處。此外,在本處理示例中,執行處理,從而在橫向方向上縮小左眼圖像和右眼圖像中的至少ー個,并且沒有圖像在顯示表面以外的圖像略去,因此可以在顯示表面上顯示期望顯示的總體圖像。此外,圖5A和5B或6A和6B所示的感覺表面顯示成傾斜的并且斜地觀看,從而顯示在立體圖像顯示裝置上的諸如時間碼或菜單的屏上顯示(OSD)可以顯示成傾斜的并且斜地觀看。例如,在顯示表面由觸摸面板形成的情況下,可以將傾斜顯示應用于觸摸n的顯示方法,或者,在非接觸觸摸面板的情況下,可以執行觸摸向前浮起的按鈕的操作。此外,在3D游戲中,可以將傾斜顯示用于各種圖像顯示。2.圖像處理設備的結構和處理接下來,參照圖7以及之后的圖描述根據本公開ー個實施例的圖像處理設備中的結構和處理。圖7所示的圖像處理設備300接收3D圖像顯示用左眼圖像(L圖像)201和右眼圖像(R圖像)202,對輸入圖像執行圖像處理,并生成輸出到能夠顯示3D圖像的顯示單元(如電視機)的輸出圖像251。圖像處理設備300包括L圖像視角轉換單元311和R圖像視角轉換單元321,其將輸入LR圖像的視角調節到輸出顯示表面的允許顯示區域的大小。此外,圖像處理設備300包括對輸入L圖像201執行處理的L圖像立體效果調節單元350和輸入R圖像202執行處理的R圖像立體效果調節單元360,作為如參照圖3A到6B描述的對輸入LR圖像執行縮小處理或顯示位置確定處理的處理單元。L圖像立體效果調節單元350具有縮小處理執行部件351、顯示位置確定部件352以及圖像調節部件353。R圖像立體效果調節單元360具有縮小處理執行部件361、顯示位置確定部件362以及圖像調節部件363。
此外,圖像處理設備300包括顯示單元370和立體圖像合成部件371,顯示單元370具有顯示表面372,顯示表面372實際上利用背光或者自發光材料發光,并顯示視差柵欄式或偏振式立體圖像。此外,圖像處理設備300包括輸入單元330,從用戶向其輸入信息;和立體效果調節量確定單元340,其響應于來自輸入單元330的輸入信息或預先設定的缺省信息,確定立體效果調節量。盡管圖中未示出,但是圖像處理設備300包括控制各個組成單元的處理的控制單元,和存儲在控制單元中執行的程序、處理參數等的存儲器。將描述圖7所示的圖像處理設備300執行的處理。首先,將參照圖8A到8C描述作為輸入圖像的左眼圖像(L圖像)201和右眼圖像(R圖像)202的示例。如上所述,圖像處理設備300接收預先生成的3D圖像顯示用左眼圖像(L圖像)201和右眼圖像(R圖像)202。換句話說,輸入到圖像處理設備300的3D圖像顯示用左眼圖像(L圖像)201和右眼圖像(R圖像)202是從不同視點拍攝的圖像,并且是如參照圖IA到2描述的那樣根據對象距離設定了視差的圖像。例如,3D圖像顯示用左眼圖像(L圖像)201和右眼圖像(R圖像)202是由3D攝像機從不同視點拍攝的3D圖像顯示用LR圖像(如LR圖像),或從廣播站接收的3D廣播用LR圖像。圖8A到8C是圖解說明LR圖像的傳輸形式的示例的圖,其中圖8A示出了對每個幀交替傳輸LR圖像的幀順序方案;圖SB示出了并排方案,其中將幀分成左右區域并傳輸,在左右區域中存儲LR圖像;圖SC示出了上下方案,其中將幀分成上下區域并傳輸,在上下區域中存儲LR圖像。例如,將按這種傳輸方案傳輸的LR圖像輸入到圖像處理設備300。圖像處理設備300的L圖像視角轉換單元311和R圖像視角轉換單元321首先將輸入的LR圖像調節成適合于顯示単元370的顯示表面372的顯示區域的尺寸。具體來說,例如,在參照圖3A到6B描述的示例中,執行處理,其中將圖像寬度調節成W = 0到W。還將圖像高度調節成適合于顯示表面372的高度。接下來,參照圖9描述來自輸入單元330的輸入信息的示例。用戶向輸入單元330輸入用于設定例如立體效果的信息。具體來說,例如,輸入以下信息。
輸入左深度信息ZL和右深度信息ZR。深度信息ZL和ZR對應于參照圖3A到6B描述的深度信息,并且對應于離顯示表面的距離。也就是說,如圖9所示,深度信息ZL和ZR是對應于顯示表面611與感覺表面612之間的距離的值。在以下實施例中,將描述以下示例相對于顯示表面的位置0,將顯示表面的前方(靠近觀賞者)設定為負(_),將顯示表面的內側(遠離觀賞者)設定為正(+)。例如,假設參數的允許設定范圍是ZL = -50到+50,并且ZR = -50到+50,并且設定這些允許值。在該設定中,如果用戶輸入ZL = -50和ZR = -50的參數,如參照圖3A和3B描述的,執行3D圖像顯示控制,從而將感覺表面設定成比顯示表面更靠前方(位于靠近觀賞者 的位置)。此外,如果用戶輸入ZL = +50和ZR = +50的參數,如參照圖4A和4B描述的,執行3D圖像顯示控制,從而將感覺表面設定成比顯示表面更靠內側(位于遠離觀賞者的位置)。此外,如果用戶輸入ZL = -50和ZR = +50的參數,如參照圖5A和5B描述的,執行3D圖像顯示控制,從而將感覺表面的左側設定成比顯示表面更靠前方(位于靠近觀賞者的位置),并且將其右側設定成比顯示表面更靠內側(位于遠離觀賞者的位置)。將參照圖10描述參數ZL和ZR的設定形式之間的對應關系和感覺表面的控制示例。圖10示出了以下參數設定示例。也就是說,圖10的(I)示出了當ZL和ZR是0時的典型立體顯示。圖10的(2)示出了當ZL和ZR是正數時將整個感覺表面設定成比顯示表面更靠內側(遠離觀賞者的位置)。圖10的(3)示出了當ZL和ZR是負數時將整個感覺表面設定成比顯示表面更靠前方(靠近觀賞者的位置)。圖10的⑷示出了當ZL是負數并且ZR是正數時將感覺表面的左側(L)設定成比顯示表面更靠前方(靠近觀賞者的位置),而將右側(R)設定成比顯示表面更靠內側(遠離觀賞者的位置)。圖10的(5)示出了當ZL是0并且ZR是負數時將感覺表面的左側(L)設定成位于顯示表面的位置,而將其右側(R)設定成比顯示表面更靠前方(靠近觀賞者的位置)。例如,對這些設置的控制是可以的。接下來,參照圖11描述立體效果調節量確定單元340執行的處理示例。立體效果調節量確定單元340響應于從輸入単元330輸入的信息或預先設定的缺省信息來確定立體效果調節量。如上所述,從輸入單元330輸入左深度信息ZL和右深度信息ZR。立體效果調節量確定單元340基于所述信息確定如參照圖3A到6B描述的用于執行各種圖像校正和用于設定圖像顯示位置的調節量(控制參數)。具體來說,如圖11所示,立體效果調節量確定單元340確定L圖像顯示位置LX I和LX 2、R圖像顯示位置RXl和RX 2、L圖像縮小比例Lm以及R圖像縮小比例Rm的調節量(控制參數)。
此外,LX I表示左眼圖像(L圖像)的左端的顯示位置;LX2表示左眼圖像(L圖像)的右端的顯示位置;RX1表示右眼圖像(R圖像)的左端的顯示位置;RX2表示右眼圖像(R圖像)的右端的顯示位置。換句話說,左眼圖像(L圖像)的橫向寬度是(LX2-LX1),右眼圖像(R圖像)的橫向寬度是(RX2-RX1)。因此,如果顯示表面的寬度表示為W,那么通過(W-(LX2_LX1))/W計算L圖像縮小比例Lm,通過(W- (RX2-RX I)) /W計算R圖像縮小比例Rm。根據從輸入単元330輸入的以下深度信息來確定L圖像顯示位置LX I和LX2以及R圖像顯示位置RX I和RX 2中的姆ー個位置。左深度信息ZL和右深度信息ZR如參照圖3A到6B以及10描述的,例如,在感覺表面的左側顯示在顯示表面(屏幕)的前方的情況下,ZL < 0,并且,在此情況下,可以執行設定,以滿足LX I > RX I的條件。這對應于圖3A和3B以及圖5A和5B中的設置。此外,在感覺表面的左側顯示在內側的情況下,ZL > 0,并且,在此情況下,可以執行設定,以滿足LX1<RX1的條件。這對應于圖4A和4B以及圖6A和6B中的設置。此外,在感覺表面的右側顯示在顯示表面(屏幕)的前方的情況下,ZR < 0,并且,在此情況下,可以執行設定,以滿足LX2 < RX2的條件。這對應于圖3A和3B以及圖6A和6B中的設置。此外,在感覺表面的右側顯示在內側的情況下,ZR > 0,并且,在此情況下,可以執行設定,以滿足LX2 > RX2的條件。這對應于圖4A和4B以及圖5A和5B中的設置。立體效果調節量確定單元340根據從輸入單元330輸入的例如左深度信息ZL和右深度信息ZR確定L圖像顯示位置LX I和LX 2以及R圖像顯示位置RX I和RX 2的顯示位置,以滿足上述條件。此外,立體效果調節量確定單元340存儲被設定成滿足上述條件的計算公式、算法或表,并基于所存儲的日期,根據從輸入単元330輸入的深度信息ZL和ZR來計算L圖像顯示位置LX I和LX 2以及R圖像顯示位置RX I和RX 2。此外,立體效果調節量確定單元340應用所計算出的L圖像顯示位置LX I和LX 2以及R圖像顯示位置RXl和RX 2的值,從而計算L圖像縮小比例Lm和R圖像縮小比例Rm0將由立體效果調節量確定單元340生成的參數(S卩,圖像顯示位置LX I和LX2、R圖像顯示位置RX I和RX 2、L圖像縮小比例Lm以及R圖像縮小比例Rm)提供給L圖像立體效果調節單元350和R圖像立體效果調節單元360。L圖像立體效果調節單元350和R圖像立體效果調節單元360對左眼圖像和右眼圖像中的至少任意圖像執行橫向方向的縮小處理和放大處理,并生成調節了視差的校正圖像。以下將參照圖12描述該處理。、
將由立體效果調節量確定單元340生成的L圖像相關控制參數(即,L圖像顯示位置L圖像顯示位置LX I和LX 2以及L圖像縮小比例Lm)輸入到L圖像立體效果調節單元 350。L圖像立體效果調節單元350的縮小處理執行部件351根據L圖像縮小比例Lm對L圖像執行橫向方向的縮小處理。此外,L圖像立體效果調節單元350的顯示位置確定部件352根據L圖像顯示位置LX I和LX 2確定L圖像的顯示位置。此外,圖像調節部件353執行要將縮小的L圖像顯示在所確定的位置處所需的其他圖像調節,以輸出到顯示單元370的立體圖像合成部件371。按相同的方式,將由立體效果調節量確定單元340生成的R圖像相關控制參數 (即,R圖像顯示位置R圖像顯示位置RX I和RX2以及R圖像縮小比例Rm)輸入到R圖像立體效果調節單元360。R圖像立體效果調節單元360的縮小處理執行部件361根據R圖像縮小比例Rm對R圖像執行橫向方向的縮小處理。此外,R圖像立體效果調節單元360的顯示位置確定部件362根據R圖像顯示位置RX I和RX 2確定R圖像的顯示位置。此外,圖像調節部件363執行要將縮小的R圖像顯示在所確定的位置處所需的其他圖像調節,以輸出到顯示單元370的立體圖像合成部件371。顯示單元370的立體圖像合成部件371根據預定3D圖像顯示格式執行用于將從L圖像立體效果調節單元350輸入的L圖像和從R圖像立體效果調節單元360輸入的R圖像顯示在顯示表面372上的處理。例如,交替輸出左眼校正圖像和右眼校正圖像(其中至少ー個被縮小了),執行設定,使得佩戴快門型眼鏡的觀賞者的左眼僅觀看到左眼校正圖像且右眼僅觀看到右眼校正圖像,從而在感覺表面上觀看到作為3D圖像的校正圖像,如參照圖3A到圖6B描述的。3.圖像處理設備執行的處理序列接下來,將參照圖13所示的流程圖描述圖像處理設備執行的處理序列。在步驟SlOl中,對輸入的LR圖像執行視角轉換,以適合于顯示単元。該處理是由圖7所示的L圖像視角轉換單元311和R圖像視角轉換單元321執行的處理。L圖像視角轉換單元311和R圖像視角轉換單元321將輸入的LR圖像的視角調節成輸出顯示表面的允許顯示區域的尺寸。此外,可以將亮度分量或色度分量調節成適合于顯示表面的特征。接著,在步驟S102中,確定是否通過輸入單元輸入了來自用戶的顯示調節請求。這是用于確定是否輸入了已經參照圖7和9描述的從輸入單元330輸入的立體效果設定信息(具體來說,左深度信息ZL和右深度信息ZR)的處理。如果輸入了所述信息,那么步驟S102中的確定結果是肯定的(是),并且流程進行到步驟S104。如果未輸入所述信息,那么流程進行到步驟S103。在步驟S103中,基于輸入LR圖像中包括的或者設定的元數據(屬性信息),或者使用預設值(缺省值),來確定設定值(左深度信息ZL和右深度信息ZR)。
在步驟S103中,例如,可以將對輸入圖像的亮度分量、色度分量等的檢測結果相互比較,并且可以基于左眼圖像和右眼圖像的特征量(如特征點的偏離)來計算設定值(左深度信息ZL和右深度信息ZR)。在步驟S104中,在基于用戶輸入、元數據的設定值或者缺少值的基礎上,確定用于圖像的縮小校正或者用于設定其顯示位置的控制參數(調節量)。具體來說,如參照圖11描述的,確定L圖像顯示位置LXl和LX2、R圖像顯示位置RX I和RX 2、L圖像縮小比例Lm以及R圖像縮小比例Rm的調節量(控制參數)。在步驟S104中,例如,可以利用存儲在立體效果調節量確定單元340中的表值、計算算法等,基于預先設定的計算方法,從輸入的特征量確定調節立體效果所需的水平方向的縮小比例和水平方向的圖像輸出位置。由圖7所示的立體效果調節量確定單元340執行步驟S102到S104中的處理。
接著,在步驟S105中,基于控制參數(調節量)執行LR圖像的校正及其顯示位置的設定。由圖7所示的L圖像立體效果調節單元350和R圖像立體效果調節單元360執行所述處理。最后,在步驟S106中,使用校正的LR圖像顯示3D圖像。由圖7所示的顯示單元370執行該處理。交替輸出左眼校正圖像和右眼校正圖像(其中至少ー個被縮小了),執行設定,使得佩戴快門型眼鏡的觀賞者的左眼僅觀看到左眼校正圖像且右眼僅觀看到右眼校正圖像,從而在感覺表面上觀看到作為3D圖像的校正圖像,如參照圖3A到圖6B描述的。此外,盡管在上述實施例中描述了縮小了左眼圖像和右眼圖像中的至少任意圖像的處理示例,但是,即使在執行放大左眼圖像和右眼圖像中的至少任意圖像的處理的情況下,也可以通過視差調節進行立體效果控制,并且可以執行放大處理而不是縮小處理。作為另ー種方式,可以組合使用這兩種處理。4.根據本公開的結構的結論如上所述,已經參照具體實施例詳細描述了本公開的實施例。然而,顯然,本領域技術人員可以在不脫離本公開的精神的情況下對實施例進行修改或替換。換句話說,由于作為示例的形式公開了本實施例,因此不應當將其解釋成限制了本公開。應當考慮權利要求以判斷本公開的精神。此外,本說明書中公開的技術可以采用以下結構。(I) ー種圖像處理設備,包括立體效果調節單元,接收用于三維圖像顯示的左眼圖像和右眼圖像,并通過校正作為輸入圖像的接收圖像來執行立體效果調節;其中,所述立體效果調節單元對所述左眼圖像和右眼圖像中的至少任意圖像執行橫向方向上的縮小處理或放大處理,并生成調節了視差的校正圖像。(2)在(I)中所述的圖像處理設備,其中所述立體效果調節單元確定通過對所述左眼圖像和右眼圖像中的至少任意圖像進行縮小或放大而生成的校正圖像在顯示單元上的顯示位置。(3)在(I)或(2)中所述的圖像處理設備,還包括輸入單元,能夠向所述輸入單元輸入圖像設置信息;和立體效果調節量確定單元,根據從所述輸入單元輸入的圖像設置信息確定用于確定圖像校正類型的控制參數,其中,所述立體效果調節單元根據由所述立體效果調節量確定單元確定的控制參數,執行圖像校正處理和顯示位置確定處理。(4)在⑴到(3)中的任ー項中所述的圖像處理設備,其中從所述輸入單元輸入的圖像設置信息是顯示圖像的左端部深度信息ZL和右端部深度信息ZR,其中所述立體效果調節量確定單元基于所述左端部深度信息ZL和右端部深度信息ZR,確定所述左眼圖像和右眼圖像的縮放率及其在所述顯示単元上的顯示位置。(5)在(I)到(4)中的任ー項中所述的圖像處理設備,其中所述立體效果調節量確定單元基于附加到所述輸入圖像的元數據,確定所述左眼圖像和右眼圖像的縮放率及其在所述顯示單元上的顯示位置。(6)在(I)到(5)中的任ー項中所述的圖像處理設備,還包括顯示單元,所述顯示単元執行應用了作為由所述立體效果調節單元生成的校正圖像的左眼圖像和右眼圖像的3D圖像顯示。 在本說明書中描述的處理序列可以由硬件、軟件或其組合來執行。當由硬件執行處理序列時,可以通過將記錄處理序列的程序安裝在嵌入在專用硬件中的計算機的存儲器中,或者例如通過在能夠執行各種處理的通用個人計算機中安裝所述程序,來執行處理序列。例如,可以將程序預先記錄在記錄介質中。也可以不從記錄介質將程序安裝在計算機中,而是通過諸如LAN(局域網)或因特網的網絡接收程序,并將其安裝在諸如嵌入的硬盤的記錄介質中。此外,在本說明書中描述的各種處理不僅可以按照所描述的順序按時間序列執行,也可以根據執行處理的裝置的處理能力或根據需要并行或者分開地執行。此外,在本說明書中,系統是多個組成裝置的邏輯集合并且并不限于在同一機殼內的各個組成裝置。本公開包含與于2011年4月8日在日本專利局提交的日本在先專利申請JP2011-085994中公開的主題相關的主題,通過引用將其全部內容并入于此。本領域的技術人員應明白,根據設計要求和其他因素,可以作出各種修改、組合、子組合和變更,只要它們在所附權利要求或其等同物的范圍之內即可。
權利要求
1.一種圖像處理設備,包括 立體效果調節單元,接收用于三維圖像顯示的左眼圖像和右眼圖像,并通過校正作為輸入圖像的接收圖像來執行立體效果調節; 其中,所述立體效果調節單元對所述左眼圖像和右眼圖像中的至少任意圖像執行橫向方向上的縮小處理或放大處理,并生成調節了視差的校正圖像。
2.根據權利要求I所述的圖像處理設備,其中所述立體效果調節單元確定通過對所述左眼圖像和右眼圖像中的至少任意圖像進行橫向方向上的縮小或放大而生成的校正圖像在顯示單元上的顯示位置。
3.根據權利要求I所述的圖像處理設備,還包括 輸入單元,能夠向所述輸入單元輸入圖像設置信息;和 立體效果調節量確定單元,根據從所述輸入單元輸入的圖像設置信息確定用于確定圖像校正類型的控制參數, 其中,所述立體效果調節單元根據由所述立體效果調節量確定單元確定的控制參數,執行圖像校正處理和顯示位置確定處理。
4.根據權利要求3所述的圖像處理設備,其中從所述輸入單元輸入的圖像設置信息是顯示圖像的左端部深度信息ZL和右端部深度信息ZR, 其中所述立體效果調節量確定單元基于所述左端部深度信息ZL和右端部深度信息ZR,確定所述左眼圖像和右眼圖像的縮放率及其在所述顯示單元上的顯示位置。
5.根據權利要求3所述的圖像處理設備,其中所述立體效果調節量確定單元基于附加到所述輸入圖像的元數據,確定所述左眼圖像和右眼圖像的縮放率及其在所述顯示單元上的顯示位置。
6.根據權利要求I所述的圖像處理設備,還包括顯示單元,所述顯示單元執行應用了作為由所述立體效果調節單元生成的校正圖像的左眼圖像和右眼圖像的3D圖像顯示。
7.一種在圖像處理設備中執行的圖像處理方法,包括 使立體效果調節單元接收用于三維圖像顯示的左眼圖像和右眼圖像,并通過校正作為輸入圖像的接收圖像來執行立體效果調節; 其中,立體效果的調節包括對所述左眼圖像和右眼圖像中的至少任意圖像執行橫向方向上的縮小處理或放大處理,并生成調節了視差的校正圖像。
8.一種使圖像處理設備能夠執行包括以下步驟的圖像處理的程序 使立體效果調節單元接收用于三維圖像顯示的左眼圖像和右眼圖像,并通過校正作為輸入圖像的接收圖像來執行立體效果調節; 其中,立體效果的調節包括對所述左眼圖像和右眼圖像中的至少任意圖像執行橫向方向上的縮小處理或放大處理,并生成調節了視差的校正圖像。
全文摘要
本發明涉及圖像處理設備、圖像處理方法和程序。一種圖像處理設備,包括立體效果調節單元,接收用于三維圖像顯示的左眼圖像和右眼圖像,并通過校正作為輸入圖像的接收圖像來執行立體效果調節;其中,所述立體效果調節單元對所述左眼圖像和右眼圖像中的至少任意圖像執行橫向方向上的縮小處理或放大處理,并生成調節了視差的校正圖像。
文檔編號H04N13/04GK102740103SQ20121009455
公開日2012年10月17日 申請日期2012年4月1日 優先權日2011年4月8日
發明者山口廣 申請人:索尼公司