圖像處理裝置及其方法和程序的制作方法

圖像處理裝置及其方法和程序的制作方法
【專利摘要】一種設(shè)備可以包括硬件處理器和存儲介質(zhì)。所述存儲介質(zhì)可以耦合到所述處理器，并且可以存儲指令。當被所述處理器執(zhí)行時，所述指令可以使得所述設(shè)備確定觀眾的數(shù)量。所述指令也可以使得所述設(shè)備基于觀眾的所述數(shù)量計算視點的數(shù)量。另外，所述指令可以使得所述設(shè)備產(chǎn)生與所述視點對應(yīng)的多個圖像。
【專利說明】圖像處理裝置及其方法和程序
【技術(shù)領(lǐng)域】
[0001]本技術(shù)涉及圖像處理裝置及其方法和程序，并且具體地說涉及下述圖像處理裝置及其方法和程序，其中，當輸入作為輸入圖像的、具有兩個視點的無眼鏡三維立體圖像時，可以以與觀眾的數(shù)量對應(yīng)的適當分辨率來觀看多視點圖像。
【背景技術(shù)】
[0002]作為其中可以不使用特殊眼鏡來觀看立體圖像的無眼鏡圖像顯示裝置，公知視差屏障系統(tǒng)(例如，參見PTL1)或者柱狀透鏡系統(tǒng)(例如，參見PTL2)。
[0003]引用列表
[0004]專利文獻
[0005]PTL1:PTL1:日本未審查專利申請公報N0.7-5420
[0006]PTL2:日本未審查專利申請公報N0.5-49044

【發(fā)明內(nèi)容】

[0007]技術(shù)問題
[0008]同時，在上述雙透鏡視差屏障系統(tǒng)或柱狀透鏡系統(tǒng)的兩種情況下，因為將像素劃分為右眼像素和左眼像素，并且分別顯示右眼圖像和左眼圖像，所以其分辨率減半。因為這個原因，當它被配置來從多個視點被觀看以便對應(yīng)于更多觀眾的觀看方向時，其分辨率進一步降低。
[0009]然而，可能有其中例如與僅有一個觀眾無關(guān)并且當不必然需要來自多個視點的觀看時，單個觀眾通過使能從多個視點的觀看來以低分辨率觀看圖像的情況。
[0010]本技術(shù)已經(jīng)鑒于該情況而被作出，并且具體地說，用于使得能夠當輸入作為輸入圖像的具有兩個視點的無眼鏡三維立體圖像時，以與觀眾的數(shù)量對應(yīng)的適當分辨率來從多個視點觀看圖像。
[0011 ] 對于問題的解決方案
[0012]公開了一種設(shè)備，其可以包括硬件處理器和存儲介質(zhì)。所述存儲介質(zhì)可以耦合到所述處理器，并且可以存儲指令。當被所述處理器執(zhí)行時，所述指令可以使得所述設(shè)備確定觀眾的數(shù)量。所述指令也可以使得所述設(shè)備基于觀眾的數(shù)量來計算視點的數(shù)量。另外，所述指令可以使得所述設(shè)備產(chǎn)生與所述視點對應(yīng)的多個圖像。
[0013]也公開了一種方法。所述方法可以包括確定觀眾的數(shù)量。所述方法也可以包括基于觀眾的數(shù)量來計算視點的數(shù)量。另外，所述方法可以包括產(chǎn)生與所述視點對應(yīng)的多個圖像。
[0014]另外，公開了一種用于存儲指令的永久計算機可讀存儲介質(zhì)。當被處理器執(zhí)行時，所述指令可以使得所述設(shè)備確定觀眾的數(shù)量。所述指令也可以使得所述設(shè)備基于觀眾的數(shù)量來計算視點的數(shù)量。另外，所述指令可以使得所述設(shè)備產(chǎn)生與所述視點對應(yīng)的多個圖像。【專利附圖】

【附圖說明】
[0015]圖1是示出本技術(shù)被應(yīng)用到的圖像處理裝置的第一實施例的配置示例的框圖。
[0016]圖2是描述根據(jù)在圖1中的圖像處理裝置的多視點圖像的顯示處理的流程圖。
[0017]圖3是描述多視點圖像的顯示處理的圖。
[0018]圖4是描述計算視差屏障的狹縫的間距的方法的圖。
[0019]圖5是示出圖像處理裝置的第二實施例的配置示例的框圖。
[0020]圖6是描述根據(jù)在圖5中的圖像處理裝置的多視點圖像的顯示處理的流程圖。
[0021]圖7是描述與觀眾的位置對應(yīng)的多視點圖像的顯示處理的圖。
[0022]圖8是描述與觀眾的位置對應(yīng)的多視點圖像的顯示示例的圖。
[0023]圖9是示出圖像處理裝置的第三實施例的配置示例的框圖。
[0024]圖10是描述根據(jù)在圖9中的圖像處理裝置的多視點圖像的顯示處理的流程圖。
[0025]圖11是描述通用個人計算機的配置示例的圖。
【具體實施方式】
[0026]以下，將描述用于體現(xiàn)本技術(shù)的實施例(以下稱為“實施例”)。另外，將以下面的順序來進行描述。
[0027]1.第一實施例(其中使用視差屏障的示例)
[0028]2.第二實施例(其中使用觀眾的位置信息的示例)
[0029]3.第三實施例(其中使用柱狀透鏡的示例)
[0030]<1.第一實施例>
[0031]<使用視差屏障的圖像處理裝置>
[0032]圖1示出本技術(shù)被應(yīng)用到的圖像處理裝置的第一實施例的配置示例。在圖1中的圖像處理裝置11顯示可以使用具有預(yù)定視差的裸眼被看作三維立體圖像的圖像，該圖像是右眼圖像和左眼圖像的輸入圖像，作為具有基于觀眾的數(shù)量的適當分辨率的多視點圖像，并且該圖像處理裝置11是TV接收器等。
[0033]在圖1中的圖像處理裝置11包括成像單元(即，軟件模塊、硬件模塊或軟件模塊和硬件模塊的組合)21、面部圖像檢測單元22、觀眾數(shù)量檢測單元23、所需視點數(shù)量計算單元24、右眼圖像獲得單元25-1、左眼圖像獲得單元25-2、多視點圖像產(chǎn)生單元26和顯示單元27。
[0034]成像單元21在其中觀眾觀看被圖像處理裝置11顯示的圖像(即，觀眾圖像)的方向上捕獲圖像，并且向面部圖像檢測單元22供應(yīng)該圖像。
[0035]面部圖像檢測單元22從所供應(yīng)的圖像提取關(guān)于人體的面部輪廓或作為器官的眼睛、耳朵、鼻子或嘴部等的信息作為可檢測特征量，指定為矩形面部圖像，并且將指定的面部圖像與捕獲的圖像一起供應(yīng)到觀眾數(shù)量檢測單元23。
[0036]當獲得從面部圖像檢測單元22供應(yīng)的面部圖像時，觀眾數(shù)量檢測單元23獲得所獲得的面部圖像的數(shù)量，將其檢測為觀眾的數(shù)量，并且向所需視點數(shù)量計算單元24供應(yīng)作為檢測結(jié)果的觀眾的數(shù)量的信息。
[0037]所需視點數(shù)量計算單元24基于關(guān)于從觀眾數(shù)量檢測單元23供應(yīng)的觀眾的數(shù)量的信息計算當配置多視點圖像時所需的所需視點的數(shù)量，并且向多視點圖像產(chǎn)生單元26和顯示單元27供應(yīng)所需視點的數(shù)量。假定觀眾以固定間隔位于相對于顯示圖像的水平方向上。另外，為了使得觀眾能夠觀看三維立體圖像，對于每個觀眾分別設(shè)置左眼圖像和右眼圖像。另外，位于第一觀眾左側(cè)的第二觀眾使用第一觀眾的左眼圖像作為他本身的右眼圖像。而且，與此類似，位于第一觀眾右側(cè)的第三觀眾使用第一觀眾的右眼圖像作為他自己的左眼圖像。因此，例如，當觀眾是三個時，所需的視點的數(shù)量是4。
[0038]右眼圖像獲得單元25-1和左眼圖像獲得單元25-2分別獲得三維和立體的輸入的右眼圖像和左眼圖像，向多視點圖像產(chǎn)生單元26供應(yīng)該圖像。
[0039]多視點圖像產(chǎn)生單元26基于關(guān)于從所需視點數(shù)量計算單元24供應(yīng)的所需視點的數(shù)量的信息從自右眼圖像獲得單元25-1和左眼圖像獲得單元25-2供應(yīng)的輸入的右眼圖像和左眼圖像產(chǎn)生多視點圖像，并且向顯示單元27供應(yīng)該圖像。
[0040]更具體地,通過雙視點確定單元41、雙視點圖像輸出單元42、N視點圖像產(chǎn)生單元43和選擇輸出單元44來構(gòu)成多視點圖像產(chǎn)生單元26。雙視點確定單元41確定從所需視點數(shù)量計算單元24供應(yīng)的所需視點的數(shù)量是否是雙視點，并且向選擇輸出單元44供應(yīng)確定結(jié)果。雙視點圖像輸出單元42向選擇輸出單元44原樣供應(yīng)從右眼圖像獲得單元25-1和左眼圖像獲得單元25-2供應(yīng)的右眼圖像和左眼圖像。N視點圖像產(chǎn)生單元43通過下述方式來使用內(nèi)插或外插來產(chǎn)生所需視點的數(shù)量的圖像，并且，向選擇輸出單元44供應(yīng)該圖像:基于關(guān)于從所需視點數(shù)量計算單元24供應(yīng)的所需視點的數(shù)量的信息來使用從右眼圖像獲得單元25-1和左眼圖像獲得單元25-2供應(yīng)的右眼圖像和左眼圖像(即，其他圖像)來控制內(nèi)插產(chǎn)生單元43a。當所需視點的數(shù)量是2個時,選擇輸出單元44基于從雙視點確定單元41供應(yīng)的確定結(jié)果，原樣向顯示單元27輸出由從雙視點圖像輸出單元42供應(yīng)的右眼圖像和左眼圖像形成的雙視點圖像。另一方面，當所需視點的數(shù)量不是2個時，選擇輸出單元44基于從雙視點確定單元41供應(yīng)的確定結(jié)果來向顯示單元27輸出由N視點圖像產(chǎn)生單元43產(chǎn)生的多視點圖像。
[0041]顯示單元27基于關(guān)于從所需視點數(shù)量計算單元24供應(yīng)的所需視點的數(shù)量的信息來控制視差屏障63的狹縫的間距(間隙)，顯示從多視點圖像產(chǎn)生單元26供應(yīng)的雙視點圖像或多視點圖像，并且通過視差屏障63來顯示該多視點圖像。
[0042]更具體地，顯示單元27包括視差屏障間距計算單元61、視差屏障間距控制單元62、視差屏障63、顯示像素陣列設(shè)置單元64和顯示器65。視差屏障間距計算單元61根據(jù)由所需視點數(shù)量計算單元24計算的所需視點的數(shù)量來計算具有在其中使用視差屏障63來透射從顯示器65發(fā)射的光的垂直方向上的間距的狹縫(狹縫的間隙)，并且向視差屏障間距控制單元62供應(yīng)間距。視差屏障間距控制單元62基于由視差屏障間距計算單元61計算的視差屏障的間距(狹縫的間隙)控制視差屏障63的操作，以便在對應(yīng)的垂直方向上配置狹縫。
[0043]視差屏障63由例如液晶板等形成，并且以由視差屏障間距控制單元62控制的間距在垂直方向上配置狹縫。更具體地，視差屏障63例如相對于除了使用液晶配置垂直狹縫的區(qū)域之外的區(qū)域配置屏蔽區(qū)域，通過僅將狹縫區(qū)域設(shè)置為透光區(qū)域來配置視差屏障，并且作為視差屏障工作。顯示像素陣列設(shè)置單元64根據(jù)從所需視點數(shù)量計算單元24供應(yīng)的所需視點的數(shù)量來以像素列為單位將所產(chǎn)生的多視點圖像分離為狹縫形狀，在相對于視線方向的相反方向上布置具有狹縫形狀的多視點圖像，并且在顯示器65上顯示。顯示器65由液晶顯示器(IXD)、等離子體顯示器或有機EL等形成，并且通過使得使用從顯示像素陣列設(shè)置單元64供應(yīng)的像素值來發(fā)射顏色而顯示圖像。
[0044]<由在圖1中的圖像處理裝置進行的多視點圖像的顯示處理>
[0045]隨后，將參考在圖2中的流程圖來描述由在圖1中的圖像處理裝置11進行的多視點圖像的顯示處理。
[0046]在步驟S1中，成像單元21在觀眾所位于的方向上、即在面向由顯示單元27顯示的圖像的方向上捕獲圖像，并且向面部圖像檢測單元22供應(yīng)所捕獲的圖像。
[0047]在步驟S2中，面部圖像檢測單元22通過提取當從供應(yīng)的圖像檢測面部圖像時所需的特征量來檢測矩形面部圖像，并且將矩形面部圖像與所捕獲的圖像一起供應(yīng)到觀眾數(shù)量檢測單元23。
[0048]在步驟S3中，觀眾數(shù)量檢測單元23基于所供應(yīng)的面部圖像的數(shù)量來檢測觀眾的數(shù)量，并且向所需視點數(shù)量計算單元24供應(yīng)所檢測的關(guān)于觀眾的數(shù)量的信息。
[0049]在步驟S4中，所需視點數(shù)量計算單元24基于關(guān)于從觀眾數(shù)量檢測單元23供應(yīng)的觀眾的數(shù)量的信息來計算所需視點的數(shù)量N。S卩，例如，當觀眾的數(shù)量是1時，如圖3中右面所示，所需視點的數(shù)量是位于面向顯示器65和視差屏障63的顯示方向的位置處的觀眾H1的左眼視點L1與右眼視點R1的雙視點的總和。在該情況下，對于觀眾Η的視點L1和R1的每一個，需要視點圖像Α作為左眼圖像，并且視點圖像Β作為右眼圖像。另一方面，如圖3的左面所示，當觀眾的數(shù)量是3時，所需視點的數(shù)量分別變?yōu)樵诿嫦蝻@示器65和視差屏障63的位置處的觀眾H11至H13的左眼視點和右眼視點。在此，假定觀眾H11至H13以固定間隔位于面向顯示器65和視差屏障63的面上。S卩，觀眾H11所需的視點是左眼視點L11和右眼視點R11。另外，觀眾H12所需的視點是左眼視點L12和右眼視點R12。而且，觀眾H13所需的視點是左眼視點L13和右眼視點R13。因此，在該情況下，需要視點圖像A作為用于觀眾H11的視點L11的左眼圖像，并且需要視點圖像B作為用于觀眾H11的視點R11的右眼圖像和作為觀眾H12的視點L12的左眼圖像。另外，需要視點圖像C作為用于觀眾H12的視點R12的右眼圖像和作為觀眾H13的視點L13的左眼圖像，并且需要視點圖像D作為觀眾H13的視點R13的右眼圖像。
[0050]S卩，當將觀眾H12作為參考時，作為在觀眾H12的緊左的觀眾H11的右眼圖像的視點R11和作為觀眾H12的左眼圖像的視點L12彼此相同。另外，作為在觀眾H12的緊右的觀眾H13的左眼圖像的視點L12和作為觀眾H12的右眼圖像的視點R12彼此相同。
[0051]結(jié)果，當觀眾的數(shù)量是3時，所需視點的數(shù)量N變?yōu)?。另外，即使當觀眾的數(shù)量與此不同時，每個觀眾的視點具有下述配置:其中，分別地，與位于緊右的觀眾共享左眼圖像的視點，并且與位于緊左的觀眾共享右眼圖像。另外，在圖3中，在顯示器65上附接的A至D的全部表示像素陣列，其中，將與視點圖像A至D對應(yīng)的圖像以像素為單位在垂直方向上劃分為狹縫形狀。另外，在視差屏障63中，實線是光屏蔽區(qū)域，并且其間隙是狹縫，并且是從顯示器65發(fā)射的光的透射區(qū)域。而且，在圖3中的視差屏障63的Q2和Q4當所需視點的數(shù)量N分別是2和4時表示狹縫的間距(間隙)。在顯示器65中，ρ表示像素的間距(間隙)。
[0052]在步驟S5中，多視點圖像產(chǎn)生單元26的雙視點圖像輸出單元42原樣向選擇輸出單元44輸出作為雙視點圖像的、從右眼圖像獲得單元25-1供應(yīng)的右眼圖像和從左眼圖像獲得單元25-2供應(yīng)的左眼圖像。
[0053]在步驟S6中，多視點圖像產(chǎn)生單元26的N視點圖像產(chǎn)生單元43從自右眼圖像獲得單元25-1供應(yīng)的右眼圖像和自左眼圖像獲得單元25-2供應(yīng)的左眼圖像根據(jù)所需視點的數(shù)量來產(chǎn)生N視點圖像。另外，N視點圖像產(chǎn)生單元43向選擇輸出單元44輸出所產(chǎn)生的N視點圖像。
[0054]更具體地，N視點圖像產(chǎn)生單元43分別使用視點圖像B和C的外插來獲得視點圖像A和D，因為例如當如圖3中的左部所示所需視點的數(shù)量是4時視點圖像B和C是輸入的雙視點圖像。另外，當所需視點的數(shù)量是3時，如圖3的左部所示，N視點圖像產(chǎn)生單元43在產(chǎn)生作為四個視點的視點A至D的圖像后，使用在視點A和Β、B和C與C和D之間的內(nèi)插來產(chǎn)生新的三種類型的視點的圖像。另外，當輸入圖像的水平分辨率是1920個像素時，每一個視點圖像的水平分辨率在雙視點圖像的情況下變?yōu)?60個像素，并且進一步，每一個視點圖像的水平分辨率在四視點圖像的情況下變?yōu)?80個像素。然而，因為不必根據(jù)所需視點的數(shù)量來形成多視點圖像，所以能夠根據(jù)所需視點的數(shù)量來產(chǎn)生具有適當?shù)乃椒直媛实囊朁c圖像。 [0055]在步驟S7中，雙視點確定單元41確定所需視點的數(shù)量N是否是2。在步驟S7中，當所需視點的數(shù)量N在步驟S8中是2時，雙視點確定單元41向選擇輸出單元44供應(yīng)所需視點的數(shù)量N是2的情況。選擇輸出單元44原樣向顯示單元27供應(yīng)作為從雙視點圖像輸出單元42供應(yīng)的輸入圖像的雙視點圖像，因為從雙視點確定單元41供應(yīng)的確定結(jié)果是雙視點圖像。
[0056]另一方面，在步驟S7中，當所需視點的數(shù)量N不是2時，選擇輸出單元44在步驟S9中向顯示單元27供應(yīng)從N視點圖像產(chǎn)生單元43供應(yīng)的N視點圖像。
[0057]在步驟S10中，顯示單元27的視差屏障間距計算單元61根據(jù)所需視點的數(shù)量N來計算在視差屏障63中的狹縫的間距(間隙)，并且向視差屏障間距控制單元62供應(yīng)計算結(jié)果。更具體地，視差屏障63中的狹縫的間距被設(shè)置使得通過在圖4中所示的顯示器65、視差屏障63和觀眾H11至H13的各自的視點圖像來滿足在下面的表達式(1)和(2)之間的關(guān)系。
[0058]e:p=d:g....(1)
[0059]Q:d=Nxp: (d+g)____(2)
[0060]在此，e表示在每一個觀眾的左眼和右眼之間的距離，并且ρ表示在顯示器65的像素之間的間距(間隙)，d表示從視差屏障63到觀眾的測量位置的距離，并且g表示在視差屏障63 (其狹縫:打開部分)和顯示器65之間的距離。另外，Q表示視差屏障63的狹縫的間距(間隙)，并且N表示所需視點的數(shù)量。
[0061]結(jié)果，通過計算下面的表達式(3)來獲得視差屏障的狹縫的間距Q。
[0062]Q= (dxNxp) / (d+g)....(3)
[0063]在步驟S11中，視差屏障間距控制單元62控制視差屏障63的面板，并且設(shè)置使得以從視差屏障間距計算單元61供應(yīng)的間距提供狹縫。此時，在視差屏障63中，設(shè)置狹縫使得在中心部分處提供狹縫，并且以中心狹縫作為參考以視差屏障間距計算單元61供應(yīng)的間距(間隙)提供隨后的狹縫。
[0064]在步驟S12中，顯示像素陣列設(shè)置單元64如圖3中所示以像素列為單位將雙視點圖像或從選擇輸出單元44供應(yīng)的N視點圖像劃分為狹縫形狀，布置像素列以便在橫向上逆轉(zhuǎn)布置順序，并且在顯示器65上顯示。
[0065]SM列如，如圖3的左部所示，當在顯示器65上的像素列陣列中在其中觀眾H11至H13觀看的位置處從在圖3的左面起設(shè)置視點圖像A至D時，以橫向逆反的順序從圖像D向A重復(fù)地布置與以像素列為單位被劃分為狹縫形狀的視點圖像A至D對應(yīng)的視線方向上的圖像。
[0066]根據(jù)上述的處理，觀眾H11至H13能夠在任何位置觀看三維立體圖像，即使當分別在不同的視點觀看在顯示單元27上顯示的圖像時。因為這個原因，當是具有1920像素的水平分辨率的圖像時，如果所需視點的數(shù)量N是4，則每一個視點圖像變?yōu)?80個像素，并且如果所需視點的數(shù)量N是2，則每一個視點圖像變?yōu)?60個像素。即，因為每一個觀眾觀看圖像的水平分辨率根據(jù)觀眾的數(shù)量而變化，所以能夠根據(jù)觀眾的數(shù)量以適當?shù)姆直媛蕘碛^看多視點的立體圖像。
[0067]<2.第二實施例>
[0068]〈使用觀眾位置的圖像處理裝置〉
[0069]如上所述，下述示例:其中，根據(jù)由觀眾的數(shù)量設(shè)置的所需視點的數(shù)量來從作為輸入圖像的雙視點圖像產(chǎn)生和顯示N視點圖像，然而，當產(chǎn)生因為視點位置而不同的多視點圖像時，可以選擇和顯示不僅對應(yīng)于觀眾的數(shù)量而且對應(yīng)于觀眾的位置的雙視點圖像。
[0070]圖5是圖像處理裝置的第二實施例的配置示例，其中，產(chǎn)生和顯示不僅對應(yīng)于觀眾的數(shù)量而且對應(yīng)于觀眾的位置的雙視點圖像。另外，在圖5中的圖像處理裝置11中，將使用相同的名稱和附圖標號給出關(guān)于具有與在圖1中的圖像處理裝置11相同的功能的配置，并且將省略其說明。
[0071]S卩，在圖5中的圖像處理裝置11中，與圖1中的圖像處理裝置11的差別是在圖5中的圖像處理裝置11新包括觀眾位置檢測單元81。另外，在多視點圖像產(chǎn)生單元26中，取代N視點圖像產(chǎn)生單元43和選擇輸出單元44而提供了 N視點圖像產(chǎn)生單元91和選擇輸出單元92。
[0072]觀眾位置檢測單元81基于捕獲的圖像的內(nèi)部來檢測由從面部圖像檢測單元22供應(yīng)的矩形圖像形成的面部圖像和由矩形圖像形成的面部圖像的位置，并且將其檢測為觀眾的位置。觀眾位置檢測單元81向多視點圖像產(chǎn)生單元26供應(yīng)所檢測的、關(guān)于觀眾的位置的信息。
[0073]多視點圖像產(chǎn)生單元26的N視點圖像產(chǎn)生單元91基于從觀眾位置檢測單元81供應(yīng)的觀眾的位置和關(guān)于所需視點的數(shù)量N的信息，使用與每一個觀眾的位置對應(yīng)的雙視點圖像的右眼圖像和左眼圖像來產(chǎn)生多視點圖像。另外，N視點圖像產(chǎn)生單元91向所產(chǎn)生的選擇輸出單元92供應(yīng)。
[0074]選擇輸出單元92具有與選擇輸出單元44相同的基本功能，然而，僅當雙視點確定單元41確定為雙視點時向顯示單元27輸出從雙視點圖像輸出單元42供應(yīng)的雙視點圖像，并且進一步地觀眾基于關(guān)于觀眾的位置的信息來位于在相對于顯示單元27的前面。
[0075]<由在圖5中圖像處理裝置11進行的多視點圖像顯示處理>
[0076]隨后，將參考在圖6中流程圖來描述由在圖5中的圖像處理裝置11進行的多視點圖像的顯示處理。此外，在圖6的流程圖中的步驟S31至S34、S36和S40至S45的處理與參考在圖2中的流程圖描述的步驟S1至S5和S8至S12的處理相同，將省略其說明。
[0077]S卩，當通過步驟S31至S34的處理來獲得所需視點的數(shù)量時，在步驟S35中，觀眾位置檢測單元81基于在由從面部圖像檢測單元22供應(yīng)的矩形圖像形成的圖像中的面部圖像的位置來檢測觀眾的位置，并且向多視點圖像產(chǎn)生單元26供應(yīng)關(guān)于檢測的觀眾位置的信息。
[0078]在步驟S36中，雙視點圖像輸出單元42原樣向選擇輸出單元92供應(yīng)從右眼圖像獲得單元25-1和左眼圖像獲得單元25-2供應(yīng)的右眼圖像和左眼圖像。
[0079]在步驟S37中，N視點圖像產(chǎn)生單元91基于關(guān)于從觀眾位置檢測單元81供應(yīng)的觀眾的位置的信息和所需視點的數(shù)量N來產(chǎn)生與觀眾的位置對應(yīng)的雙視點圖像，并且向選擇輸出單元44供應(yīng)該圖像。
[0080]即，當觀眾是例如1個時，位于圖7中的左部、中心和右部的觀眾H11至H13分別在彼此不同的方向上觀看視差屏障63和顯示器65。S卩，觀眾H11至H13分別在相對于他們本身的位置的右手方向、前方向和左手方向上觀看視差屏障63和顯示器65。假定在顯示器65和視差屏障63所位于的位置處的多視點圖像獲得單元82中獲得多視點圖像，其中，例如，如圖8中的左面所示，顯示圓柱物體B1，其在上基座上具有描述“A”，并且當從上基座觀看時逆時針地在其側(cè)面上具有描述“Ko、Sa、S1、Su、Se、So和Ta”。在該情況下，如圖8的左部所示，觀眾H11至H13分別在右手方向、前方向和左手方向上觀看物體Bl。S卩，它匹配在圖7中的、其中觀眾H11至H13在觀看顯示器65和視差屏障63的位置關(guān)系。
[0081]因此，N視點圖像產(chǎn)生單元91通過使用外插來從作為輸入圖像的雙視點圖像產(chǎn)生在圖7中所示的視點圖像A和B來當在其中在圖7中的左部中所示的觀眾H11的右手方向上觀看顯示器65和視差屏障63的位置處供應(yīng)關(guān)于觀眾的信息時，產(chǎn)生其中立體地觀看在圖8的右部的物體B1R的雙視點圖像，并且向選擇輸出單元92供應(yīng)。
[0082]另外，N視點圖像產(chǎn)生單元91通過使用外插來從作為輸入圖像的雙視點圖像產(chǎn)生在圖7中所示的視點圖像B和C來當在其中在圖7中的中心所示的觀眾H12的前向上觀看顯示器65和視差屏障63的位置處供應(yīng)關(guān)于觀眾的信息時，產(chǎn)生其中立體地觀看在圖8的右部的物體B1C的雙視點圖像，并且向選擇輸出單元92供應(yīng)。
[0083]另外，N視點圖像產(chǎn)生單元91通過使用外插來從作為輸入圖像的雙視點圖像產(chǎn)生在圖7中所示的視點圖像C和D來當在其中在觀眾H13的左手方向上觀看顯示器65和視差屏障63的位置處供應(yīng)關(guān)于觀眾的信息時，產(chǎn)生其中立體地觀看在圖8的右部的物體B1L的雙視點圖像，并且向選擇輸出單元92供應(yīng)。
[0084]因為這個原因，如圖8中所示，對于在右手方向上在觀看顯示器65和視差屏障63的觀眾H11，就像在其中在右手方向上觀看物體B1的情況下那樣，能夠使得當在右手方向上觀看物體B1時，如在物體B1R中所示觀看物體B1，其中，觀看在前部被觀看的粗字符“Su”，就好像它通過向右旋轉(zhuǎn)被移位。另外，對于在前向上在觀看顯示器65和視差屏障63的觀眾H12，就像在其中在前向上觀看物體B1的情況下那樣，能夠使得當在前向上觀看物體B1時，如在物體B1C中所示在前面觀看粗字符“Su”。而且，對于在左手方向上在觀看顯示器65和視差屏障63的觀眾H13，就像在其中在左手方向上觀看物體B1的情況下那樣，能夠使得當在左手方向上觀看物體B1時，如在物體B1L中所示觀看物體B1，其中，觀看在前部被觀看的粗字符“Su”，就好像它通過向左旋轉(zhuǎn)被移位。[0085]另外，在步驟S38中，當所需視點的數(shù)量是2時，在步驟S39中，選擇輸出單元92確定從觀眾位置檢測單元81供應(yīng)的觀眾的位置是否是中心位置。例如，在步驟S39中，當觀眾的位置是中心位置時，選擇輸出單元92在步驟S40中原樣向顯示單元27輸出從雙視點圖像輸出單元42供應(yīng)的作為輸入圖像的雙視點圖像。另外，在步驟S39中，當從觀眾位置檢測單元81供應(yīng)的觀眾的位置不是中心位置時，選擇輸出單元92在步驟S41中向顯示單元27輸出從N視點圖像產(chǎn)生單元91供應(yīng)的N視點圖像。
[0086]作為結(jié)果，能夠在顯示器65和視差屏障63中實現(xiàn)與觀眾在觀看的方向?qū)?yīng)的三維立體視圖。另外，當多個觀眾位于分離的位置處時，N視點圖像產(chǎn)生單元91能夠通過在每一個觀眾的位置處產(chǎn)生觀眾的數(shù)量的所需的雙視點圖像來實現(xiàn)用于多個觀眾的每一個位置的適當?shù)娜S立體視圖。在該情況下，因為當多個觀眾可以共享多視點圖像時可以盡可能多地共享多視點圖像，并且能夠減少作為多視點圖像的必要圖像，所以可以抑制分辨率的變差。
[0087]如上所述，當產(chǎn)生多視點圖像時，能夠通過下述方式使得圖像看起來好像也改變與被三維立體地觀看的物體的位置關(guān)系:選擇和顯示與觀眾相對于顯示器65和視差屏障63的觀看位置對應(yīng)的雙視點圖像。
[0088]<3.第三實施例>
[0089]〈使用柱狀透鏡的圖像處理裝置〉
[0090]如上所述，使用視差屏障的示例已經(jīng)被描述為視差屏障的配置，然而，因為可以根據(jù)所需視點的數(shù)量來設(shè)置視差屏障的配置，所以不限于視差屏障，并且可以是柱狀透鏡。
[0091]圖9示出其中使用柱狀透鏡的圖像處理裝置11的第三實施例的配置示例。另外，在圖9中，向具有與在圖1中的圖像處理裝置11相同的功能的構(gòu)造給出相同的數(shù)字和相同的附圖標號，并且將適當?shù)厥÷云湔f明。
[0092]S卩，在圖9中的圖像處理裝置11中，與在圖1中的圖像處理裝置11的差別是在圖9中的圖像處理裝置11包括取代視差屏障間距計算單元61、視差屏障間距控制單元62和視差屏障63的柱狀透鏡間距計算單元101、柱狀透鏡間距控制單元102和柱狀透鏡103。
[0093]柱狀透鏡103 —般用于與視差屏障63相同的目的。視差屏障63配置光屏蔽區(qū)域，并且通過將光透射區(qū)域劃分為狹縫來配置視差屏障，然而，通過其上在垂直方向上設(shè)置半圓不均勻的液體透鏡來配置柱狀透鏡103。它通過下述方式具有與改變視差屏障的狹縫的間距相同的功能:使用從柱狀透鏡間距控制單元102供應(yīng)的電壓來改變不均勻的間距。
[0094]柱狀透鏡間距計算單元101計算與由視差屏障間距計算單元61計算的狹縫的間距對應(yīng)的柱狀透鏡103的不均勻的間距(間隙)，并且向柱狀透鏡間距控制單元102供應(yīng)計
晳奸里
[0095]柱狀透鏡間距控制單元102通過基于計算結(jié)果產(chǎn)生對應(yīng)的電壓來控制柱狀透鏡103的不均勻的間距。
[0096]<使用在圖9中的圖像處理裝置的多視點圖像的顯示處理>
[0097]隨后，將參考在圖10中的流程圖來描述使用在圖9中的圖像處理裝置來進行的多視點圖像的顯示處理。另外，在圖10中的流程圖中的步驟S61至S69和S72的處理與在圖2的流程圖中的步驟S1至S9和S12的處理相同，將省略其說明。
[0098]S卩，當通過步驟S61至S69的處理來向顯示單元27供應(yīng)多視點圖像或雙視點圖像時，在步驟S70中，顯示單元27的柱狀透鏡間距計算單元101根據(jù)所需視點的數(shù)量N計算在柱狀透鏡103中的不均勻間距(間隙)，并且向柱狀透鏡間距控制單元102供應(yīng)計算結(jié)果。另外，該計算方法對應(yīng)于上述的表達式(3)，將省略其說明。
[0099]在步驟S71中，柱狀透鏡間距控制單元102被設(shè)置使得通過控制柱狀透鏡103的施加電壓來以從柱狀透鏡間距計算單元101供應(yīng)的間距來提供不均勻部分。
[0100]根據(jù)上述處理，能夠發(fā)揮與圖1的圖像處理裝置11相同的效果，即使取代視差屏障63使用柱狀透鏡103。另外，柱狀透鏡103具有比視差屏障63高的要透射的光強，觀眾能夠在那個程度上觀看明亮的立體圖像。而且，類似于在圖5中的圖像處理裝置11，能夠通過下述方式來顯示與觀眾的位置對應(yīng)的雙視點圖像:提供觀眾位置檢測單元81，在圖9中的圖像處理裝置11中提供取代N視點圖像產(chǎn)生單元43和選擇輸出單元44的N視點圖像產(chǎn)生單元91和選擇輸出單元92。
[0101]如上所述，根據(jù)本技術(shù)，能夠以與觀眾的數(shù)量對應(yīng)的適當?shù)姆直媛蕘盹@示多視點圖像。
[0102]同時，可以使用硬件來執(zhí)行上述系列的處理，然而，也可以使用軟件來執(zhí)行該系列處理。當使用軟件來執(zhí)行該系列處理時，通過從記錄介質(zhì)安裝多種程序等來向在內(nèi)置于專用硬件的計算機或例如可以執(zhí)行多個功能的通用個人計算機安裝配置該軟件的程序。
[0103]圖11示出通用個人計算機的配置示例。個人計算機包括內(nèi)置CPU(中央處理單元(即，硬件處理器))1001。CPU1001通過總線1004與輸入/輸出接口 1005連接?？偩€1004與ROM (只讀存儲器(即，存儲介質(zhì)))1002和RAM (隨機存取存儲器)1003連接。
[0104]輸入/輸出接口 1005與下述部分連接:用于輸入用戶操作命令的鍵盤；由諸如鼠標的輸入裝置形成的輸入單元1006 ;輸出單元1007，用于向顯示裝置輸出處理操作屏幕或處理結(jié)果的圖像；存儲單元1008，其由用于存儲程序或各種數(shù)據(jù)的硬盤驅(qū)動器等形成；以及通信單元1009，其由LAN (局域網(wǎng))適配器等形成。并且，輸入/輸出接口 1005通過由因特網(wǎng)代表的網(wǎng)絡(luò)來執(zhí)行通信處理。另外，磁盤(包括軟盤)、光盤(包括⑶-ROM (致密盤-只讀存儲器)和DVD (數(shù)字通用盤))、磁光盤(包括MD (微型盤))或相對于諸如半導(dǎo)體存儲器的可移除介質(zhì)1011讀取和寫入數(shù)據(jù)的驅(qū)動器1010連接到輸入/輸出接口。
[0105]CPU 1001根據(jù)在R0M1002中存儲的程序(即，指令)來執(zhí)行各種處理，或者從磁盤、光盤、磁光盤或諸如半導(dǎo)體存儲器的可移除介質(zhì)1011 (其任何一個構(gòu)成永久的計算機可讀存儲介質(zhì))讀出的多種程序(即，指令)被安裝在存儲單元1008中，并且被從存儲單元1008加載到RAM1003。另外，RAM1003適當?shù)卮鎯Ξ擟PU1001執(zhí)行各種處理時所需的數(shù)據(jù)等。
[0106]另外，在本申請中，描述在記錄介質(zhì)中記錄的程序的步驟包括單獨或也并行執(zhí)行的處理，即使不必然以時間系列來處理它們，并且不必說，根據(jù)所述順序來包括以時間系列執(zhí)行的處理。
[0107]另外，本技術(shù)可以具有下面描述的配置。
[0108](1) 一種設(shè)備，包括:
[0109]硬件處理器；以及
[0110]存儲介質(zhì)，所述存儲介質(zhì)耦合到所述處理器，并且存儲指令，所述指令當被所述處理器執(zhí)行時使得所述設(shè)備:
[0111]確定觀眾的數(shù)量；[0112]基于觀眾的數(shù)量來計算視點的數(shù)量；以及
[0113]產(chǎn)生與所述視點對應(yīng)的多個圖像。
[0114](2) ( 1)的設(shè)備，其中，所述存儲介質(zhì)存儲指令，所述指令當被所述處理器執(zhí)行時使得所述設(shè)備向顯示器輸出所述多個圖像。
[0115](3) (2)的設(shè)備，包括所述顯示器。
[0116](4) (1)至(3)中任一的設(shè)備，其中，所述存儲介質(zhì)存儲指令，所述指令當被所述處理器執(zhí)行時使得所述設(shè)備從左眼圖像和右眼圖像產(chǎn)生所述多個圖像。
[0117](5) (1)至(4)中任一的設(shè)備，其中，所述存儲介質(zhì)存儲指令，所述指令當被所述處理器執(zhí)行時使得所述設(shè)備基于觀眾圖像來確定觀眾的數(shù)量。
[0118](6) (5)的設(shè)備，其中，所述存儲介質(zhì)存儲指令，所述指令當被所述處理器執(zhí)行時使得所述設(shè)備通過檢測在所述觀眾圖像中的面部的數(shù)量來確定觀眾的數(shù)量。
[0119](7) (5)或(6)的設(shè)備，包括成像單元，用于捕獲所述觀眾圖像。
[0120](8) (1)至(7)中任一的設(shè)備，其中，所述存儲介質(zhì)存儲指令，所述指令當被所述處理器執(zhí)行時使得所述設(shè)備通過從其他圖像內(nèi)插或外插所述多個圖像來產(chǎn)生所述多個圖像。
[0121](9) (1)至(4)中任一的設(shè)備，其中，所述存儲介質(zhì)存儲指令，所述指令當被所述處理器執(zhí)行時使得所述設(shè)備基于觀眾位置來產(chǎn)生所述多個圖像。
[0122](10) (9)的設(shè)備，包括成像單元，用于捕獲觀眾圖像，其中，所述存儲介質(zhì)存儲指令，所述指令當被所述處理器執(zhí)行時使得所述設(shè)備基于所述觀眾圖像來確定所述觀眾位置。
[0123](11) (1)至(10)中任一的設(shè)備，其中，所述存儲介質(zhì)存儲指令，所述指令當被所述處理器執(zhí)行時使得所述設(shè)備基于視點的數(shù)量來計算用于控制視差屏障的間距。
[0124](12) (11)的設(shè)備，包括所述視差屏障。
[0125](13) (1)至(10)中任一的設(shè)備，其中，所述存儲介質(zhì)存儲指令，所述指令當被所述處理器執(zhí)行時使得所述設(shè)備基于視點的數(shù)量來計算用于控制柱狀透鏡的間距。
[0126](14) (13)的設(shè)備，包括所述柱狀透鏡。
[0127]雖然已經(jīng)參考附圖詳細描述了一些實施例，但是本公開不限于這樣的實施例。本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)當明白，可以根據(jù)設(shè)計要求和其他因素來進行各種修改、組合、子組合和改變，只要它們在所附的權(quán)利要求或其等同物的范圍內(nèi)。而且，應(yīng)當明白，在此使用的不定冠詞“一個”在包含連接詞“包括”、“包含”和/或“具有”的開放權(quán)利要求中表示“一個或多個”。
[0128]附圖標記列表
[0129]11:圖像處理裝置
[0130]21:成像單元
[0131]22:面部圖像檢測單元
[0132]23:觀眾數(shù)量檢測單元
[0133]24:所需視點數(shù)量檢測單元
[0134]25-1:右眼圖像獲得單元
[0135]25-2:左眼圖像獲得單元
[0136]26:多視點圖像產(chǎn)生單元[0137]27:顯示單元
[0138]41:雙視點確定單元
[0139]42:雙視點圖像輸出單元
[0140]43:N視點圖像產(chǎn)生單元
[0141]44:選擇輸出單元
[0142]61:視差屏障間距計算單元
[0143]62:視差屏障間距控制單元
[0144]63:視差屏障
[0145]64:顯示像素陣列設(shè)置單元
[0146]65:顯不器
[0147]81:觀眾位置檢測單元
[0148]82:多視點圖像獲得單元
[0149]91:N視點圖像選擇單元
[0150]101:柱狀透鏡間距計算單元
[0151]102:柱狀透鏡間距控制單元
[0152]103:柱狀透鏡
【權(quán)利要求】
1.一種設(shè)備，包括: 硬件處理器；以及 存儲介質(zhì)，所述存儲介質(zhì)耦合到所述處理器，并且存儲指令，所述指令當被所述處理器執(zhí)行時使得所述設(shè)備: 確定觀眾的數(shù)量； 基于觀眾的數(shù)量來計算視點的數(shù)量；以及 產(chǎn)生與所述視點對應(yīng)的多個圖像。
2.根據(jù)權(quán)利要求1所述的設(shè)備，其中，所述存儲介質(zhì)存儲指令，所述指令當被所述處理器執(zhí)行時使得所述設(shè)備向顯示器輸出所述多個圖像。
3.根據(jù)權(quán)利要求2所述的設(shè)備，包括所述顯示器。
4.根據(jù)權(quán)利要求1所述的設(shè)備，其中，所述存儲介質(zhì)存儲指令，所述指令當被所述處理器執(zhí)行時使得所述設(shè)備從左眼圖像和右眼圖像產(chǎn)生所述多個圖像。
5.根據(jù)權(quán)利要求1所述的設(shè)備，其中，所述存儲介質(zhì)存儲指令，所述指令當被所述處理器執(zhí)行時使得所述設(shè)備基于觀眾圖像來確定觀眾的數(shù)量。
6.根據(jù)權(quán)利要求5所述的設(shè)備，其中，所述存儲介質(zhì)存儲指令，所述指令當被所述處理器執(zhí)行時使得所述設(shè)備通過檢測在所述觀眾圖像中的面部的數(shù)量來確定觀眾的數(shù)量。
7.根據(jù)權(quán)利要求6所述的設(shè)備，包括成像單元，用于捕獲所述觀眾圖像。
8.根據(jù)權(quán)利要求1所述的設(shè)備，其中，所述存儲介質(zhì)存儲指令，所述指令當被所述處理器執(zhí)行時使得所述設(shè)備通過從其他圖像內(nèi)插或外插所述多個圖像來產(chǎn)生所述多個圖像。
9.根據(jù)權(quán)利要求1所述的設(shè)備，其中，所述存儲介質(zhì)存儲指令，所述指令當被所述處理器執(zhí)行時使得所述設(shè)備基于觀眾位置來產(chǎn)生所述多個圖像。
10.根據(jù)權(quán)利要求9所述的設(shè)備，包括成像單元，用于捕獲觀眾圖像，其中，所述存儲介質(zhì)存儲指令，所述指令當被所述處理器執(zhí)行時使得所述設(shè)備基于所述觀眾圖像來確定所述觀眾位置。
11.根據(jù)權(quán)利要求1所述的設(shè)備，其中，所述存儲介質(zhì)存儲指令，所述指令當被所述處理器執(zhí)行時使得所述設(shè)備基于視點的數(shù)量來計算用于控制視差屏障的間距。
12.根據(jù)權(quán)利要求11所述的設(shè)備，包括所述視差屏障。
13.根據(jù)權(quán)利要求1所述的設(shè)備，其中，所述存儲介質(zhì)存儲指令，所述指令當被所述處理器執(zhí)行時使得所述設(shè)備基于視點的數(shù)量來計算用于控制柱狀透鏡的間距。
14.根據(jù)權(quán)利要求13所述的設(shè)備，包括所述柱狀透鏡。
15.一種方法，包括: 確定觀眾的數(shù)量； 基于觀眾的數(shù)量來計算視點的數(shù)量；以及 產(chǎn)生與所述視點對應(yīng)的多個圖像。
16.一種用于存儲指令的永久計算機可讀存儲介質(zhì)，所述指令當被所述處理器執(zhí)行時使得所述設(shè)備: 確定觀眾的數(shù)量； 基于觀眾的數(shù)量來計算視點的數(shù)量；以及 產(chǎn)生與所述視點對應(yīng)的多個圖像。
【文檔編號】G09G5/00GK103597824SQ201280028044
【公開日】2014年2月19日 申請日期:2012年6月8日 優(yōu)先權(quán)日:2011年6月15日
【發(fā)明者】上木伸夫, 西堀一彥 申請人:索尼公司