信息呈現(xiàn)裝置、數(shù)字照相機、頭戴式顯示器、投影儀、信息呈現(xiàn)方法和信息呈現(xiàn)程序的制作方法

專利名稱：信息呈現(xiàn)裝置、數(shù)字照相機、頭戴式顯示器、投影儀、信息呈現(xiàn)方法和信息呈現(xiàn)程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種信息呈現(xiàn)裝置、數(shù)字照相機、頭戴式顯示器、投影儀、信息呈現(xiàn)方法和信息呈現(xiàn)程序。
背景技術(shù)：
在由照相機拍攝的現(xiàn)實空間圖像(捕獲圖像)上疊加并顯示虛擬物體的增強現(xiàn)實技術(shù)已推廣市場，并且采用增強現(xiàn)實技術(shù)的移動電話或頭戴式顯示器(HMD)開始出現(xiàn)。提供這種增強現(xiàn)實的增強現(xiàn)實提供設(shè)備在顯示單元上顯示適于具有增強現(xiàn)實提供設(shè)備的用戶的圖像。例如，在專利文獻I中，根據(jù)佩戴HMD的用戶的視線來確定待疊加在捕獲圖像上的虛擬物體。當可以考慮到由照相機拍攝的人物而不限于具有增強現(xiàn)實提供設(shè)備的用戶而進行顯示時，增強現(xiàn)實提供設(shè)備的使用能得以拓寬，從而能夠?qū)崿F(xiàn)增強現(xiàn)實技術(shù)的市場規(guī)模的擴展。例如，專利文獻2描述了一種對包括在捕獲圖像中的人物進行檢測且將CG裝束疊加在人物上的方法。根據(jù)該方法，可以考慮到由增強現(xiàn)實提供設(shè)備的照相機拍攝的人物而進行顯示。然而，專利文獻2的方法需要連續(xù)地將CG疊加在走動的人物上，使得系統(tǒng)配置變得復(fù)雜。因此，一般的用戶不能沒有負擔地使用它。專利文獻3是用于在虛擬空間上顯示人物的CG的技術(shù)，但是與增強現(xiàn)實提供設(shè)備無關(guān)。專利文獻4涉及一種用于檢測人物的面部位置和面部方向的系統(tǒng)，但是與增強現(xiàn)實提供設(shè)備無關(guān)。專利文獻5涉及一種技術(shù)，在該技術(shù)中，三維空間中人物的面部位置和面部方向被用來確定人物是否是彼此面對，并且根據(jù)確定結(jié)果將屬性值分配給人物以使唯一的ID與每個人物的屬性值相關(guān)聯(lián)，但是該技術(shù)與增強現(xiàn)實提供設(shè)備無關(guān)。同時，當在特定位置處投影三維圖像的投影儀可以考慮到觀看圖像的人物進行投影而不受限于增強現(xiàn)實提供設(shè)備時，投影儀的使用能夠被拓寬。專利文獻I至5未公開能夠?qū)崿F(xiàn)這樣的投影儀的技術(shù)。引文列表專利文獻專利文獻1JP-A-2005-174021專利文獻2JP-A-2009-289035專利文獻3JP-A-2000-331190專利文獻4JP-A-2007-026073專利文獻5JP-A-2010-044448

發(fā)明內(nèi)容
技術(shù)問題本發(fā)明是考慮到上面情況而做出的，并且本發(fā)明的目的是提供一種具有改善的便利性的信息呈現(xiàn)裝置、信息呈現(xiàn)方法和信息呈現(xiàn)程序。問題的解決方案本發(fā)明的一種信息呈現(xiàn)裝置是向現(xiàn)實空間中的人物呈現(xiàn)信息的信息呈現(xiàn)裝置，該信息呈現(xiàn)裝置包括:控制單元，其執(zhí)行控制以將信息疊加在由成像元件捕獲的待顯示在顯示單元上的現(xiàn)實空間圖像上或者將信息投影在現(xiàn)實空間的一個位置上；視線檢測單元，其檢測在由成像元件捕獲的現(xiàn)實空間圖像中所包括的人物的視線；以及信息呈現(xiàn)位置確定單元，其基于由視線檢測單元檢測到的視線來確定信息的疊加位置或所述一個位置。本發(fā)明的數(shù)字照相機和頭戴式顯示器中的每一個均包括信息呈現(xiàn)裝置的各個單元、成像元件和顯示單元，并且控制單元執(zhí)行控制以將信息疊加在由成像元件捕獲的待顯示在顯示單元上的現(xiàn)實空間圖像上。本發(fā)明的投影儀是這樣的投影儀，其包括信息呈現(xiàn)裝置的各個單元以及成像元件，并且控制單元執(zhí)行控制以將信息投影在現(xiàn)實空間的位置上。本發(fā)明的信息呈現(xiàn)方法是一種向現(xiàn)實空間中的人物呈現(xiàn)信息的信息呈現(xiàn)方法，其包括:控制步驟，用于執(zhí)行控制以將信息疊加在由成像元件捕獲的待顯示在顯示單元上的現(xiàn)實空間圖像上或者將信息投影在現(xiàn)實空間的位置上；視線檢測步驟，用于檢測包括在由成像元件捕獲的現(xiàn)實空間圖像中的人物的視線；以及信息呈現(xiàn)位置確定步驟，用于基于通過視線檢測步驟檢測到的視線來確定信息呈現(xiàn)位置以確定信息的疊加位置或投影位置。本發(fā)明的信息呈現(xiàn)程序是使計算機執(zhí)行信息呈現(xiàn)方法的各個步驟的程序。本發(fā)明的有益效果根據(jù)本發(fā)明，可以提供一種非常方便的信息呈現(xiàn)裝置、信息呈現(xiàn)方法和信息呈現(xiàn)程序。


圖1是用于說明本發(fā)明的實施例示出數(shù)字照相機的示意性配置的示圖。圖2是用于說明人物的視線矢量的示圖。圖3是用于說明當圖2所示的三個視線被視線檢測單元12檢測到時確定虛擬物體的疊加位置的方法的示圖。圖4是用于說明當圖1所示的數(shù)字照相機處于增強現(xiàn)實模式時的操作的流程圖。圖5是示出圖1所示的數(shù)字照相機的第一變型示例的示圖。圖6是示出記錄在數(shù)據(jù)庫IOa中的第一表格的示例(在人物的數(shù)量為三個的情況下)的示圖。圖7是用于說明當圖5所示的數(shù)字照相機處于增強現(xiàn)實模式時的操作的示圖。圖8是用于說明當圖5所示的數(shù)字照相機處于增強現(xiàn)實模式時的操作的流程圖。圖9是示出圖1所示的數(shù)字照相機的第二變型示例的示圖。圖10是示出記錄在圖9所示的數(shù)字照相機的數(shù)據(jù)庫IOa中的第二表格的示例。圖1lA至圖1lC是用于說明當圖9所示的數(shù)字照相機處于兩個人物增強現(xiàn)實模式時的操作的示圖。圖12是用于說明當圖9所示的數(shù)字照相機處于兩個人物增強現(xiàn)實模式時的操作的流程圖。圖13是用于說明當圖1所示的數(shù)字照相機處于增強現(xiàn)實模式時的操作的變型示例的流程圖。圖14是用于說明當圖1所示的數(shù)字照相機由HMD取代時的操作的示圖。圖15是示出用于說明本發(fā)明實施例的三維投影儀150的示意性配置的示圖。圖16是用于說明圖15所示的投影儀的操作的示圖。
具體實施例方式下面，參照附圖對與本發(fā)明的信息呈現(xiàn)裝置的實施例相對應(yīng)的數(shù)字照相機進行描述。圖1是用于說明本發(fā)明的實施例示出數(shù)字照相機的示意性配置的示圖。該數(shù)字照相機配備有增強現(xiàn)實模式，在增強現(xiàn)實模式中諸如虛擬物體的信息(計算機圖形；CG)被疊加在通過拍攝現(xiàn)實空間所獲得的將要顯示的現(xiàn)實空間圖像(捕獲圖像)上以向用戶提供增強現(xiàn)實性。圖1所示的數(shù)字照相機的圖像捕獲系統(tǒng)包括:拍攝鏡頭1，其例如包括聚焦透鏡或變焦透鏡；光圈2，其設(shè)置在拍攝鏡頭I的后側(cè)；成像元件3(例如CXD類型或MOS類型成像元件)，其設(shè)置在光圈2的后側(cè)；模擬前端(“AFE”)32，其對從成像元件3輸出的信號進行模擬信號處理；AD轉(zhuǎn)換單元33，其將AFE32的輸出信號進行數(shù)字轉(zhuǎn)換以進行輸出；鏡頭驅(qū)動單元4,其控制拍攝鏡頭I的聚焦透鏡或變焦透鏡的移動；以及成像元件驅(qū)動單元5,其控制成像元件3的驅(qū)動。從AD轉(zhuǎn)換單元33輸出的數(shù)字形式的捕獲圖像信號被輸出至總線B。鏡頭驅(qū)動單元4、成像元件驅(qū)動單元5、AFE32和AD轉(zhuǎn)換單元33受到系統(tǒng)控制單元(“CPU”)6的控制，系統(tǒng)控制單元6全面控制整個數(shù)字照相機。CPU6與用于數(shù)字照相機的各種操控的操控單元7、其中存儲有由CPU6執(zhí)行的各種程序的R0M8、以及用作CPU6的工作存儲器的RAM9相連接。此外，CPU6連接至總線B。圖1所示的數(shù)字照相機的電子控制系統(tǒng)包括CPU6、疊加位置確定單元11、視線檢測單元12、坐標轉(zhuǎn)換單元14、面部部位檢測單元15、面部檢測單元16、CG疊加單元17、存儲器18、信號處理單元19、控制存儲器卡(記錄介質(zhì))21的卡接口 20、以及控制諸如液晶面板或有機EL面板之類的顯示單元23的顯示控制單元22，而且這些部件通過總線B彼此相連并且受到CPU6的控制。疊加位置確定單元11、視線檢測單元12、坐標轉(zhuǎn)換單元14、面部部位檢測單元15、面部檢測單元16和CG疊加單元17是由CPU6 (對應(yīng)于計算機)執(zhí)行存儲在R0M8中的信息呈現(xiàn)程序而實現(xiàn)的功能塊。信號處理單元19由數(shù)字信號處理器(“DSP”)構(gòu)成，并且對從AD轉(zhuǎn)換單元33輸出的且臨時存儲在存儲器18中的捕獲圖像信號執(zhí)行圖象處理(例如合成處理或Y校正處理)，以產(chǎn)生捕獲圖像數(shù)據(jù)。面部檢測單元16獲取從信號處理單元19產(chǎn)生的捕獲圖像數(shù)據(jù)，并且對所獲取的捕獲圖像數(shù)據(jù)執(zhí)行面部檢測處理。
面部部位檢測單元15檢測面部的各部位(下面，作為示例，將這些部分設(shè)置為兩個眼睛和嘴)，其中面部由面部檢測單元16所檢測。坐標轉(zhuǎn)換單元14將二維平面中連接由面部部位檢測單元15所檢測到的兩個眼睛的每個的中心和嘴的中心的三角形的每個點的坐標轉(zhuǎn)換成三維空間中的坐標(全局坐標)。視線檢測單元12基于由坐標轉(zhuǎn)換單元14進行轉(zhuǎn)換之后的三角形的全局坐標來檢測人物的視線(在三維空間中具有方向和大小的矢量)。例如，視線檢測單元12計算出三維空間中的三角形的法向矢量，該法向矢量的起始點對應(yīng)于在由坐標轉(zhuǎn)換單元14所轉(zhuǎn)換的三角形的各個點中與兩個眼睛相對應(yīng)的各點的中點，并且視線檢測單元12檢測法向矢量作為視線。如圖2所示，當三個人物2A、2B和2C包括在捕獲圖像數(shù)據(jù)中時，視線檢測單元12計算出連接每個人物的兩個眼睛和嘴的三角形的法向矢量(視線矢量)BI至B3。疊加位置確定單元11基于由視線檢測單元12所檢測到的多個視線來計算與多個視線正注視的區(qū)域相對應(yīng)的三維空間上關(guān)注區(qū)域的重心。此外，疊加位置確定單元11確定重心位置作為在其上將要疊加虛擬物體的位置(關(guān)注點)。圖3是用于說明當圖2所示的三個視線BI至B3被視線檢測單元12檢測到時確定虛擬物體的疊加位置的方法的示圖。疊加位置確定單元11在由全局坐標所限定的三維空間中連接視線矢量BI和視線矢量B2且垂直于視線矢量BI和視線矢量B2的線段中計算出最短線段3A。此外，疊加位置確定單元11在連接視線矢量BI和視線矢量B3且垂直于視線矢量BI和視線矢量B3的線段中計算出最短線段3B。更進一步地，疊加位置確定單元11在連接視線矢量B2和視線矢量B3且垂直于視線矢量B2和視線矢量B3的線段中計算出最短線段3C。隨后，疊加位置確定單元11在計算出的線段3A至3C中刪去其長度等于或大于閾值的線段。如果存在其長度等于或大于閾值的線段，則可以判斷由該線段連接的兩個視線矢量彼此較寬地間隔開。為此，不采用這樣的線段來確定疊加虛擬物體的位置，以防止虛擬物體的疊加位置的計算精度降低。當在刪去其長度等于或大于閾值的線段之后仍然存在三個或更多線段時，疊加位置確定單元11將通過連接這三個或更多線段的各個中點所形成的多邊形定義為關(guān)注區(qū)域，并且將該關(guān)注區(qū)域的重心設(shè)置作為用于疊加虛擬物體的坐標。此外，當在刪去其長度等于或大于閾值的線段之后仍然存在兩個線段時，疊加位置確定單元11將連接這兩個線段的各個中點的線段的中點定義為用于疊加虛擬物體的坐標。更進一步地，當在刪去其長度等于或大于閾值的線段之后存在一個線段時，疊加位置確定單元11將該線段的中點定義為用于疊加虛擬物體的坐標。當如圖3所示所有線段3A至3C的長度均小于閾值時，連接線段3A的中點、線段3B的中點和線段3C的中點的三角形的重心成為用于疊加虛擬物體的坐標(關(guān)注點坐標)。CG疊加單元17將由疊加位置確定單元11所確定的關(guān)注點坐標轉(zhuǎn)換成二維坐標，并且生成其中虛擬物體與轉(zhuǎn)換的坐標相結(jié)合的增強現(xiàn)實圖像數(shù)據(jù)，并且指示顯示控制單元22將基于增強現(xiàn)實圖像數(shù)據(jù)的圖像顯示在顯示單元23上。顯示控制單元22控制顯示單元23來顯示基于由CG疊加單元17指示的增強現(xiàn)實圖像數(shù)據(jù)的圖像。下面，對圖1所示的數(shù)字照相機在其處于增強現(xiàn)實模式時的操作進行描述。圖4是用于說明當圖1所示的數(shù)字照相機處于增強現(xiàn)實模式時的操作的流程圖。當其設(shè)置為增強現(xiàn)實模式時，CPU6控制成像元件驅(qū)動單元5以通過成像元件3開始進行移動圖像的拍攝。當通過成像元件3開始移動圖像的拍攝時，信號處理單元19對順序地從成像元件3輸出的捕獲圖像信號進行圖像處理以生成捕獲圖像數(shù)據(jù)。所生成的捕獲圖像數(shù)據(jù)通過顯示控制單元22的控制而順序地顯示在顯示單元23上。因此，用戶能夠?qū)⑴臄z的現(xiàn)實空間圖像識別為即時預(yù)覽圖像。同時，當生成捕獲圖像數(shù)據(jù)時，面部檢測單元16獲取捕獲圖像數(shù)據(jù)(步驟S40)，并且對所獲取的捕獲圖像數(shù)據(jù)執(zhí)行面部檢測處理(步驟S41)。當作為面部檢測處理的結(jié)果檢測到一個或多個面部時(步驟S42:是)，面部部位檢測單元15在所檢測到的面部中檢測兩個眼睛和一個嘴(步驟S43)。當作為面部檢測處理的結(jié)果未檢測到一個或多個面部時(步驟S42:否)，處理返回至步驟S40，并且獲取下一幀移動圖像，而且對該幀進行面部檢測處理。當在步驟S43的處理中檢測到針對兩個或更多人物的由兩個眼睛和嘴構(gòu)成的部位組時(步驟S44:是)，執(zhí)行步驟S45之后的處理。同時，當未檢測到針對兩個或更多人物的部位組時(步驟S44:否)，在步驟S40獲取下一幀移動圖像，并且對該幀執(zhí)行面部檢測處理。在步驟S45，坐標轉(zhuǎn)換單元14計算出連接步驟S43中所檢測到的每個部位組的兩個眼睛線的每個中心和嘴的中心的三角形(部位三角形)的每個頂點的坐標，并且將該坐標轉(zhuǎn)換成三維空間的坐標(全局坐標)(步驟S45)。隨后，在轉(zhuǎn)換至全局坐標之后，視線檢測單元12針對每個部位三角形計算出其起始點為連接兩個眼睛的線段的中點的法向矢量(視線矢量)(步驟S46)，其中兩個眼睛形成該部位三角形。此時，計算出N (N是大于等于2的自然數(shù))個視線矢量。隨后，疊加位置確定單元11針對N個視線矢量中的每一個執(zhí)行在連接一個視線矢量和其它N-1個視線矢量中每一個、且與這兩個視線矢量均垂直的線段中計算出最短線段的處理。因此，計算出[{N (N-1) }/2]個線段(步驟S47)。隨后，疊加位置確定單元11在[{N (N-l)}/2]個線段中刪去其長度等于或大于閾值(TH)的線段(步驟S48)。同時，當在步驟48刪去所有線段時，處理進行至步驟S40。同時，當在步驟48留下一個或多個線段時，處理進行至步驟S49。在步驟S49，當留下三個或更多線段時，疊加位置確定單元11將連接三個線段中每一個的中點的多邊形的重心設(shè)置作為用于疊加虛擬物體的關(guān)注點坐標。此外，當留下兩個線段時，疊加位置確定單元11將連接這兩個線段的中點的線段的中點設(shè)置作為用于疊加虛擬物體的關(guān)注點坐標。更進一步地，當留下一個線段時，疊加位置確定單元11將該線段的中點設(shè)置作為用于疊加虛擬物體的關(guān)注點坐標。隨后，CG疊加單元17將在步驟S49計算出的關(guān)注點坐標轉(zhuǎn)換成二維坐標。此外，CG疊加單元17產(chǎn)生虛擬物體與二維坐標相結(jié)合的增強現(xiàn)實圖像數(shù)據(jù)，并且允許由顯示控制單元22將基于增強現(xiàn)實圖像數(shù)據(jù)的圖像顯示在顯示單元23上(步驟S50)。在步驟S50之后，當通過操控單元17發(fā)出指令以拍攝靜止圖像時，成像元件3拍攝靜止圖像，并因此由信號處理單元19生成捕獲圖像數(shù)據(jù)。然后，執(zhí)行步驟S40至步驟S49的處理，并且將所生成的增強現(xiàn)實圖像數(shù)據(jù)顯示在顯示單元23上，同時通過卡接口 20將增強現(xiàn)實圖像數(shù)據(jù)記錄在存儲器卡21上。如上所述，根據(jù)該數(shù)字照相機，可以根據(jù)由成像元件3所拍攝的人物的視線來確定虛擬物體相對于顯示單元23上所顯示的現(xiàn)實空間圖像的疊加位置。為此，還可以提供考慮正拍攝目標的增強現(xiàn)實，使得可以拓寬增強現(xiàn)實提供設(shè)備的使用。進一步地，數(shù)字照相機具有簡單配置，使得所拍攝的人物的視線得以檢測并且根據(jù)該視線簡單地確定虛擬物體的疊加位置。為此，不需要如專利文獻2中所述的復(fù)雜系統(tǒng)，在該復(fù)雜系統(tǒng)中使用了從便攜式現(xiàn)實裝置接收數(shù)據(jù)并且基于所接收到的數(shù)據(jù)返回用于疊加的圖像數(shù)據(jù)的服務(wù)器計算機。因此，本發(fā)明的技術(shù)可以簡單地結(jié)合在一般用戶可容易地購買到的諸如數(shù)字照相機的設(shè)備中。同時，在上述說明中，在發(fā)出拍攝靜止圖像的指令之前顯示即時預(yù)覽圖像期間執(zhí)行從步驟S40至步驟S50的處理。然而，可以僅在發(fā)出拍攝靜止圖像的指令時執(zhí)行該處理。例如，在拍攝完成之后，數(shù)字照相機執(zhí)行圖4所示的步驟S40至S49的處理，以針對由信號處理單元19所生成的捕獲圖像數(shù)據(jù)計算出關(guān)注點的坐標。其后，數(shù)字照相機生成虛擬物體與坐標相結(jié)合的增強現(xiàn)實圖像數(shù)據(jù)，在顯示單元23上顯示增強現(xiàn)實圖像數(shù)據(jù)，并且同時將增強現(xiàn)實圖像數(shù)據(jù)記錄在存儲器卡21中。根據(jù)該配置，無需在顯示即時預(yù)覽期間執(zhí)行圖4所示的流程圖的處理的情況下結(jié)束處理，使得可以減小數(shù)字照相機的功耗。此外，數(shù)字照相機可以對拍攝已結(jié)束且記錄在存儲器卡21中的捕獲圖像數(shù)據(jù)或由另一個照相機所拍攝的捕獲圖像數(shù)據(jù)執(zhí)行圖4所示的處理，以生成增強現(xiàn)實圖像數(shù)據(jù)。通過這樣做，各種捕獲圖像數(shù)據(jù)可以轉(zhuǎn)換成增強現(xiàn)實圖像數(shù)據(jù)，而不會受限于通過由數(shù)字照相機進行拍攝所獲得的捕獲圖像數(shù)據(jù)，使得可以增加數(shù)字照相機的附加值。同時，當多個人物朝向完全不同的方向時，不能確定關(guān)注點。因此，數(shù)字照相機的先決條件在于:在攝影師使用例如手指來指示對應(yīng)于被攝體的人物朝向待注視的方向之后，驅(qū)動數(shù)字照相機以開始拍攝。下面，將對圖1所示的數(shù)字照相機的變型示例進行描述。圖5是示出圖1所示的數(shù)字照相機的第一變型示例的示圖。除增加了虛擬物體確定單元10、人物識別單元13和數(shù)據(jù)庫IOa之外，圖5所示的數(shù)字照相機具有與圖1所示的數(shù)字照相機相同的配置。虛擬物體確定單元10和人物識別單元13是通過由CPU6執(zhí)行信息呈現(xiàn)程序所實現(xiàn)的功能塊。人物識別單元13在由信號處理單元19所生成的捕獲圖像數(shù)據(jù)中檢測每個人物，并且確定人物屬性。數(shù)據(jù)庫IOa具有人物屬性表格，在人物屬性表格中記錄的人物的圖像和屬性彼此對應(yīng)。人物識別單元13基于在捕獲圖像數(shù)據(jù)中所提取的人物的圖像和人物屬性表格來確定所提取的人物的圖像的屬性。這里，人物屬性指的是表示性別、年齡、職業(yè)、姓名和裝束中至少一個的信息。虛擬物體確定單元10基于通過人物識別單元13和數(shù)據(jù)庫IOa所確定的屬性結(jié)果來確定虛擬物體的內(nèi)容。
數(shù)據(jù)庫IOa具有第一表格，在第一表格中彼此對應(yīng)地記錄人物屬性和虛擬物體的內(nèi)容。根據(jù)人物數(shù)量來準備第一表格。當存在多個人物時，將表示用于多個人物的屬性的組合的一個虛擬物體的內(nèi)容的數(shù)據(jù)記錄于其中。圖6是示出記錄在數(shù)據(jù)庫IOa中的第一表格的示例(在人物的數(shù)量為三個的情況下)的示圖。如圖6所示，汽車作為虛擬物體的內(nèi)容對應(yīng)于30至35歲男人、30至35歲女人、和0至5歲男人的三個人物的組合。進一步地，玩偶作為虛擬物體的內(nèi)容對應(yīng)于30至35歲男人、30至35歲女人、和0至5歲女人的三個人物的組合。更進一步地，英式足球作為虛擬物體的內(nèi)容對應(yīng)于20至25歲穿制服的男人、20至25歲穿制服的另一個男人、和20至25歲穿裁判制服的男人的三個人物的組合。例如，當由人物識別單元13所確定的三個人物的屬性為20至25歲穿制服的男人、20至25歲穿制服的另一個男人、以及20至25歲穿裁判制服的男人時，虛擬物體確定單元10根據(jù)人物屬性和數(shù)據(jù)庫IOA來確定英式足球作為虛擬物體。結(jié)果，基于增強現(xiàn)實圖像數(shù)據(jù)(由CG疊加單元17生成)所生成的圖像成為如圖7所示的圖像G中的圖像，并且與正拍攝的人物具有高度相關(guān)性的虛擬物體被疊加并且顯示在正拍攝的人物所注視的區(qū)域上。圖8是用于說明當圖5所示的數(shù)字照相機處于增強現(xiàn)實模式時的操作的流程圖。在圖5中，與圖4相同的處理由相同的附圖標記表示，并且將省略其描述。當確定檢測到兩個或更多人物的眼睛和嘴時，人物識別單元13針對其中在步驟S41檢測到面部的捕獲圖像數(shù)據(jù)識別每個人物，并且確定包括在捕獲圖像數(shù)據(jù)中的人物的屬性(步驟S81)。在步驟S81之后，執(zhí)行步驟S45至步驟S49的處理，然后虛擬物體確定單元10基于在步驟S81所確定的屬性和數(shù)據(jù)庫IOa來確定虛擬物體(步驟S82)。在步驟S82之后，CG疊加單元17生成其中步驟S82所確定的虛擬物體被疊加于步驟S49所確定的關(guān)注點上的增強現(xiàn)實圖像數(shù)據(jù)，并且在步驟S50使基于增強現(xiàn)實圖像數(shù)據(jù)的圖像顯示在顯示單元23上。如上所述，根據(jù)第一變型示例的數(shù)字照相機，根據(jù)被拍攝的人物的屬性可以確定待疊加于現(xiàn)實空間圖像上的虛擬物體的內(nèi)容。為此，虛擬物體可以設(shè)置成為具有與正被拍攝人物的高度相關(guān)性的虛擬物體，使得即使攝影師沒有指定虛擬物體，也可以獲得不提供不相容感覺的增強現(xiàn)實圖像。圖9是示出圖1所示的數(shù)字照相機的第二變型示例的示圖。除增加了視線角度檢測單元24之外，圖9所示的數(shù)字照相機具有與圖5所示的數(shù)字照相機相同的配置。圖9所示的數(shù)字照相機具有兩個人物增強現(xiàn)實模式，作為先決條件兩個人物增強現(xiàn)實模式要求待拍攝的人物數(shù)量為兩個。視線角度檢測單元24是通過由CPU6執(zhí)行信息呈現(xiàn)程序來實現(xiàn)的功能塊。當處于兩個人物增強現(xiàn)實模式時，視線角度檢測單元24將由視線檢測單元12檢測到的兩個視線矢量投影在二維平面(對應(yīng)于捕獲圖像的平面)上，并且計算出由兩個投影的視線矢量形成的角度e。當處于兩個人物增強現(xiàn)實模式時，疊加位置確定單元11將兩個視線矢量的交點的全局坐標轉(zhuǎn)換成二維坐標，并且確定該二維坐標作為將要疊加CG的位置(關(guān)注點)。當處于除兩個人物增強現(xiàn)實模式之外的增強現(xiàn)實模式時，疊加位置確定單元11根據(jù)由視線檢測單元12檢測到的N個視線矢量來確定關(guān)注點，如上所述。當處于兩個人物增強現(xiàn)實模式的狀態(tài)時，虛擬物體確定單元10基于由視線角度檢測單元24計算出的角度0和由人物識別單元13所確定的兩個人物的屬性來確定虛擬物體的內(nèi)容(類型和大小)。圖9所示的數(shù)字照相機中的數(shù)據(jù)庫IOa具有第二表格，在第二表格中彼此對應(yīng)地記錄有兩個人物的屬性的組合、由兩個人物形成的角度e、以及虛擬物體的內(nèi)容(類型和大小)。圖10是示出記錄在圖9所示的數(shù)字照相機的數(shù)據(jù)庫IOa中的第二表格的示例。如圖10所示，30至35歲穿燕尾服的男人和30至35歲穿結(jié)婚禮服的女人的兩個人物的組合、0彡9 ( Ji/8的信息、以及作為虛擬物體的內(nèi)容的“大的心”被記錄成彼此對應(yīng)。進一步地，30至35歲穿燕尾服的男人和30至35歲穿結(jié)婚禮服的女人的兩個人物的組合、/8彡9 ( 31/4的信息、以及作為虛擬物體的內(nèi)容的“小的心”被記錄成彼此對應(yīng)。更進一步地，20至25歲穿制服的男人和20至25歲穿制服的另一個男人的兩個人物的組合、OS 9 ( Ji/8的信息、以及作為虛擬物體的內(nèi)容的“火焰”被記錄成彼此對應(yīng)。例如，在由人物識 別單元13所確定的屬性是30至35歲穿燕尾服的男人和30至35歲穿結(jié)婚禮服的女人的組合以及由視線角度檢測單元24計算出的角度0為三十度的情況下，小的心被疊加并且顯示在拍攝的現(xiàn)實空間圖像中所包括的兩個人物的視線的交點附近，如圖1lA所示。此外，例如，在由人物識別單元13所確定的屬性是30至35歲穿燕尾服的男人和30至35歲穿結(jié)婚禮服的女人的組合以及由視線角度檢測單元24計算出的角度0為五度的情況下，大的心被顯示為疊加在拍攝的現(xiàn)實空間圖像中所包括的兩個人物的視線的交點附近，如圖1lB所示。更進一步地，例如，在由人物識別單元13所確定的屬性是20至25歲穿制服的男人和20至25歲穿制服的另一個男人的組合以及由視線角度檢測單元24計算出的角度9為五度的情況下，火焰被疊加并且顯示在拍攝的現(xiàn)實空間圖像中所包括的兩個人物的視線的交點附近，如圖1lC所示。圖12是用于說明當圖9所示的數(shù)字照相機處于兩個人物增強現(xiàn)實模式時的操作的流程圖。在圖12中，與圖8相同的處理由相同附圖標記表示，并且將省略其描述。在步驟S43的處理中，當確定成功檢測到兩個人物的眼睛和嘴時(步驟SllO:是)，則順序地執(zhí)行步驟S81、步驟S45和步驟S46。在步驟S46之后，視線角度檢測單元24將兩個視線矢量投影在步驟S46中計算出的二維平面上(步驟S111)，然后計算出由投影的兩個視線矢量形成的角度0 (步驟S112)。隨后，基于步驟S81中確定的兩個人物的屬性、步驟S112中計算出的角度0、以及記錄在數(shù)據(jù)庫IOa上的第二表格，虛擬物體確定單元10確定虛擬物體(步驟S113)。隨后，疊加位置確定單元11計算出全局坐標中的在步驟S46計算出的兩個視線矢量的交點的坐標，并且設(shè)置交點坐標作為關(guān)注點。其后，CG疊加單元17將交點坐標轉(zhuǎn)換成二維坐標，生成在步驟S113所確定的虛擬物體結(jié)合在交點的轉(zhuǎn)換的坐標處的增強現(xiàn)實圖像數(shù)據(jù)，并且將基于增強現(xiàn)實圖像數(shù)據(jù)的圖像顯示在顯示單元23上(步驟S114)。同時，除兩個人物增強現(xiàn)實模式之外的增強現(xiàn)實模式下的操作與圖8所示的相同。如上所述，根據(jù)第二變型示例的數(shù)字照相機，可以根據(jù)兩個人物的屬性和視線形成的角度來確定待疊加在現(xiàn)實空間圖像上的虛擬物體的類型和大小。為此，如圖1IA至IlC所示，可以根據(jù)兩個人物的感覺來疊加和顯示虛擬物體，因此，可以提供反映人物意圖的有趣的增強現(xiàn)實。同時，當處于兩個人物增強現(xiàn)實模式時，第二變型示例的數(shù)字照相機可以省略對人物的識別。在這種情況下，待疊加和顯示的虛擬物體由用戶指定，使得虛擬物體確定單元10根據(jù)由視線角度檢測單元24計算出的角度0來確定指定的虛擬物體的大小。例如，當用戶指定心作為虛擬物體且拍攝如圖1lA所示的兩個人物時，如果兩個人物的視線的角度大，那么如圖1lA心變得較小，以及如果兩個人物的視線的角度小，那么如圖1lB心變得較大。如此，當預(yù)先定義虛擬物體時，可以僅僅根據(jù)由視線形成的角度0來確定虛擬物體的內(nèi)容(大小)。在目前為止的描述中，當兩個或更多人物包括在由成像元件3拍攝的現(xiàn)實空間圖像中時，在根據(jù)人物視線的位置上疊加和顯示虛擬物體。下面將描述即使當僅一個人物包括在由成像元件3拍攝的現(xiàn)實空間圖像中時也疊加和顯示虛擬物體的方法。圖13是用于說明當圖1所示的數(shù)字照相機處于增強現(xiàn)實模式時的操作的變型示例的流程圖。在圖13中，與圖3相同的處理由相同附圖標記表示，并且將省略其描述。作為S43處理的結(jié)果，當確定在捕獲圖像數(shù)據(jù)中未檢測到兩個或更多人物的眼睛和嘴時，即，當僅一個人物包括在捕獲圖像數(shù)據(jù)中時(步驟S44:否)，坐標轉(zhuǎn)換單元14計算出三角形(部位三角形)每個頂點的坐標，其中該三角形連接在步驟S43檢測到的每個眼睛的中心和嘴的中心，并且坐標轉(zhuǎn)換單元14將計算出的坐標轉(zhuǎn)換成三維空間的坐標(全局坐標)(步驟S131)。隨后，在轉(zhuǎn)換成全局坐標之后，視線檢測單元12計算出其起始點為連接構(gòu)成部位三角形的兩個眼睛的線段的中點的部位三角形的法向矢量(視線矢量)(步驟S132)。此時，計算出一個視線矢量。隨后，視線檢測單元12獲取拍攝中的成像元件3的視線矢量的信息以便獲得捕獲圖像數(shù)據(jù)(步驟S133)，其中在步驟S41針對該捕獲圖像數(shù)據(jù)執(zhí)行了面部檢測。由于成像元件3的視線矢量與數(shù)字照相機的光軸相一致，因此視線檢測單元12計算出從捕獲圖像數(shù)據(jù)的中心垂直于捕獲圖像數(shù)據(jù)延伸的直線作為成像元件3的視線矢量，以獲取成像元件3的視線矢量的信息。隨后，疊加位置確定單元11基于在步驟S132計算出的一個視線矢量和在步驟S133獲取的成像元件3的視線矢量來確定虛擬物體疊加到的位置(關(guān)注點)(步驟S134)。具體地，疊加位置確定單元11在連接步驟S132中計算出的一個視線矢量和步驟S133中獲取的成像元件3的視線矢量、且垂直于這兩個視線矢量的線段中計算出最短線段，并且將計算出的最短線段的中點確定作為虛擬物體疊加到的關(guān)注點。在步驟S134之后，CG疊加單元17產(chǎn)生虛擬物體與捕獲圖像數(shù)據(jù)的在步驟S134確定的關(guān)注點相結(jié)合的增強現(xiàn)實圖像數(shù)據(jù)，并且在步驟S50將基于增強現(xiàn)實圖像數(shù)據(jù)的圖像顯示在顯示單元23上。如上所述，即使當僅一個人物包括在通過由成像元件3拍攝所獲得的現(xiàn)實空間圖像中時，也可以基于現(xiàn)實空間圖像中所包括的人物的視線矢量和成像元件3的視線矢量來確定虛擬物體將要疊加到的位置。在這種情況下，虛擬物體的大小可以根據(jù)由現(xiàn)實空間圖像中所包括的人物的視線矢量和成像元件3的視線矢量所形成的角度而發(fā)生變化。如上所述，根據(jù)圖1、圖5和圖9所示的數(shù)字照相機以及執(zhí)行圖13中所示的操作的數(shù)字照相機，可以生成考慮了將要拍攝的人物的增強現(xiàn)實圖像數(shù)據(jù)以提供給用戶，從而可以提出了前所未有的作為增強現(xiàn)實提供設(shè)備的使用。同時，在如上所述的說明中，數(shù)字照相機配備有增強現(xiàn)實功能，然而頭戴式顯示器HMD也可以配備有增強現(xiàn)實功能。例如，將針對如圖14所示的三個人物14A、14B和14C佩戴HMD的情況來舉例說明具有圖1所示的框圖配置或其變型配置的HMD。在這種情況下，人物14B和人物14C包括在由人物14A佩戴的HMD的成像元件3所拍攝的圖像中。為此，將虛擬物體疊加在根據(jù)現(xiàn)實空間圖像中的人物14B和人物14C的視線的位置上的增強現(xiàn)實圖像Gl被顯示在人物14A佩戴的HMD的顯示單元23上。僅人物14A包括在由人物14B和人物14C佩戴的HMD的成像元件3所拍攝的圖像中。為此，其中虛擬物體疊加在根據(jù)人物14A的視線和人物14B佩戴的HMD的視線的位置上的增強現(xiàn)實圖像G2被顯示在人物14B佩戴的HMD的顯示單元23上。進一步地，其中虛擬物體疊加在根據(jù)人物14A的視線和人物14C佩戴的HMD的視線的位置上的增強現(xiàn)實圖像G3被顯示在人物14C佩戴的HMD的顯示單元23上。如上所述，可以在HMD中提供增強現(xiàn)實功能，因此，增強現(xiàn)實可以由拍攝照片的人物和將被拍攝的目標共同分享。在包括成像裝置的三維投影儀中可以提供本發(fā)明中描述的增強現(xiàn)實功能。圖15是示出用于說明本發(fā)明的實施例的三維投影儀150的示意性配置的示圖。除CG疊加單元17被刪去并且投影單元30取代顯示控制單元22和顯示單元23而安裝于其中之外，圖15所示的框圖配置與圖1所示的數(shù)字照相機的相同。其中記錄了捕獲圖像數(shù)據(jù)被轉(zhuǎn)換成全局坐標的虛擬空間以及與虛擬空間位置相對應(yīng)的現(xiàn)實空間位置的表格被登記在三維投影儀中。此外，疊加位置確定單元11從表格讀出與所確定的關(guān)注點的全局坐標相對應(yīng)的現(xiàn)實空間位置，并且指示投影單元30將虛擬物體投影到現(xiàn)實空間位置。投影單元30根據(jù)指令將虛擬物體投影到現(xiàn)實空間位置。如圖16所示，當拍攝三個人物時，三維投影儀150檢測拍攝圖像中所包括的三個人物的視線，根據(jù)檢測到的視線確定關(guān)注點，并且將虛擬物體(圖16所示的示例中的足球)投影到與所確定的視線相對應(yīng)的現(xiàn)實空間位置。通過這樣做，被拍攝的人物分享了虛擬物體而不使用HMD。
同時，三維投影儀150的用于拍攝的部件(鏡頭1、光圈2、成像元件3、AFE32、AD轉(zhuǎn)換單元33、鏡頭驅(qū)動單元4和成像元件驅(qū)動單元5)可以是獨立于其主體的單獨構(gòu)件。通過單獨地配置用于拍攝的部件，可以將用于拍攝的部件置于可容易地檢測到人物視線的位置上，使得可以容易地檢測到視線。另外，圖5和圖9所示的框圖配置還可以配置成刪去CG疊加單元17并且安裝投影單元30來取代顯示單元23和顯示控制單元22，并且向投影單元30發(fā)出指令以將虛擬物體投影到由疊加位置確定單元11確定的關(guān)注點上，由此形成三維投影儀。進一步地，圖13中說明的變型示例還可以應(yīng)用于三維投影儀150。還可以通過商業(yè)上可購得的計算機來實現(xiàn)本發(fā)明中說明的增強現(xiàn)實功能。例如，將用于執(zhí)行圖4所示的流程圖的各個步驟的程序從存儲該程序的計算機可讀介質(zhì)(例如，ra-R0M、ra-R、DVD-R0M、DVD-R、USB存儲器)安裝在計算機中。當通過計算機執(zhí)行程序時，計算機在圖4所示的步驟S40中獲取由用戶指定的捕獲圖像數(shù)據(jù)，通知用戶在步驟S42的確定結(jié)果為否并且根據(jù)步驟S48的處理的結(jié)果未留下線段的情況下不能生成增強現(xiàn)實圖像數(shù)據(jù)，然后完成處理。進一步地，在步驟S50，計算機將基于增強現(xiàn)實圖像數(shù)據(jù)的圖像顯示在連接到計算機的顯示單元上。另外地，將用于執(zhí)行圖8和圖12所示的流程圖的各個步驟的程序從存儲該程序的計算機可讀介質(zhì)安裝在計算機中，并且圖5或圖9所示的數(shù)據(jù)庫IOa被嵌入其中。當通過計算機執(zhí)行程序時，計算機在圖8和圖12所示的步驟S40獲取由用戶指定的捕獲圖像數(shù)據(jù)，通知用戶在步驟S42中的確定結(jié)果為否并且在步驟S44和步驟SllO中的確定結(jié)果為否的情況下不能生成增強現(xiàn)實圖像數(shù)據(jù)，然后完成處理。進一步地，在步驟S50和步驟S114，計算機使基于增強現(xiàn)實圖像數(shù)據(jù)的圖像顯示在連接到計算機的顯示單元上。另外地，將用于執(zhí)行圖13所示的流程圖的各個步驟的程序從存儲該程序的計算機可讀介質(zhì)安裝在計算機中。當通過計算機執(zhí)行程序時，計算機在圖13所示的步驟S40獲取由用戶指定的捕獲圖像數(shù)據(jù)，通知用戶在步驟S42中的確定結(jié)果為否并且根據(jù)步驟S48的處理結(jié)果未留下線段的情況下不能生成增強現(xiàn)實圖像數(shù)據(jù)，然后完成處理。進一步地，在步驟S50，計算機使基于增強現(xiàn)實圖像數(shù)據(jù)的圖像顯示在連接到計算機的顯示單元上。如上所述，可以在商業(yè)上可購得的不具有圖像捕獲功能的計算機上生成增強現(xiàn)實圖像數(shù)據(jù)，以再現(xiàn)增強現(xiàn)實圖像數(shù)據(jù)。如目前為止所描述的，在本說明書中公開了以下內(nèi)容。公開的信息呈現(xiàn)裝置是一種向現(xiàn)實空間中的人物呈現(xiàn)信息的信息呈現(xiàn)裝置，包括:控制單元，其執(zhí)行控制以將信息疊加在由成像元件捕獲的待顯示在顯示單元上的現(xiàn)實空間圖像上或者將信息投影在現(xiàn)實空間的投影位置上；視線檢測單元，其檢測在由成像元件捕獲的現(xiàn)實空間圖像中所包括的人物的視線；以及信息呈現(xiàn)位置確定單元，其基于由視線檢測單元檢測到的視線來確定信息的疊加位置或投影位置。公開的信息呈現(xiàn)裝置是這樣的信息呈現(xiàn)裝置，其還包括:屬性確定單元，其利用其視線被檢測到的所有人物的圖像和數(shù)據(jù)庫來確定所有人物的屬性，所述所有人物的圖像與其屬性彼此對應(yīng)地記錄在數(shù)據(jù)庫中；以及信息內(nèi)容確定單元，其根據(jù)所有人物的屬性來確定信息內(nèi)容。公開的信息呈現(xiàn)裝置是這樣的信息呈現(xiàn)裝置，其中人物的屬性表示性別、年齡、職業(yè)、姓名和裝束中的至少一個。公開的信息呈現(xiàn)裝置是這樣的信息呈現(xiàn)裝置，其還包括:角度計算單元，其計算出在由成像元件捕獲的現(xiàn)實空間圖像中所包括的兩個人物的各自視線形成的角度；以及信息內(nèi)容確定單元，其至少根據(jù)由視線形成的角度來確定信息內(nèi)容。公開的信息呈現(xiàn)裝置是這樣的信息呈現(xiàn)裝置，其還包括:屬性確定單元，其使用兩個人物的圖像和數(shù)據(jù)庫來確定兩個人物的屬性，兩個人物的圖像和其屬性彼此對應(yīng)地記錄在數(shù)據(jù)庫中，其中信息內(nèi)容確定單元根據(jù)由兩個人物的視線形成的角度和兩個人物的屬性來確定信息內(nèi)容。公開的信息呈現(xiàn)裝置是這樣的信息呈現(xiàn)裝置，其中人物的屬性表示性別、年齡、職業(yè)、姓名和裝束中的至少一個。公開的信息呈現(xiàn)裝置是這樣的信息呈現(xiàn)裝置，其還包括:成像元件視線信息獲取單元，其在僅一個人物包括在由成像元件捕獲的現(xiàn)實空間圖像中時獲取成像元件的視線的信息，其中信息呈現(xiàn)位置確定單元基于一個人物的視線和成像元件的視線來確定信息的疊加位置或投影位置。公開的數(shù)字照相機是這樣的數(shù)字照相機，其包括:信息呈現(xiàn)裝置的各個單元；成像元件；和顯示單元，其中控制單元執(zhí)行控制以將信息疊加在由成像元件捕獲的待顯示在顯示單元上的現(xiàn)實空間圖像上。公開的頭戴式顯示器是這樣的頭戴式顯示器，其包括:信息呈現(xiàn)裝置的各個單元；成像元件；和顯示單元，其中控制單元執(zhí)行控制以將信息疊加在由成像元件捕獲的待顯示在顯示單元上的現(xiàn)實空間圖像上。公開的投影儀是這樣的投影儀，其包括:信息呈現(xiàn)裝置的各個單元；和成像元件，其中控制單元執(zhí)行控制已將信息投影在現(xiàn)實空間的位置上。公開的信息呈現(xiàn)方法是一種向現(xiàn)實空間中的人物呈現(xiàn)信息的信息呈現(xiàn)方法，包括:控制步驟，用于執(zhí)行控制以將信息疊加在由成像元件捕獲的待顯示在顯示單元上的現(xiàn)實空間圖像上或者將信息投影在現(xiàn)實空間的位置上；視線檢測步驟，用于檢測包括在由成像元件捕獲的現(xiàn)實空間圖像中的人物的視線；以及信息呈現(xiàn)位置確定步驟，用于基于通過視線檢測步驟檢測到的視線來確定信息呈現(xiàn)位置以確定信息的疊加位置或投影位置。公開的信息呈現(xiàn)方法是這樣的信息呈現(xiàn)方法，其還包括:屬性確定步驟，用于利用其視線被檢測到的所有人物的圖像和數(shù)據(jù)庫來確定所有人物的屬性，所有人物的圖像與其屬性彼此對應(yīng)地記錄在數(shù)據(jù)庫中；以及信息內(nèi)容確定步驟，用于根據(jù)所有人物的屬性來確定信息內(nèi)容。公開的信息呈現(xiàn)方法是這樣的信息呈現(xiàn)方法，其中人物的屬性表示性別、年齡、職業(yè)、姓名和裝束中的至少一個。公開的信息呈現(xiàn)方法是這樣的信息呈現(xiàn)方法，其還包括:角度計算步驟，用于計算出由成像元件捕獲的現(xiàn)實空間圖像中所包括的兩個人物的各自視線形成的角度；以及信息內(nèi)容確定步驟，用于至少根據(jù)由視線形成的角度來確定信息內(nèi)容。公開的信息呈現(xiàn)方法是這樣的信息呈現(xiàn)方法，其還包括:屬性確定步驟，用于使用兩個人物的圖像和數(shù)據(jù)庫來確定兩個人物的屬性，兩個人物的圖像和其屬性彼此對應(yīng)地記錄在數(shù)據(jù)庫中，其中在信息內(nèi)容確定步驟中，根據(jù)由兩個人物的視線形成的角度和兩個人物的屬性來確定信息內(nèi)容。公開的信息呈現(xiàn)方法是這樣的信息呈現(xiàn)方法，其中人物的屬性表示性別、年齡、職業(yè)、姓名和裝束中的至少一個。公開的信息呈現(xiàn)方法是這樣的信息呈現(xiàn)方法，其還包括:成像元件視線信息獲取步驟，用于在僅一個人物包括于由成像元件捕獲的現(xiàn)實空間圖像中時獲取成像元件的視線的信息，其中在信息呈現(xiàn)位置確定步驟中，基于一個人物的視線和成像元件的視線來確定信息的疊加位置或投影位置。公開的信息呈現(xiàn)程序是這樣的程序:當執(zhí)行時，該程序使信息呈現(xiàn)方法的各個步驟發(fā)生。工業(yè)適用性根據(jù)本發(fā)明，可以提供一種具有改善的便利性的信息呈現(xiàn)裝置、信息呈現(xiàn)方法和信息呈現(xiàn)程序。盡管已詳細地或者參照具體實施例對本發(fā)明進行了描述，然而對于本領(lǐng)域技術(shù)人員顯而易見的是，在不背離本發(fā)明的精神和范圍內(nèi)可以做出各種變型或修改。該申請要求于2010年9月30日提交的日本專利申請N0.2010-223278的優(yōu)先權(quán)和權(quán)益,該申請的公開內(nèi)容通過弓丨證方式并入到本文中。附圖標記列表3:成像元件，11:疊加位置確定單元12:視線檢測單元，17:CG疊加單元，23:顯示單元
權(quán)利要求
1.一種向現(xiàn)實空間中的人物呈現(xiàn)信息的信息呈現(xiàn)裝置，包括: 控制單元,其執(zhí)行控制以將所述信息疊加在由成像元件捕獲的待顯示在顯示單元上的現(xiàn)實空間圖像上或者將所述信息投影在現(xiàn)實空間的投影位置上； 視線檢測單元，其檢測在由所述成像元件捕獲的所述現(xiàn)實空間圖像中所包括的人物的視線；以及 信息呈現(xiàn)位置確定單元，其基于由所述視線檢測單元檢測到的視線來確定所述信息的疊加位置或投影位置。
2.根據(jù)權(quán)利要求1所述的信息呈現(xiàn)裝置，還包括: 屬性確定單元，其利用其視線被檢測到的所有人物的圖像和數(shù)據(jù)庫來確定所有人物的屬性，所述所有人物的圖像與其屬性彼此對應(yīng)地記錄在所述數(shù)據(jù)庫中；以及信息內(nèi)容確定單元，其根據(jù)所有人物的屬性確定信息內(nèi)容。
3.根據(jù)權(quán)利要求2所述的信息呈現(xiàn)裝置，其中人物的所述屬性表示性別、年齡、職業(yè)、姓名和裝束中的至少一個。
4.根據(jù)權(quán)利要求1所述的信息呈現(xiàn)裝置，還包括: 角度計算單元，其計算由所述成像元件捕獲的所述現(xiàn)實空間圖像中所包括的兩個人物的各自視線形成的角度；以及 信息內(nèi)容確定單元，其至少根據(jù)由所述視線形成的角度來確定所述信息內(nèi)容。
5.根據(jù)權(quán)利要求4 所述的信息呈現(xiàn)裝置，還包括: 屬性確定單元，其使用兩個人物的圖像和數(shù)據(jù)庫來確定所述兩個人物的屬性，所述兩個人物的圖像和其屬性彼此對應(yīng)地記錄在所述數(shù)據(jù)庫中， 其中所述信息內(nèi)容確定單元根據(jù)由所述兩個人物的視線形成的角度和所述兩個人物的屬性來確定所述信息內(nèi)容。
6.根據(jù)權(quán)利要求5所述的信息呈現(xiàn)裝置，其中人物的所述屬性表示性別、年齡、職業(yè)、姓名和裝束中的至少一個。
7.根據(jù)權(quán)利要求1所述的信息呈現(xiàn)裝置，還包括: 成像元件視線信息獲取單元，其在僅一個人物包括在由所述成像元件捕獲的所述現(xiàn)實空間圖像中時獲取所述成像元件的視線的信息， 其中所述信息呈現(xiàn)位置確定單元基于所述一個人物的視線和所述成像元件的視線來確定所述信息的疊加位置或所述投影位置。
8.一種數(shù)字照相機，其包括: 根據(jù)權(quán)利要求1至7中任一項所述的信息呈現(xiàn)裝置的各個單元； 所述成像元件；以及 所述顯示單元， 其中所述控制單元執(zhí)行控制以將所述信息疊加在由所述成像元件捕獲的待顯示在所述顯示單元上的現(xiàn)實空間圖像上。
9.一種頭戴式顯示器，其包括: 根據(jù)權(quán)利要求1至7中任一項所述的信息呈現(xiàn)裝置的各個單元； 所述成像元件；以及 所述顯示單元，其中所述控制單元執(zhí)行控制以將所述信息疊加在由所述成像元件捕獲的待顯示在所述顯示單元上的現(xiàn)實空間圖像上。
10.一種投影儀，其包括: 根據(jù)權(quán)利要求1至7中任一項所述的信息呈現(xiàn)裝置的各個單元；以及 所述成像元件， 其中所述控制單元執(zhí)行控制以將所述信息投影在現(xiàn)實空間的位置上。
11.一種向現(xiàn)實空間中的人物呈現(xiàn)信息的信息呈現(xiàn)方法，包括: 控制步驟，用于執(zhí)行控制以將所述信息疊加在由成像元件捕獲的待顯示在顯示單元上的現(xiàn)實空間圖像上或者將所述信息投影在現(xiàn)實空間的投影位置上； 視線檢測步驟，用于檢測包括在由所述成像元件捕獲的所述現(xiàn)實空間圖像中的人物的視線；以及 信息呈現(xiàn)位置確定步驟，用于基于通過所述視線檢測步驟檢測到的視線來確定信息呈現(xiàn)位置以確定所述信息的疊加位置或所述投影位置。
12.根據(jù)權(quán)利要求11所述的信息呈現(xiàn)方法，還包括: 屬性確定步驟，用于利用其視線被檢測到的所有人物的圖像和數(shù)據(jù)庫來確定所有人物的屬性，其中所述所有人物的圖像與其屬性彼此對應(yīng)地記錄在所述數(shù)據(jù)庫中；以及 信息內(nèi)容確定步驟，用于根據(jù)所有人物的屬性來確定信息內(nèi)容。
13.根據(jù)權(quán)利要求12所述的信息呈現(xiàn)方法，其中人物的屬性表示性別、年齡、職業(yè)、姓名和裝束中的至少一個。
14.根據(jù)權(quán)利要求11所述的信息呈現(xiàn)方法，還包括: 角度計算步驟，用于計算由所述成像元件捕獲的所述現(xiàn)實空間圖像中所包括的兩個人物的各自視線形成的角度；以及 信息內(nèi)容確定步驟，用于至少根據(jù)由所述視線形成的角度來確定所述信息內(nèi)容。
15.根據(jù)權(quán)利要求14所述的信息呈現(xiàn)方法，還包括: 屬性確定步驟，用于使用兩個人物的圖像和數(shù)據(jù)庫來確定所述兩個人物的屬性，其中所述兩個人物的圖像和其屬性彼此對應(yīng)地記錄在所述數(shù)據(jù)庫中， 其中在所述信息內(nèi)容確定步驟中，根據(jù)由所述兩個人物的視線形成的角度和所述兩個人物的屬性來確定所述信息內(nèi)容。
16.根據(jù)權(quán)利要求15所述的信息呈現(xiàn)方法，其中人物的屬性表示性別、年齡、職業(yè)、姓名和裝束中的至少一個。
17.根據(jù)權(quán)利要求11所述的信息呈現(xiàn)方法，還包括: 成像元件視線信息獲取步驟，用于在僅一個人物包括在由所述成像元件捕獲的所述現(xiàn)實空間圖像中時獲取所述成像元件的視線的信息， 其中在所述信息呈現(xiàn)位置確定步驟中，基于所述一個人物的視線和所述成像元件的視線來確定所述信息的疊加位置或所述投影位置。
18.一種信息呈現(xiàn)程序， 在運行所述信息呈現(xiàn)程序時使得執(zhí)行根據(jù)權(quán)利要求11至17中任一項所述的信息呈現(xiàn)方法的各個步驟。
全文摘要
本發(fā)明公開了一種具有改善的便利性的信息再現(xiàn)裝置。一種用作信息呈現(xiàn)裝置的數(shù)字照相機設(shè)有CG疊加單元(17)，其用于使得虛擬物體疊加在由成像元件(3)所捕獲的現(xiàn)實空間圖像上，并且顯示在顯示單元(23)上；視線檢測單元(12)，其檢測包括在由成像元件(3)所捕獲的現(xiàn)實空間圖像中的人物的視線；以及疊加位置確定單元(11)，其基于由視線檢測單元(12)檢測到的視線來確定虛擬物體的疊加位置。
文檔編號G06T19/00GK103140879SQ201180047398
公開日2013年6月5日 申請日期2011年5月27日 優(yōu)先權(quán)日2010年9月30日
發(fā)明者林大輔 申請人:富士膠片株式會社