頭部佩戴型顯示裝置、控制其的方法及計算機程序的制作方法
【技術領域】
[0001]本發明涉及頭部佩戴型顯示裝置。
【背景技術】
[0002]公知有使用計算機對實際存在于現實世界的物體、即實際物體附加提示信息的被稱為增強現實感(AR，Augmented Reality，擴展現實)的技術。在增強現實感中，也將附加性地顯示于實際物體的信息稱為“虛擬物體”。增強現實感的功能搭載于例如頭戴式顯示器(以下，也稱為“HMD”或者“頭部佩戴型顯示裝置”。)。
[0003]HMD利用相機來拍攝外景，對拍攝所得的圖像進行圖像識別而生成或者獲取虛擬物體。在佩戴著HMD的狀態下利用者的視野不被遮擋的透過型HMD中，僅使利用者對包含虛擬物體的虛像進行視覺識別。利用者可以通過觀察現實世界的實際物體與虛像所表示的虛擬物體這雙方來體驗增強現實感。
[0004]在透過型的HMD中實現增強現實感的情況下，為了降低帶給利用者的視覺上的不協調感，優選地使利用者要視覺識別的實際物體的位置與利用者要視覺識別的虛擬物體的位置對準。“位置”包含與利用者相距的距離以及利用者的視野內的水平方向和鉛垂方向的位置。于是，以往，使利用者的左右眼對包含向利用者的左右眼賦予視差的虛擬物體的虛像進行視覺識別，據此將實際物體的位置與虛擬物體的位置對準。
[0005]然而，人的眼是存在個人差異的。換言之，眼的位置、眼球的形狀、眼中的與視覺相關的部位(例如，晶狀體、視網膜，中央凹等)的位置等是因人而異的。因此，為了將實際物體的位置與虛擬物體的位置對準，使利用者的左右眼對包含向利用者的左右眼賦予視差的虛擬物體的虛像進行視覺識別，但即便如此，若利用者不同，則各利用者所視覺識別的虛擬物體的位置會產生偏移。專利文獻I中記載了通過對攝像機所獲取的患者的面部圖像進行圖像處理來非接觸性地檢測患者的視線方向的技術。
[0006](現有技術文獻)
[0007](專利文獻)
[0008]專利文獻1:日本特開2005-100366號公報
[0009]專利文獻2:日本特開2005-128901號公報
【發明內容】
[0010]為了降低在增強現實感處理中對利用者賦予的視覺上的不協調感，優選地，考慮眼的個人差異來確定虛擬物體的位置。關于這點，在專利文獻1、2所記載的技術中，關于增強現實感處理中對眼的個人差異的考慮未作任何記載。
[0011]因此，可以實現考慮了眼的個人差異的增強現實感處理的頭部佩戴型顯示裝置被人們所期望。
[0012](用于解決問題的措施)
[0013]本發明為了解決上述的問題的至少一部分而提出，可以實現為以下的方式。
[0014](I)根據本發明的一個方式，提供一種利用者可以對虛像和外景進行視覺識別的頭部佩戴型顯示裝置。上述頭部佩戴型顯示裝置具備:使所述利用者對所述虛像進行視覺識別的圖像顯示部；偏移檢測部，使得用于使所述利用者在三維空間上的任意的標準坐標上對記號進行視覺識別的所述虛像形成于所述圖像顯示部，求取表示所述利用者注視所述記號時的注視點的所述三維空間上的注視點坐標，對所述標準坐標與所述注視點坐標之間的偏移進行檢測；以及增強現實感處理部，使得包含用于針對實際存在于現實世界的實際物體顯示的、使用檢測出的所述偏移而配置的虛擬物體的所述虛像形成于所述圖像顯示部。
[0015]根據上述方式的頭部佩戴型顯示裝置，偏移檢測部可以檢測形成在三維空間上的記號的標準坐標與表示利用者注視記號時的注視點的注視點坐標之間的偏移。上述“偏移”是標準的利用者注視記號時的注視點與頭部佩戴型顯示裝置的實際的利用者注視記號時的注視點之間的偏移，是因實際的利用者的眼的個人差異而產生的偏移。另外，增強現實感處理部使用由偏移檢測部檢測出的標準坐標與注視點坐標之間的偏移(即，因實際的利用者的眼的個人差異而產生的偏移)，來配置用于針對實際物體顯示的虛擬物體。結果，能夠提供可實現考慮了眼的個人差異的增強現實感處理的頭部佩戴型顯示裝置。
[0016](2)在上述方式的頭部佩戴型顯示裝置中，所述偏移檢測部也可以:求取連結發送至所述圖像顯示部的圖像數據內的所述記號的坐標和所述標準坐標的標準向量與連結發送至所述圖像顯示部的圖像數據內的所述記號的坐標和所述注視點坐標的注視點向量之間的角度差，作為所述標準坐標與所述注視點坐標之間的偏移。
[0017]根據上述方式的頭部佩戴型顯示裝置，偏移檢測部可以將標準坐標與注視點坐標之間的偏移定義為:可等同視為連結標準的利用者的眼的中央凹與晶狀體的中心的向量的“標準向量”與可等同視為連結實際的利用者的眼的中央凹與晶狀體的中心的向量的“注視點向量”之間的角度差。
[0018](3)在上述方式的頭部佩戴型顯示裝置中，所述角度差也可以包含滾轉角的角度差、俯仰角的角度差以及偏航角的角度差。
[0019]根據上述方式的頭部佩戴型顯示裝置，偏移檢測部可以求取關于三維空間上的正交坐標系中的X軸、y軸、z軸的每一個的、標準向量與注視點向量的角度差。
[0020](4)在上述方式的頭部佩戴型顯示裝置中，還可以具備獲取與所述利用者的左右眼對應的至少2張外景圖像的外景圖像獲取部，所述偏移檢測部引導所述利用者指示所述記號，基于由所述外景圖像獲取部獲取的所述至少2張外景圖像內的所述指示，來求取所述注視點坐標。
[0021]根據上述方式的頭部佩戴型顯示裝置，偏移檢測部可以使用由頭部佩戴型顯示裝置中較廣泛地搭載的外景圖像獲取部(例如，立體相機)獲取的至少2張外景圖像，來求取注視點坐標。
[0022](5)在上述方式的頭部佩戴型顯示裝置中，還具備獲取所述利用者的視野方向的外景圖像的外景圖像獲取部和獲取到任意的目標物為止的距離的距離獲取部，所述偏移檢測部可以引導所述利用者指示所述記號，基于由所述外景圖像獲取部獲取的所述外景圖像內的所述指示和由所述距離獲取部獲取的到所述目標物為止的距離，來求取所述注視點坐標。
[0023]根據上述方式的頭部佩戴型顯示裝置，偏移檢測部在外景圖像獲取部僅可以獲取I張外景圖像的情況下，可以通過同時使用距離獲取部所獲取的到指示為止的距離來求取注視點坐標。
[0024](6)在上述方式的頭部佩戴型顯示裝置中，所述偏移檢測部針對具有不同的多個標準坐標的不同的多個記號反復執行:使所述利用者在所述標準坐標上對所述記號進行視覺識別、求取所述注視點坐標、檢測所述標準坐標與所述注視點坐標之間的偏移的一系列的處理，所述增強現實感處理部在所述虛擬物體的配置中，也可以使用針對不同的多個標準坐標分別檢測出的多個偏移。
[0025]根據上述方式的頭部佩戴型顯示裝置，由于增強現實感處理部使用針對不同的多個標準坐標分別檢測出的多個偏移來配置虛擬物體，因此可以提高在增強現實感處理中考慮的眼的個人差異的精度。
[0026](7)在上述方式的頭部佩戴型顯示裝置中，所述偏移檢測部也可以將利用所述頭部佩戴型顯示裝置內的任意的應用程序形成的任意的顯示用作所述記號，來執行所述一系列的處理。
[0027]根據上述方式的頭部佩戴型顯示裝置，偏移檢測部可以將利用頭部佩戴型顯示裝置內的任意的應用程序形成的任意的顯示用作記號，在任意的應用程序的背景中執行用于檢測標準坐標與注視點坐標之間的偏移的一系列的處理。結果，可以減輕利用者的費事程度。
[0028](8)在上述方式的頭部佩戴型顯示裝置中，所述偏移檢測部也可以通過對所述利用者用右眼進行視覺識別的所述虛像與所述利用者用左眼進行視覺識別的所述虛像之間賦予視差來使所述利用者在所述標準坐標上對所述記號進行視覺識別。
[0029]根據上述方式的頭部佩戴型顯示裝置，偏移檢測部可以使用三角測量的原理簡單地在圖像顯示部形成用于使得在標準坐標上對記號進行視覺識別的虛像。
[0030]上述的本發明的各方式所具有的多個結構要素并不是全部都是必須的，為了解決上述的問題的一部分或者全部、或者為了達成本說明書所記載的效果的一部分或者全部，可以適當地對所述多個結構要素的一部分的結構要素進行變更、刪除、替換為新的結構要素、刪除限定內容的一部分。另外，為了解決上述的問題的一部分或者全部、或者為了達成本說明書中記載的效果的一部分或者全部，也可以將上述的本發明的一個方式所含的技術的特征的一部分或者全部與上述的本發明的其它方式所含的技術的特征的一部分或者全部進行組合來作為本發明的獨立的一個方式。
[0031]例如，本發明的一個方式可以實現為具備圖像顯示部、偏移檢測部、增強現實處理部這3個要素中的一部分或者全部要素的裝置。S卩，上述裝置可以具有圖像顯示部，也可以不具有圖像顯示部。另外，上述裝置可以具有偏移檢測部，也可以不具有偏移檢測部。另外，上述裝置可以具有增強現實處理部，也可以不具有增強現實處理部。這樣的裝置可以實現為例如頭部佩戴型顯示裝置，但也可以實現為頭部佩戴型顯示裝置以外的其它的裝置。上述的頭部佩戴型顯示裝置的各方式的技術的特征的一部分或者全部都可以適用于上述裝置。例如，作為本發明的一個方式的裝置將實現考慮了眼的個人差異的增強現實處理為問題。但是，對于上述裝置，除了上述以外還期望裝置的小型化、利便性的提高、裝置制造時的低成本化、節省資源化、制造的容易化等。
[0032]此外，本發明可以以各種方式來實現，例如，可以以頭部佩戴型顯示裝置及頭部佩戴型顯示裝置的控制方法、包含頭部佩戴型顯示裝置的系統、用于實現上述的方法、裝置、系統的功能的計算機程序、存儲了上述計算機程序的存儲媒介等方式來實現。
【附圖說明】
[0033]圖1是表示本發明的一個實施方式中的頭部佩戴型顯示裝置的概略構成的說明圖。
[0034]圖2是功能性地示出HMD100的構成的框圖。
[0035]圖3是表示利用者所視覺識別的虛像的一例的說明圖。
[0036]圖4是表示偏移校正處理的次序的流程圖。
[0037]圖5是用于對偏移校正處理的步驟S102進行說明的圖。
[0038]圖6是用于對偏移校正處理的步驟S104以后的處理進行說明的圖。
[0039]圖7是用于對偏移校正處理的步驟S106進行說明的圖。
[0040]圖8是用于對偏移校正處理的步驟S116以后的處理進行說明的圖。
[0041 ] 圖9是用于對變形2進行說明的圖。
[0042]圖10是表示變形例中的HMD的外觀構成的說明圖。
[0043]【附圖標記的說明】
[0044]10…控制部;11...確定鍵;12…點亮部;13…顯示切換鍵;14…觸控板;15…亮度切換鍵；16...方向鍵；17...菜單鍵；18…電源開關；20...圖像顯示部；21…右保持部；22…右顯示驅動部；23…左保持部；24…左顯示驅動部；26…右光學像顯示部；28…左光學像顯不部;30…耳機插頭;32…右耳機;34…左耳機;40…連接部;42…右軟線;44…左軟線；46…連結部件；48…主體軟線；51…發送部;52…發送部;53…接收部;54…接收部相機(外景圖像獲取部);66…9軸傳感器；110…輸入信息獲取部；100…HMD(頭部佩戴型顯示裝置)；120…存儲部；122…距離信息；130…電源；132…無線通信部；140…CPU;142…增強現實感處理部；144…偏移檢測部；160…圖像處理部；170…聲音處理部；180…接口 ；190…顯示控制部；201…右背光源控制部；202…左背光源控制部；211…右IXD控制部；212…左IXD控制部；221…右背光源；222…左背光源；241…右IXD ;242…左IXD ;251…右投射光學系統；252…左投射光學系統；261…右導光板；262…左導光板；60…晶狀體；70…中央凹;80…手;PCLK…時鐘信號；VSync…垂直同步信號；HSync…水平同步信號；Data…圖像數據；Datal…右眼用圖像數據；Data2…左眼用圖像數據；0A…外部設備；PO"個人計算機;SC…外景;VI…虛像;VR…視野;RE…右眼;LE…左眼;ER…端部;EL…端部；IM…認證畫面；V0…虛擬物體;B1L…標準向量