信息處理設備、信息處理方法及程序的制作方法
【技術領域】
[0001 ] 本公開內容涉及信息處理設備、信息處理方法及程序。
【背景技術】
[0002]到目前為止，在使用戶能夠直觀地操作信息處理設備例如個人計算機(PC)的目的下已經進行了與圖形用戶界面(GUI)有關的研究。通常，在GUI的情況下，例如，通過使用指示裝置在顯示畫面上移動指示器并且通過選擇對象例如在顯示畫面上的圖標或按鈕，用戶可以使計算機執行與所選擇的對象對應的處理。
[0003]此外，已經提出了用于使用戶在不使用輸入裝置例如鍵盤、鼠標等的情況下操作顯示畫面的技術。例如，專利文獻I公開了如下技術，該技術通過識別使用操作者的雙手執行的手勢操作來確定由操作者對顯示畫面執行的操作的細節。
[0004]引用列表
[0005]專利文獻
[0006]專利文獻I JP 2012-068854A
【發明內容】
[0007]技術問題
[0008]然而，在上述技術中，操作者在操作顯示畫面期間的身體負荷較大。例如，在上述技術中，用戶僅可以在真實空間中已經初始設置的虛擬操作面上的位置處執行手勢操作，此外，用戶不能移動虛擬操作面的位置。因此，限制了用于執行手勢操作的手臂位置和手臂角度，以及當操作者執行操作達較長的時間段時，身體負荷例如手臂疲勞變得較大。
[0009]因此，在本公開內容中，提出了一種能夠減少操作者在操作顯示畫面期間的身體負荷的新的和改進的信息處理設備、信息處理方法以及程序。
[0010]問題的解決方案
[0011]為了解決上面的問題，根據本公開內容的一方面，提供了一種信息處理設備，該信息處理設備包括:手形識別單元，該手形識別單元被配置成基于測量的與操作者的手有關的信息來識別操作者的手形；以及顯示控制單元，該顯示控制單元被配置成在操作者的手形是預定形狀時根據操作者的手的位置的改變來移動操作對象在顯示畫面上的顯示位置。
[0012]為了解決上面的問題，根據本公開內容的另一方面，提供了一種信息處理方法，該信息處理方法包括:基于測量的與操作者的手有關的信息來識別操作者的手形；以及在操作者的手形是預定形狀時根據操作者的手的位置的改變來移動操作對象在顯示畫面上的顯示位置。
[0013]為了解決上面的問題，根據本公開內容的另一方面，提供了一種程序，所述程序使計算機用作為:手形識別單元，該手形識別單元被配置成基于測量的與操作者的手有關的信息來識別操作者的手形；以及顯示控制單元，該顯示控制單元被配置成在操作者的手形是預定形狀時根據操作者的手的位置的改變來移動操作對象在顯示畫面上的顯示位置。
[0014]本發明的有益效果
[0015]如上所述，本公開內容能夠減少操作者在操作顯示畫面期間的身體負荷。
【附圖說明】
[0016][圖1]圖1是示出了根據本公開內容的第一實施方式的操作UI面板的人的外部視圖。
[0017][圖2]圖2是示出了根據相同實施方式的HMD的硬件配置的說明圖。
[0018][圖3]圖3是示出了根據相同實施方式的顯示畫面的顯示示例的說明圖。
[0019][圖4]圖4是示出了根據相同實施方式的HMD的配置的功能框圖。
[0020][圖5]圖5是示出了根據相同實施方式的握持UI面板的手形的示例的第一說明圖。
[0021][圖6]圖6是示出了根據相同實施方式的握持UI面板的手形的示例的第二說明圖。
[0022][圖7]圖7是示出了根據相同實施方式的顯示UI面板的運動的示例的說明圖。
[0023][圖8]圖8是示出了根據相同實施方式的手指指示手形的示例的說明圖。
[0024][圖9]圖9是示出了根據相同實施方式的操作的一部分的流程圖。
[0025][圖10]圖10是示出了根據相同實施方式的操作的一部分的流程圖。
[0026][圖11]圖11是詳細地示出了根據相同實施方式的UI面板的顯示/隱藏處理的第一流程圖。
[0027][圖12]圖12是詳細地示出了根據相同實施方式的UI面板的顯示/隱藏處理的第二流程圖。
[0028][圖13]圖13是詳細地示出了根據相同實施方式的UI面板的移動處理的流程圖。
[0029][圖14]圖14是示出了根據本公開內容的第二實施方式的UI面板和聚焦框的顯示示例的說明圖。
[0030][圖15]圖15是示出了根據相同實施方式的操作UI面板的人的外部視圖。
[0031][圖16]圖16是示出了根據相同實施方式的操作示例的說明圖。
[0032][圖17]圖17是示出了根據相同實施方式的操作的一部分的流程圖。
[0033][圖18]圖18是示出了根據相同實施方式的操作的一部分的流程圖。
[0034][圖19]圖19是根據本公開內容的第三實施方式的操作UI面板的人的外部視圖。
[0035][圖20]圖20是示出了根據相同實施方式的視頻裝置的配置的功能框圖。
[0036][圖21]圖21是示出了根據相同實施方式的顯示畫面的顯示示例的第一說明圖。
[0037][圖22]圖22是示出了根據相同實施方式的顯示畫面的顯示示例的第二說明圖。
【具體實施方式】
[0038]在下文中，將會參照附圖詳細地描述本公開內容的優選實施方式。本公開內容可以以作為本公開內容的示例詳細描述的下述各種形式來實現:從“1.第一實施方式的詳細描述”至“3.第三實施方式的詳細描述”。此外，將以具有以下示出項的以下順序來描述“【具體實施方式】”。
[0039]1.第一實施方式的詳細描述
[0040]2.第二實施方式的詳細描述
[0041]3.第三實施方式的詳細描述
[0042]4.修改
[0043]要注意的是在本說明書和附圖中，給具有基本上相同的功能配置的部件標上相同的符號以便省略重復的描述。
[0044]此外，可以給具有基本上相同的功能配置的多個部件在相同的符號之后標上不同的字母字符以便在部件之間進行區分。例如，將具有基本上相同功能配置的多個部件按照需要區分為UI面板30a和UI面板30b。然而，在不需要特別地區分具有基本上相同的功能配置的多個部件的情況下，僅給部件標上相同的符號。例如，在不需要特別地區分UI面板30a和UI面板30b的情況下，UI面板30a和UI面板30b均僅被稱為UI面板30。
[0045]-背景-
[0046]到目前為止，盡管已經構思了使用操作者的手勢來操作裝備件的構想，但出現以下各點的問題。首先，在傳統的構想中，由于在通過手勢操作裝備時不存在物理反饋，因此操作者感覺不到對裝置進行操作的發生。其次，在傳統的構想中，由于操作者在做手勢時需要向前舉起手臂，當操作者執行操作達較長的時間段時，會出現身體疼痛如肩膀、手臂以及肘關節出現的嚴重疲勞。第三，在傳統的構想中，對于操作者當在二維顯示裝置上顯示在真實空間中設置的虛擬圖標時難以精確地選擇圖標。
[0047]因此，將上述情況作為重點，已經設計了實施方式的HMD 10和視頻裝置40。由于實施方式的HMD 10和視頻裝置40使操作對象能夠移動至對于操作者易于對操作對象進行操作的位置，所以可以減少操作者在操作顯示畫面期間的身體負荷。
[0048]〈1.第一實施方式的詳細描述>
[0049][1-1.基本的配置]
[0050]首先，將參照圖1來描述根據第一示例性實施方式的HMD 10 (圖像處理設備)的基本配置。如在圖1中所示，HMD 10是用于例如使操作者2觀看在圖2中示出的顯示畫面20的顯示裝置。HMD 10可以是安裝在操作者2的頭上的頭戴式顯示裝置或者可以例如是包括透視型顯示裝置的眼鏡型計算機。此外，HMD 10能夠在顯示畫面20上顯示已經拍攝的靜態圖像或動態圖像或者顯示已經由計算機繪圖繪制的二維對象或三維對象。
[0051]圖2是示出了由HMD 10顯示的顯示畫面20的示例的說明圖。如在圖2中所示，顯示畫面20包括操作對象例如UI面板30a (操作面)。要注意的是，HMD 10能夠將操作對象表現為三維對象。例如，當操作者2執行在顯示畫面20的景深方向上移動操作對象的操作時，HMD 10能夠以減小的方式在顯示畫面20上顯示操作對象。此外，HMD 10能夠類似于公告板在與操作者2的眼睛相對的取向上一直顯示UI面板30，甚至當操作者2的位置應改變時也如此。
[0052]此外，如在圖2中所示，UI面板30a包括例如用于啟動各種應用的圖標300。要注意的是，UI面板30a還可以包括按鈕、圖像、文本等。
[0053]此外，HMD 10可以通過基于經由稍后描述的成像單元120或傳感器單元122獲得的信息識別操作者2的手形和手的位置來改變UI面板30在顯示畫面20上的顯示位置。此夕卜，通過識別操作者2的手部動作，HMD 10能夠識別由操作者2執行的選擇圖標300、按鈕、圖像、文本等的操作，此外，HMD 10能夠執行與選擇操作對應的預定處理例如啟動與所選擇的圖標300對應的應用。
[0054]要注意的是在圖1中，盡管描述了操作者2在站立時操作UI面板30的示例，但是不限于該示例，例如，操作者2可以在坐在座位上時操作UI面板30。
[0055]-硬件配置-
[0056]此外，例如，HMD 10具有如在圖3中所示的硬件配置。如在圖3中所示，HMD 10包括中央處理單元(CPU) 150、只讀存儲器(ROM) 152、隨機存取存儲器(RAM) 154、內部總線156、接口 158、輸入裝置160、輸出裝置162、存儲裝置164以及通信裝置166。
[0057]CPU 150例如被配置為稍后描述的控制器100、手形識別單元102、動作識別單元104、顯示控制單元106以及確定單元108的示例。CPU 150起算術處理單元和控制器的作用并且根據各種程序控制HMD 10的總體的操作。CPU 150可以是微處理器。
[0058]ROM 152存儲由CPU 150使用的程序、操作參數等。此外，RAM 154暫時地存儲在CPU 150的執行中使用的程序和在執行期間適當地改變的參數等。CPU 150、ROM 152以及RAM 154通過由CPU總線等配置的內部總線156來彼此連接。
[0059]接口 158將輸入裝置160、輸出裝置162、存儲裝置164以及通信裝置166連接至內部總線156。例如，輸入裝置160通過接口 158和內部總線156與CPU 150等交換數據。
[0060]輸入裝置160接收由傳感器單元122獲得的景深信息的輸入和捕獲的用相機拍攝的圖像的輸入。此外，已經由輸入裝置160接收輸入的景深信息和捕獲的圖像被輸出至CPU150。
[0061]例如，輸出裝置162包括顯示裝置例如液晶顯示(IXD)裝置、有機發光二極管(OLED)裝置、照明器等。此外，輸出裝置162包括聲音輸出裝置例如揚聲器。例如，顯示裝置顯示捕獲的圖像和生成的圖像。同時，語音輸出裝置將音頻數據等轉換成聲音并且將聲音輸出。
[0062]存儲裝置164是用于存儲數據的裝置并且例如被配置為稍后描述的存儲單元110的示例。存儲裝置164可以包括存儲介質、記錄裝置、讀出裝置、刪除裝置等，記錄裝置將數據記錄在存儲介質中，讀出裝置從存儲介質中讀出數據，刪除裝置將在存儲介質中記錄的數據刪除。存儲裝置164存儲CPU 150執行的程序和各種數據。
[0063]通信裝置166是例如通過通信裝置等配置的用于連接至通信網絡例如因特網的通信接口。此外，通信裝置166可以是無線LAN使能通信裝置、長期演進(LTE)使能通信裝置或執行有線通信的有線通信裝置。
[0064][1-2.配置]
[0065](1-2-1.HMD 10 的配置)
[0066]上面已經描述了第一實施方式的H