基于手勢和語音識別控制的人機交互方法及其設備和應用
【技術領域】
[0001]本發明涉及一種基于手勢控制和語音識別控制的人機交互方法，以及實現該方法的設備和該方法的應用，主要用于事件觸發對定位可能存在不利影響的情況，并獲得較低的或完全消除的不利影響。
【背景技術】
[0002]手勢控制、語音識別控制、人臉識別和眼動等技術的發展使得人機交互呈現自然化的趨勢。但每一種自然交互方式都有其局限性，如手勢控制利于精細定位，不利于確認和文字輸入；語音識別控制利于開關型、選擇性操作和文字輸入，但無法進行精細定位；人臉識別和眼動較為舒適省力，也能定位，但在確認和文字輸入上同樣效率較低。
[0003]目前，也存在一些將不同交互方法結合使用的方法，如公開號為CN200810030194.4的發明專利申請，其采用一個手指來定位，用另一個手指的動作來進行確定和取消的操作。但是，上述方案仍存在一定缺陷，即上述方案在實際應用中，另一個手指的額外動作(如事件觸發時)一定會導致用于定位的手指的晃動，從而導致定位發生偏差。
【發明內容】
[0004]基于現有技術的上述缺陷，本發明要解決的技術問題是，現有技術下的人機交互過程中，各種自然交互方式不僅存在一定的不足之處，而且，尤為重要的是，采用現有的人機交互模式時，操作者執行的某些操作之間存在相互間會產生不利影響的缺陷，進而使得操作者難以達到理想的操作效果。
[0005]為了解決上述技術問題，本發明采用的主要技術方案是提供:
一種基于手勢控制和語音識別控制的人機交互方法，主要包括步驟:
(1)通過跟蹤手的位置進行空間三維精細定位；
(2)定位后通過識別的語音指令作為觸發指令來觸發相應事件，以避免觸發相應事件時觸發指令影響定位的穩定性。
[0006]一種實現上述人機交互方法的設備，包括分別與中央處理器連接的:
攝像裝置，跟蹤手的位置并獲得手的位置信息和/或跟蹤手的連續運動；
定位裝置，通過攝像裝置跟蹤手的位置得到的手的位置信息進行空間三維精細定位； 拾音裝置，識別并獲得語音指令；
觸發裝置，包括語音指令觸發裝置和/或手勢指令觸發裝置，根據拾音裝置識別得到的語音指令和/或攝像裝置跟蹤手的連續運動獲得的手勢指令來觸發相應事件。
[0007]—種上述人機交互方法在常用軟件中的應用，其中，通過手的定位來實現鼠標移動的功能，通過語音指令和/或手勢指令來實現鼠標左右鍵的功能。
[0008]本發明的有益效果是:本發明的方法中，通過采用手勢控制來進行定位，可以獲得準確的定位效果，并結合不會對手勢定位產生不利影響的語音觸發指令，使得本發明的方法可以顯著降低觸發指令對定位的不利影響，從而獲得極高的定位準確性，同時，該種方法不僅可以適用于各種軟件，更為重要的是，該方法應用于電子游戲軟件時，能夠模擬出更加真實的、自然的互動感受，可以使得應用者獲得極好的游戲體驗，讓操作者獲得更加身臨其境的感覺。通過將以上幾種自然交互方式進行組合，可以相互克服缺點，創造出前所未有的人機交互體驗，應用在電子游戲軟件中時，具有較大的市場價值。
【附圖說明】
[0009]圖1是本發明的人機交互方法的一個實施例的整體流程示意圖。
[0010]圖2是本發明的設備的一個實施例的框架結構示意圖。
【具體實施方式】
[0011]為了更好的表述本發明，以便于理解，下面結合附圖通過【具體實施方式】對本發明作進一步描述。
[0012]參見圖1，本發明的基于手勢控制和語音識別控制的人機交互方法，包括步驟:
(1)通過跟蹤手的位置進行空間三維精細定位；
(2)定位后通過識別的語音指令作為觸發指令來觸發相應事件，以避免觸發相應事件時觸發指令影響定位的穩定性。
[0013]其中，步驟(2)中，還可以包括跟蹤手的連續運動來識別出手勢指令以觸發相應事件。
[0014]在本發明的一個更優選實施例中，步驟(2 )中，還包括用識別到的語音指令和手勢指令共同作為觸發指令來觸發相應事件。
[0015]其中，步驟(2)中，所述手勢指令包括手勢組合指令。
[0016]在本發明的上述任一個實施例的更進一步優選實施例中，還可以包括步驟:(3)跟蹤頭部或眼睛的視線來變換場景渲染角度；
或者
(3丨)跟蹤頭部或眼睛的視線來切換場景中虛擬攝像機的位置、角度。
[0017]參見圖2，本發明的實現人機交互方法的設備，其包括分別與中央處理器I連接的:
攝像裝置5，跟蹤手的位置并獲得手的位置信息和/或跟蹤手的連續運動；
定位裝置2，通過攝像裝置跟蹤手的位置得到的手的位置信息進行空間三維精細定位；
拾音裝置3，識別并獲得語音指令；
觸發裝置4，設有語音指令觸發裝置41和/或手勢指令觸發裝置42，根據拾音裝置識別得到的語音指令和/或攝像裝置跟蹤手的連續運動獲得的手勢指令來觸發相應事件。
[0018]在本發明的一個實施例中，還可以設有人臉識別攝像機6，與中央處理器I連接并跟蹤操作者頭部以供中央處理器I據此變換場景渲染角度或切換場景中虛擬攝像機的位直、角度。
[0019]在本發明的一個實施例中，還可以設有一個以上視線追蹤攝像機7，與中央處理器I連接并跟蹤操作者眼睛的視線以供中央處理器I據此變換場景渲染角度或切換場景中虛擬攝像機的位置、角度。
[0020]在本發明的一個實施例中，所述視線追蹤攝像機為頭盔式。
[0021]在本發明的一個實施例中，所述視線追蹤攝像機為遙測式。
[0022]其中，在本發明的一個實施例中，所述攝像裝置可以為體感傳感器或攝像頭。
[0023]其中，在本發明的一個實施例中，所述拾音裝置可以為語音傳感器或麥克風。
[0024]通常，是在一種電子設備上，通過一種體感傳感器或結合軟件的普通攝像頭，以及語音傳感器或結合軟件的普通麥克風，可以獲得用戶的頭部的位置或面朝方向，或眼睛所看的位置；手指或手的位置，或手指針對屏幕的方向和手指在針對屏幕的方向上在屏幕上的投影位置，或通過手的連續運動所完成的特定手勢；語音指令，或跟用戶語音音量相關的數據；基于以上用戶輸入，計算機程序可以采用其中2種、3種的綜合作為軟件或游戲的用戶輸入來觸發相應的事件。
[0025]本發明還提供了一種人機交互方法在常用軟件中的應用，其中，通過手的定位來實現鼠標移動的功能，通過語音指令和/或手勢指令來實現鼠標左右鍵的功能。
[0026]其中，所述常用軟件包括電子游戲軟件。