手勢控制方法及虛擬現實顯示輸出設備的制造方法
【專利摘要】本發明公開一種用于虛擬現實顯示輸出設備的手勢控制方法及虛擬現實顯示輸出設備，方法包括：收集多個用戶手勢，獲取每個用戶手勢被收集時所述虛擬現實顯示輸出設備的使用場景作為用戶手勢對應的使用場景，獲取與每個用戶手勢對應的執行指令；將多個用戶手勢以及相應的使用場景和執行指令作為訓練集進行建模訓練，得到經過訓練后的指令模型；獲取當前用戶手勢以及所述虛擬現實顯示輸出設備的當前使用場景輸入所述指令模型，得到關于當前用戶手勢在當前使用場景下的執行指令；執行所述執行指令。本發明對用戶手勢采用相關的使用場景配合進行訓練，從而基于使用場景下建立用戶手勢與執行指令之間的精確關系，提高設備對用戶手勢的識別率。
【專利說明】
手勢控制方法及虛擬現實顯示輸出設備
技術領域
[0001]本發明涉及虛擬現實相關技術領域，特別是一種用于虛擬現實顯示輸出設備的手勢控制方法及虛擬現實顯示輸出設備。
【背景技術】
[0002]虛擬現實(Virtual Reality System，VR)系統，就是利用電腦或其他智能計算設為核心結合光電傳感技術生成逼真的視、聽、觸一體化的特定范圍內虛擬的環境。在虛擬現實系統中主要包括輸入設備和輸出設備。頭戴式顯示器簡稱HMD即是一種虛擬現實顯示輸出設備，配合輸入設備的交互能夠讓用戶產生獨立封閉的沉浸式交互體驗。
[0003]然而，用戶的手勢多種多樣，設備的識別能力較差，導致虛擬現實產品的用戶學習成本高，產品難以普及。
【發明內容】
[0004]基于此，有必要針對現有技術對用戶的手勢識別能力差的技術問題，提供一種用于虛擬現實顯示輸出設備的手勢控制方法及虛擬現實顯示輸出設備。
[0005]本發明提供一種用于虛擬現實顯示輸出設備的手勢控制方法，包括:
[0006]訓練數據收集步驟，包括:收集多個用戶手勢，獲取每個用戶手勢被收集時所述虛擬現實顯示輸出設備的使用場景作為用戶手勢對應的使用場景，獲取與每個用戶手勢對應的執行指令；
[0007]指令模型訓練步驟，包括:將多個用戶手勢以及相應的使用場景和執行指令作為訓練集進行建模訓練，得到經過訓練后的指令模型；
[0008]指令獲取步驟，包括:獲取當前用戶手勢以及所述虛擬現實顯示輸出設備的當前使用場景輸入所述指令模型，得到關于當前用戶手勢在當前使用場景下的執行指令；
[0009]指令執行步驟，包括:執行所述執行指令。
[0010]進一步的:
[0011]所述指令模型訓練步驟，具體包括:以用戶手勢以及相應的使用場景作為訓練樣本，以相應的執行指令對所述訓練樣本進行監督反饋，采用有監督的機器學習方式進行訓練，得到指令模型，所述指令模型包括每個用戶手勢在每個使用場景下與每個執行指令關聯的概率；
[0012]所述指令獲取步驟，具體包括:獲取當前用戶手勢以及所述虛擬現實顯示輸出設備的當前使用場景輸入所述指令模型，得到當前用戶手勢在當前使用場景下所關聯的最大概率的執行指令作為當前用戶手勢的執行指令。
[0013]進一步的:
[0014]所述指令模型訓練步驟，具體包括:對相同使用場景下的多個用戶手勢采用無監督的機器學習方式進行歸類訓練，得到相同使用場景下每個用戶手勢的手勢類型，計算每個手勢類型在每個使用場景下與每個執行指令關聯的概率，得到經過訓練后的指令模型；
[0015]所述指令獲取步驟，具體包括:獲取當前用戶手勢以及所述虛擬現實顯示輸出設備的當前使用場景輸入所述指令模型，得到當前用戶手勢在當前使用場景下的手勢類型作為當前手勢類型，得到當前手勢類型在當前使用場景下關聯的最大概率的執行指令作為當前用戶手勢的執行指令。
[0016]進一步的，還包括:
[0017]手勢模型訓練步驟，包括:將多個用戶手勢以及相應的使用場景和執行指令作為訓練集進行建模訓練，得到經過訓練后的手勢模型；
[0018]手勢獲取步驟，包括:響應于包括用戶查詢指令的用戶查詢指令請求，獲取所述虛擬現實顯示輸出設備的當前使用場景，將所述用戶查詢指令和所述當前使用場景輸入所述指令模型，得到關于所述用戶查詢指令在所述當前場景下的推薦手勢；
[0019]手勢顯示步驟，包括:顯示所述推薦手勢。
[0020]更進一步的:
[0021]所述手勢模型訓練步驟，具體包括:手勢模型訓練步驟，包括:以執行指令以及相應的使用場景作為訓練樣本，以相應的用戶手勢作為所述訓練樣本的目標，采用有監督的機器學習方式進行訓練，得到指令模型，所述指令模型包括每個執行指令在每個使用場景下關聯每個用戶手勢的概率；
[0022]所述手勢獲取步驟，具體包括:響應于包括用戶查詢指令的用戶查詢指令請求，獲取所述虛擬現實顯示輸出設備的當前使用場景，將所述用戶查詢指令和所述當前使用場景輸入所述指令模型，得到用戶查詢指令在當前使用場景下關聯的最大概率的用戶手勢作為所述用戶查詢指令在所述當前場景下的推薦手勢。
[0023 ]本發明提供一種虛擬現實顯示輸出設備，包括:
[0024]訓練數據收集模塊，用于:收集多個用戶手勢，獲取每個用戶手勢被收集時所述虛擬現實顯示輸出設備的使用場景作為用戶手勢對應的使用場景，獲取與每個用戶手勢對應的執行指令；
[0025]指令模型訓練模塊，用于:將多個用戶手勢以及相應的使用場景和執行指令作為訓練集進行建模訓練，得到經過訓練后的指令模型；
[0026]指令獲取模塊，用于:獲取當前用戶手勢以及所述虛擬現實顯示輸出設備的當前使用場景輸入所述指令模型，得到關于當前用戶手勢在當前使用場景下的執行指令；
[0027]指令執行模塊，用于:執行所述執行指令。
[0028]進一步的:
[0029]所述指令模型訓練模塊，具體用于:以用戶手勢以及相應的使用場景作為訓練樣本，以相應的執行指令對所述訓練樣本進行監督反饋，采用有監督的機器學習方式進行訓練，得到指令模型，所述指令模型包括每個用戶手勢在每個使用場景下與每個執行指令關聯的概率；
[0030]所述指令獲取模塊，具體用于:獲取當前用戶手勢以及所述虛擬現實顯示輸出設備的當前使用場景輸入所述指令模型，得到當前用戶手勢在當前使用場景下所關聯的最大概率的執行指令作為當前用戶手勢的執行指令。
[0031]進一步的:
[0032]所述指令模型訓練模塊，具體用于:對相同使用場景下的多個用戶手勢采用無監督的機器學習方式進行歸類訓練，得到相同使用場景下每個用戶手勢的手勢類型，計算每個手勢類型在每個使用場景下與每個執行指令關聯的概率，得到經過訓練后的指令模型；
[0033]所述指令獲取模塊，具體用于:獲取當前用戶手勢以及所述虛擬現實顯示輸出設備的當前使用場景輸入所述指令模型，得到當前用戶手勢在當前使用場景下的手勢類型作為當前手勢類型，得到當前手勢類型在當前使用場景下關聯的最大概率的執行指令作為當前用戶手勢的執行指令。
[0034]進一步的，還包括:
[0035]手勢模型訓練模塊，用于:將多個用戶手勢以及相應的使用場景和執行指令作為訓練集進行建模訓練，得到經過訓練后的手勢模型；
[0036]手勢獲取模塊，用于:響應于包括用戶查詢指令的用戶查詢指令請求，獲取所述虛擬現實顯示輸出設備的當前使用場景，將所述用戶查詢指令和所述當前使用場景輸入所述指令模型，得到關于所述用戶查詢指令在所述當前場景下的推薦手勢；
[0037]手勢顯示模塊，用于:顯示所述推薦手勢。
[0038]更進一步的:
[0039]所述手勢模型訓練模塊，具體用于:手勢模型訓練模塊，用于:以執行指令以及相應的使用場景作為訓練樣本，以相應的用戶手勢作為所述訓練樣本的目標，采用有監督的機器學習方式進行訓練，得到指令模型，所述指令模型包括每個執行指令在每個使用場景下關聯每個用戶手勢的概率；
[0040]所述手勢獲取模塊，具體用于:響應于包括用戶查詢指令的用戶查詢指令請求，獲取所述虛擬現實顯示輸出設備的當前使用場景，將所述用戶查詢指令和所述當前使用場景輸入所述指令模型，得到用戶查詢指令在當前使用場景下關聯的最大概率的用戶手勢作為所述用戶查詢指令在所述當前場景下的推薦手勢。
[0041]本發明對用戶手勢采用相關的使用場景配合進行訓練，從而基于使用場景下建立用戶手勢與執行指令之間的精確關系，提高設備對用戶手勢的識別率。
【附圖說明】
[0042]圖1為本發明一種用于虛擬現實顯示輸出設備的手勢控制方法的工作流程圖；
[0043]圖2為本發明最佳實施例的工作流程圖；
[0044]圖3為本發明一種虛擬現實顯示輸出設備的結構模塊圖；
[0045]圖4為本發明虛擬現實顯示輸出設備的結構示意圖。
【具體實施方式】
[0046]下面結合附圖和具體實施例對本發明做進一步詳細的說明。
[0047]如圖1所示為本發明一種用于虛擬現實顯示輸出設備的手勢控制方法的工作流程圖，包括:
[0048]步驟SlOl，包括:收集多個用戶手勢，獲取每個用戶手勢被收集時所述虛擬現實顯示輸出設備的使用場景作為用戶手勢對應的使用場景，獲取與每個用戶手勢對應的執行指令；
[0049]步驟S102，包括:將多個用戶手勢以及相應的使用場景和執行指令作為訓練集進行建模訓練，得到經過訓練后的指令模型；
[0050]步驟S103，包括:獲取當前用戶手勢以及所述虛擬現實顯示輸出設備的當前使用場景輸入所述指令模型，得到關于當前用戶手勢在當前使用場景下的執行指令；
[0051]步驟S104，包括:執行所述執行指令。
[0052]在步驟SlOl中，獲取用戶手勢以及相應的使用場景和執行指令，以在步驟S102中建模。使用場景指的是在獲取用戶手勢時，用戶使用虛擬現實顯示輸出設備所進行的操作，例如用戶使用什么樣的VR系統，需要進行哪些操作，當前正在用VR系統做些什么事情等等。例如，某用戶正在用VR系統看電影，用戶做出一個揮手動作以進行快進，則看電影為使用場景，揮手動作則為用戶手勢，快進為執行指令。在步驟SlOl中，由于是進行訓練所收集的內容，因此其用戶手勢、使用場景和執行指令均可以是在實驗室中預先保存多個操作，然后用戶在觀看電影的場景中做出上述揮手動作時，指定執行指令為快進。通過收集多個用戶手勢以及相應的使用場景和執行指令以形成訓練集。
[0053]通過步驟S102建模后，則可以在步驟S103中獲取用戶的實際手勢作為當前用戶手勢以及實際的使用場景作為當前使用場景，并輸入指令模型獲取對應的執行指令，并在步驟S104中執行該執行指令。
[0054]同一個手勢在不同的使用場景下想要執行的操作并不一定相同，例如在觀看視頻的使用場景下，揮手這個用戶手勢用戶想要執行的執行指令可以為快進，而在游戲的使用場景下，揮手這個用戶手勢用戶想要執行的執行指令可能是揮動虛擬武器。因此，本發明對用戶手勢專門針對相關的使用場景配合進行訓練，從而基于使用場景下建立用戶手勢與執行指令之間的精確關系，提尚設備對用戶手勢的識別率。
[0055]在其中一個實施例中:
[0056]所述步驟S102，具體包括:以用戶手勢以及相應的使用場景作為訓練樣本，以相應的執行指令對所述訓練樣本進行監督反饋，采用有監督的機器學習方式進行訓練，得到指令模型，所述指令模型包括每個用戶手勢在每個使用場景下與每個執行指令關聯的概率；
[0057]所述步驟S103，具體包括:獲取當前用戶手勢以及所述虛擬現實顯示輸出設備的當前使用場景輸入所述指令模型，得到當前用戶手勢在當前使用場景下所關聯的最大概率的執行指令作為當前用戶手勢的執行指令。
[0058]本實施例采用有監督方式的機器學習進行訓練，通過步驟SlOl所獲取的執行指令對用戶手勢以及相應的使用場景進行監督反饋，具體來說，將一個用戶手勢與一個使用場景作為一種模式，通過分類器對所有的模式基于執行指令的數量進行分類，使得分類后相對于執行指令所產生的錯誤概率最小。即特定用戶手勢在特定使用場景下關聯特定執行指令的概率，具有最大概率的執行指令即為所關聯的用戶手勢在所關聯的使用場景下最應該執行的執行指令。分類器可以采用貝葉斯分類器、高斯模型、或者直接統計概率等，根據最大似然法或貝葉斯學習估計出指令模型的條件概率密度函數的參數，則在步驟S103中，只要將具體的當前用戶手勢、當前使用場景以及可能的執行指令輸入函數即可得出該執行指令的概率，通過計算關于當前用戶手勢和當前使用場景的多個執行指令的概率，從中選擇最大概率的執行指令。在計算的過程中，可以將用戶手勢、使用場景和執行指令轉換為特定的編碼以進行運算。
[0059]本實施例通過監督方式，使得特定用戶手勢在特定使用場景下所選擇的執行指令更為準確。
[0060]例如，將用戶手勢A和使用場景a作為一種模式，其關聯的執行指令為aa，將用戶手勢B和使用場景b作為一種模式，其關聯的執行指令為bb。由于不同模式下還可能會有相同的執行指令。因此當有η種模式，其會有m種關聯的執行指令，m小于或等于η。通過分類器對上述η中模式關于m種執行指令進行分類，獲得每種模式關于每個執行指令的概率。
[0061 ] 在其中一個實施例中
[0062]所述步驟S102，具體包括:對相同使用場景下的多個用戶手勢采用無監督的機器學習方式進行歸類訓練，得到相同使用場景下每個用戶手勢的手勢類型，計算每個手勢類型在每個使用場景下與每個執行指令關聯的概率，得到經過訓練后的指令模型；
[0063]所述步驟S103，具體包括:獲取當前用戶手勢以及所述虛擬現實顯示輸出設備的當前使用場景輸入所述指令模型，得到當前用戶手勢在當前使用場景下的手勢類型作為當前手勢類型，得到當前手勢類型在當前使用場景下關聯的最大概率的執行指令作為當前用戶手勢的執行指令。
[0064]本實施例采用無監督機器學習方法進行分類:
[0065]首先，按照使用場景進行區分，將相同使用場景下的多個用戶手勢采用無監督機器學習方法進行分類，具體來說，可以為每個用戶手勢預先選擇一種編碼，使用例如鄰近算法，或者說K最近鄰(KNN，k_NearestNeighbor)分類算法等方式進行歸類，將多個用戶手勢歸類為一種手勢類型，則每個使用場景均包括至少一個手勢類型。編碼的選擇可以根據用戶手勢的參數進行編碼，例如，手勢的速度，手勢的動作，手勢的幅度等，例如，對于一個手勢可以設定其編碼為(112)，其中第一個參數表示手勢的速度為I等級，不同等級表示一定范圍內的速度，第二個參數表示手勢的動作，例如I代表向左揮手，2代表向右揮手等，第三個參數表示手勢的幅度為2等級，不同等級表示一定范圍的揮手幅度，將編碼作為向量，采用KNN計算相同使用場景下的向量之間的距離并進行歸類；
[0066]再次，由于每個用戶手勢和每個使用場景均與一種執行指令關聯，因此對每個使用場景下的每個手勢類型所包括的用戶手勢其關聯的執行指令計算概率。
[0067]例如，將對于使用場景P，其包括有多個不同的手勢類型，其中手勢類型C包括用戶手勢d、用戶手勢e和用戶手勢f，而用戶手勢d對應的執行指令為dd，用戶手勢e對應的執行指令為dd，用戶手勢f對應的執行指令為ff，則在使用場景P下手勢類型C所關聯執行指令dd的概率為2/3，關聯執行指令dd的概率為1/3。
[0068]當執行步驟S103時，則先查找模型中的當前使用場景，然后對當前用戶手勢采用無監督機器學習方法，例如KNN算法，將其歸類到當前使用場景中相應的手勢類型中，然后找出當前使用場景下其所歸類的手勢類型中關聯的最大概率的執行指令作為當前用戶手勢的執行指令。
[0069]本實施例采用無監督的機器學習方式，使得手勢識別更為靈活。
[0070]在其中一個實施例中，還包括:
[0071]手勢模型訓練步驟，包括:將多個用戶手勢以及相應的使用場景和執行指令作為訓練集進行建模訓練，得到經過訓練后的手勢模型；
[0072]手勢獲取步驟，包括:響應于包括用戶查詢指令的用戶查詢指令請求，獲取所述虛擬現實顯示輸出設備的當前使用場景，將所述用戶查詢指令和所述當前使用場景輸入所述指令模型，得到關于所述用戶查詢指令在所述當前場景下的推薦手勢；
[0073]手勢顯示步驟，包括:顯示所述推薦手勢。
[0074]本實施例中，用戶通過輸入裝置，例如輸入面板、觸摸屏等，輸入其想查詢的指令，將用戶想查詢的指令輸入指令模型，得到推薦手勢并顯示。推薦手勢為在特定使用場景下，如果用戶希望執行特定操作，其最應該使用的手勢。通過收集多個用戶手勢以及相應的使用場景和執行指令作為訓練集進行建模訓練，使得推薦手勢更符合廣大用戶的需求。
[0075]在其中一個實施例中:
[0076]所述手勢模型訓練步驟，具體包括:手勢模型訓練步驟，包括:以執行指令以及相應的使用場景作為訓練樣本，以相應的用戶手勢作為所述訓練樣本的目標，采用有監督的機器學習方式進行訓練，得到指令模型，所述指令模型包括每個執行指令在每個使用場景下關聯每個用戶手勢的概率；
[0077]所述手勢獲取步驟，具體包括:響應于包括用戶查詢指令的用戶查詢指令請求，獲取所述虛擬現實顯示輸出設備的當前使用場景，將所述用戶查詢指令和所述當前使用場景輸入所述指令模型，得到用戶查詢指令在當前使用場景下關聯的最大概率的用戶手勢作為所述用戶查詢指令在所述當前場景下的推薦手勢。
[0078]本實施例通過步驟SlOl所獲取的執行指令對執行指令以及相應的使用場景進行監督反饋，具體來說，將一個執行指令與一個使用場景作為一種模式，通過分類器對所有的模式基于用戶手勢的數量進行分類，使得分類后相對于用戶手勢所產生的錯誤概率最小。即特定執行指令在特定使用場景下關聯特定用戶手勢的概率，具有最大概率的用戶手勢即為所關聯的執行指令在所關聯的使用場景下最應該采用的用戶手勢。分類器可以采用貝葉斯分類器、高斯模型、或者直接統計概率等，根據最大似然法或貝葉斯學習估計出指令模型的條件概率密度函數的參數，則在手勢獲取步驟中，只要將具體的用戶查詢指令、當前使用場景以及可能的用戶手勢輸入函數即可得出該用戶手勢的概率，通過計算關于用戶查詢指令和當前使用場景的多個用戶手勢的概率，從中選擇最大概率的用戶手勢。在計算的過程中，可以將用戶查詢指令、使用場景和用戶手勢轉換為特定的編碼以進行運算。
[0079]本實施例通過監督方式，使得特定用戶查詢指令在特定使用場景下所選擇的用戶手勢更為準確。
[0080]如圖2所示為本發明最佳實施例的工作流程圖，包括:
[0081 ]步驟S201，視頻采集:
[0082]此時，要設定用戶的使用場景。包括，用戶使用什么樣的VR系統，需要進行哪些操作，當前正在用VR系統做些什么事情等等。所要采集的數據包括用戶手勢、使用場景以及用戶所希望執行的執行指令。例如，某用戶正在用VR系統看電影，獲取用戶想做哪些操作以及做了哪些操作，或者，某用戶正在用VR系統看電影，在快進的設定情境下，獲取用戶所有的手勢。
[0083]步驟S202，用戶行為建模:
[0084]可以進行兩種角度的分析建模:一是針對特定場景的特定執行指令，對用戶所有的手勢進行分析建模;二是針對特定場景下的所有手勢，對用戶所有的執行指令進行建模。建模的方法，可以采用統計學上的概率模型，如高斯模型進行分析，或者直接統計概率以進行分類。
[0085]步驟S203，顯示推薦手勢或者執行指令。
[0086]—是針對特定場景下的特定執行指令，推薦用戶采用最合適的特定手勢；二是針對特定場景下的特定手勢，判斷用戶最想表達的意愿，以執行相應的指令。
[0087]在進行上述分析時，采集樣本需要對用戶進行科學的分類，以期樣本能夠最大限度地代表用戶群。
[0088]如圖3所示為本發明一種虛擬現實顯示輸出設備的結構模塊圖，包括:
[0089]訓練數據收集模塊301，用于:收集多個用戶手勢，獲取每個用戶手勢被收集時所述虛擬現實顯示輸出設備的使用場景作為用戶手勢對應的使用場景，獲取與每個用戶手勢對應的執行指令；
[0090]指令模型訓練模塊302，用于:將多個用戶手勢以及相應的使用場景和執行指令作為訓練集進行建模訓練，得到經過訓練后的指令模型；
[0091]指令獲取模塊303，用于:獲取當前用戶手勢以及所述虛擬現實顯示輸出設備的當前使用場景輸入所述指令模型，得到關于當前用戶手勢在當前使用場景下的執行指令；
[0092]指令執行模塊304，用于:執行所述執行指令。
[0093]在其中一個實施例中:
[0094]所述指令模型訓練模塊302，具體用于:以用戶手勢以及相應的使用場景作為訓練樣本，以相應的執行指令對所述訓練樣本進行監督反饋，采用有監督的機器學習方式進行訓練，得到指令模型，所述指令模型包括每個用戶手勢在每個使用場景下與每個執行指令關聯的概率；
[0095]所述指令獲取模塊303，具體用于:獲取當前用戶手勢以及所述虛擬現實顯示輸出設備的當前使用場景輸入所述指令模型，得到當前用戶手勢在當前使用場景下所關聯的最大概率的執行指令作為當前用戶手勢的執行指令。
[0096]在其中一個實施例中:
[0097]所述指令模型訓練模塊302，具體用于:對相同使用場景下的多個用戶手勢采用無監督的機器學習方式進行歸類訓練，得到相同使用場景下每個用戶手勢的手勢類型，計算每個手勢類型在每個使用場景下與每個執行指令關聯的概率，得到經過訓練后的指令模型；
[0098]所述指令獲取模塊303，具體用于:獲取當前用戶手勢以及所述虛擬現實顯示輸出設備的當前使用場景輸入所述指令模型，得到當前用戶手勢在當前使用場景下的手勢類型作為當前手勢類型，得到當前手勢類型在當前使用場景下關聯的最大概率的執行指令作為當前用戶手勢的執行指令。
[0099]在其中一個實施例中，還包括:
[0100]手勢模型訓練模塊，用于:將多個用戶手勢以及相應的使用場景和執行指令作為訓練集進行建模訓練，得到經過訓練后的手勢模型；
[0101]手勢獲取模塊，用于:響應于包括用戶查詢指令的用戶查詢指令請求，獲取所述虛擬現實顯示輸出設備的當前使用場景，將所述用戶查詢指令和所述當前使用場景輸入所述指令模型，得到關于所述用戶查詢指令在所述當前場景下的推薦手勢；
[0102]手勢顯示模塊，用于:顯示所述推薦手勢。
[0103]在其中一個實施例中:
[0104]所述手勢模型訓練模塊，具體用于:手勢模型訓練模塊，用于:以執行指令以及相應的使用場景作為訓練樣本，以相應的用戶手勢作為所述訓練樣本的目標，采用有監督的機器學習方式進行訓練，得到指令模型，所述指令模型包括每個執行指令在每個使用場景下關聯每個用戶手勢的概率；
[0105]所述手勢獲取模塊，具體用于:響應于包括用戶查詢指令的用戶查詢指令請求，獲取所述虛擬現實顯示輸出設備的當前使用場景，將所述用戶查詢指令和所述當前使用場景輸入所述指令模型，得到用戶查詢指令在當前使用場景下關聯的最大概率的用戶手勢作為所述用戶查詢指令在所述當前場景下的推薦手勢。
[0106]如圖4所示為本發明虛擬現實顯示輸出設備的結構示意圖。虛擬現實顯示輸出設備可以是利用PC計算能力接入方式的PC頭盔顯示設備、或者基于手機的計算處理能力的便攜式頭盔顯示設備、或者是頭盔顯示設備自帶計算處理能力，其主要包括:處理器401、存儲器402、顯示屏403、攝像機404、輸入裝置405等。
[0107]其中存儲器402中存儲前述方法的具體代碼以及指令模型和手勢模型，由處理器401具體執行，通過攝像機404捕捉用戶手勢并由處理器401根據前述方法進行處理后執行具體指令，或者從輸入裝置405接收查詢指令后，由處理器401根據前述方法進行處理后在顯示屏403上顯示推薦手勢。
[0108]以上所述實施例僅表達了本發明的幾種實施方式，其描述較為具體和詳細，但并不能因此而理解為對本發明專利范圍的限制。應當指出的是，對于本領域的普通技術人員來說，在不脫離本發明構思的前提下，還可以做出若干變形和改進，這些都屬于本發明的保護范圍。因此，本發明專利的保護范圍應以所附權利要求為準。
【主權項】
1.一種用于虛擬現實顯示輸出設備的手勢控制方法，其特征在于，包括: 訓練數據收集步驟，包括:收集多個用戶手勢，獲取每個用戶手勢被收集時所述虛擬現實顯示輸出設備的使用場景作為用戶手勢對應的使用場景，獲取與每個用戶手勢對應的執行指令； 指令模型訓練步驟，包括:將多個用戶手勢以及相應的使用場景和執行指令作為訓練集進行建模訓練，得到經過訓練后的指令模型； 指令獲取步驟，包括:獲取當前用戶手勢以及所述虛擬現實顯示輸出設備的當前使用場景輸入所述指令模型，得到關于當前用戶手勢在當前使用場景下的執行指令； 指令執行步驟，包括:執行所述執行指令。2.根據權利要求1所述的用于虛擬現實顯示輸出設備的手勢控制方法，其特征在于: 所述指令模型訓練步驟，具體包括:以用戶手勢以及相應的使用場景作為訓練樣本，以相應的執行指令對所述訓練樣本進行監督反饋，采用有監督的機器學習方式進行訓練，得到指令模型，所述指令模型包括每個用戶手勢在每個使用場景下與每個執行指令關聯的概率； 所述指令獲取步驟，具體包括:獲取當前用戶手勢以及所述虛擬現實顯示輸出設備的當前使用場景輸入所述指令模型，得到當前用戶手勢在當前使用場景下所關聯的最大概率的執行指令作為當前用戶手勢的執行指令。3.根據權利要求1所述的用于虛擬現實顯示輸出設備的手勢控制方法，其特征在于: 所述指令模型訓練步驟，具體包括:對相同使用場景下的多個用戶手勢采用無監督的機器學習方式進行歸類訓練，得到相同使用場景下每個用戶手勢的手勢類型，計算每個手勢類型在每個使用場景下與每個執行指令關聯的概率，得到經過訓練后的指令模型； 所述指令獲取步驟，具體包括:獲取當前用戶手勢以及所述虛擬現實顯示輸出設備的當前使用場景輸入所述指令模型，得到當前用戶手勢在當前使用場景下的手勢類型作為當前手勢類型，得到當前手勢類型在當前使用場景下關聯的最大概率的執行指令作為當前用戶手勢的執行指令。4.根據權利要求1所述的用于虛擬現實顯示輸出設備的手勢控制方法，其特征在于，還包括: 手勢模型訓練步驟，包括:將多個用戶手勢以及相應的使用場景和執行指令作為訓練集進行建模訓練，得到經過訓練后的手勢模型； 手勢獲取步驟，包括:響應于包括用戶查詢指令的用戶查詢指令請求，獲取所述虛擬現實顯示輸出設備的當前使用場景，將所述用戶查詢指令和所述當前使用場景輸入所述指令模型，得到關于所述用戶查詢指令在所述當前場景下的推薦手勢； 手勢顯示步驟，包括:顯示所述推薦手勢。5.根據權利要求4所述的用于虛擬現實顯示輸出設備的手勢控制方法，其特征在于: 所述手勢模型訓練步驟，具體包括:手勢模型訓練步驟，包括:以執行指令以及相應的使用場景作為訓練樣本，以相應的用戶手勢作為所述訓練樣本的目標，采用有監督的機器學習方式進行訓練，得到指令模型，所述指令模型包括每個執行指令在每個使用場景下關聯每個用戶手勢的概率； 所述手勢獲取步驟，具體包括:響應于包括用戶查詢指令的用戶查詢指令請求，獲取所述虛擬現實顯示輸出設備的當前使用場景，將所述用戶查詢指令和所述當前使用場景輸入所述指令模型，得到用戶查詢指令在當前使用場景下關聯的最大概率的用戶手勢作為所述用戶查詢指令在所述當前場景下的推薦手勢。6.一種虛擬現實顯示輸出設備，其特征在于，包括: 訓練數據收集模塊，用于:收集多個用戶手勢，獲取每個用戶手勢被收集時所述虛擬現實顯示輸出設備的使用場景作為用戶手勢對應的使用場景，獲取與每個用戶手勢對應的執行指令； 指令模型訓練模塊，用于:將多個用戶手勢以及相應的使用場景和執行指令作為訓練集進行建模訓練，得到經過訓練后的指令模型； 指令獲取模塊，用于:獲取當前用戶手勢以及所述虛擬現實顯示輸出設備的當前使用場景輸入所述指令模型，得到關于當前用戶手勢在當前使用場景下的執行指令； 指令執行模塊，用于:執行所述執行指令。7.根據權利要求6所述的虛擬現實顯示輸出設備，其特征在于: 所述指令模型訓練模塊，具體用于:以用戶手勢以及相應的使用場景作為訓練樣本，以相應的執行指令對所述訓練樣本進行監督反饋，采用有監督的機器學習方式進行訓練，得到指令模型，所述指令模型包括每個用戶手勢在每個使用場景下與每個執行指令關聯的概率； 所述指令獲取模塊，具體用于:獲取當前用戶手勢以及所述虛擬現實顯示輸出設備的當前使用場景輸入所述指令模型，得到當前用戶手勢在當前使用場景下所關聯的最大概率的執行指令作為當前用戶手勢的執行指令。8.根據權利要求6所述的虛擬現實顯示輸出設備，其特征在于: 所述指令模型訓練模塊，具體用于:對相同使用場景下的多個用戶手勢采用無監督的機器學習方式進行歸類訓練，得到相同使用場景下每個用戶手勢的手勢類型，計算每個手勢類型在每個使用場景下與每個執行指令關聯的概率，得到經過訓練后的指令模型； 所述指令獲取模塊，具體用于:獲取當前用戶手勢以及所述虛擬現實顯示輸出設備的當前使用場景輸入所述指令模型，得到當前用戶手勢在當前使用場景下的手勢類型作為當前手勢類型，得到當前手勢類型在當前使用場景下關聯的最大概率的執行指令作為當前用戶手勢的執行指令。9.根據權利要求6所述的虛擬現實顯示輸出設備，其特征在于，還包括: 手勢模型訓練模塊，用于:將多個用戶手勢以及相應的使用場景和執行指令作為訓練集進行建模訓練，得到經過訓練后的手勢模型； 手勢獲取模塊，用于:響應于包括用戶查詢指令的用戶查詢指令請求，獲取所述虛擬現實顯示輸出設備的當前使用場景，將所述用戶查詢指令和所述當前使用場景輸入所述指令模型，得到關于所述用戶查詢指令在所述當前場景下的推薦手勢； 手勢顯示模塊，用于:顯示所述推薦手勢。10.根據權利要求9所述的虛擬現實顯示輸出設備，其特征在于: 所述手勢模型訓練模塊，具體用于:手勢模型訓練模塊，用于:以執行指令以及相應的使用場景作為訓練樣本，以相應的用戶手勢作為所述訓練樣本的目標，采用有監督的機器學習方式進行訓練，得到指令模型，所述指令模型包括每個執行指令在每個使用場景下關聯每個用戶手勢的概率； 所述手勢獲取模塊，具體用于:響應于包括用戶查詢指令的用戶查詢指令請求，獲取所述虛擬現實顯示輸出設備的當前使用場景，將所述用戶查詢指令和所述當前使用場景輸入所述指令模型，得到用戶查詢指令在當前使用場景下關聯的最大概率的用戶手勢作為所述用戶查詢指令在所述當前場景下的推薦手勢。
【文檔編號】G06F3/0487GK105988583SQ201510797333
【公開日】2016年10月5日
【申請日】2015年11月18日
【發明人】張超
【申請人】樂視致新電子科技（天津）有限公司