虛擬現實交互的方法及裝置的制造方法
【專利摘要】本發明實施例提供一種虛擬現實交互的方法及裝置，其中，本發明的方法主要包括：獲取用戶在屏幕上的視線的位置；根據所述位置判斷所述視線是否進入預設范圍，所述預設范圍為包含于所述屏幕中不同的場景化圖像上的區域；若所述視線進入預設范圍，則開始記錄所述視線在所述預設范圍內的行為；根據所述行為啟動與所述場景化圖像對應的執行指令。與現有技術相比，本發明能夠增強虛擬現實技術的沉浸感。
【專利說明】
虛擬現實交互的方法及裝置
技術領域
[0001]本發明實施例涉及計算機應用技術領域，尤其涉及一種虛擬現實交互的方法及裝置。
【背景技術】
[0002]隨著社會經濟的發展，計算機已經成為人們生活不可或缺的重要組成部分，而友好的人機交互也早就成為人們非常關心的課題。從早期的命令界面到圖形用戶界面再到多媒體界面，直到現在的虛擬現實。人機交互已經發展到了一個新的領域。
[0003]虛擬現實(Virtual Reality，簡稱VR)是利用計算機圖形系統及各種現實控制等接口設備，在計算機上生成的、可交互的三維環境中提供沉浸感覺的技術。在具體的虛擬現實交互的過程中，通常需要在虛擬場景中進行不同的內容的選擇，比如用戶在體驗生活類的VR游戲時，在開始后的主界面場景中可能會看到多種具體的生活場景，比如有商店、電影院、餐廳等。這時需要用戶通過菜單列表進行場景的選擇，然后進入對應的場景中。與上述VR游戲類似，現有的VR體驗中，通常使用傳統的列表式菜單進行不同的內容等的選擇。然而虛擬現實的宗旨是使用戶體驗與現實環境一樣的沉浸感，所以菜單列表的存在本身就降低了虛擬現實技術的沉浸感。
【發明內容】
[0004]本發明實施例提供一種虛擬現實交互的方法及裝置，用以解決現有的虛擬現實交互方式降低虛擬現實技術的沉浸感的問題。
[0005]本發明實施例提供一種虛擬現實交互的方法，所述方法包括:
[0006]獲取用戶在屏幕上的視線的位置；
[0007]根據所述位置判斷所述視線是否進入預設范圍，所述預設范圍為包含于所述屏幕中不同的場景化圖像上的區域；
[0008]若所述視線進入預設范圍，則開始記錄所述視線在所述預設范圍內的行為；
[0009]根據所述行為啟動與所述場景化圖像對應的執行指令。
[0010]本發明實施例提供一種虛擬現實交互的裝置，所述裝置包括:
[0011 ]獲取單元，用于獲取用戶在屏幕上的視線的位置；
[0012]判斷單元，用于根據所述位置判斷所述視線是否進入預設范圍，所述預設范圍為包含于所述屏幕中不同的場景化圖像上的區域；
[0013]記錄單元，用于若所述視線進入預設范圍，則開始記錄所述視線在所述預設范圍內的行為；
[0014]啟動單元，用于根據所述行為啟動與所述場景化圖像對應的執行指令。
[0015]本發明實施例提供的虛擬現實交互的方法及裝置，能夠首先獲取用戶在屏幕上的視線的位置;其次，根據視線的位置判斷用戶視線是否進入預設范圍，其中預設范圍為包含于屏幕中不同的場景化圖像上的區域;若用戶視線進入預設范圍，則開始記錄視線在預設范圍內的行為;最后根據視線在預設范圍內的行為啟動與場景化圖像對應的執行指令。與現有技術相比，本發明實施例能夠通過獲取用戶視線在屏幕上的位置，然后判斷當用戶視線進入預設范圍內后的視線的行為來啟動與視線所處的場景化圖像對應的執行命令。可以看出本發明實施例不需要通過傳統的菜單列表進行執行命令的選擇，而是直接選取場景化圖像中的預設范圍作為選擇執行指令對應的場景化式的“菜單”，然后再結合用戶視線的行為啟動對應的執行命令。這種場景化的“菜單”與視線行為結合的虛擬現實交互的方式更符合用戶在現實環境中的真實體驗，因此可以增加虛擬現實技術的沉浸感。
【附圖說明】
[0016]為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作一簡單地介紹，顯而易見地，下面描述中的附圖是本發明的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。
[0017]圖1為本發明實施例提供的一種虛擬現實交互的方法的流程圖；
[0018]圖2為本發明實施例提供的另一種虛擬現實交互的方法的流程圖；
[0019]圖3為本發明實施例提供的一種虛擬現實交互的裝置的組成框圖；
[0020]圖4為本發明實施例提供的另一種虛擬現實交互的裝置的組成框圖。
【具體實施方式】
[0021]為使本發明實施例的目的、技術方案和優點更加清楚，下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本發明一部分實施例，而不是全部的實施例。基于本發明中的實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例，都屬于本發明保護的范圍。
[0022]本發明實施例提供了一種虛擬現實交互的方法，如圖1所示，該方法包括:
[0023]101、獲取用戶在屏幕上的視線位置。
[0024]本實施例主要針對頭戴式VR設備技術，目前VR設備能使用戶產生一種身在虛擬環境中的感覺。具體的原理是:將小型的二維顯示器所產生的影像藉由光學系統放大，常用的實現方式為將手機顯示屏上的影像藉由光學鏡片等放大。因此用戶的視線實際還是在二維顯示器的顯示屏上，所以因此在實現通過用戶視線進行虛擬現實交互的方式時考慮的是用戶視線與二維顯示器的顯示屏的交互。因此首先需要獲取用戶在屏幕上的視線位置，該屏幕即二維顯示器的顯示屏。
[0025]102、根據位置判斷視線是否進入預設范圍。
[0026]根據由步驟101獲取到的視線在屏幕上的位置來判斷用戶的視線是否進入預設范圍，該預設范圍為包含于屏幕中不同的場景化圖像上的區域。具體判斷視線是否進入預設范圍的實現方式可以為:根據視線所在位置的坐標與預設范圍決定的坐標區域進行比對，若視線對應的坐標包含在預設范圍決定的坐標區域內，則認為用戶的視線進入了預設范圍內。其中場景化圖像是在當前的具體的虛擬化場景中存在的虛擬物體，是虛擬化場景的組成部分，并不是一些標識性的圖像。給出具體的示例說明場景化圖像的含義，比如一個虛擬場景為一個商店，那么場景化圖像可以為商店的門、商店的墻、墻上的燈等。標識性的圖像可能是在菜單欄中用于標識門、燈等的圖形圖像。另外預設范圍可以根據具體的場景化圖像本身的形態特征進行設置，但通常在預設范圍時會考慮到人的行為習慣。比如若場景化圖像為一個門，則預設范圍可以設為門的中心周圍的一部分區域作為預設范圍，若場景化圖像為一個燈，由于燈通常比較小，因此可以將整個燈構成的場景化圖像所在的區域作為預設范圍。
[0027]103、若視線進入預設范圍，則開始記錄視線在預設范圍內的行為。
[0028]對于步驟102得到的判斷結果，若視線進入預設范圍，則開始記錄用戶的視線在預設范圍內的行為，記錄視線的行為是通過記錄視線在屏幕上位置的變化來實現。
[0029]104、根據行為啟動與場景化圖像對應的執行指令。
[0030]將由步驟103得到的視線在預設范圍內的行為與系統中預先設置的行為進行比對，若符合判定為預先設置的行為的條件則啟動與預先設置的行為相關的執行指令，該執行指令也是啟動與預設范圍對應的場景化圖像對應的執行指令。
[0031]本發明實施例提供的虛擬現實交互的方法，能夠首先獲取用戶在屏幕上的視線的位置;其次，根據視線的位置判斷用戶視線是否進入預設范圍，其中預設范圍為包含于屏幕中不同的場景化圖像上的區域;若用戶視線進入預設范圍，則開始記錄視線在預設范圍內的行為;最后根據視線在預設范圍內的行為啟動與場景化圖像對應的執行指令。與現有技術相比，本發明實施例能夠通過獲取用戶視線在屏幕上的位置，然后判斷當用戶視線進入預設范圍內后的視線的行為來啟動與視線所處的場景化圖像對應的執行命令。可以看出本發明實施例不需要通過傳統的菜單列表進行執行命令的選擇，而是直接選取場景化圖像中的預設范圍作為選擇執行指令對應的場景化式的“菜單”，然后再結合用戶視線的行為啟動對應的執行命令。這種場景化的“菜單”與視線行為結合的虛擬現實交互的方式更符合用戶在現實環境中的真實體驗，因此可以增加虛擬現實技術的沉浸感。
[0032]進一步的，為了對圖1所示實施例的細化及擴展，本發明實施例提供了另一虛擬現實交互的方法，如圖2所示。
[0033]201、開啟攝像頭，以實時追蹤用戶的視線。
[0034]本實施例主要針對頭戴式VR設備技術，目前VR設備能使用戶產生一種身在虛擬環境中的感覺。具體的原理是:將小型的二維顯示器所產生的影像藉由光學系統放大，常用的實現方式為將手機顯示屏上的影像藉由光學鏡片等放大。因此用戶的視線實際還是在二維顯示器的顯示屏上，所以因此在實現通過用戶視線進行虛擬現實交互的方式時考慮的是用戶視線與二維顯示器的顯示屏的交互。因此首先需要獲取用戶的視線，進而確定視線的位置。用戶視線的獲取是通過安裝在VR設備上的專用攝像頭(紅外攝像頭等)實現的，因此首先需要向攝像頭發送開啟指令，使攝像頭在接收到開啟指令后開啟，然后通過攝像頭實時記錄用戶的視線的移動，并將落在屏幕上的位置進行記錄。
[0035]202、獲取攝像頭記錄的用戶的視線的位置。
[0036]203、根據位置判斷視線是否進入預設范圍。
[0037]本步驟的實現方式圖1步驟102的實現方式相同，此處不再贅述。
[0038]204、若所述視線進入預設范圍，則記錄視線在預設范圍內的停留時長或運動軌跡。
[0039]若用戶的視線進入預設范圍內，則通過繼續通過攝像頭記錄視線在預設范圍內的停留時長或運動軌跡。具體的:若視線在進入預設范圍后保持一個位置不動，通過計時程序記錄視線在該位置停留的時長;或者若視線在預設范圍內有位置的移動，則記錄視線在預設范圍內由于位置移動形成的運動軌跡，比如從左向右劃過或從上至下劃過等簡單的行為形成的軌跡。
[0040]205、根據行為啟動與場景化圖像對應的執行指令。
[0041]對于步驟204中若記錄的行為是視線在預設范圍內的停留時長，則啟動與場景化圖像對應的執行指令包括如下步驟:
[0042]首先，將停留時長與預設時長進行比對。其中預設時長可以任意設定，在設置時通常考慮滿足用戶在使用過程中的方便性即可。比如時長太長可能會使用戶沒有耐心，時長太短可能會影響準確性的判斷，可以設為4s、5s等。
[0043]其次，若停留時長不小于預設時長，則啟動場景化圖像對應的執行指令。
[0044]當停留的時長不小于預設時長時，認為用戶想要啟動場景化圖像對應的執行指令，則執行開啟命令。具體的給出示例進行說明:假設用戶在虛擬商店的大門上預設范圍內視線停留達到5s，則開啟商店的大門，使用戶可以進入該虛擬的商店并看到虛擬的商店內的商品，示例中商店的大門就是場景化圖像，開啟商店的大門即為對應的執行指令。再假設用戶在虛擬槍上預設范圍內視線停留達到5s則代表用戶要選擇該虛擬槍進行射擊，該示例中虛擬槍是場景化圖像，選擇該虛擬槍即為對應的執行命令。
[0045]對于步驟204中若記錄的行為是視線在預設范圍內的運動軌跡，將該運動軌跡與系統預設的運動軌跡進行匹配，若可以匹配成功則啟動與場景化圖像對應的執行指令。其中預設運動軌跡與場景化圖像對應的執行指令是綁定的關系。給出示例進行說明:假設用戶在虛擬商店大門上的預設范圍內視線形成的軌跡為從上至下劃過，則執行開啟大門的執行指令。
[0046]另外需要說明的是，不同的虛擬圖像、設置的不同預設范圍、不同的預設范圍內的視線行為、不同的執行指令之間的對應關系需要根據實際應用需求提前建立對應的映射關系O
[0047]進一步的，對于圖1及圖2中所涉及的執行指令是根據對應場景化圖像包含的內容相關的指令。比如場景化圖像為門，則對應的執行指令為開啟門；場景化圖像為槍，則對應的執行指令為獲取槍;等。將執行指令設置為與場景化圖像內容相關的指令，也是增強用戶沉浸感的關鍵所在。
[0048]進一步的，作為對上述圖1所示方法的實現，本發明實施例的另一個實施例還提供了一種虛擬現實交互的裝置，如圖3所示，該裝置包括:獲取單元31、判斷單元32、記錄單元33以及啟動單元34。
[0049]獲取單元31，用于獲取用戶在屏幕上的視線的位置。
[0050]本實施例主要針對頭戴式VR設備技術，目前VR設備能使用戶產生一種身在虛擬環境中的感覺。具體的原理是:將小型的二維顯示器所產生的影像藉由光學系統放大，常用的實現方式為將手機顯示屏上的影像藉由光學鏡片等放大。因此用戶的視線實際還是在二維顯示器的顯示屏上，所以因此在實現通過用戶視線進行虛擬現實交互的方式時考慮的是用戶視線與二維顯示器的顯示屏的交互。因此首先需要獲取用戶在屏幕上的視線位置，該屏幕即二維顯示器的顯示屏。
[0051]判斷單元32，用于根據位置判斷視線是否進入預設范圍，預設范圍為包含于屏幕中不同的場景化圖像上的區域。
[0052]根據由獲取單元31獲取到的視線在屏幕上的位置來判斷用戶的視線是否進入預設范圍，該預設范圍為包含于屏幕中不同的場景化圖像上的區域。具體判斷視線是否進入預設范圍的實現方式可以為:根據視線所在位置的坐標與預設范圍決定的坐標區域進行比對，若視線對應的坐標包含在預設范圍決定的坐標區域內，則認為用戶的視線進入了預設范圍內。其中場景化圖像是在當前的具體的虛擬化場景中存在的虛擬物體，是虛擬化場景的組成部分，并不是一些標識性的圖像。
[0053]記錄單元33，用于若視線進入預設范圍，則開始記錄視線在預設范圍內的行為。
[0054]對于判斷單元32得到的判斷結果，若視線進入預設范圍，則開始記錄用戶的視線在預設范圍內的行為，記錄視線的行為是通過記錄視線在屏幕上位置的變化來實現。
[0055]啟動單元34，用于根據行為啟動與場景化圖像對應的執行指令。
[0056]將由記錄單元33得到的視線在預設范圍內的行為與系統中預先設置的行為進行比對，若符合判定為預先設置的行為的條件則啟動與預先設置的行為相關的執行指令，該執行指令也是啟動與預設范圍對應的場景化圖像對應的執行指令。
[0057]進一步的，如圖4所示，獲取單元31，包括:
[0058]開啟模塊311，用于開啟攝像頭，以實時追蹤用戶的視線。
[0059]用戶視線的獲取是通過安裝在VR設備上的專用攝像頭(紅外攝像頭等)實現的，因此首先需要向攝像頭發送開啟指令，使攝像頭在接收到開啟指令后開啟，然后通過攝像頭實時記錄用戶的視線的移動，并將落在屏幕上的位置進行記錄。
[0060]獲取模塊312，用于獲取攝像頭記錄的用戶的視線的位置。
[0061]進一步的，記錄單元33，用于:
[0062]記錄視線在預設范圍內的停留時長或運動軌跡。
[0063]若用戶的視線進入預設范圍內，則通過繼續通過攝像頭記錄視線在預設范圍內的停留時長或運動軌跡。具體的:若視線在進入預設范圍后保持一個位置不動，通過計時程序記錄視線在該位置停留的時長;或者若視線在預設范圍內有位置的移動，則記錄視線在預設范圍內由于位置移動形成的運動軌跡，比如從左向右劃過或從上至下劃過等簡單的行為形成的軌跡。
[0064I 進一步的，如圖4所示，啟動單元34，包括:
[0065]比對模塊341，用于將停留時長與預設時長進行比對；
[0066]啟動模塊342，用于若停留時長不小于預設時長，則啟動場景化圖像對應的執行指令。
[0067]首先，將停留時長與預設時長進行比對。其中預設時長可以任意設定，在設置時通常考慮滿足用戶在使用過程中的方便性即可。比如時長太長可能會使用戶沒有耐心，時長太短可能會影響準確性的判斷，可以設為4s、5s等。
[0068]其次，若停留時長不小于預設時長，則啟動場景化圖像對應的執行指令。
[0069]當停留的時長不小于預設時長時，認為用戶想要啟動場景化圖像對應的執行指令，則執行開啟命令。具體的給出示例進行說明:假設用戶在虛擬商店的大門上預設范圍內視線停留達到5s，則開啟商店的大門，使用戶可以進入該虛擬的商店并看到虛擬的商店內的商品，示例中商店的大門就是場景化圖像，開啟商店的大門即為對應的執行指令。再假設用戶在虛擬槍上預設范圍內視線停留達到5s則代表用戶要選擇該虛擬槍進行射擊，該示例中虛擬槍是場景化圖像，選擇該虛擬槍即為對應的執行命令。
[0070]進一步的，啟動單元34中的執行指令為與場景化圖像包含的內容相關的指令。
[0071]執行指令是根據對應場景化圖像包含的內容相關的指令。比如場景化圖像為門，則對應的執行指令為開啟門；場景化圖像為槍，則對應的執行指令為獲取槍;等。將執行指令設置為與場景化圖像內容相關的指令，也是增強用戶沉浸感的關鍵所在。
[0072]本發明實施例提供的虛擬現實交互的裝置，能夠首先獲取用戶在屏幕上的視線的位置;其次，根據視線的位置判斷用戶視線是否進入預設范圍，其中預設范圍為包含于屏幕中不同的場景化圖像上的區域;若用戶視線進入預設范圍，則開始記錄視線在預設范圍內的行為;最后根據視線在預設范圍內的行為啟動與場景化圖像對應的執行指令。與現有技術相比，本發明實施例能夠通過獲取用戶視線在屏幕上的位置，然后判斷當用戶視線進入預設范圍內后的視線的行為來啟動與視線所處的場景化圖像對應的執行命令。可以看出本發明實施例不需要通過傳統的菜單列表進行執行命令的選擇，而是直接選取場景化圖像中的預設范圍作為選擇執行指令對應的場景化式的“菜單”，然后再結合用戶視線的行為啟動對應的執行命令。這種場景化的“菜單”與視線行為結合的虛擬現實交互的方式更符合用戶在現實環境中的真實體驗，因此可以增加虛擬現實技術的沉浸感。
[0073]需要說明的是，針對上述虛擬現實交互的裝置，凡是本發明實施例中使用到的各個單元模塊的功能都可以通過硬件處理器(hardware processor)來實現。
[0074]此外，本發明的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的部分可以以軟件產品的形式體現出來，該計算機軟件產品存儲在一個存儲介質中，包括若干指令用以使得一臺計算機設備(可以是個人計算機，服務器，或者網絡設備等)執行本發明各個實施例所述方法的全部或部分步驟。而前述的存儲介質包括:U盤、移動硬盤、只讀存儲器(ROM，Read-Only Memory)、隨機存取存儲器(RAM，Random Access Memory)、磁碟或者光盤等各種可以存儲程序代碼的介質。
[0075]以上所描述的裝置實施例僅僅是示意性的，其中所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個地方，或者也可以分布到多個網絡單元上。可以根據實際的需要選擇其中的部分或者全部模塊來實現本實施例方案的目的。本領域普通技術人員在不付出創造性的勞動的情況下，即可以理解并實施。
[0076]通過以上的實施方式的描述，本領域的技術人員可以清楚地了解到各實施方式可借助軟件加必需的通用硬件平臺的方式來實現，當然也可以通過硬件。基于這樣的理解，上述技術方案本質上或者說對現有技術做出貢獻的部分可以以軟件產品的形式體現出來，該計算機軟件產品可以存儲在計算機可讀存儲介質中，如R0M/RAM、磁碟、光盤等，包括若干指令用以使得一臺計算機設備(可以是個人計算機，服務器，或者網絡設備等)執行各個實施例或者實施例的某些部分所述的方法。
[0077]最后應說明的是:以上實施例僅用以說明本發明的技術方案，而非對其限制;盡管參照前述實施例對本發明進行了詳細的說明，本領域的普通技術人員應當理解:其依然可以對前述各實施例所記載的技術方案進行修改，或者對其中部分技術特征進行等同替換；而這些修改或者替換，并不使相應技術方案的本質脫離本發明各實施例技術方案的精神和范圍。
【主權項】
1.一種虛擬現實交互的方法，其特征在于，所述方法包括: 獲取用戶在屏幕上的視線的位置； 根據所述位置判斷所述視線是否進入預設范圍，所述預設范圍為包含于所述屏幕中不同的場景化圖像上的區域； 若所述視線進入預設范圍，則開始記錄所述視線在所述預設范圍內的行為； 根據所述行為啟動與所述場景化圖像對應的執行指令。2.根據權利要求1所述的方法，其特征在于，所述獲取用戶在屏幕上的視線的位置，包括: 開啟攝像頭，以實時追蹤用戶的視線； 獲取所述攝像頭記錄的用戶的視線的位置。3.根據權利要求1所述的方法，其特征在于，所述開始記錄所述視線在所述預設范圍內的行為，包括: 記錄所述視線在所述預設范圍內的停留時長或運動軌跡。4.根據權利要求3所述的方法，其特征在于，所述根據所述行為啟動與所述場景化圖像對應的執行指令，包括: 將所述停留時長與預設時長進行比對； 若所述停留時長不小于預設時長，則啟動所述場景化圖像對應的執行指令。5.根據權利要求1所述的方法，其特征在于，所述執行指令為與所述場景化圖像包含的內容相關的指令。6.一種虛擬現實交互的裝置，其特征在于，所述裝置包括: 獲取單元，用于獲取用戶在屏幕上的視線的位置； 判斷單元，用于根據所述位置判斷所述視線是否進入預設范圍，所述預設范圍為包含于所述屏幕中不同的場景化圖像上的區域； 記錄單元，用于若所述視線進入預設范圍，則開始記錄所述視線在所述預設范圍內的行為； 啟動單元，用于根據所述行為啟動與所述場景化圖像對應的執行指令。7.根據權利要求6所述的裝置，其特征在于，所述獲取單元，包括: 開啟模塊，用于開啟攝像頭，以實時追蹤用戶的視線； 獲取模塊，用于獲取所述攝像頭記錄的用戶的視線的位置。8.根據權利要求6所述的裝置，其特征在于，所述記錄單元，用于: 記錄所述視線在所述預設范圍內的停留時長或運動軌跡。9.根據權利要求8所述的裝置，其特征在于，所述啟動單元，包括: 比對模塊，用于將所述停留時長與預設時長進行比對； 啟動模塊，用于若所述停留時長不小于預設時長，則啟動所述場景化圖像對應的執行指令。10.根據權利要求6所述的裝置，其特征在于，所述啟動單元中的執行指令為與所述場景化圖像包含的內容相關的指令。
【文檔編號】G06F3/01GK105955471SQ201610267108
【公開日】2016年9月21日
【申請日】2016年4月26日
【發明人】段義濤
【申請人】樂視控股（北京）有限公司, 樂視致新電子科技（天津）有限公司