交互信息處理方法、設備和存儲介質與流程

本技術涉及信息處理，尤其涉及一種交互信息處理方法、設備和存儲介質。

背景技術：

1、mr(mixed?reality，混合現實)，是虛擬現實技術的進一步發展，該技術通過在現實場景呈現虛擬場景信息，在現實世界、虛擬世界和用戶之間搭起一個交互反饋的信息回路，以增強用戶體驗的真實感。實際場景中，通常用戶需要通過mr設備來體驗對應的交互效果。頭戴式顯示器，即頭顯，是一種常用的mr設備。實際場景中，可以通過各種頭顯，向眼睛發送光學信號，以實現vr(virtual?reality，虛擬現實)、ar(augmented?reality，增強現實、mr等不同效果。

2、當前，頭顯硬件的操作控件可以提供通用性強的系統操作控件能力，但是無法滿足對特定場景(比如電商應用場景)下3d(3-dimension，三維)物件交互的支持。比如一些頭顯設備系統層的官方組件提供完全自由的無極移動、旋轉、縮放等操作。當用戶通過該頭顯設備瀏覽電商平臺進行網絡購物時，這種完全自由操作的狀態，對于用戶在查看3d商品的很多場景下都無法有針對性的提供交互適配，不利于用戶獲得輕松且高質量的商品查看體驗。

技術實現思路

1、本技術實施例的主要目的在于提供一種交互信息處理方法、設備和存儲介質，實現了在對目標物件模型的操作過程中采用輔助控件限制目標物件模型的運動范圍，保證被操作的目標物件模型在一定的范圍內運動，進而在適配特定的交互場景時，簡化用戶的操作過程，提高用戶體驗。

2、第一方面，本技術實施例提供一種交互信息處理方法，包括：響應于用戶在mr空間中的眼動信息，根據所述眼動信息確定所述用戶瞄準的目標物件模型，所述目標物件模型配置有輔助控件，所述輔助控件用于控制所述目標物件模型的運動范圍；響應于所述用戶在所述mr空間中的輸入手勢，根據所述輔助控件對所述目標物件模型執行所述輸入手勢對應的操作指令，并展示操作過程。

3、于一實施例中，所述輔助控件包括用于展示所述目標物件模型信息的窗口面板，所述目標物件模型置于所述窗口面板內；所述響應于所述用戶在所述mr空間中的輸入手勢，根據所述輔助控件對所述目標物件模型執行所述輸入手勢對應的操作指令，并展示操作過程，包括：響應于所述用戶在所述mr空間中的輸入手勢，確定所述輸入手勢對應的操作指令；若所述操作指令為旋轉指令，根據所述旋轉指令控制所述目標物件模型在所述窗口面板內沿著指定方向旋轉，并展示旋轉過程。

4、于一實施例中，所述響應于所述用戶在所述mr空間中的輸入手勢，根據所述輔助控件對所述目標物件模型執行所述輸入手勢對應的操作指令，并展示操作過程，還包括：若所述操作指令為移動指令，根據所述移動指令控制所述目標物件模型在所述窗口面板內沿著指定方向移動，并展示移動過程。

5、于一實施例中，所述根據所述移動指令控制所述目標物件模型在所述窗口面板內沿著指定方向移動，包括：確定所述移動指令對所述目標物件模型的目標力矩；若所述目標力矩大于預設閾值，控制所述目標物件模型在所述窗口面板內沿著指定方向移動并離開所述窗口面板；若所述目標力矩小于或等于所述預設閾值，在控制所述目標物件模型在所述窗口面板內沿著指定方向移動對應距離后，控制所述目標物件模型彈回原位置。

6、于一實施例中，所述輔助控件包括展臺控件，所述展臺控件配置有用于控制所述目標物件模型移動的操作桿控件；所述響應于所述用戶在所述mr空間中的輸入手勢，根據所述輔助控件對所述目標物件模型執行所述輸入手勢對應的操作指令，并展示操作過程，包括：若所述眼動信息瞄準所述目標物件模型的操作桿控件，響應于所述用戶的輸入手勢，確定所述輸入手勢對應的操作指令；根據所述操作指令通過所述操作桿控件控制所述目標物件模型沿著指定方向移動，并展示移動過程。

7、于一實施例中，所述展臺控件配置有與所述目標物件模型匹配的功能面板，在所述目標物件模型移動過程中，所述功能面板跟隨所述目標物件模型運動。

8、于一實施例中，所述輔助控件包括平面檢測控件；所述平面檢測控件用于當所述目標物件模型位于目標空間內時，根據所述目標物件模型的當前位置檢測在所述目標空間中是否存在放置平面。

9、于一實施例中，還包括：在所述目標空間內，若所述用戶的眼動信息瞄準所述目標物件模型，響應于所述用戶的輸入手勢，對所述目標物件模型執行所述輸入手勢對應的操作指令，并在操作過程中根據所述目標物件模型的當前位置檢測在所述目標空間中是否存在放置平面，并展示平面檢測結果；當所述用戶釋放所述輸入手勢時，若所述當前位置的平面檢測結果為存在放置平面，控制所述目標物件模型放置到所述放置平面，提示放置成功信息；若所述當前位置的平面檢測結果為不存在放置平面，控制所述目標物件模型懸置在所述當前位置對應的投影位置，提示放置失敗信息。

10、于一實施例中，所述輔助控件包括控制所述目標物件模型運動的拖拽控件；所述拖拽控件配置有移動塊；所述響應于所述用戶在所述mr空間中的輸入手勢，根據所述輔助控件對所述目標物件模型執行所述輸入手勢對應的操作指令，并展示操作過程，包括：響應于所述眼動信息瞄準所述目標物件模型，展示所述目標物件模型對應的拖拽控件；響應于所述眼動信息瞄準所述拖拽控件的移動塊，突出展示所述移動塊；響應于所述用戶針對所述移動塊的輸入手勢，控制所述目標物件模型在特定平面內沿著指定方向移動，并展示移動過程。

11、于一實施例中，所述輔助控件包括拖控制所述目標物件模型運動的拖拽控件；所述拖拽控件配置有旋轉塊；所述響應于所述用戶在所述mr空間中的輸入手勢，根據所述輔助控件對所述目標物件模型執行所述輸入手勢對應的操作指令，并展示操作過程，包括：響應于所述眼動信息瞄準所述目標物件模型，展示所述目標物件模型對應的拖拽控件；響應于所述眼動信息瞄準所述拖拽控件的旋轉塊，突出展示所述旋轉塊；響應于所述用戶針對所述旋轉塊的輸入手勢，控制所述目標物件模型在特定平面內沿著指定軸旋轉，并展示旋轉過程。

12、于一實施例中，所述響應于所述用戶在所述mr空間中的輸入手勢，根據所述輔助控件對所述目標物件模型執行所述輸入手勢對應的操作指令，并展示操作過程，還包括：響應于所述眼動信息瞄準位于特定平面的所述目標物件模型，突出展示所述目標物件模型；若所述用戶的輸入手勢為向所述特定平面之外拖拽所述目標物件模型，獲取拖拽距離；若所述拖拽距離大于預設距離，控制所述目標物件模型沿著拖拽方向脫離所述特定平面，并展示脫離過程。

13、于一實施例中，所述目標物件模型與所述輔助控件配置有位置綁定關系；所述方法還包括：當所述目標物件模型與所述用戶發生相對運動時，按照所述位置綁定關系控制所述輔助控件跟隨運動，并展示運動過程。

14、于一實施例中，所述目標物件模型配置有顯示控件，用于展示所述目標物件模型的提示信息。

15、于一實施例中，所述方法還包括：響應于所述用戶眼動信息瞄準所述目標物件模型，在所述mr空間中展示所述目標物件模型上配置的至少一個交互標識，所述交互標識綁定有針對所述目標物件模型的介紹信息；從所述至少一個交互標識中確定目標交互標識，在所述mr空間中展示所述目標交互標識綁定的目標介紹信息。

16、于一實施例中，所述從所述至少一個交互標識中確定目標交互標識，在所述mr空間中展示所述目標交互標識綁定的目標介紹信息，包括：確定所述至少一個交互標識中與所述用戶當前位置最近的目標交互標識；在所述mr空間中展示所述目標交互標識綁定的目標介紹信息。

17、于一實施例中，所述從所述至少一個交互標識中確定目標交互標識，在所述mr空間中展示所述目標交互標識綁定的目標介紹信息，包括：響應于所述用戶眼動信息瞄準所述至少一個交互標識中的目標交互標識，在所述mr空間中展示所述目標交互標識綁定的目標介紹信息。

18、于一實施例中，還包括：響應于所述用戶眼動信息瞄準所述至少一個交互標識中的目標交互標識，控制所述目標交互標識在所述目標物件模型的位置朝向所述用戶。

19、于一實施例中，在所述展示所述目標交互標識綁定的目標介紹信息的過程中，還包括：響應于所述用戶對所述目標物件模型的操作指令，隱藏所述目標介紹信息，并在所述操作指令結束后，展示所述目標介紹信息。

20、于一實施例中，所述交互標識包括交互錨點和/或碰撞體；所述方法還包括：當所述目標物件模型上相同位置同時配置了交互錨點和碰撞體時，所述碰撞體的交互優先級大于所述交互錨點的優先級。

21、第二方面，本技術實施例提供一種交互信息處理方法，包括：在用于商品展示的mr空間中，展示商品模型；響應于用戶在所述mr空間中的眼動信息，根據所述眼動信息確定所述用戶瞄準的目標商品模型，所述目標商品模型配置有輔助控件，所述輔助控件用于控制所述目標商品模型的運動范圍；響應于所述用戶的輸入手勢，根據所述輔助控件對所述目標商品模型執行所述輸入手勢對應的操作指令，并展示操作過程。

22、第三方面，本技術實施例提供一種交互信息處理裝置，包括：

23、確定模塊，用于響應于用戶在所述mr空間中的眼動信息，根據所述眼動信息確定所述用戶瞄準的目標物件模型，所述目標物件模型配置有輔助控件，所述輔助控件用于控制所述目標物件模型的運動范圍；

24、執行模塊，用于響應于所述用戶在所述mr空間中的輸入手勢，根據所述輔助控件對所述目標物件模型執行所述輸入手勢對應的操作指令，并展示操作過程。

25、于一實施例中，所述輔助控件包括用于展示所述目標物件模型信息的窗口面板，所述目標物件模型置于所述窗口面板內；所述執行模塊，用于響應于所述用戶在所述mr空間中的輸入手勢，確定所述輸入手勢對應的操作指令；若所述操作指令為旋轉指令，根據所述旋轉指令控制所述目標物件模型在所述窗口面板內沿著指定方向旋轉，并展示旋轉過程。

26、于一實施例中，所述執行模塊，用于若所述操作指令為移動指令，根據所述移動指令控制所述目標物件模型在所述窗口面板內沿著指定方向移動，并展示移動過程。

27、于一實施例中，所述執行模塊，具體用于確定所述移動指令對所述目標物件模型的目標力矩；若所述目標力矩大于預設閾值，控制所述目標物件模型在所述窗口面板內沿著指定方向移動并離開所述窗口面板；若所述目標力矩小于或等于所述預設閾值，在控制所述目標物件模型在所述窗口面板內沿著指定方向移動對應距離后，控制所述目標物件模型彈回原位置。

28、于一實施例中，所述輔助控件包括展臺控件，所述展臺控件配置有用于控制所述目標物件模型移動的操作桿控件；所述執行模塊，用于若所述眼動信息瞄準所述目標物件模型的操作桿控件，響應于所述用戶的輸入手勢，確定所述輸入手勢對應的操作指令；根據所述操作指令通過所述操作桿控件控制所述目標物件模型沿著指定方向移動，并展示移動過程。

29、于一實施例中，所述展臺控件配置有與所述目標物件模型匹配的功能面板，在所述目標物件模型移動過程中，所述功能面板跟隨所述目標物件模型運動。

30、于一實施例中，所述輔助控件包括平面檢測控件；所述平面檢測控件用于當所述目標物件模型位于目標空間內時，根據所述目標物件模型的當前位置檢測在所述目標空間中是否存在放置平面。

31、于一實施例中，該裝置還包括：檢測模塊，用于在所述目標空間內，若所述用戶的眼動信息瞄準所述目標物件模型，響應于所述用戶的輸入手勢，對所述目標物件模型執行所述輸入手勢對應的操作指令，并在操作過程中根據所述目標物件模型的當前位置檢測在所述目標空間中是否存在放置平面，并展示平面檢測結果；當所述用戶釋放所述輸入手勢時，若所述當前位置的平面檢測結果為存在放置平面，控制所述目標物件模型放置到所述放置平面，提示放置成功信息；若所述當前位置的平面檢測結果為不存在放置平面，控制所述目標物件模型懸置在所述當前位置對應的投影位置，提示放置失敗信息。

32、于一實施例中，所述輔助控件包括控制所述目標物件模型運動的拖拽控件；所述拖拽控件配置有移動塊；所述執行模塊，用于響應于所述眼動信息瞄準所述目標物件模型，展示所述目標物件模型對應的拖拽控件；響應于所述眼動信息瞄準所述拖拽控件的移動塊，突出展示所述移動塊；響應于所述用戶針對所述移動塊的輸入手勢，控制所述目標物件模型在特定平面內沿著指定方向移動，并展示移動過程。

33、于一實施例中，所述輔助控件包括拖控制所述目標物件模型運動的拖拽控件；所述拖拽控件配置有旋轉塊；所述執行模塊，用于響應于所述眼動信息瞄準所述目標物件模型，展示所述目標物件模型對應的拖拽控件；響應于所述眼動信息瞄準所述拖拽控件的旋轉塊，突出展示所述旋轉塊；響應于所述用戶針對所述旋轉塊的輸入手勢，控制所述目標物件模型在特定平面內沿著指定軸旋轉，并展示旋轉過程。

34、于一實施例中，所述執行模塊，還用于響應于所述眼動信息瞄準位于特定平面的所述目標物件模型，突出展示所述目標物件模型；若所述用戶的輸入手勢為向所述特定平面之外拖拽所述目標物件模型，獲取拖拽距離；若所述拖拽距離大于預設距離，控制所述目標物件模型沿著拖拽方向脫離所述特定平面，并展示脫離過程。

35、于一實施例中，所述目標物件模型與所述輔助控件配置有位置綁定關系；所述裝置還包括：第一控制模塊，用于當所述目標物件模型與所述用戶發生相對運動時，按照所述位置綁定關系控制所述輔助控件跟隨運動，并展示運動過程。

36、于一實施例中，所述目標物件模型配置有顯示控件，用于展示所述目標物件模型的提示信息。

37、于一實施例中，所述裝置還包括：展示模塊，用于響應于所述用戶眼動信息瞄準所述目標物件模型，在所述mr空間中展示所述目標物件模型上配置的至少一個交互標識，所述交互標識綁定有針對所述目標物件模型的介紹信息；確定模塊，用于從所述至少一個交互標識中確定目標交互標識，在所述mr空間中展示所述目標交互標識綁定的目標介紹信息。

38、于一實施例中，確定模塊，用于確定所述至少一個交互標識中與所述用戶當前位置最近的目標交互標識；在所述mr空間中展示所述目標交互標識綁定的目標介紹信息。

39、于一實施例中，確定模塊，用于響應于所述用戶眼動信息瞄準所述至少一個交互標識中的目標交互標識，在所述mr空間中展示所述目標交互標識綁定的目標介紹信息。

40、于一實施例中，還包括：第二控制模塊，用于響應于所述用戶眼動信息瞄準所述至少一個交互標識中的目標交互標識，控制所述目標交互標識在所述目標物件模型的位置朝向所述用戶。

41、于一實施例中，還包括：隱藏模塊，用于在所述展示所述目標交互標識綁定的目標介紹信息的過程中，響應于所述用戶對所述目標物件模型的操作指令，隱藏所述目標介紹信息，并在所述操作指令結束后，展示所述目標介紹信息。

42、于一實施例中，所述交互標識包括交互錨點和/或碰撞體；當所述目標物件模型上相同位置同時配置了交互錨點和碰撞體時，所述碰撞體的交互優先級大于所述交互錨點的優先級。

43、第四方面，本技術實施例提供一種電子設備，包括：

44、至少一個處理器；以及

45、與所述至少一個處理器通信連接的存儲器；

46、其中，所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述電子設備執行上述任一方面所述的方法。

47、第五方面，本技術實施例提供一種云設備，包括：

48、至少一個處理器；以及

49、與所述至少一個處理器通信連接的存儲器；

50、其中，所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述云設備執行上述任一方面所述的方法。

51、第六方面，本技術實施例提供一種計算機可讀存儲介質，所述計算機可讀存儲介質中存儲有計算機執行指令，當處理器執行所述計算機執行指令時，實現上述任一方面所述的方法。

52、第七方面，本技術實施例提供一種計算機程序產品，包括計算機程序，該計算機程序被處理器執行時實現上述任一方面所述的方法。

53、本技術實施例提供的交互信息處理方法、設備和存儲介質，通過為mr空間中的物件模型配置輔助控件，用于限制物件模型的運動范圍，當用戶在mr空間中眼動瞄準目標物件模型后，檢測用戶輸入手勢，然后根據輔助控件執行輸入手勢對應的操作指令，以使在對目標物件模型的操作過程中輔助控件可以限制目標物件模型的運動范圍，保證被操作的目標物件模型在mr空間中一定的范圍內運動，進而在適配特定的交互場景時，簡化用戶的操作過程，提高用戶體驗。