基于Unity三維引擎和VR頭盔的多點交互控制系統和方法與流程

本發明屬于工業設備虛擬拆裝技術領域，具體涉及一種基于unity三維引擎和vr頭盔的多點交互控制方法，適用于工業設備虛擬拆裝仿真系統的各類設備零件的交互控制操作，主要用于工業設備拆裝工作人員、設備運行維護和檢修人員的培訓。

背景技術：

vr(virtualreality：虛擬現實)技術是一種可以創建和體驗虛擬世界的計算機仿真系統，它利用計算機生成一種模擬環境是一種多源信息融合的交互式的三維動態視景和實體行為的系統仿真，使用戶沉浸到該環境中。

虛擬現實技術(vr)主要包括模擬環境、感知、自然技能和傳感設備等方面，模擬環境是由計算機生成的、實時動態的三維立體逼真圖像。感知是指理想的vr應該具有一切人所具有的感知，除計算機圖形技術所生成的視覺感知外，還有聽覺、觸覺、力覺、運動等感知，甚至還包括嗅覺和味覺等，也稱為多感知，自然技能是指人的頭部轉動，眼睛、手勢、或其他人體行為動作，由計算機來處理與參與者的動作相適應的數據，并對用戶的輸入作出實時響應，并分別反饋到用戶的五官，傳感設備是指三維交互設備。

vr主要是利用計算機生成的一種模擬環境，通過各種傳感設備使用戶進入到這個環境中，實現了該環境直接進行交互的技術。由于虛擬現實技術在很大的程度上解決很多的實際問題，還節約了資金不受環境限制等問題，因此成為了目前各個領域如工業、娛樂、游戲、軍事、旅游等倍受青睞的技術。現在和將來很長時間內，vr技術將會越來越成熟，給人帶來越來越多的立體感官體驗。

vr虛擬拆裝是目前vr應用比較廣泛的一個領域。在某些場景模式下，虛擬拆裝需要多人共同協作來拆裝操作，而目前還沒有支持這種場景的系統和方法。

技術實現要素：

鑒于現有技術缺少成熟的將vr手柄與虛擬現實緊密結合起來的交互控制系統的問題，提出了本發明的一種虛擬現實環境中通過手柄與虛擬設備零件交互控制方法，以便解決上述問題。

根據本發明的第一個方面，本發明提供一種基于unity三維引擎和vr頭盔的多點交互控制系統，其包括：

第一數據采集模塊，用于采集第一客戶端對應的第一vr手柄在其空間中的位置信息；

第二數據采集模塊，用于采集第二客戶端對應的第二vr手柄在其空間中的位置信息；

第一數據傳輸模塊，用于將第一客戶端對應的第一vr手柄在其空間中的位置信息傳輸到服務器；

第二數據傳輸模塊，用于將第二客戶端對應的第二vr手柄在其空間中的位置信息傳輸到服務器；

數據處理模塊，對數據進行匯總分析，識別出控制點的數量，得到目標物體的移動數據；

交互控制模塊，將匯總分析后的數據返回第一客戶端和第二客戶端，并將目標物體的移動數據反饋在第一客戶端對應的第一vr頭盔和第二客戶端對應的第二vr頭盔中。

優選地，所述對數據進行匯總分析包括將第一vr手柄和第二vr手柄在各自空間中的位置信息匯總到同一空間內。

優選地，所述交互控制模塊將第二vr手柄與第一vr手柄匯總到同一空間中的空間位置反饋到第一vr頭盔中。

優選地，所述交互控制模塊將第一vr手柄與第二vr手柄匯總到同一空間中的空間位置反饋到第二vr頭盔中。

優選地，所述第一數據傳輸模塊和第二數據傳輸模塊通過有線或無線連接的方式實時傳輸到服務器。

根據本發明的第二個方面，本發明提供一種基于unity三維引擎和vr頭盔的多點交互控制方法，其包括：

s110采集各客戶端對應的vr手柄在其空間中的位置信息；

s120將各客戶端對應的vr手柄在其空間中的位置信息傳輸到服務器；

s130對數據進行匯總分析，識別出控制點的數量，得到目標物體的移動數據；

s140將匯總分析后的數據返回各客戶端，并將目標物體的移動數據反饋在各客戶端對應的vr頭盔中。

優選地，所述對數據進行匯總分析包括將各客戶端對應的vr手柄在其空間中的位置信息匯總到同一空間內。

優選地，所述vr手柄在其空間中的位置信息通過有線或無線連接的方式實時傳輸到服務器。

優選地，各客戶端對應的vr手柄在其空間中的位置信息實時傳輸到該客戶端對應的vr頭盔中。

附圖說明

通過閱讀參考一下附圖所作的對非限制性實施例所作的詳細描述，本發明的其他特征、目的和優點將會變得更明顯：

圖1是示意地表示本發明的一些實施方式的系統原理圖。

圖2是示意地表示本發明的一些實施方式的系統結構圖。

圖3是本發明的一些實施方式的vr視覺效果截圖。

圖4是示意地表示本發明的一些實施方式的方法的流程圖。

具體實施方式

在下文的描述中，給出了大量具體的細節以便提供對本發明更為徹底的理解。然而，對于本領域技術人員來說顯而易見的是，本發明可以無需一個或多個這些細節而得以實施。在其他的例子中，為了避免與本發明發生混淆，對于本領域公知的一些技術特征未進行描述。

在本發明中，術語“unity軟件”：是指基于unity三維引擎平臺開發的軟件。unity是由unitytechnologies開發的一個讓玩家輕松創建諸如三維視頻游戲、建筑可視化、實時三維動畫等類型互動內容的多平臺的綜合型游戲開發工具，是一個全面整合的專業游戲引擎。

在本發明中，術語“htcvivelighthouse”是htcvr設備使用的定位系統“lighthouse”，由兩個激光基站構成：每個基站里有一個紅外led陣列，兩個轉軸互相垂直的旋轉的紅外激光發射器。轉速為10ms一圈。基站的工作狀態是這樣的：20ms為一個循環，在循環開始的時候紅外led閃光，10ms內x軸的旋轉激光掃過玩家自由活動區域，y軸不發光；下10ms內y軸的旋轉激光掃過玩家自由活動區域，x軸不發光。

在本發明中，術語“多點控制”是指在同一場景中，多個手柄對物體的控制。在vr中通過手柄模擬手來控制模型物體，已經對零件實施抓住動作的手柄被看作是一個控制點。識別出控制點數量，就是識別出當前狀態零件模型有幾個手柄與零件發生了碰撞并將手柄(在虛擬空間中識別為例如手的形態)綁定。所述控制點也就是手柄在虛擬空間中與零件綁定的點，通過多個控制點移動達到與虛擬物體的交互。

在本發明的一些實施方式中，通過vr設備的兩個手柄模擬控制虛擬空間的兩只手，來實現虛擬物體的抓取控制效果。如圖3所示，圖中兩套vr設備通過4個手柄共同控制虛擬零件，其中有4個控制點。

在本發明的另一些實施方式中，通過vr設備的兩個手柄模擬控制虛擬空間的兩只手握住工具(虛擬工具)，來實現虛擬物體(例如零件)的抓取控制效果。在此情況下，控制點可以為虛擬物體被手柄(虛擬場景中的手)間接綁定的點(例如零件與被手柄控制的虛擬工具綁定的點)。

在現實世界中存在對物體的移動和旋轉操作，而在vr頭盔中看到的虛擬空間同樣需要對虛擬物體的移動和旋轉操作，來達到模擬真實世界的效果，從而實現工業上的虛擬培訓。

圖1示出了本發明的一些實施方式的系統原理圖。第一vr設備和第二vr設備通過其各自的客戶端與服務器保持數據傳輸和數據共享。服務器對接收到的數據進行匯總和轉換，再通過客戶端傳輸到各個vr設備。這樣，在一臺vr設備中，可以“看”到另一臺vr設備的動作，從而實現在同一虛擬空間中的交互。

本發明的多點交互控制系統包括：數據采集模塊、數據傳遞模塊、解析識別模塊和交互控制模塊，如圖2所示。

數據采集模塊：

s110采集設備數據信息。獲取vr設備手柄數據，每個vr設備都有自己的空間定位技術，通過vr設備空間定位技術獲取多個操作手柄位置信息，能夠在vr頭盔中清楚看到手的模型跟隨手柄移動。例如htc的lighthouse室內定位技術屬于激光掃描定位技術，靠激光和光敏傳感器來確定運動物體的位置。兩個激光發射器被安置在對角，形成大小可調的長方形區域。激光束由發射器里面的兩排固定led燈發出，每秒6次。每個激光發射器內有兩個掃描模塊，分別在水平和垂直方向輪流對定位空間發射激光掃描定位空間。獲取到vr手柄數據包括坐標position、旋轉rotation。

數據傳輸模塊：

s120設備數據傳輸。如圖1所示，將獲取的多個設備信息從客戶端向服務端發送，通過有線連接或無線連接的方式傳輸實時記錄的設備數據，使用自定義協議的方式進行傳輸，保證數據傳輸的高效穩定性，從而使頭盔中看到的畫面清晰逼真。

數據處理模塊：

s130數據分析處理。根據在服務端接收到的數據，對數據進行匯總分析，識別出控制點的數量，通過算法對多個控制點數據加權平均后，得到目標物體的移動數據。

交互控制模塊：

s140交互控制。將經過分析處理后的數據，通過自定義的網絡協議，從服務端傳回到客戶端，客戶端根據傳回的數據反饋到vr頭盔中，如圖1所示。通過這樣實時數據的傳輸更新，在vr眼鏡能清楚的看到目標物體在隨著多個手柄的共同控制下移動。

圖3是本發明的一些實施方式的vr視覺效果截圖，在第一vr頭盔中除顯示第一vr手柄在空間中的位置之外，還可以顯示第二vr手柄在視覺空間中的位置，甚至可以顯示第二vr頭盔在視覺空間中的位置，其原理與顯示第二vr手柄類似。

在本發明的一些實施方式中，第一數據采集模塊采集第一vr頭盔和第一vr手柄在第一客戶端對應的空間中的位置信息，并反饋到第一vr顯示模塊中，同時將所述第一vr頭盔和第一vr手柄在第一客戶端對應的空間中的位置信息通過第一數據傳輸模塊傳輸到服務器與其他客戶端共享，第二客戶端同理，如圖2所示。交互控制模塊將解析處理模塊匯總后的各客戶端對應的vr頭盔和vr手柄換算到同一空間中的位置信息通過各客戶端對應的數據傳輸模塊反饋到各客戶端對應的vr顯示模塊中，例如將第二vr手柄和第二vr頭盔的位置信息反饋到第一vr顯示模塊中，從而在第一vr頭盔中可以看到第二vr手柄和第二vr頭盔的旋轉和移動。

本發明不限于上述實施方式，在本發明思想的范圍內可以進行各種變更。本發明已通過上述實施例進行了說明，但應當理解的是，上述實施例只是用于舉例和說明的目的，而非意在將本發明限制于所描述的實施例范圍內。此外本領域技術人員可以理解的是，本發明并不局限于上述實施例，根據本發明教導還可以做出更多種的變型和修改，這些變型和修改均落在本發明所要求保護的范圍以內。本發明的保護范圍由附屬的權利要求書及其等效范圍所界定。