一種基于動作捕捉的虛擬現實綜合系統的制作方法

本發明涉及微機械(MEMS)以及虛擬現實領域，特別是一種基于動作捕捉技術的虛擬現實綜合系統。

背景技術：

運動物體的姿態追蹤還原技術，已經廣泛應用于各領域，尤其在航天航海、人體運動姿態建模等領域。當前常用的動作捕捉技術主要有光學動作捕捉技術和基于慣性傳感器的動作捕捉，分別介紹如下：

光學式動作捕捉技術：通常在運動目標體附著多個參考球/點，采多臺高速相機，環繞待測物體排列，讓待測物體的運動范圍處于相機的重疊區域，通過視頻識別技術獲取目標體參考球/點的軌跡，通過3維模型計算恢復出目標的運動姿態和軌跡。光學動作捕捉技術的優點在于識別精度高、采樣頻率高。但也存在如下問題：整套系統復雜，需要多臺高速攝像機以及運算平臺，系統價格昂貴；系統鎖定比較繁瑣，只能捕捉攝像機重疊的物體運動，而且當運動比較復雜的時候，標識容易混淆和遮擋，從而產生錯誤結果；同時光學對環境要求比較高，光照強度對精度影響較大。

慣性動作捕捉技術：隨著MEMS傳感器的高速發展，微型慣性傳感器的技術越發成熟，已經開始有將微型慣性傳感器用于動作捕捉技術中。具體方法是：把慣性測量單元(IMU)連接到待測物體上，讓其隨待測物體一起運動。對多個傳感器節點數據進行采集并處理，通過無線通訊技術傳輸至上位機系統，經過上位機進行姿態還原。慣性動作捕捉技術的優點在于，系統相對簡潔，不怕遮擋，對光、環境要求比光學式動作捕捉低，適用范圍廣，同時慣性動作捕捉系統成本相對于光學普遍低。慣性測量單元包括加速度計、陀螺儀、地磁傳感器，通過對加速度信號進行二重積分以及陀螺儀信號的積分，可以測得待測物體的信息以及方位信息。

但是，上述陀螺儀測量運動物體的姿態數據有誤差，必須修正后才能真實反映出運動物體的姿態。陀螺儀測量姿態數據時，誤差產生的過程如下：

首先，陀螺儀測量的數據為角速度，該角速度為瞬間值，大多數情況下不能直接適用，需要對該角速度進行時間積分，得到角度變化量。然后，將得到的角度變化量加上初始角度后，計算得到的角度值才是物體運動的姿態數據。

在對上述角速度進行時間積分時，積分過程時間(dt)越小，得到的角度值也越準確。然而，由于陀螺儀的測量基準是自身而非外在的絕對參照物；加之，積分過程時間(dt)不可能無限小，因而，積分的累積誤差會隨時間推移而逐漸增加，進而導致測量的運動姿態數據與實際的數據發生偏差。

下面再對虛擬現實技術做一下簡單的介紹。

虛擬現實技術：設計計算機圖形學、人機交互技術、傳感器技術、人工智能技術等領域，它用計算機生成逼真的三維視、聽、觸覺、嗅覺等感覺，使人作為參與者通過適當的裝置，自然地對虛擬世界進行體驗和交互作用。使用者進行位置移動時，電腦可以立即進行復雜的運算，將精確的3D時間影像回傳產生臨場感。該技術繼承了計算機圖形技術、計算機仿真技術、人工智能、傳感器技術、顯示技術、網絡并行處理等技術的最新成果，是一種由計算機技術輔助生成的高新技術模擬系統。

沉浸度和交互性是對上述虛擬現實技術進行評價的兩個重要特征。其中，沉浸度是指用戶感到作為主角兒存在于模擬環境中的真實度。理想的模擬環境能使用戶全身心的投入到計算機創建的三維虛擬環境中，使用戶難以分辨真假。交互性是虛擬現實則是指用戶對模擬環境內物體的可操作程度和從模擬環境中得到反饋的自然程度。

然而，現有的虛擬現實技術，大多數以虛擬現實眼鏡或視鏡形式進出體驗，因而虛擬現實技術的沉浸度以及交互性都不高。

本發明的虛擬現實綜合系統，采用慣性動作捕捉技術、室內定位技術、虛擬現實眼鏡技術、數據手套技術、電子仿真槍技術等，應用于游戲體驗、模擬訓練、室內戶外演戲、醫療恢復等場景。

技術實現要素：

本發明要解決的技術問題是針對上述現有技術的不足，而提供一種基于動作捕捉的虛擬現實綜合系統，該基于動作捕捉的虛擬現實綜合系統能使真實世界的人與虛擬環境進行全方位互動，提高虛擬現實系統的沉浸度和交互性。

為解決上述技術問題，本發明采用的技術方案是：

一種基于動作捕捉的虛擬現實綜合系統，包括慣性動作捕捉裝置、室內定位裝置、虛擬現實裝置、數據手套裝置、電子仿真槍裝置和背負式計算機裝置；慣性動作捕捉裝置、室內定位裝置、虛擬現實裝置、數據手套裝置和電子仿真槍裝置均與背負式計算機裝置無線連接；背負式計算機裝置中內置有卡爾曼濾波器一和仿真軟件系統。

慣性動作捕捉裝置包括若干個均能固定在人體上的動作捕捉模塊，每個動作捕捉模塊均包括動作捕捉傳感器。

室內定位裝置為UWB室內定位系統。

數據手套裝置包括手套本體和設置在手套本體中的若干個手關節姿態傳感器。

電子仿真槍裝置包括電子仿真槍和內置在電子仿真槍中的電子仿真槍數據采集傳感器，電子仿真槍數據采集傳感器包括電子槍姿態傳感器和電子槍操作傳感器。

動作捕捉傳感器、手關節姿態傳感器和電子槍姿態傳感器均包括三軸MEMS加速度傳感器、三軸MEMS角速度傳感器、三軸MEMS磁力計、數據濾波傳感器和微處理器；三軸MEMS加速度傳感器、三軸MEMS角速度傳感器和三軸MEMS磁力計均與數據濾波傳感器相連接，數據濾波傳感器還與微處理器相連接；數據濾波傳感器能將三軸MEMS加速度傳感器、三軸MEMS角速度傳感器和三軸MEMS磁力計所檢測的數據進行初級濾波后傳送給微處理器，每個微處理器中均內置有卡爾曼濾波器二。

電子槍操作傳感器與電子槍姿態傳感器中的微處理器相連接。

所述電子槍操作傳感器為射擊傳感器、彈夾傳感器、上膛傳感器和保險中的一種或多種的組合。

所述虛擬現實裝置包括VR佩戴裝置和環境反饋器件，環境反饋器件為音效系統、可控跑步機、電極刺激貼片和力反饋上衣中的一種或多種的組合。

所述VR佩戴裝置為VR頭盔或VR眼鏡。

所述動作捕捉傳感器、手關節姿態傳感器和電子槍姿態傳感器中微處理器的型號均為NXP-LPC13xx。

動作捕捉傳感器能采集人體接觸部位的骨骼姿態數據，并對采集的骨骼姿態數據進行位移糾偏；動作捕捉傳感器的工作過程如下：

動作捕捉傳感器中的三軸MEMS加速度傳感器、三軸MEMS角速度傳感器和三軸MEMS磁力計分別對人體接觸部位的加速度、角速度和地磁場強度進行采集，動作捕捉傳感器中的數據濾波傳感器將采集的加速度、角速度和地磁場強度數據進行初級濾波處理；微處理器中的卡爾曼濾波器采用卡爾曼濾波算法將初級濾波后處于正常范圍值內的加速度、角速度和地磁場強度數據進行深層次濾波與融合，通過最小二乘估計法擬合得到橢球模型系數，利用橢球模型系數推導出地磁傳感器誤差矩陣和偏移矢量，最后對地磁環境下輸出的骨骼姿態數據進行位移糾偏與校正。

UWB室內定位系統包括若干個定位錨節點、若干個移動標簽、同步器和服務器；定位錨節點布固定設置在室內，移動標簽佩戴在每個目標用戶上，移動標簽與定位錨節點之間通過UWB進行數據傳輸；同步器與各定位錨點之間進行校時通信，實現各定位錨點之間的時間同步；服務器設置有無限訪問節點，各定位錨節點通過無線訪問節點與服務器間進行數據傳輸。

本發明采用上述結構后，具有如下有益效果：

1.動作捕捉模塊體積小、重量輕、續航能力強，綁定在人身上的時候不影響人體運動，采樣頻率高，對復雜、高速運動的進行采集；動作捕捉模塊配置靈活，可以對局部動作，全身的運動進行捕捉；動作捕捉不受場地限制，捕捉效果不受真實環境中的物體遮擋影響；運動捕捉系統的成本相對較低。

2.采用室內定位裝置，能夠結合融合算法，將絕對坐標位置與動捕中的坐標融合，糾正動作捕捉裝置中陀螺儀積分的累積誤差，從而給用戶一個更加真實的位置效果。

3.采用數據手套裝置，將手指狀態數據傳輸至處理器中，人機互動更加真實，增加用戶的虛擬現實的體驗度。

4.采用電子仿真槍裝置，將手持裝備的電子槍的姿態、開關、保險等狀態傳至處理器，加強虛擬現實交互、人機互動，增加虛擬現實的游戲、訓練的體驗感。

綜上所述，，本發明因為能夠實時的把現實世界的人體(包括軀干，四肢，手持道具等)以及動作引入到虛擬世界，并映射與相應的角色上，并通過恰當的方式實時的把虛擬環境對角色的作用反饋到現實世界用戶的感知上，從而大大提高了虛擬現實的沉浸度，同時增加了角色與虛擬環境的交互性，使人能夠得到更加真實的虛擬現實體驗。

附圖說明

為了更清楚的說明本發明實時案例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要的使用的附圖作簡單介紹。

圖1顯示了本發明一種基于動作捕捉的虛擬現實綜合系統的示意圖。

圖2顯示了本發明一種融合室內定位數據與動作捕捉數據的方法的示意圖。

具體實施方式

下面結合附圖和具體較佳實施方式對本發明作進一步詳細的說明。

如圖1所示，一種基于動作捕捉的虛擬現實綜合系統，包括慣性動作捕捉裝置、室內定位裝置、虛擬現實裝置、數據手套裝置、電子仿真槍裝置和背負式計算機裝置。慣性動作捕捉裝置、室內定位裝置、虛擬現實裝置、數據手套裝置和電子仿真槍裝置均與背負式計算機裝置無線連接。無線連接通訊方式包括但不限于藍牙、Zegibee、WIFI、2.4Ghz通訊。

慣性動作捕捉裝置包括若干個均能固定在人體上的動作捕捉模塊。動作捕捉模塊的個數可以根據情況，任意選擇，可以為3個、6個、9個、11個、15個、或17個等。

當動作捕捉模塊的個數為3個時，3個動作捕捉模塊分別通過綁帶或者專用動捕服裝固定在用戶的三個不同部位，三個不同部位優選為：1.頭部、軀干以及臀部；2.頭部、雙上臂(左上臂及右上臂)之一，以及雙前臂(左前臂以及右前臂)之一。

當動作捕捉模塊的個數為6個時，6個運動捕捉模塊優選分別通過綁帶或者專業動作捕捉服裝固定在頭部、軀干、臀部、雙大腿、雙小腿、雙腳(左腳以及右腳)、雙上臂之一以及雙前臂之一，或者分別固定在頭部、軀干、臀部、雙上臂之一、雙前臂之一以及雙手(左手及右手)之一。

當動作捕捉模塊的個數為9個時，9個動作捕捉模塊優選分別通過綁帶或者專業動作捕捉服裝固定在頭部、軀干、臀部、雙大腿、雙小腿、雙上臂之一以及雙前臂之一，或者分別固定在頭部、軀干、臀部、雙大腿、雙小腿、雙上臂以及雙前臂。

當動作捕捉模塊的個數為11個時，11個動作捕捉模塊優選通過綁帶或者專業動作捕捉服裝固定在頭部、軀干、臀部、雙大腿、雙小腿、雙腳之一、雙上臂之一及雙前臂之一，或者分別固定在頭部、軀干、臀部、雙大腿、雙小腿、雙上臂以及雙前臂。

當動作捕捉模塊的個數為15個時，優選分別固定在頭部、軀干、臀部、雙大腿、雙小腿、雙腳、雙上臂、雙前臂以及雙手。

當動作捕捉模塊的個數為17個時，優選分別固定在頭部、軀干、臀部、雙大腿、雙小腿、雙腳、雙上臂、雙前臂、雙手及雙肩。

每個上述動作捕捉模塊均包括動作捕捉傳感器。

動作捕捉傳感器包括三軸MEMS加速度傳感器、三軸MEMS角速度傳感器(又稱為陀螺儀傳感器)、三軸MEMS磁力計(又叫電子羅盤傳感器)、數據濾波傳感器和微處理器。

三軸MEMS加速度傳感器、三軸MEMS角速度傳感器和三軸MEMS磁力計分別用于測量加速度信號、角速度信號和地磁信號。

三軸MEMS加速度傳感器、三軸MEMS角速度傳感器和三軸MEMS磁力計均與數據濾波傳感器相連接，數據濾波傳感器還與微處理器相連接。

數據濾波傳感器能將三軸MEMS加速度傳感器、三軸MEMS角速度傳感器和三軸MEMS磁力計所檢測的數據進行初級濾波后傳送給微處理器，每個微處理器中均內置有卡爾曼濾波器二。

微處理器包括但不限于MCU、DSP或者FPGA，型號優選為NXP-LPC13xx。微處理器NXP-LPC13xx與三軸MEMS加速度傳感器、三軸MEMS角速度傳感器和三軸MEMS磁力計分別通過SPI(串行外圍設備接口)、IIC(兩線式串行總線)、USART(串口)等通訊方式相通訊。

動作捕捉傳感器能采集人體接觸部位的骨骼姿態數據，并對采集的骨骼姿態數據進行位移糾偏。

動作捕捉傳感器的工作過程如下：

三軸MEMS加速度傳感器、三軸MEMS角速度傳感器和三軸MEMS磁力計分別對人體接觸部位的加速度、角速度和地磁場強度進行采集。

數據濾波傳感器將采集的加速度、角速度和地磁場強度數據進行初級濾波處理，然后將處于正常范圍內的加速度、角速度和地磁場強度信號數據傳輸給微處理器。

微處理器NXP-LPC13xx接收到加速度信號、角速度信號以及地磁強度信號，生成四元數或者歐拉角，微處理器中內置的卡爾曼濾波器采用卡爾曼濾波算法將接收到的加速度、角速度和地磁場強度數據進行深層次濾波與融合，并處理成用戶身體姿態信息。

深層次濾波與融合的同時，微處理器還分析地磁傳感器的各種誤差來源，并建立完整形式的地磁傳感器橢球誤差模型，通過最小二乘估計法擬合得到橢球模型系數，利用橢球模型系數推導出地磁傳感器誤差矩陣和偏移矢量，最后對地磁傳感器磁環境下輸出的骨骼姿態數據進行位移糾偏與校正。

最后，微處理器將骨骼姿態數據進行糾偏與校正后的用戶身體姿態信息(包括方位信息、歐拉角、四元數信息等)通過無線或者有線的方式傳遞給背負式計算機裝置。

上述卡爾曼濾波算法是一種遞歸自回歸數據處理算法，為一種較為成熟的現有技術，通過5個常用公式實現。卡爾曼濾波算法通過反饋控制的方法估算過程狀態，對每次輸出的狀態結果進行循環修正，直至得到最優的狀態過程數據。卡爾曼濾波算法可分成兩個循環過程：時間更新和測量更新過程，前者負責及時向前推算當前狀態變量和誤差協方差的估算值以構造下一個時間狀態的先驗估計；后者將先驗估計和測量變量結合以構造改進的后驗估計；時間更新過程可視為預估過程，測量更新過程可視為校正過程，整個估計算法實質上是一種數值解的預估—校正算法。

通過上述卡爾曼濾波算法和數據過程處理，可以在一定范圍的鐵質、弱磁場環境中使用，當手機等帶弱磁場的物體靠近傳感器時，不影響地磁傳感器的信號采集，姿態數據可以正常使用。

本發明的動作捕捉模塊體積小、重量輕、續航能力強，綁定在人身上的時候不影響人體運動，采樣頻率高，對復雜、高速運動的進行采集；動作捕捉模塊配置靈活，可以對局部動作，全身的運動進行捕捉；動作捕捉不受場地限制，捕捉效果不受真實環境中的物體遮擋影響；運動捕捉系統的成本相對較低。

數據手套裝置包括手套本體和設置在手套本體中的若干個手關節姿態傳感器。

手關節姿態傳感器的個數，能根據情況任意選擇，可以為6個，10個或15個等。

在一實施例中，關節傳感器的個數為6個，分別通過手套固定在手背上1個，5個手指各一個。

在一實施例中，關節傳感器的個數為10個，分別通過手套固定在手背上1個，大拇指1個，其余四個手指分別固定2個傳感器。

在一實施例中，關節傳感器的個數為15個，分別通過手套固定在手背上1個，大拇指2個，其余四個手指分別固定3個傳感器。

手關節姿態傳感器也包括三軸MEMS加速度傳感器、三軸MEMS角速度傳感器、三軸MEMS磁力計、數據濾波傳感器和微處理器。手關節姿態傳感器中各組成部件與動作捕捉傳感器相同，組成部件之間的連接關系和工作過程也基本相似，這里將不再詳細闡述。

電子仿真槍裝置均包括電子仿真槍、均內置在電子仿真槍中的電子仿真槍數據采集傳感器、無線通訊模塊和電源等。

電子仿真槍的個數根據用戶數量，可以設置為1個，2個或3個等，一個用戶佩戴一個電子仿真槍，在空曠空間內模擬槍的換彈、上膛、射擊等動作。

電子仿真槍優選按照真實槍械1:1比例制作，外形、重量、操作方式完全按照實裝設計，體驗度高。

電子仿真槍數據采集傳感器包括電子槍姿態傳感器和電子槍操作傳感器。

上述電子槍操作傳感器為射擊傳感器、彈夾傳感器、上膛傳感器和保險等中的一種或多種的組合。

電子槍姿態傳感器也包括三軸MEMS加速度傳感器、三軸MEMS角速度傳感器、三軸MEMS磁力計、數據濾波傳感器和微處理器。電子槍姿態傳感器中各組成部件與動作捕捉傳感器相同，組成部件之間的連接關系和工作過程也基本相似，這里將不再詳細闡述。

但是，電子槍姿態傳感器中的微處理器還與電子槍操作傳感器相連接。

通過電子槍姿態傳感器測量加速度、角速度、地磁場強度，通過電子槍操作傳感器采集槍的狀態，將數據輸入到微處理器中進行處理，輸出各節點的四元數或者歐拉角，通過數據解析還原算法，信號數據通過有線或者無線的方式傳送至背負式計算機，計算機通過數據接口連接至虛擬現實裝置中，實時還原狀態。

用戶手持、背帶持電子仿真槍，通過操作扳機、上膛或彈夾等模擬實裝槍的上膛、換彈、射擊等操作。射擊傳感器、彈夾傳感器、上膛傳感器和保險等能實時檢測射擊、換彈、上膛、保險等操作狀態，并將操作狀態數據傳輸給微處理器，微處理器通過無線發送至背負式計算機裝置中，進行數據處理，在虛擬現實裝置中映射出虛擬世界中的槍的狀態。

上述虛擬現實裝置包括VR佩戴裝置和環境反饋器件。

其中，VR佩戴裝置為VR頭盔或VR眼鏡等。

環境反饋器件為音效系統、可控跑步機、電極刺激貼片和力反饋上衣/鞋子等中的一種或多種的組合。其中，音效系統為用于將音頻信號反饋到人耳的音響；力反饋上衣/鞋子通過一定的驅動器產生一定的作用施加到人體的某些部位，也即用于將力反饋信號反饋到人體；電極刺激貼片是電極貼片，把電極貼片貼到皮膚上，然后在電機貼片之間施加電壓，則會對兩個電極貼片之間的神經或者肌肉產生刺激作用，也即用于將觸覺信號反饋到人體。

環境反饋器件佩戴于目標用戶身上，通過綁帶或者頭盔模式佩戴固定，優選通過無線連接至背負式計算機裝置，生成一個針對用戶的3D虛擬環境以及虛擬角色，并把接收到的位置信息、身體姿態信息、手指姿態信息、電子仿真槍狀態信息映射到虛擬角色和環境中，同時根據虛擬角色與環境相互作用，把對應的視頻、音頻信號通過不同的信號接口發送給虛擬現實眼鏡裝置的視頻、音頻、壓力等裝置。

室內定位裝置為UWB室內定位系統。UWB室內定位系統為現有技術，具體見申請人之前申報的申請號為CN201520817538.1的專利。

UWB室內定位系統包括若干個定位錨節點、若干個移動標簽、同步器和服務器；定位錨節點布固定設置在室內，移動標簽佩戴在每個目標用戶上，移動標簽與定位錨節點之間通過UWB進行數據傳輸；同步器與各定位錨點之間進行校時通信，實現各定位錨點之間的時間同步；服務器設置有無限訪問節點，各定位錨節點通過無線訪問節點與服務器間進行數據傳輸。

具體實施時，可以根據具體的場地面積，布置多個定位錨節點，用戶佩戴移動標簽。移動標簽的個數可以為1個，2個或3個等，優選通過綁帶或者專業綁定服裝綁定在用戶的頭部、胸部、腕部等部位，在定位錨節點布置的場地中行走，活動。

本專利利用UWB技術時間目標用戶在室內環境中的動態精度定位，系統功耗低，復雜度低的系統設計更易于操作，無需布線，提高應用效率，裝置輸出目標用戶的位置信息。

上述UWB室內定位系統的定位特點是長時間使用不會產生累積誤差。但是，其本身有一定的定位誤差范圍，其誤差范圍是±20cm，在實時使用過程中屬于小范圍定位，位移不夠平滑，不能直接用于動作捕捉姿態中位移數據的替換，而且直接替換會產生姿態與位移不匹配的情況。

正如背景技術中所述，本發明中所涉及的三軸MEMS角速度傳感器，也即陀螺儀，在對角速度進行時間積分時，雖然采用了數據濾波傳感器進行初步濾波，以及微處理器中卡爾曼濾波器一進行了深層次濾波，然而，積分的累積誤差仍會隨時間推移而逐漸增加，測量的運動姿態數據與實際的數據仍有一定偏差。

本發明采用如下方法進一步克服了測量的運動姿態數據與實際的數據的偏差問題。

1.姿態重組：

上述UWB室內定位系統以及背負式計算機裝置中卡爾曼濾波器二的使用，卡爾曼濾波器二能將UWB室內定位系統中的定位數據與慣性動作捕捉傳感器(包括手關節姿態傳感器及電子槍姿態傳感器)等測量的姿態數據進行融合，也即將絕對坐標位置與動捕中的坐標相融合，糾正動作捕捉裝置中陀螺儀積分的累積誤差，從而給用戶一個更加真實的位置效果。

一種融合室內定位數據與動作捕捉數據的方法，包括如下步驟：

步驟1，動作捕捉數據采集：通過虛擬現實綜合系統中的動作捕捉傳感器獲得人體的動作捕捉數據；虛擬現實綜合系統中設置有慣性動作捕捉裝置，慣性動作捕捉裝置包括若干個均能固定在人體上的動作捕捉傳感器，動作捕捉傳感器將能自動捕捉與采集人體接觸部位的動作數據，也即骨骼姿態數據。

步驟2，室內定位數據采集：通過UWB室內定位系統獲得室內定位數據。

步驟3，獲取融合位移：采用卡爾曼濾波算法將步驟1采集的動作捕捉數據與步驟2采集的室內定位數據進行融合，獲得融合位移。

假設驟1采集的動作捕捉數據中的坐標數據與步驟2采集的室內定位數據均是一個二維坐標點(x，y)的集合，其中，x和y分別表示該點的橫縱坐標，則融合位移的具體獲取方法包括如下步驟：

步驟31，狀態方程建立：將步驟1采集的動作捕捉數據的位移增量作為狀態量，建立如下所示的狀態方程：

上式中，向量為k時刻動作捕捉數據的先驗估計，A取單位矩陣為k-1時刻動作捕捉數據的后驗估計，為步驟1采集的動作捕捉數據的位移增量，w_k為過程噪聲的協方差矩陣，由實驗測得，為可調參數，其優選矩陣為矩陣參數范圍0～500。

步驟32，觀測方程建立：將步驟2采集的室內定位數據作為觀測量，建立如下所示的觀測方程：

上式中，向量為k時刻室內定位數據的后驗估計，C為觀測矩陣，優選取單位矩陣表示UWB室內定位系統的輸入坐標數據；r_k為觀測噪聲矩陣，由實驗測得，為可調參數，優選矩陣為矩陣參數范圍0～100。

步驟33，計算融合位移：通過步驟31建立的狀態方程與步驟32建立的觀測方程進行求解，獲得融合位移。

步驟4，位移糾偏：解析虛擬現實綜合系統中各個動作捕捉傳感器所捕捉的各個骨骼姿態數據，計算各個骨骼相對位移坐標；根據步驟3獲取的融合位移與骨骼相對位移坐標對虛擬現實綜合系統中各個動作捕捉傳感器進行位移糾偏，形成姿態重組位移。

位移糾偏時，為使步驟3中獲取的融合位移與原有骨骼姿態相匹配，以人體是否有著地點為依據進行判斷；在人體有著地的情況下，以著地點為原點計算全身各骨骼位置；如果糾偏過程中沒有新的著地點產生，則保持原點不變；如果糾偏過程中產生新的著地點，原點變為當前時刻的融合位移。

在人體有著地的情況下，以著地點為原點，采用位姿矩陣來計算全身各骨骼位置；其中，位姿矩陣T表示如下：

其中，O＝[0 0 0]，I＝1

上式中，T表示位姿矩陣，n表示法線矢量，o表示方向矢量，a表示接近矢量，p表示平移矢量，R表示旋轉矩陣，P表示位置矩陣，O表示透視矩陣，I表示比例變換；x,y,z表示三個坐標軸方向。

上述R表示的旋轉矩陣由動作捕捉傳感器的姿態數據得出。

動作捕捉傳感器姿態數據為四元數：q＝(w,x,y,z)

四元數與旋轉矩陣的轉換公式為：

P表示的位置矩陣初始為后可通過位姿矩陣T與骨骼參數矩陣(例如右大腿骨骼參數矩陣骨骼參數矩陣為固定參數)相乘后得出。

O矩陣與I矩陣為固定參數矩陣。

步驟5，形成最終輸出位移：步驟3獲取的融合位移與步驟4形成的姿態重組位移構成初步輸出位移，將該初步輸出位移進行卡爾曼濾波，去除位移糾偏過程中產生的閃跳點，形成平滑的各個動作捕捉傳感器的最終輸出位移。

將初步輸出位移進行卡爾曼濾波時，卡爾曼濾波狀態方程為：

上式中，為k時刻初步輸出位移的狀態量；為的一階導數；為狀態矩陣；t_s表示動作捕捉傳感器的采樣頻率，為固定參數；為k-1時刻初步輸出位移的狀態量。

卡爾曼濾波觀測方程：

上式中，為初步輸出位移的后驗估計，為的一階導數；C為觀測矩陣，取為觀測量。

本系統解析動作捕捉系統的各個骨骼姿態數據(包括動作捕捉傳感器、手關節姿態傳感器及電子槍姿態傳感器采集數據)，計算各個骨骼相對位移坐標。通過融合室內定位移與骨骼相對坐標對動捕系統進行位移糾偏。

2.輸出濾波：

輸出的位移由姿態重組的位移與卡爾曼融合的位移組成，由于姿態重組的位移與卡爾曼融合的位移存在偏差(兩套不相干系統必然存在偏差)，所以在著地點產生時，卡爾曼融合位移替換新原點時就會產生一個閃跳點。閃跳點的存在會使最終的效果出現人物閃跳的現象，要消除或者進行平滑處理。輸出的卡爾曼濾波就是對閃跳點的平滑處理。

背負式計算機裝置包括計算機裝置、綁帶、背包、加固帶、減震裝置和緩沖裝置等。

計算機裝置包括：計算機主機、標準視頻接口、標準音頻接口、標準USB3.0接口、無線通訊模塊、電池供電系統、電源供電系統、充電系統以及電壓轉換電路。

背負式計算機裝置中內置有卡爾曼濾波器一和仿真軟件系統。背負式計算機優選通過無線與上述所有微處理器相連接。

仿真軟件系統為一個成熟的軟件系統，能直接購買使用，本申請不再詳細闡述。

背負式計算機裝置優選通過無線連接上述慣性動作捕捉裝置、室內定位裝置、虛擬現實眼鏡裝置、數據手套裝置、電子仿真槍裝置，將上述各裝置的信號輸入至背負式計算機裝置，卡爾曼濾波器一采用具有遞歸自回歸濾波功能的數據融合算法，將動作捕捉的姿態輸出數據與定位的輸出數據進行融合，姿態還原算法，將上述裝置中的慣性動作捕捉裝置、室內定位裝置、數據手套裝置、電子仿真槍裝置的各種信號在背負式計算機裝置中生成一個對于用戶的3D虛擬環境以及虛擬角色，在虛擬現實裝置做反饋、顯示、實現。3D虛擬環境包括一個虛擬場景，一個或者多用戶對應的角色以及一系列的虛擬對象。三者之間可以進行互動，會產生一個與現實世界一樣的效果，這效果符合客觀規律。

本系統采用慣性傳感器技術，將慣性傳感器模塊佩戴在身體上，來實時捕捉人體動作姿態數據，并通過無線通信技術將姿態數據上傳至上位機中，實時還原人體姿態，同時集合背負式計算機技術、虛擬現實眼鏡技術、室內定位技術、電子仿真槍技術、數據手套技術、人體工程學技術、數據融合技術、地磁抗干擾技術融合一個虛擬現實系統，該系統能最大限度的實時還原人體姿態，加強虛擬現實效果。

下面結合具體的例子詳細說明本發明虛擬綜合系統。

假設本實施例中用戶在虛擬環境中進行單兵作戰訓練、或者單兵戰術協同作戰。用戶全身綁定17個動作捕捉模塊，綁定位置為頭部、胸部、臀部、雙肩、雙大臂、雙小臂、雙手、雙大腿、雙小腿、雙腳。UWB室內定位系統的移動標簽佩戴于戰術頭盔上；雙手佩戴數據手套裝置；手持電子仿真槍，頭上佩戴裝有翻斗VR眼鏡的戰術頭盔。

每個動作捕捉模塊、手關節姿態傳感器和電子槍姿態傳感器，均通過對角速度的積分得到各個模塊節點傳感器的方位信息，同時通過地磁以及重力加速的測量，得到模塊對于重力方向以及地磁方向的方位。各個模塊傳感器把加速度、角速度、地磁信息傳至微處理器，微處理器對加速度進行二次積分得到各部位的位移信息，并根據生物力學約束以及外界的接觸結束判定，對各個模塊進行積分誤差進行修正。微處理器通過有線或者無線方式，將各個模塊傳感器的加速度、角速度、地磁信息、位移信息、方位信息等信息通過無線或者有線方式傳至背負式計算機中。

UWB室內定位系統的移動標簽佩戴于用戶的戰術頭盔處，用戶在布設完定位錨節點、同步器的場所內移動。佩戴于人體上的移動標簽和定位錨節點之間基于UWB進行數據傳輸，同步器與各錨點之間進行校時通信，各錨點通過無線訪問節點與服務器間進行數據傳輸。服務器通過計算標簽與各個錨節點之間的時間差，通過室內定位算法，輸出移動標簽在該空間位置中的絕對坐標。服務器通過有線或者無線的方式，將移動標簽的位置信息發送至背負式計算機裝置。

虛擬現實裝置包括頭盔式翻斗VR眼鏡、音響系統和用戶身上的多個電極貼片。穿戴頭盔式翻斗VR眼鏡可以顯示三維虛擬空間畫面；音響系統反饋虛擬環境中的各種聲音，電極貼片反饋虛擬環境對用戶的各種刺激。該虛擬現實裝置由背負式計算機裝置對收集到的慣性動作捕捉裝置、室內定位裝置、數據手套裝置、電子仿真槍裝置的各種信息，經過算法融合慣性動捕與室內定位信息、數據手套信息、電子仿真槍信息，通過仿真軟件輸出信號與虛擬現實裝置，驅動頭盔式翻斗VR眼鏡、音響系統、電極貼片作用于用戶，產生一個深度沉浸感、逼真的虛擬環境。

背負式計算機運行仿真軟件，虛擬現實裝置會產生一個作用于用戶的三維虛擬空間，三維虛擬空間會有一些現實世界中不存在物體或者小概率發生的事件。比如，單兵模擬訓練中遇到的特殊軍情，突發武裝沖突時的戰術配合，從而完成對平息沖突的任務。在虛擬環境中，用戶可以用手中的電子仿真槍對虛擬環境中的武裝人員進行射擊、制服等操作，虛擬中的角色也可以對用戶進行攻擊或者其他用戶對該用戶的攻擊傷害。面對虛擬環境中的武裝人員，用戶可以進行躲閃、奔跑、跳躍、匍匐、跪姿等動作，同時可以用手中的電子仿真槍對虛擬的武裝分子進行消滅、平息。多用戶之間可以數據手套將進行手語、戰術動作的操作、交流，也可以通過語音系統方式進行交流通信。若用戶被其他用戶、虛擬環境中的武裝分子集中，虛擬現實裝置中的電極貼片會在相對部位上產生于攻擊強度相對應的刺激信號，使用戶產生真的被擊中的感覺。

根據上述例子，結合現有的技術，闡述一下本法的基于動作捕捉的虛擬現實綜合系統與普通的3D扮演類游戲的相同點與不同點。

相同點：兩者都是用戶操縱虛擬角色在一個虛擬3D世界環境中進行一定的活動與體驗。不同點：本發明是操縱沉浸式的3D虛擬現實軟件，依靠用戶的四肢動作、手指動作、模擬仿真槍動作以及語言來對虛擬角色進行控制，就如通用現實世界的人對自身操作一樣，而普通的3D扮演類游戲用鼠標鍵盤對角色進行控制；同時，普通3D角色扮演類游戲智能看到顯示器上的一個平面圖像，而且只能看到自己扮演的角色與環境中的作用，卻不能用其他的感官去體驗游戲中角色與周圍環境的互動，在采用了本發明的虛擬現實綜合系統時，則可以根據虛擬環境中角色的變化，提供相應的3D虛擬環境的三維視鏡，提高真實感，讓用戶感覺身臨其境一般，同時，通過環境反饋器件，用戶能夠通過身體的其他部位體驗到虛擬環境與現實角色的交互。

綜上所述，本發明的動作捕捉模塊、手關節姿態傳感器、電子槍姿態傳感器體積小、重量輕、佩戴方便，綁定到人身上時不影響運動，采樣速度高，可以對復雜、高速運動新型采樣；佩戴靈活，可以根據現實需求選擇合適的佩戴組合方式；動作捕捉不受場地限制，動作捕捉效果不受真實物體遮擋影響；動作捕捉的成本相對較低。室內定位裝置，能實時的捕捉定位多名用戶在部署定位裝置的空間內的實時位置，輸出用戶的絕對坐標；室內定位裝置，采用UWB定位技術，采樣頻率高，可以對用戶實時位置定位，快速定位用戶的快速動作；佩戴靈活，標簽可以佩戴于頭部、胸部、腕部，可根據具體需求進行佩戴；部署簡便，只需要在需要定位的空間內，部署若干錨節點、同步器以及少量輔助電源等設備，就可以完成定位部署；定位不受環境，光纖影響，亦可以在室外空曠場地進行部署定位，不受光線影響；UWB室內定位成本相對要低。數據手套佩戴方便，模塊小巧，只需要穿上專用的數據手套載具，連接上背負式計算機就可以工作，使用方便；配置靈活，可以根據具體的需求對不同的關節進行配置，以最適合的配置方式完成虛擬體驗；不受光線環境的影響，可以在陽光直射下進行虛擬體驗；采樣頻率高，可以對復雜、快速動進行捕捉采樣。

另外，電子仿真槍、虛擬現實眼鏡、背負式計算機技術，解決了佩戴式，姿態、游戲狀態實時還原問題，提高用戶體驗度。數據手套技術，虛擬現實眼鏡、背負式計算機技術，解決了佩戴式四肢、手指實時還原顯示問題，提供用戶體驗度。數據融合、地磁抗干擾技術，降低復雜磁場環境對于電子羅盤傳感器的干擾，提高了體統環境適應度和用戶體驗度。

本發明因為能夠實時把現實世界的人體動作姿態以及外設的手持道具的狀態引入到虛擬現實，并映射與相應的角色上，并且通過恰當的方式，實時地把虛擬環境對角色的作用反饋到現實世界人的感知上，因而大大提高了虛擬現實的沉浸感，同時增加了角色與虛擬環境的交互性，使用戶的體驗更加真切、真實。

以上詳細描述了本發明的優選實施方式，但是，本發明并不限于上述實施方式中的具體細節，在本發明的技術構思范圍內，可以對本發明的技術方案進行多種等同變換，這些等同變換均屬于本發明的保護范圍。