一種運動對象追蹤方法及系統的制作方法
【專利摘要】本發明公開了一種運動對象追蹤方法及系統,包括:第一處理器在確定需獲取虛擬現實設備的運動姿態時,向虛擬現實設備和攝像裝置的攝像頭發送至少第1至第N個同步信號;虛擬現實設備的運動姿態是根據N幀圖像確定的;虛擬現實設備接收第一處理器發送的第i個同步信號,按預先設定的狀態控制策略展現虛擬現實設備上各個物理標記點的狀態,1≤i≤N;攝像頭接收第一處理器發送的第i個同步信號,根據第i個同步信號,捕獲虛擬現實設備的第i幀圖像,第i幀圖像中包括各個物理標記點的標記點影像。上述方法實現虛擬現實設備展與攝像裝置的攝像頭的同步,基于攝像裝置獲取的N幀圖像,可以準確快速的確定虛擬現實設備的運動姿態。
【專利說明】
一種運動對象追蹤方法及系統
技術領域
[0001]本發明實施例涉及通信技術領域,尤其涉及一種運動對象追蹤方法及系統。
【背景技術】
[0002]虛擬現實頭盔,是指一種通過利用頭盔顯示器將人的對外界的視覺、聽覺封閉,弓丨導用戶產生一種身在虛擬環境中的感覺的頭盔。隨著電子技術的不斷發展,虛擬現實頭盔已經允許用戶通過多種先進的傳感手段根據自己在虛擬環境中的視點和位置來控制虛擬畫面,具體來說,在用戶使用虛擬現實頭盔的過程中,通過感知用戶頭部的運動狀態,從而為用戶呈現出不同的場景。虛擬現實頭盔一個重要的體驗就是沉浸感,因此,能否準確快速感知到用戶頭部的運動狀態是影響虛擬現實頭盔性能的重要指標。
[0003]例如,為了能夠感知到虛擬現實頭盔的運動狀態,會在虛擬現實頭盔上設置紅外燈,然后用攝像頭抓取虛擬現實頭盔上紅外燈的影像,根據紅外燈的影像確定虛擬現實頭盔的運動狀態,但是這種場景中,虛擬現實頭盔上紅外燈的狀態需要不斷變化,攝像頭拍攝虛擬現實頭盔的圖像時,虛擬現實頭盔上的紅外燈的每次狀態變化很難與攝像頭拍攝的每一幀圖像同步,這導致根據攝像頭拍攝的圖像確定出的虛擬現實頭盔的運動姿態不準確,如果采用不準確的運動姿態控制虛擬現實頭盔上顯示器上虛擬畫面的顯示,會導致用戶看到的虛擬畫面不連續或者出現延遲現象,影響佩戴虛擬現實頭盔的用戶的沉浸感。
[0004]綜上,目前亟需一種能夠準確快速地感知虛擬現實頭盔運動姿態的方法。
【發明內容】
[0005]本發明實施例提供一種運動對象追蹤方法及系統,用以實現準確快速地感知虛擬現實頭盔運動狀態。
[0006]本發明實施例提供一種運動對象追蹤方法,包括:
[0007]第一處理器在確定需獲取虛擬現實設備的運動姿態時,向所述虛擬現實設備和攝像裝置的攝像頭發送至少第I至第N個同步信號,以獲取所述攝像頭捕獲的所述虛擬現實設備的N幀圖像;所述虛擬現實設備的運動姿態是根據所述N幀圖像確定的;
[0008]所述虛擬現實設備接收所述第一處理器發送的第i個同步信號,根據所述第i個同步信號,按預先設定的狀態控制策略展現所述虛擬現實設備上各個物理標記點的狀態,i^N;
[0009]所述攝像頭接收所述第一處理器發送的第i個同步信號,根據所述第i個同步信號,捕獲所述虛擬現實設備的第i幀圖像,所述第i幀圖像中包括所述各個物理標記點的標記點影像。
[0010]進一步地,根據所述N幀圖像確定所述虛擬現實設備的運動姿態,包括:
[0011]第二處理器獲取所述虛擬現實設備產生的旋轉量,所述虛擬現實設備產生的旋轉量是根據所述虛擬現實設備的傳感器采集的數據確定的;
[0012]所述第二處理器獲取所述虛擬現實設備產生的平移量,所述虛擬現實設備產生的平移量是根據所述攝像頭捕獲的所述N幀圖像確定的;
[0013]所述第二處理器根據所述虛擬現實設備產生的旋轉量和所述虛擬現實設備產生的平移量,確定所述虛擬現實設備的運動姿態。虛擬現實設備的運動姿態表征運動對象在N個時刻產生的整體空間平移量,包括水平平移量和旋轉平移量。
[0014]進一步地,所述預先設定的狀態控制策略包括:
[0015]所有虛擬現實設備的各個物理標記點具有唯一的編號,每個物理標記點的編號對應唯一的二進制編碼,二進制編碼的數位N根據物理標記點的數量確定;每個物理標記點在所述第i個同步信號對應時刻的狀態,由該物理標記點對應二進制編碼的第i個數位的數值標記,第i個數位的數值為0,物理標記點展現第一狀態,第i個數位的數值為I,物理標記點展現第二狀態。
[0016]進一步地,根據所述N幀圖像,確定所述虛擬現實設備的平移量,包括:
[0017]第三處理器獲取所述攝像頭捕獲的所述N幀圖像,根據所述N幀圖像確定所述各個標記點影像的位置信息;所述各個標記點影像的位置信息是指所述各個標記點影像在預設的圖像坐標系中的位置信息;
[0018]所述第三處理器根據所述N幀圖像,確定所述各個物理標記點與所述各個標記點影像之間的對應關系;
[0019]所述第三處理器根據所述各個物理標記點的實際位置信息,所述各個標記點影像的位置信息,以及所述各個物理標記點與所述各個標記點影像之間的對應關系,確定所述虛擬現實設備產生的平移量;所述各個物理標記點的實際位置信息是所述各個物理標記點在預設的世界坐標系中的位置信息。
[0020]本發明實施例中,虛擬現實設備的各物理標記點根據設定的狀態控制策略來展現各物理標記點在不同時刻的狀態,從而使得第一至第N幀圖像中的各個物理標記點的標記點影像也具有不同的狀態信息,進而根據各個標記點影像在各個時刻顯示的狀態信息與各物理標記點根據設定的狀態控制策略在不同時刻展現的狀態,更準確快速地得到標記點影像與物理標記點的對應關系,并基于標記點影像的位置信息和物理標記點的位置信息,確定出虛擬現實設備的運動姿態信息,相對于現有技術中采用陀螺儀等傳感器獲取旋轉姿態的方法,本發明實施例能夠有效確定出虛擬現實設備的平移量,從而更準確快速地感知虛擬現實設備的運動姿態,實時性較高,能夠顯著改善用戶的實際體驗。
[0021]進一步地,所述第三處理器根據所述N幀圖像,確定所述各個物理標記點與所述各個物理標記點的標記點影像之間的對應關系,包括:
[0022]根據所述N幀圖像中所述各個標記點影像的顯示信息和所述預先設定的狀態控制策略,確定所述各個標記點影像對應的二進制編碼;
[0023]根據所述各個標記點影像對應的二進制編碼,確定所述各個標記點影像的編號;
[0024]根據所述各個標記點影像之間的位置關系,確定所述各個標記點影像的編號之間的位置關系;
[0025]若所述各個標記點影像的編號之間的位置關系與所述各個物理標記點的編號之間的位置關系一致,則根據編號信息,確定任一標記點影像對應的物理標記點。
[0026]進一步地,若所述各個標記點影像的編號之間的位置關系與所述各個物理標記點的編號之間的位置關系不一致,所述方法還包括:
[0027]所述第三處理器通知所述第一處理器向所述虛擬現實設備和所述攝像頭繼續發送第N+1至第2N個同步信號,以獲取所述攝像頭捕獲的所述虛擬現實設備的第N+1至第2N幀圖像;
[0028]所述第三處理器依次按照所述第二至第N+1幀、所述第三至第N+2幀,…,所述第N至第2N-1幀的次序構成多組N幀圖像,并根據所述多組N幀圖像的先后次序,依次返回根據所述N幀圖像,確定所述各個物理標記點與所述各個物理標記點的標記點影像之間的對應關系的步驟,直至一組N幀圖像中各個標記點影像的編號之間的位置關系與所述各個物理標記點的編號之間的位置關系一致。
[0029]進一步地,所述虛擬現實設備包括所述運動對象佩戴的至少一個頭盔設備和至少一個與所述頭盔設備配套的手柄設備;所述頭盔設備上設置m個物理標記點,所述手柄設備上設置P個物理標記點;
[0030]所述頭盔設備上包括第一控制電路,所述手柄設備上包括第二控制電路;
[0031]所述第一控制電路用于接收所述至少第I至第N個同步信號,根據接收到的所述同步信號,控制所述m個物理標記點在各個時刻的狀態;
[0032]所述第二控制電路用于接收所述至少第I至第N個同步信號,根據接收到的同步信號,控制所述P個物理標記點在各個時刻的狀態;
[0033]所述頭盔設備上還包括第一 MEMS傳感器;所述手柄設備上還包括第二 MEMS傳感器;
[0034]所述頭盔設備上還包括第一 MEMS傳感器;所述手柄設備上還包括第二 MEMS傳感器;所述方法還包括:
[0035]所述頭盔設備在所述第一控制電路接收至少所述第I至第N個同步信號之后,根據所述第一 MEMS傳感器采集到的所述頭盔設備的旋轉姿態信息,確定所述頭盔設備產生的旋轉量;
[0036]所述手柄設備在所述第二控制電路接收至少所述第I至第N個同步信號之后,根據所述第二MEMS傳感器采集到的所述手柄設備旋轉姿態信息,確定所述手柄設備產生的旋轉量。
[0037]進一步地,所述第一處理器和所述第三處理器集成在所述攝像裝置內,所述第二處理器集成在所述頭盔設備內;則所述根據所述N幀圖像確定所述虛擬現實設備的運動姿態,包括:
[0038]所述頭盔設備通過所述攝像裝置與所述頭盔設備之間的通訊電路,獲取所述頭盔設備和所述手柄設備產生的平移量;
[0039]所述頭盔設備通過所述手柄設備與所述頭盔設備的之間的通訊電路,獲取所述手柄設備產生的旋轉量;
[0040]所述頭盔設備根據所述頭盔設備和所述手柄設備產生的平移量、所述頭盔設備和所述手柄設備產生的旋轉量,確定所述運動對象產生的姿態信息;
[0041 ]所述頭盔設備根據所述姿態信息,控制所述頭盔設備的顯示器的顯示。
[0042]進一步地,所述第三處理器集成在所述攝像裝置的主控制器內;所述第一處理器和所述第二處理器集成在第一服務器內;所述根據所述N幀圖像確定所述虛擬現實設備的運動姿態,包括:
[0043]所述第一服務器通過所述攝像裝置與所述第一服務器之間的通訊電路,獲取所述頭盔設備和所述手柄設備產生的平移量;
[0044]所述第一服務器通過所述手柄設備與所述第一服務器之間的通訊電路,獲取所述手柄設備產生的旋轉量;
[0045]所述第一服務器通過所述頭盔設備與所述第一服務器之間的通訊電路,獲取所述頭盔設備產生的旋轉量;
[0046]所述第一服務器根據所述頭盔設備產生的平移量和旋轉量,以及所述手柄設備產生的平移量和旋轉量,確定所述運動對象產生的姿態信息;將所述姿態信息發送給所述頭盔設備,以使所述頭盔設備根據所述姿態信息,控制所述頭盔設備的顯示器的顯示。
[0047]本發明實施例提供一種運動對象追蹤系統,包括:
[0048]攝像裝置,用于在確定需獲取虛擬現實設備的運動姿態時,向所述虛擬現實設備和所述攝像裝置的攝像頭發送至少第I至第N個同步信號,以獲取所述攝像頭捕獲的所述虛擬現實設備的N幀圖像;所述虛擬現實設備的運動姿態是根據所述N幀圖像確定的;
[0049]虛擬現實設備,用于接收所述第一處理器發送的第i個同步信號,根據所述第i個同步信號,按預先設定的狀態控制策略展現所述虛擬現實設備上各個物理標記點的狀態,I^i^N;
[0050]所述攝像裝置的攝像頭,用于接收所述第一處理器發送的第i個同步信號,根據所述第i個同步信號,捕獲所述虛擬現實設備的第i幀圖像,所述第i幀圖像中包括所述各個物理標記點的標記點影像。
[0051]進一步地,所述預先設定的狀態控制策略包括:
[0052]所有虛擬現實設備的各個物理標記點具有唯一的編號,每個物理標記點的編號對應唯一的二進制編碼,二進制編碼的數位N根據物理標記點的數量確定;每個物理標記點在所述第i個同步信號對應時刻的狀態,由該物理標記點對應二進制編碼的第i個數位的數值標記,第i個數位的數值為0,物理標記點展現第一狀態,第i個數位的數值為I,物理標記點展現第二狀態。
[0053]進一步地,所述攝像裝置還用于:
[0054]獲取所述攝像頭捕獲的所述N幀圖像,根據所述N幀圖像確定所述各個標記點影像的位置信息;所述各個標記點影像的位置信息是指所述各個標記點影像在預設的圖像坐標系中的位置信息;
[0055]根據所述N幀圖像,確定所述各個物理標記點與所述各個標記點影像之間的對應關系;
[0056]根據所述各個物理標記點的實際位置信息,所述各個標記點影像的位置信息,以及所述各個物理標記點與所述各個標記點影像之間的對應關系,確定所述虛擬現實設備產生的平移量;所述各個物理標記點的實際位置信息是所述各個物理標記點在預設的世界坐標系中的位置信息。
[0057]進一步地,所述攝像裝置具體用于:
[0058]根據所述N幀圖像中所述各個標記點影像的顯示信息和所述預先設定的狀態控制策略,確定所述各個標記點影像對應的二進制編碼;
[0059]根據所述各個標記點影像對應的二進制編碼,確定所述各個標記點影像的編號;
[0060]根據所述各個標記點影像之間的位置關系,確定所述各個標記點影像的編號之間的位置關系;
[0061]若所述各個標記點影像的編號之間的位置關系與所述各個物理標記點的編號之間的位置關系一致,則根據編號信息,確定任一標記點影像對應的物理標記點。
[0062]進一步地,所述攝像裝置還用于:
[0063]若所述各個標記點影像的編號之間的位置關系與所述各個物理標記點的編號之間的位置關系不一致,所述攝像裝置向所述虛擬現實設備和所述攝像頭繼續發送第N+1至第2N個同步信號,以獲取所述攝像頭捕獲的所述虛擬現實設備的第N+1至第2N幀圖像;
[0064]所述攝像裝置依次按照所述第二至第N+1幀、所述第三至第N+2幀,…,所述第N至第2N-1幀的次序構成多組N幀圖像,并根據所述多組N幀圖像的先后次序,依次返回根據所述N幀圖像,確定所述各個物理標記點與所述各個物理標記點的標記點影像之間的對應關系的步驟,直至一組N幀圖像中各個標記點影像的編號之間的位置關系與所述各個物理標記點的編號之間的位置關系一致。
[0065]進一步地,所述虛擬現實設備包括所述運動對象佩戴的至少一個頭盔設備和至少一個與所述頭盔設備配套的手柄設備;所述頭盔設備上設置m個物理標記點,所述手柄設備上設置P個物理標記點;
[0066]所述頭盔設備上包括第一控制電路,所述手柄設備上包括第二控制電路;
[0067]所述第一控制電路,用于接收所述第I至第N個同步信號,根據接收到的所述同步信號,控制所述m個物理標記點在各個時刻的狀態;
[0068]所述第二控制電路,用于接收所述第I至第N個同步信號,根據接收到的同步信號,控制所述P個物理標記點在各個時刻的狀態;
[0069]所述頭盔設備上還包括第一 MEMS傳感器;所述手柄設備上還包括第二 MEMS傳感器;
[0070]所述頭盔設備,還用于在所述第一控制電路接收至少所述第I至第N個同步信號之后,根據所述第一MEMS傳感器采集到的所述頭盔設備的旋轉姿態信息,確定所述頭盔設備產生的旋轉量;
[0071]所述手柄設備,還用于在所述第二控制電路接收至少所述第I至第N個同步信號之后,根據所述第二 MEMS傳感器采集到的所述手柄設備旋轉姿態信息,確定所述手柄設備產生的旋轉量。
[0072]進一步地,所述頭盔設備具體用于:
[0073]所述頭盔設備通過所述攝像裝置與所述頭盔設備之間的通訊電路,獲取所述頭盔設備和所述手柄設備產生的平移量;
[0074]所述頭盔設備通過所述手柄設備與所述頭盔設備的之間的通訊電路,獲取所述手柄設備產生的旋轉量;
[0075]所述頭盔設備根據所述頭盔設備和所述手柄設備產生的平移量、所述頭盔設備和所述手柄設備產生的旋轉量,確定所述運動對象產生的姿態信息;
[0076]所述頭盔設備根據所述姿態信息,控制所述頭盔設備的顯示器的顯示。
[0077]本發明實施例提供一種運動對象追蹤系統,包括:
[0078]第一服務器,用于在確定需獲取虛擬現實設備的運動姿態時,向所述虛擬現實設備和所述攝像裝置的攝像頭發送至少第I至第N個同步信號,以獲取所述攝像頭捕獲的所述虛擬現實設備的N幀圖像;所述虛擬現實設備的運動姿態是根據所述N幀圖像確定的;
[0079]虛擬現實設備,用于接收所述第一處理器發送的第i個同步信號,根據所述第i個同步信號,按預先設定的狀態控制策略展現所述虛擬現實設備上各個物理標記點的狀態,I^i^N;
[0080]所述攝像裝置的攝像頭,用于接收所述第一處理器發送的第i個同步信號,根據所述第i個同步信號,捕獲所述虛擬現實設備的第i幀圖像,所述第i幀圖像中包括所述各個物理標記點的標記點影像。
[0081 ]進一步地,所述攝像裝置還用于:
[0082]獲取所述攝像頭捕獲的所述N幀圖像,根據所述N幀圖像確定所述各個標記點影像的位置信息;所述各個標記點影像的位置信息是指所述各個標記點影像在預設的圖像坐標系中的位置信息;
[0083]根據所述N幀圖像,確定所述各個物理標記點與所述各個標記點影像之間的對應關系;
[0084]根據所述各個物理標記點的實際位置信息,所述各個標記點影像的位置信息,以及所述各個物理標記點與所述各個標記點影像之間的對應關系,確定所述虛擬現實設備的平移量;所述各個物理標記點的實際位置信息是所述各個物理標記點在預設的世界坐標系中的位置信息。
[0085]進一步地,所述虛擬現實設備包括所述運動對象佩戴的至少一個頭盔設備和至少一個與所述頭盔設備配套的手柄設備;所述頭盔設備上設置m個物理標記點,所述手柄設備上設置P個物理標記點;
[0086]所述頭盔設備上包括第一控制電路,所述手柄設備上包括第二控制電路;
[0087]所述第一控制電路,用于接收所述第I至第N個同步信號,根據接收到的所述同步信號,控制所述m個物理標記點在各個時刻的狀態;
[0088]所述第二控制電路,用于接收所述第I至第N個同步信號,根據接收到的同步信號,控制所述P個物理標記點在各個時刻的狀態;
[0089]所述頭盔設備上還包括第一 MEMS傳感器;所述手柄設備上還包括第二 MEMS傳感器;
[0090]所述頭盔設備,還用于在所述第一控制電路接收至少所述第I至第N個同步信號之后,根據所述第一MEMS傳感器采集到的所述頭盔設備的旋轉姿態信息,確定所述頭盔設備產生的旋轉量;
[0091]所述手柄設備,還用于在所述第二控制電路接收至少所述第I至第N個同步信號之后,根據所述第二 MEMS傳感器采集到的所述手柄設備旋轉姿態信息,確定所述手柄設備產生的旋轉量。
[0092]進一步地,所述第一服務器具體用于:
[0093]所述第一服務器通過所述攝像裝置與所述第一服務器之間的通訊電路,獲取所述頭盔設備和所述手柄設備產生的平移量;
[0094]所述第一服務器通過所述手柄設備與所述第一服務器之間的通訊電路,獲取所述手柄設備產生的旋轉量;
[0095]所述第一服務器通過所述頭盔設備與所述第一服務器之間的通訊電路,獲取所述頭盔設備產生的旋轉量;
[0096]所述第一服務器根據所述頭盔設備產生的平移量和旋轉量,以及所述手柄設備產生的平移量和旋轉量,確定所述運動對象產生的姿態信息;將所述姿態信息發送給所述頭盔設備,以使所述頭盔設備根據所述姿態信息,控制所述頭盔設備的顯示器的顯示。
[0097]本發明上述實施例中,為了實現虛擬現實設備和攝像裝置攝像頭的同步,在需要獲取虛擬現實設備的運動姿態時,分別向所述虛擬現實設備和攝像裝置的攝像頭發送至少第I至第N個同步信號,攝像裝置和虛擬現實設備接收同步信號的時刻同步,使得虛擬現實設備每接收一個同步信號,按預先設定的狀態控制策略展現虛擬現實設備上各個物理標記點的狀態,攝像裝置的攝像頭每接收一個同步信號捕獲一幀虛擬現實設備的圖像,捕獲的圖像中包括所述各個物理標記點在捕獲時刻的標記點影像,這樣,實現了虛擬現實設備上各個物理標記點展現的狀態,與攝像頭捕獲的圖像中各個物理標記點的標記點影像之間的同步關系,而虛擬現實設備的運動姿態是根據所述攝像頭捕獲的所述虛擬現實設備的N幀圖像確定的,預先設定的狀態控制策略中包括每個物理標記點在各個時刻的預設狀態,這樣根據虛擬現實設備上的各個物理標記點在N幀圖像中的標記點影像信息,就可以準確、快速的確定出虛擬現實設備的運動姿態,進而解決了現有技術中存在的不能準確且快速的確定虛擬現實設備的運動姿態的技術問題。
【附圖說明】
[0098]附圖用來提供對本發明的進一步理解,并且構成說明書的一部分,與本發明實施例一起用于解釋本發明,并不構成對本發明的限制。在附圖中:
[0099]圖1為本發明實施例提供的一種運動對象追蹤方法流程的示意圖;
[0100]圖2為本發明實施例提供的一種運動對象追蹤方法流程的示意圖;
[0101]圖3為本發明實施例提供的一種第三處理器根據N幀圖像,確定虛擬現實設備的平移量的方法流程的示意圖;
[0102]圖4為本發明實施例提供的一種第三處理器根據N幀圖像,確定各個物理標記點與各個物理標記點的標記點影像之間的對應關系的方法流程的示意圖;
[0103]圖5為本發明實施例提供的第一種優選的系統架構的結構示意圖;
[0104]圖6為本發明實施例提供的第一種系統架構中的運動對象追蹤方法流程的示意圖;
[0105]圖7為本發明實施例提供的第二種優選的系統架構的結構示意圖;
[0106]圖8為本發明實施例提供的第二種系統架構中的運動對象追蹤方法的流程示意圖;
[0107]圖9至圖10為本發明實施例提供的一種運動對象追蹤系統的結構示意圖。
【具體實施方式】
[0108]為了使本發明所解決的技術問題、技術方案以及有效果更加清楚明白,以下結合說明書附圖對本發明的優選實施例進行說明,應當理解,此處所描述的優選實施例僅用于說明和解釋本發明,并不用于限定本發明。并且在不沖突的情況下,本申請中的實施例及實施例中的特征可以相互組合。
[0109]本發明實施例提供一種運動對象追蹤方法的具體方法流程包括控制指令的交互流程和數據的交互流程,例如,發送同步信號的控制指令,發送虛擬現實設備產生的平移量數據或旋轉量的指令等。因本發明實施例可以適用于多種系統架構,每種系統架構中執行各個控制指令、數據指令的交互流程的控制設備稍有不同,為了展現本發明實施例的整體方法流程,本發明實施例用第一處理器,第二處理器和第三處理器來代表執行不同控制功能的t吳塊。
[0110]本發明實施例中的第一處理器主要用于向虛擬現實設備和攝像裝置的攝像頭發送同步信號;第三處理器主要用于根據攝像裝置的攝像頭獲取的N幀圖像,確定虛擬現實設備產生的平移量;第二處理器主要用于獲取虛擬現實設備產生的旋轉量,和第三處理器確定的虛擬現實設備產生的平移量,并根據虛擬現實設備產生的旋轉量和虛擬現實設備產生的平移量,確定虛擬現實設備的運動姿態。
[0111]下面結合第一處理器,第二處理器,第三處理器以及系統架構中包括的虛擬現實設備和攝像裝置來說明本發明實施例提供的運動對象追蹤方法的具體流程:
[0112]如圖1所示的,本發明實施例提供一種運動對象追蹤方法的具體流程包括:
[0113]步驟101,第一處理器在確定需獲取虛擬現實設備的運動姿態時,向虛擬現實設備和攝像裝置的攝像頭發送至少第I至第N個同步信號,以獲取攝像頭捕獲的虛擬現實設備的N幀圖像;虛擬現實設備的運動姿態是根據N幀圖像確定的;
[0114]步驟102,虛擬現實設備接收第一處理器發送的第i個同步信號,根據第i個同步信號,按預先設定的狀態控制策略展現虛擬現實設備上各個物理標記點的狀態;其中,
N;
[0115]步驟103,攝像裝置的攝像頭接收第一處理器發送的第i個同步信號,根據第i個同步信號,捕獲虛擬現實設備的第i幀圖像,第i幀圖像中包括各個物理標記點的標記點影像。
[0116]進一步地,如圖2所示,基于上述步驟101至步驟103,上述方法還包括:
[0117]步驟104,第三處理器獲取攝像頭捕獲的N幀圖像;
[0118]步驟105,,第三處理器根據攝像裝置的攝像頭獲取的N幀圖像,確定虛擬現實設備的平移量;
[0119]步驟106,第二處理器獲取虛擬現實設備產生的旋轉量,虛擬現實設備產生的旋轉量是根據虛擬現實設備的傳感器采集的數據確定的;
[0120]步驟107,第二處理器獲取第三處理器得到的虛擬現實設備產生的平移量,虛擬現實設備產生的平移量是第三處理器根據攝像頭捕獲的N幀圖像確定的;
[0121]步驟108,第二處理器根據虛擬現實設備產生的旋轉量和虛擬現實設備產生的平移量,確定虛擬現實設備的運動姿態。
[0122]其中,虛擬現實設備的運動姿態表征運動對象在N個時刻產生的整體空間平移量,包括水平平移量和旋轉平移量。第二處理器根據設定的算法來融合虛擬現實設備產生的旋轉量和虛擬現實設備產生的平移量,得到虛擬現實設備在N個時刻的運動姿態,N個時刻是指虛擬現實設備在接收到第一至第N個同步信號的各個時刻。具體的融合算法不是本發明實施例的重點,此處省去對其的具體解釋。本發明對融合算法不做具體限定,融合算法能夠實現根據虛擬現實設備產生的旋轉量和虛擬現實設備產生的平移量,確定虛擬現實設備的運動姿態的功能。
[0123]下面對于上述實施例中的預先設定的狀態控制策略進行說明。
[0124]所有虛擬現實設備的各個物理標記點具有唯一的編號,每個物理標記點的編號對應唯一的二進制編碼,二進制編碼的數位N根據物理標記點的數量確定;每個物理標記點在第i個同步信號對應時刻的狀態,由該物理標記點對應二進制編碼的第i個數位的數值標記,第i個數位的數值為0,物理標記點展現第一狀態,第i個數位的數值為I,物理標記點展現第二狀態。
[0125]值得說明的是,為了便于計算虛擬現實設備上各個物理標記點與N幀圖像中虛擬現實備上各個標記點影像之間的對應關系,虛擬現實設備上的各個物理標記點是按照預先設置的布設規則在虛擬現實設備上進行布設的紅外燈,例如虛擬現實設備為虛擬頭盔設備,虛擬頭盔設備各個側面上的紅外燈均按照凸多邊形陣列的方式進行布設。預先設置的布設規則中,以攝像裝置為參考物,預設各個物理標記點在虛擬現實設備上的位置。
[0126]值得說明的是,上述步驟中的虛擬現實設備至少包括頭盔設備,還可同時包括與頭盔設備配套的手柄設備,在同一系統構架中,頭盔設備和手柄設備均可以設置為多個,同一系統構架中,攝像裝置可以設置為一個,也可以設置為多個,本發明實施例對頭盔設備、手柄設備和攝像裝置的數目不做限定,在優選的實施例中,一個系統構架下可以包括子系統,一個子系統內包括一個攝像裝置和制售一個頭盔設備。
[0127]值得說明的是,步驟101中,N的值代表二進制編碼的數位,二進制編碼的數位根據所有虛擬現實設備上物理標記點的總數確定,例如,某個系統構架下包括一個頭盔設備,兩個手柄設備,一個頭盔設備上設置有40個紅外燈,手柄設備I上設備有28個紅外燈,手柄設備I上設備有28個紅外燈,共有96個紅外燈。為了保證每個紅外燈具有唯一的編號,每個紅外燈的編號對應唯一的二進制編碼,將二進制編碼的數位N至少確定為7(27=128,數位N為7最多能夠為128個物理標記點提供唯一的二進制編碼),即每一個編號的二進制編碼由7bit組成,每個bit位的值要么為0,要么為I,且這96個紅外燈的編號為I至96。對于每個編號對應的二進制編碼,7個數位可以由低位向高位依次編序,例如,編號為I的紅外燈的二進制編碼為0000001,則第I位的數值為I,其他數位的值為O;編號為2的紅外燈的二進制編碼為0000010,第2位的數值為I,其他數位的值為O ;編號為3的紅外燈的二進制編碼為
0000011。第I位和第2位的數值為I,其他數位的值為O,依次類推。
[0128]在此示例中,正常情況下頭盔設備、手柄設備均接收到第I至第7個同步信號,每個物理標記點在第i個同步信號對應時刻的狀態,由該物理標記點對應二進制編碼的第i個數位的數值標記,可以理解為:在接收到第I個同步信號時,編號為I的紅外燈的狀態由二進制編碼0000001的第I位的數值標記,因第I位的數值為I,編號為I的紅外燈展現第二狀態,然后在接收到第2至第7個同步信號時,因第2至第7位的數值均為0,則編號為I的紅外燈展現第一狀態。再例如,在接收到第I個同步信號時,編號為2的紅外燈的狀態由二進制編碼0000010的第I位的數值標記,因第I位的數值為O,編號為I的紅外燈展現第一狀態,在接收到第2個同步信號時,編號為2的紅外燈的狀態由二進制編碼0000010的第2位的數值標記,因第2位的數值為I,編號為2的紅外燈展現第二狀態;然后在接收到第3至第7個同步信號時,因第3至第7位的數值均為0,則編號為2的紅外燈均展現第一狀態。再例如,在接收到第I個同步信號時,編號為3的紅外燈的狀態由二進制編碼0000011的第I位的數值標記,因第I位的數值為1,編號為3的紅外燈展現第二狀態;在接收到第2個同步信號時,編號為3的紅外燈的狀態由二進制編碼0000011的第2位的數值標記,因第2位的數值為I,編號為3的紅外燈展現第二狀態;在接收到第3至第7個同步信號時,因第3至第7位的數值均為0,則編號為3的紅外燈均展現第一狀態。依次類推。
[0129]值得說明的是,預先設定的狀態控制策略中,第i個數位的數值為0,物理標記點展現第一狀態;第i個數位的數值為I,物理標記點展現第二狀態。其中,第一狀態可以為指示燈半亮,第二狀態可以為指示燈全亮,第一狀態和第二狀態也可以是指示紅外燈不同亮度的其他狀態,本發明對此不作具體限定。
[0130]進一步地,步驟104中,第三處理器根據N幀圖像,確定虛擬現實設備的平移量,具體包括如下步驟,如圖3所示:
[0131]步驟301,第三處理器獲取攝像頭捕獲的N幀圖像,根據N幀圖像確定各個標記點影像的位置信息;各個標記點影像的位置信息是指各個標記點影像在預設的圖像坐標系中的位置信息;
[0132]步驟302,第三處理器根據N幀圖像,確定各個物理標記點與各個標記點影像之間的對應關系;
[0133]步驟303,第三處理器根據各個物理標記點的實際位置信息,各個標記點影像的位置信息,以及各個物理標記點與各個標記點影像之間的對應關系,確定虛擬現實設備產生的平移量;其中,各個物理標記點的實際位置信息是各個物理標記點在預設的世界坐標系中的位置信息。步驟303中,具體是根據PnP算法確定虛擬現實設備產生的平移量,虛擬現實設備產生的平移量是以攝像裝置的位置為參考而確定出的在N個時刻(N個時刻是指接收到第一至第N個同步信號的各個時刻)的運動軌跡的平移量。
[0134]本發明實施例中,虛擬現實設備的各物理標記點根據設定的狀態控制策略來展現各物理標記點在不同時刻的狀態,從而使得第一至第N幀圖像中的各個物理標記點的標記點影像也具有不同的狀態信息,進而根據各個標記點影像在各個時刻顯示的狀態信息與各物理標記點根據設定的狀態控制策略在不同時刻展現的狀態,更準確快速地得到標記點影像與物理標記點的對應關系,并基于標記點影像的位置信息和物理標記點的位置信息,確定出虛擬現實設備的運動姿態信息,相對于現有技術中采用陀螺儀等傳感器獲取旋轉姿態的方法,本發明實施例能夠有效確定出虛擬現實設備的平移量,從而更準確快速地感知虛擬現實設備的運動姿態,實時性較高,能夠顯著改善用戶的實際體驗。
[0135]進一步地,步驟302中,第三處理器根據N幀圖像,確定各個物理標記點與各個物理標記點的標記點影像之間的對應關系,如圖4所示,包括:
[0136]步驟401,第三處理器根據N幀圖像中各個標記點影像的顯示信息和預先設定的狀態控制策略,確定各個標記點影像對應的二進制編碼;
[0137]步驟402,第三處理器根據各個標記點影像對應的二進制編碼,確定各個標記點影像的編號;
[0138]步驟403,第三處理器根據各個標記點影像之間的位置關系,確定各個標記點影像的編號之間的位置關系;
[0139]步驟404,判斷各個標記點影像的編號之間的位置關系與各個物理標記點的編號之間的位置關系是否一致;
[0140]步驟405,若各個標記點影像的編號之間的位置關系與各個物理標記點的編號之間的位置關系一致,則第三處理器根據編號信息,確定任一標記點影像對應的物理標記點。
[0141]正常情況下,第三處理器根據第I至第N幀圖像,可以準確的確定出任一標記點影像對應的物理標記點,但一種特殊情況下也會存在各個標記點影像的編號之間的位置關系與各個物理標記點的編號之間的位置關系不一致的問題。比如,正常情況下一個系統中的虛擬現實設備包括7個紅外燈,虛擬現實設備均接收到第I至第3個同步信號,虛擬現實設備的每個紅外燈的編號用3個數位的二進制編碼表示,假如編號為3的紅外燈的二進制編碼為011,在接收到第I個同步信號時,編號為3的紅外燈展現全亮的狀態,在接收到第2個同步信號時,編號為3的紅外燈也展現全亮的狀態,在接收到第3個同步信號時,編號為3的紅外燈均展現半亮的狀態。假如攝像頭啟動后,因內部小故障,使得攝像頭在接收到第I個同步信號時,拍攝的第I幀圖像中顯示虛擬現實設備接收到第2個同步信號并展現的狀態(全部紅外燈按照第2位的數值進行狀態展現),攝像頭在接收到第2個同步信號時,拍攝的第2幀圖像中顯示虛擬現實設備接收到第3個同步信號并展現的狀態(全部紅外燈按照第3位的數值進行狀態展現),當攝像頭在接收到第3個同步信號時,拍攝的第3幀圖像,但此時虛擬現實設備可能不再接收同步信號,紅外燈全滅,也可能虛擬現實設備繼續接收下一組(第4至第6個同步信號)的第I個同步信號。假設虛擬現實設備繼續接收下一組的3個同步信號,攝像頭拍攝的第3幀圖像中顯示虛擬現實設備接收到下一組的第I個同步信號并展現的狀態(全部紅外燈按照第I位的數值進行狀態展現)。此時,第三處理器會根據這3幀圖像中7個標記點影像的顯示信息,確定出3幀圖像中按照預設排布方式排布的預設位置的7個標記點影像的編號依次為4(100),1(001 ),5(101),2(010),6(110),3(011),7(111),但是實際上滿足預設位置關系的7個物理標記點的編號依次為1,2,3,4,5,6,7,即各個標記點影像的編號之間的位置關系與各個物理標記點的編號之間的位置關系不一致。
[0142]如果出現各個標記點影像的編號之間的位置關系與各個物理標記點的編號之間的位置關系不一致的情況,繼續按照步驟301至步驟303確定出的虛擬現實設備的平移量會存在誤差。
[0143]進一步地,為了解決各個標記點影像的編號之間的位置關系與各個物理標記點的編號之間的位置關系不一致的問題,如圖4所示,上述方法還包括:
[0144]步驟406,第三處理器通知第一處理器向虛擬現實設備和攝像頭繼續發送第N+1至第2N個同步信號,以獲取攝像頭捕獲的虛擬現實設備的第N+1至第2N幀圖像;
[0145]步驟407,第三處理器依次按照第二至第N+1幀、第三至第N+2幀,…,第N至第2N-1幀的次序構成多組N幀圖像,并根據多組N幀圖像的先后次序,依次返回步驟401至步驟407,直至一組N幀圖像中各個標記點影像的編號之間的位置關系與各個物理標記點的編號之間的位置關系一致。
[0146]下面結合上述示例對上述步驟406和步驟407的方法流程進行說明。假如編號I至7對應的二進制編碼的各個第I位的數值集合為NI,編號I至7對應的二進制編碼的各個第2位的數值集合為N2,編號I至7對應的二進制編碼的各個第3位的數值集合為N3,正常情況下,虛擬現實設備在分別接收到第I至第3個同步信號時所展現的狀態依次為(N1,N2,N3),假如攝像頭分別接收到第I至第3個同步信號時拍攝的圖像中所顯示的虛擬現實設備展現的狀態為(N2,N3,N1),則按照上述步驟406和步驟407,攝像頭繼續接收第4個同步信號,并在接收到第4個同步信號時拍攝第4幀圖像,同時,虛擬現實設備繼續接收第4個同步信號,展現NI狀態;第三處理器將攝像頭拍攝的第2至第4幀圖像重新組合為一組3幀圖像,重新組合的3幀圖像中顯示的虛擬現實設備展現的狀態為(N3,N1,N2),此時,重新組合的3幀圖像中各個標記點影像的編號之間的位置關系與各個物理標記點的編號之間的位置關系依舊不一致。那么攝像頭繼續接收第5個同步信號,并在接收到第5個同步信號時拍攝第5幀圖像;同時,虛擬現實設備繼續接收第5個同步信號,展現N2狀態;第三處理器將攝像頭拍攝的第3至第5幀圖像重新組合為一組3幀圖像,重新組合的3幀圖像中顯示的虛擬現實設備展現的狀態為(NI,N2,N3),即重新組合的3幀圖像中各個標記點影像的編號之間的位置關系與各個物理標記點的編號之間的位置關系一致。
[0147]按照上述方法流程可以糾正上述方法流程中出現的攝像頭在接收到第i個同步信號的對應時刻拍攝的圖像中各個標記點影像所展現的狀態與虛擬現實設備在接收到第i個同步信號的對應時刻各個物理標記點實際展現的狀態不一致的問題,確保各個物理標記點與各個標記點影像的對應關系中,各個標記點影像的編號之間的位置關系與各個物理標記點的編號之間的位置關系一致,進而準確的確定出虛擬現實設備產生的平移量。
[0148]上述方法流程具有以下有益效果:為了實現虛擬現實設備和攝像裝置攝像頭的同步,在需要獲取虛擬現實設備的運動姿態時,分別向虛擬現實設備和攝像裝置的攝像頭發送至少第丨至第N個同步信號,攝像裝置和虛擬現實設備接收同步信號的時刻同步,使得虛擬現實設備每接收一個同步信號,按預先設定的狀態控制策略展現虛擬現實設備上各個物理標記點的狀態,攝像裝置的攝像頭每接收一個同步信號捕獲一幀虛擬現實設備的圖像,捕獲的圖像中包括各個物理標記點在捕獲時刻的標記點影像,這樣,實現了虛擬現實設備上各個物理標記點展現的狀態,與攝像頭捕獲的圖像中各個物理標記點的標記點影像之間的同步關系,而虛擬現實設備的運動姿態是根據攝像頭捕獲的虛擬現實設備的N幀圖像確定的,預先設定的狀態控制策略中包括每個物理標記點在各個時刻的預設狀態,這樣根據虛擬現實設備上的各個物理標記點在N幀圖像中的標記點影像信息,就可以準確、快速的確定出虛擬現實設備的運動姿態。
[0149]基于上述方法流程,本發明實施例提供的運動對象追蹤方法適用于多種系統構架,每種系統構架中都至少包括頭盔設備和攝像裝置,為了清楚的說明本發明實施例的優選方案,下面以兩種優選的系統構架為例,對本發明實施例提供的優選方案進行說明。
[0150]第一種優選系統構架中,如圖5所示,虛擬現實設備包括一個頭盔設備501、一個手柄設備502和一個攝像裝置503,且第一處理器和第三處理器集成在攝像裝置503內,第二處理器集成在頭盔設備501內。
[0151]攝像裝置503包括主控制器51、攝像頭52,通訊電路53,攝像頭52包括紅外圖像傳感器54、圖像信號處理器55。主控制器51可以為FPGA、CPLD等可編程器件或者CPU微處理器等;紅外圖像傳感器54可以是CMOS圖像傳感器,在此不做限制;圖像信號處理器55實現對紅外圖像傳感器54采集到等圖像信號進行處理;通訊電路53主要是實現系統通訊功能,實現方式可以是有線(如USB)或者是無線(如藍牙)等方式,優選的為有線方式。其中,攝像頭52的拍攝幀率為60FPS。特別地,為擴充頭盔設備501或者手柄設備502的個數,在保證有效追蹤精度等肖LI提下,可以米用更1?拍攝幀率的攝像頭,比如120FPS。
[0152]頭盔設備501包括主控制器41、第一控制電路42、通訊電路43、第一 MEMS傳感器44和顯示器45,頭盔設備501上設置m個紅外燈,紅外燈的個數m在本發明實施例中不做具體限制,如40個,在保證有效追蹤精度等前提下,每個被追蹤的頭盔設備501的紅外燈個數可以適當調整。主控制器41也可以為FPGA、CPLD等可編程器件或者CPU微處理器等;第一控制電路42為紅外燈控制電路,主要實現對頭盔設備501上的紅外燈的控制;通訊電路43主要是實現系統通訊功能,實現方式可以是有線(如USB)或者是無線(如藍牙)等方式;第一 MEMS傳感器44用于采集頭盔設備501的旋轉姿態信息;顯示器45,用于顯示虛擬畫面。
[0153]手柄設備502包括:主控制器31、第二控制電路32、通訊電路33和第二MEMS傳感器34,手柄設備502上設置P個紅外燈,紅外燈的個數P在本發明實施例中不做具體限制,如28個,在保證有效追蹤精度等前提下,每個被追蹤的手柄設備502的紅外燈個數可以適當調整。主控制器31也可以為FPGA、CPLD等可編程器件或者CPU微處理器等;第二控制電路32為紅外燈控制電路,主要實現對手柄設備502上的紅外燈的控制;通訊電路33主要是實現系統通訊功能,實現方式可以是有線(如USB)或者是無線(如藍牙)等方式;第二 MEMS傳感器34用于采集手柄設備502的旋轉姿態信息。
[0154]頭藍設備501、手柄設備502和攝像裝置503之間通過通訊電路建立連接。
[0155]攝像裝置503用于向虛擬現實設備和攝像裝置503的攝像頭發送同步信號,根據攝像裝置503的攝像頭獲取的N幀圖像,確定虛擬現實設備產生的平移量。
[0156]頭盔設備501用于獲取虛擬現實設備產生的旋轉量,和虛擬現實設備產生的平移量,并根據虛擬現實設備產生的旋轉量和虛擬現實設備產生的平移量,確定虛擬現實設備的運動姿態。
[0157]在這種系統架構下,由攝像裝置503確定頭盔設備501和手柄設備502的平移量,可以避免拍攝的N幀圖像數據的在系統中傳輸,由頭盔設備501根據虛擬現實設備產生的旋轉量和虛擬現實設備產生的平移量,確定虛擬現實設備的運動姿態,從而降低了系統服務器的處理負擔,進而可以保證追蹤運動對象姿態信息的速率。
[0158]第一種系統架構中的運動對象追蹤方法的流程,如圖6所示,包括:
[0159]步驟601,攝像裝置503在確定需獲取虛擬現實設備的運動姿態時,向頭盔設備501、手柄設備502和攝像裝置503的攝像頭52發送第I至第N個同步信號;
[0160]其中,第I至第N個同步信號為時鐘同步脈沖信號。
[0161]步驟602,頭盔設備501接收攝像裝置503發送的第I至第N個同步信號,頭盔設備501的第一控制電路42根據接收到的同步信號,按預先設定的狀態控制策略控制m個紅外燈在各個時刻的發光狀態,全亮或半亮;
[0162]其中,預先設定的狀態控制策略的具體內容參見上述實施例,此處不再累述。各個時刻是指在接收到第I至第N個同步信號的時刻。
[0163]步驟603,手柄設備502接收攝像裝置503發送的第I至第N個同步信號,手柄設備502的第二控制電路32根據接收到的同步信號,按預先設定的狀態控制策略,控制P個紅外燈在各個時刻的發光狀態;
[0164]其中,預先設定的狀態控制策略的具體內容參見上述實施例,此處不再累述。各個時刻是指在接收到第I至第N個同步信號的時刻。
[0165]步驟604,攝像頭52接收攝像裝置503發送的第I至第N個同步信號,紅外圖像傳感器54根據接收到的同步信號,捕獲包括頭盔設備501和手柄設備502的第I至第N幀圖像,第I至第N幀圖像中包括頭盔設備501和手柄設備502的各個紅外燈在各個時刻的的標記點影像;
[0166]上述步驟602至步驟604沒有先后順序,應當理解為同時發生。
[0167]步驟605,攝像裝置503的圖像信號處理器55根據紅外圖像傳感器54獲取的N幀圖像,確定頭盔設備501和手柄設備502的平移量;
[0168]具體的,圖像信號處理器55根據紅外圖像傳感器54獲取的N幀圖像,確定頭盔設備501和手柄設備502的的平移量的具體步驟參見上述實施例中的步驟301至步驟303,以及步驟401至步驟405的具體內容,此處不再累述。
[0169]步驟606,在頭盔設備501的第一控制電路42接收第I至第N個同步信號之后,頭盔設備501的主控制器41根據第一 MEMS傳感器44采集到的頭盔設備501的旋轉姿態信息,確定頭盔設備501產生的旋轉量;
[0170]步驟607,在手柄設備502的第二控制電路32接收第I至第N個同步信號之后,手柄設備502的主控制器31根據第二 MEMS傳感器34采集到的手柄設備502的旋轉姿態信息,確定手柄設備502產生的旋轉量;
[0171]步驟608,頭盔設備501通過攝像裝置503與頭盔設備501之間的通訊電路,獲取頭盔設備501和手柄設備502產生的平移量;具體的,攝像裝置503通過與頭盔設備501之間的通訊電路將頭盔設備501和手柄設備502的平移量發送給頭盔設備501。
[0172]步驟609,頭盔設備501通過手柄設備502與頭盔設備501的之間的通訊電路,獲取手柄設備502產生的旋轉量;
[0173]具體的,手柄設備502通過與頭盔設備501的之間的通訊電路,將手柄設備502在產生的旋轉量發送給頭盔設備501;
[0174]步驟610,頭盔設備501根據頭盔設備501和手柄設備502產生的平移量、頭盔設備501和手柄設備502產生的旋轉量,確定運動對象產生的姿態信息;
[0175]步驟611,頭盔設備501根據姿態信息,控制頭盔設備501的顯示器45的顯示。
[0176]其中,頭盔設備根據所述第一MEMS傳感器采集到的所述頭盔設備的旋轉姿態信息,確定所述頭盔設備產生的旋轉量;手柄設備根據第二 MEMS傳感器采集到的手柄設備旋轉姿態信息,確定手柄設備產生的旋轉量;均是基于現有技術中的成熟算法得到的,如PNP算法,此處不做詳述。
[0177]上述實施例中,第一種優選的系統架構下,在需要獲取虛擬現實設備的運動姿態時,攝像裝置的主控制器分別向虛擬現實設備(包括頭盔設備和手柄設備)和攝像裝置的攝像頭發送至少第I至第N個同步信號,攝像裝置和虛擬現實設備(包括頭盔設備和手柄設備)接收同步信號的時刻同步,使得虛擬現實設備每接收一個同步信號,按預先設定的狀態控制策略展現虛擬現實設備(包括頭盔設備和手柄設備)上各個紅外燈的狀態,攝像裝置的攝像頭每接收一個同步信號捕獲一幀虛擬現實設備(包括頭盔設備和手柄設備)的圖像,捕獲的圖像中包括各個紅外燈在捕獲時刻的標記點影像,這樣,實現了虛擬現實設備(包括頭盔設備和手柄設備)上各個紅外燈展現的狀態,與攝像頭捕獲的圖像中各個紅外燈的標記點影像之間的同步關系。預先設定的狀態控制策略中包括每個紅外燈在各個時刻的預設狀態,這樣攝像裝置的主控制器就可以根據虛擬現實設備(包括頭盔設備和手柄設備)上的各個紅外燈在N幀圖像中的標記點影像信息,準確、快速的確定虛擬現實設備的平移量;基于所述頭盔設備和所述手柄設備產生的平移量和旋轉量,頭盔設備就可以準確、快速的確定所述運動對象產生的姿態信息。
[0178]基于上述方法流程,本發明實施例還提供第二種優選的系統架構,如圖7所示,第二種系統構架中,虛擬現實設備包括一個頭盔設備71、一個手柄設備72和一個攝像裝置73,還包括一個PC上的第一服務器74,且第三處理器集成在攝像裝置的主控制器內,第一處理器和第二處理器集成在第一服務器74內的主控制器內;其中,第一服務器74,包括主控制器741和通訊電路742。第一服務器74與頭盔設備71、手柄設備72和攝像裝置73通過通訊電路連接。
[0179]攝像裝置73包括主控制器731、攝像頭732,通訊電路733,攝像頭732包括紅外圖像傳感器734、圖像信號處理器735。主控制器731可以為單片機,通過有線(如USB)或者無線(如藍牙)連接到第一服務器74;像信號處理器735實現對紅外圖像傳感器734采集到等圖像信號進行處理;通訊電路733主要是實現系統通訊功能優選的實現方式為有線連接。其中,攝像頭732的拍攝幀率為60FPS。特別地,為擴充頭盔設備或者手柄設備的個數,在保證有效追蹤精度等如提下,可以米用更尚拍攝幀率的攝像頭,比如120FPS。
[0180]頭盔設備71包括主控制器711、第一控制電路712、通訊電路713、第一 MEMS傳感器714和顯示器715,頭盔設備71上設置m個紅外燈,紅外燈的個數m在本發明實施例中不做具體限制,如40個,在保證有效追蹤精度等前提下,每個被追蹤的頭盔設備71的紅外燈個數可以適當調整。主控制器711可以為單片機,通過有線(如USB)或者無線(如藍牙)連接到第一服務器74;第一控制電路712為紅外燈控制電路,主要實現對頭盔設備71上的紅外燈的控制;通訊電路713主要是實現系統通訊功能,優選的實現方式為有線連接;第一 MEMS傳感器714用于采集頭盔設備71的旋轉姿態信息;顯示器715,用于顯示虛擬畫面。
[0181]手柄設備72包括:主控制器721、第二控制電路722、通訊電路723和第二 MEMS傳感器724,手柄設備72上設置P個紅外燈,紅外燈的個數P在本發明實施例中不做具體限制,如28個,在保證有效追蹤精度等前提下,每個被追蹤的手柄設備72的紅外燈個數可以適當調整。。主控制器721也可以為FPGA、CPLD等可編程器件或者CPU微處理器等;第二控制電路722為紅外燈控制電路,主要實現對手柄設備72上的紅外燈的控制;通訊電路723主要是實現系統通訊功能,優選的實現方式為有線連接;第二 MEMS傳感器724用于采集手柄設備72的旋轉姿態信息。
[0182]第一服務器74,包括主控制器741,通訊電路742,用于向虛擬現實設備和攝像裝置73的攝像頭發送同步信號;
[0183]攝像裝置73,用于根據攝像裝置73的攝像頭獲取的N幀圖像,確定虛擬現實設備產生的平移量。
[0184]第一服務器74,用于獲取虛擬現實設備產生的旋轉量,和虛擬現實設備產生的平移量,并根據虛擬現實設備產生的旋轉量和虛擬現實設備產生的平移量,確定虛擬現實設備的運動姿態。
[0185]在這種系統架構下,由攝像裝置確定頭盔設備和手柄設備的平移量,可以避免拍攝的N幀圖像數據的在系統中傳輸,降低了系統服務器的處理負擔,進而可以保證追蹤運動對象姿態信息的速率。
[0186]本發明實施例中,第二種系統架構中的運動對象追蹤方法的流程,如圖8所示,包括:
[0187]步驟801,第一服務器74在確定需獲取頭盔設備71、手柄設備72的運動姿態時,向頭盔設備71、手柄設備72和攝像裝置73發送第I至第N個同步信號;
[0188]其中,第I至第N個同步信號為時鐘同步脈沖信號。
[0189]步驟802,頭盔設備71接收第一服務器74發送的第I至第N個同步信號,第一控制電路712根據接收到的同步信號,按預先設定的狀態控制策略控制m個紅外燈在各個時刻的狀態;
[0190]其中,預先設定的狀態控制策略的具體內容參見上述實施例,此處不再累述。
[0191 ]步驟803,手柄設備72接收第一服務器74發送的第I至第N個同步信號,第二控制電路722根據接收到的同步信號,按預先設定的狀態控制策略,控制P個紅外燈在各個時刻的狀態;
[0192]其中,預先設定的狀態控制策略的具體內容參見上述實施例,此處不再累述。各個時刻是指在接收到第I至第N個同步信號的時刻。
[0193]步驟804,攝像裝置73接收第一服務器74發送的第I至第N個同步信號,紅外圖像傳感器734根據接收到的同步信號,捕獲包括頭盔設備71和手柄設備72的第I至第N幀圖像,第I至第N幀圖像中包括頭盔設備71和手柄設備72的各個紅外燈在各個時刻的的標記點影像;
[0194]上述步驟802至步驟804沒有先后順序,應當理解為同時發生。
[0195]步驟805,攝像裝置73的圖像信號處理器735根據紅外圖像傳感器734獲取的N幀圖像,確定虛擬現實設備的平移量;
[0196]具體的,圖像信號處理器735根據紅外圖像傳感器734獲取的N幀圖像,確定頭盔設備71和手柄設備72的的平移量的具體步驟參見上述實施例中的步驟301至步驟303,以及步驟401至步驟404的具體內容,此處不再累述。
[0197]步驟806,在頭盔設備71接收第I至第N個同步信號之后,頭盔設備71的主控制器711根據第一 MEMS傳感器714采集到的頭盔設備71的旋轉姿態信息,確定頭盔設備71產生的旋轉量;
[0198]步驟807,在手柄設備72接收第I至第N個同步信號之后,手柄設備72根據第二MEMS傳感器724采集到的手柄設備72旋轉姿態信息,確定手柄設備72產生的旋轉量;
[0199]步驟808,第一服務器74通過攝像裝置73與第一服務器74之間的通訊電路,獲取頭盔設備71和手柄設備72產生的平移量;具體的,攝像裝置73通過與第一服務器74之間的通訊電路將頭盔設備71和手柄設備72的平移量發送給第一服務器74;
[0200]步驟809,第一服務器74通過頭盔設備71與第一服務器74之間的通訊電路,獲取頭盔設備71產生的旋轉量;具體的,頭盔設備71通過與第一服務器74之間的通訊電路,將頭盔設備71產生的旋轉量發送給第一服務器74;
[0201]步驟810,第一服務器74通過手柄設備72與第一服務器74之間的通訊電路,獲取手柄設備72產生的旋轉量;具體的,手柄設備72通過與第一服務器74之間的通訊電路,將手柄設備72產生的旋轉量發送給第一服務器74;
[0202]步驟811,第一服務器74根據頭盔設備71產生的平移量和旋轉量,以及手柄設備72產生的平移量和旋轉量,確定運動對象產生的姿態信息;
[0203]步驟812,第一服務器74將姿態信息發送給頭盔設備71;
[0204]步驟813,頭盔設備71根據姿態信息,控制頭盔設備71的顯示器715的顯示。
[0205]其中,頭盔設備根據所述第一MEMS傳感器采集到的所述頭盔設備的旋轉姿態信息,確定所述頭盔設備產生的旋轉量;手柄設備根據第二 MEMS傳感器采集到的手柄設備旋轉姿態信息,確定手柄設備產生的旋轉量;均是基于現有技術中的成熟算法得到的,此處不做詳述。
[0206]上述實施例中,第二種優選的系統架構下,在需要獲取虛擬現實設備的運動姿態時,第一服務器分別向虛擬現實設備(包括頭盔設備和手柄設備)和攝像裝置的攝像頭發送至少第I至第N個同步信號,攝像裝置和虛擬現實設備(包括頭盔設備和手柄設備)接收同步信號的時刻同步,使得虛擬現實設備每接收一個同步信號,按預先設定的狀態控制策略展現虛擬現實設備(包括頭盔設備和手柄設備)上各個紅外燈的狀態,攝像裝置的攝像頭每接收一個同步信號捕獲一幀虛擬現實設備(包括頭盔設備和手柄設備)的圖像,捕獲的圖像中包括各個紅外燈在捕獲時刻的標記點影像,這樣,實現了虛擬現實設備(包括頭盔設備和手柄設備)上各個紅外燈展現的狀態,與攝像頭捕獲的圖像中各個紅外燈的標記點影像之間的同步關系。預先設定的狀態控制策略中包括每個紅外燈在各個時刻的預設狀態,這樣攝像裝置的主控制器就可以根據虛擬現實設備(包括頭盔設備和手柄設備)上的各個紅外燈在N幀圖像中的標記點影像信息,準確、快速的確定虛擬現實設備的平移量;基于所述頭盔設備和所述手柄設備產生的平移量和旋轉量,第一服務器就可以準確、快速的確定所述運動對象產生的姿態信息。
[0207]基于上述方法流程,本發明實施例還提供一種運動對象追蹤系統,這些運動對象追蹤系統的具體內容可以參照上述方法實施,在此不再贅述。
[0208]如圖9所示的本發明實施例提供一種運動對象追蹤系統,包括:
[0209]攝像裝置901,用于在確定需獲取虛擬現實設備902的運動姿態時,向虛擬現實設備902和攝像裝置901的攝像頭發送至少第I至第N個同步信號,以獲取攝像頭捕獲的虛擬現實設備902的N幀圖像;虛擬現實設備902的運動姿態是根據N幀圖像確定的;
[0210]虛擬現實設備902,用于接收第一處理器發送的第i個同步信號,根據第i個同步信號,按預先設定的狀態控制策略展現虛擬現實設備902上各個物理標記點的狀態,I Si SN;[0211 ]攝像裝置901的攝像頭,用于接收第一處理器發送的第i個同步信號,根據第i個同步信號,捕獲虛擬現實設備902的第i幀圖像,第i幀圖像中包括各個物理標記點的標記點影像。
[0212]進一步地,預先設定的狀態控制策略包括:
[0213]所有虛擬現實設備902的各個物理標記點具有唯一的編號,每個物理標記點的編號對應唯一的二進制編碼,二進制編碼的數位N根據物理標記點的數量確定;每個物理標記點在第i個同步信號對應時刻的狀態,由該物理標記點對應二進制編碼的第i個數位的數值標記,第i個數位的數值為0,物理標記點展現第一狀態,第i個數位的數值為I,物理標記點展現第二狀態。
[0214]進一步地,攝像裝置901還用于:
[0215]獲取攝像頭捕獲的N幀圖像,根據N幀圖像確定各個標記點影像的位置信息;各個標記點影像的位置信息是指各個標記點影像在預設的圖像坐標系中的位置信息;
[0216]根據N幀圖像,確定各個物理標記點與各個標記點影像之間的對應關系;
[0217]根據各個物理標記點的實際位置信息,各個標記點影像的位置信息,以及各個物理標記點與各個標記點影像之間的對應關系,確定虛擬現實設備902產生的平移量;各個物理標記點的實際位置信息是各個物理標記點在預設的世界坐標系中的位置信息。
[0218]進一步地,攝像裝置901具體用于:
[0219]根據N幀圖像中各個標記點影像的顯示信息和預先設定的狀態控制策略,確定各個標記點影像對應的二進制編碼;
[0220]根據各個標記點影像對應的二進制編碼,確定各個標記點影像的編號;
[0221 ]根據各個標記點影像之間的位置關系,確定各個標記點影像的編號之間的位置關系;
[0222]若各個標記點影像的編號之間的位置關系與各個物理標記點的編號之間的位置關系一致,則根據編號信息,確定任一標記點影像對應的物理標記點。
[0223]進一步地,攝像裝置901還用于:
[0224]若各個標記點影像的編號之間的位置關系與各個物理標記點的編號之間的位置關系不一致,攝像裝置901向虛擬現實設備902和攝像裝置901的攝像頭繼續發送第N+1至第2N個同步信號,以獲取攝像頭捕獲的虛擬現實設備902的第N+1至第2N幀圖像;
[0225]攝像裝置901依次按照第二至第N+1幀、第三至第N+2幀,…,第N至第2N-1幀的次序構成多組N幀圖像,并根據多組N幀圖像的先后次序,依次返回根據N幀圖像,確定各個物理標記點與各個物理標記點的標記點影像之間的對應關系的步驟,直至一組N幀圖像中各個標記點影像的編號之間的位置關系與各個物理標記點的編號之間的位置關系一致。
[0226]進一步地,虛擬現實設備902包括運動對象佩戴的至少一個頭盔設備和至少一個與頭盔設備配套的手柄設備;頭盔設備上設置m個物理標記點,手柄設備上設置P個物理標記點;
[0227]頭盔設備上包括第一控制電路,手柄設備上包括第二控制電路;
[0228]第一控制電路,用于接收第I至第N個同步信號,根據接收到的同步信號,控制m個物理標記點在各個時刻的狀態;
[0229]第二控制電路,用于接收第I至第N個同步信號,根據接收到的同步信號,控制P個物理標記點在各個時刻的狀態;
[0230]頭盔設備上還包括第一 MEMS傳感器;手柄設備上還包括第二 MEMS傳感器;
[0231]頭盔設備,還用于在第一控制電路接收至少第I至第N個同步信號之后,根據第一MEMS傳感器采集到的頭盔設備的旋轉姿態信息,確定頭盔設備產生的旋轉量;
[0232]手柄設備,還用于在第二控制電路接收至少第I至第N個同步信號之后,根據第二MEMS傳感器采集到的手柄設備旋轉姿態信息,確定手柄設備產生的旋轉量。
[0233]進一步地,頭盔設備具體用于:
[0234]頭盔設備通過攝像裝置901與頭盔設備之間的通訊電路,獲取頭盔設備和手柄設備產生的平移量;
[0235]頭盔設備通過手柄設備與頭盔設備的之間的通訊電路,獲取手柄設備產生的旋轉量;
[0236]頭盔設備根據頭盔設備和手柄設備產生的平移量、頭盔設備和手柄設備產生的旋轉量,確定運動對象產生的姿態信息;
[0237]頭盔設備根據姿態信息,控制頭盔設備的顯示器的顯示。
[0238]上述實施例中,在需要獲取虛擬現實設備的運動姿態時,攝像裝置分別向虛擬現實設備(包括頭盔設備和手柄設備)和攝像裝置的攝像頭發送至少第I至第N個同步信號,攝像裝置和虛擬現實設備(包括頭盔設備和手柄設備)接收同步信號的時刻同步,使得虛擬現實設備每接收一個同步信號,按預先設定的狀態控制策略展現虛擬現實設備(包括頭盔設備和手柄設備)上各個紅外燈的狀態,攝像裝置的攝像頭每接收一個同步信號捕獲一幀虛擬現實設備(包括頭盔設備和手柄設備)的圖像,捕獲的圖像中包括各個紅外燈在捕獲時刻的標記點影像,這樣,實現了虛擬現實設備(包括頭盔設備和手柄設備)上各個紅外燈展現的狀態,與攝像頭捕獲的圖像中各個紅外燈的標記點影像之間的同步關系。預先設定的狀態控制策略中包括每個紅外燈在各個時刻的預設狀態,這樣后續攝像裝置就可以根據虛擬現實設備(包括頭盔設備和手柄設備)上的各個紅外燈在N幀圖像中的標記點影像信息,準確、快速的確定虛擬現實設備的平移量;基于所述頭盔設備和所述手柄設備產生的平移量和旋轉量,虛擬現實設備中的頭盔設備就可以準確、快速的確定所述運動對象產生的姿態?目息O
[0239]如圖10所示,本發明實施例提供一種運動對象追蹤系統,包括:
[0240]第一服務器100,用于在確定需獲取虛擬現實設備200的運動姿態時,向虛擬現實設備200和攝像裝置300的攝像頭發送至少第I至第N個同步信號,以獲取攝像頭捕獲的虛擬現實設備200的N幀圖像;虛擬現實設備200的運動姿態是根據N幀圖像確定的;
[0241]虛擬現實設備200,用于接收第一處理器發送的第i個同步信號,根據第i個同步信號,按預先設定的狀態控制策略展現虛擬現實設備200上各個物理標記點的狀態,I SN;
[0242]攝像裝置300的攝像頭,用于接收第一處理器發送的第i個同步信號,根據第i個同步信號,捕獲虛擬現實設備200的第i幀圖像,第i幀圖像中包括各個物理標記點的標記點影像。
[0243]進一步地,預先設定的狀態控制策略包括:
[0244]所有虛擬現實設備200的各個物理標記點具有唯一的編號,每個物理標記點的編號對應唯一的二進制編碼,二進制編碼的數位N根據物理標記點的數量確定;每個物理標記點在第i個同步信號對應時刻的狀態,由該物理標記點對應二進制編碼的第i個數位的數值標記,第i個數位的數值為0,物理標記點展現第一狀態,第i個數位的數值為I,物理標記點展現第二狀態。
[0245]進一步地,攝像裝置300還用于:
[0246]獲取攝像頭捕獲的N幀圖像,根據N幀圖像確定各個標記點影像的位置信息;各個標記點影像的位置信息是指各個標記點影像在預設的圖像坐標系中的位置信息;
[0247]根據N幀圖像,確定各個物理標記點與各個標記點影像之間的對應關系;
[0248]根據各個物理標記點的實際位置信息,各個標記點影像的位置信息,以及各個物理標記點與各個標記點影像之間的對應關系,確定虛擬現實設備200產生的平移量;各個物理標記點的實際位置信息是各個物理標記點在預設的世界坐標系中的位置信息。
[0249]進一步地,攝像裝置300具體用于:
[0250]根據N幀圖像中各個標記點影像的顯示信息和預先設定的狀態控制策略,確定各個標記點影像對應的二進制編碼;[0251 ]根據各個標記點影像對應的二進制編碼,確定各個標記點影像的編號;
[0252]根據各個標記點影像之間的位置關系,確定各個標記點影像的編號之間的位置關系;
[0253]若各個標記點影像的編號之間的位置關系與各個物理標記點的編號之間的位置關系一致,則根據編號信息,確定任一標記點影像對應的物理標記點。
[0254]進一步地,攝像裝置300還用于:
[0255]若各個標記點影像的編號之間的位置關系與各個物理標記點的編號之間的位置關系不一致,攝像裝置300向虛擬現實設備200和攝像頭繼續發送第N+1至第2N個同步信號,以獲取攝像頭捕獲的虛擬現實設備200的第N+1至第2N幀圖像;
[0256]攝像裝置300依次按照第二至第N+1幀、第三至第N+2幀,…,第N至第2N-1幀的次序構成多組N幀圖像,并根據多組N幀圖像的先后次序,依次返回根據N幀圖像,確定各個物理標記點與各個物理標記點的標記點影像之間的對應關系的步驟,直至一組N幀圖像中各個標記點影像的編號之間的位置關系與各個物理標記點的編號之間的位置關系一致。
[0257]進一步地,虛擬現實設備200包括運動對象佩戴的至少一個頭盔設備和至少一個與頭盔設備配套的手柄設備;頭盔設備上設置m個物理標記點,手柄設備上設置P個物理標記點;
[0258]頭盔設備上包括第一控制電路,手柄設備上包括第二控制電路;
[0259]第一控制電路,用于接收第I至第N個同步信號,根據接收到的同步信號,控制m個物理標記點在各個時刻的狀態;
[0260]第二控制電路,用于接收第I至第N個同步信號,根據接收到的同步信號,控制P個物理標記點在各個時刻的狀態;
[0261 ] 頭盔設備上還包括第一 MEMS傳感器;手柄設備上還包括第二 MEMS傳感器;
[0262]頭盔設備,還用于在第一控制電路接收至少第I至第N個同步信號之后,根據第一MEMS傳感器采集到的頭盔設備的旋轉姿態信息,確定頭盔設備產生的旋轉量;
[0263]手柄設備,還用于在第二控制電路接收至少第I至第N個同步信號之后,根據第二MEMS傳感器采集到的手柄設備旋轉姿態信息,確定手柄設備產生的旋轉量。
[0264]進一步地,第一服務器100具體用于:
[0265]第一服務器100通過攝像裝置300與第一服務器100之間的通訊電路,獲取頭盔設備和手柄設備產生的平移量;
[0266]第一服務器100通過手柄設備與第一服務器100之間的通訊電路,獲取手柄設備產生的旋轉量;
[0267]第一服務器100通過頭盔設備與第一服務器100之間的通訊電路,獲取頭盔設備產生的旋轉量;
[0268]第一服務器100根據頭盔設備產生的平移量和旋轉量,以及手柄設備產生的平移量和旋轉量,確定運動對象產生的姿態信息;將姿態信息發送給頭盔設備,以使頭盔設備根據姿態信息,控制頭盔設備的顯示器的顯示。
[0269]上述實施例中,第二種優選的系統架構下,在需要獲取虛擬現實設備的運動姿態時,第一服務器分別向虛擬現實設備(包括頭盔設備和手柄設備)和攝像裝置的攝像頭發送至少第I至第N個同步信號,攝像裝置和虛擬現實設備(包括頭盔設備和手柄設備)接收同步信號的時刻同步,使得虛擬現實設備每接收一個同步信號,按預先設定的狀態控制策略展現虛擬現實設備(包括頭盔設備和手柄設備)上各個紅外燈的狀態,攝像裝置的攝像頭每接收一個同步信號捕獲一幀虛擬現實設備(包括頭盔設備和手柄設備)的圖像,捕獲的圖像中包括各個紅外燈在捕獲時刻的標記點影像,這樣,實現了虛擬現實設備(包括頭盔設備和手柄設備)上各個紅外燈展現的狀態,與攝像頭捕獲的圖像中各個紅外燈的標記點影像之間的同步關系。預先設定的狀態控制策略中包括每個紅外燈在各個時刻的預設狀態,這樣攝像裝置就可以根據虛擬現實設備(包括頭盔設備和手柄設備)上的各個紅外燈在N幀圖像中的標記點影像信息,準確、快速的確定虛擬現實設備的平移量;基于所述頭盔設備和所述手柄設備產生的平移量和旋轉量,第一服務器就可以準確、快速的確定所述運動對象產生的姿態信息。
[0270]本發明是參照根據本發明實施例的方法、設備(系統)、和計算機程序產品的流程圖和/或方框圖來描述的。應理解可由計算機程序指令實現流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結合。可提供這些計算機程序指令到通用計算機、專用計算機、嵌入式處理機或其他可編程數據處理設備的處理器以產生一個機器,使得通過計算機或其他可編程數據處理設備的處理器執行的指令產生用于實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。
[0271]這些計算機程序指令也可存儲在能引導計算機或其他可編程數據處理設備以特定方式工作的計算機可讀存儲器中,使得存儲在該計算機可讀存儲器中的指令產生包括指令裝置的制造品,該指令裝置實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。
[0272]這些計算機程序指令也可裝載到計算機或其他可編程數據處理設備上,使得在計算機或其他可編程設備上執行一系列操作步驟以產生計算機實現的處理,從而在計算機或其他可編程設備上執行的指令提供用于實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。
[0273]盡管已描述了本發明的優選實施例,但本領域內的技術人員一旦得知了基本創造性概念,則可對這些實施例作出另外的變更和修改。所以,所附權利要求意欲解釋為包括優選實施例以及落入本發明范圍的所有變更和修改。
[0274]顯然,本領域的技術人員可以對本發明進行各種改動和變型而不脫離本發明的精神和范圍。這樣,倘若本發明的這些修改和變型屬于本發明權利要求及其等同技術的范圍之內,則本發明也意圖包含這些改動和變型在內。
【主權項】
1.一種運動對象追蹤方法,其特征在于,包括: 第一處理器在確定需獲取虛擬現實設備的運動姿態時,向所述虛擬現實設備和攝像裝置的攝像頭發送至少第I至第N個同步信號,以獲取所述攝像頭捕獲的所述虛擬現實設備的N幀圖像;所述虛擬現實設備的運動姿態是根據所述N幀圖像確定的; 所述虛擬現實設備接收所述第一處理器發送的第i個同步信號,根據所述第i個同步信號,按預先設定的狀態控制策略展現所述虛擬現實設備上各個物理標記點的狀態,N; 所述攝像頭接收所述第一處理器發送的第i個同步信號,根據所述第i個同步信號,捕獲所述虛擬現實設備的第i幀圖像,所述第i幀圖像中包括所述各個物理標記點的標記點影像。2.如權利要求1所述的方法,其特征在于,根據所述N幀圖像確定所述虛擬現實設備的運動姿態,包括: 第二處理器獲取所述虛擬現實設備產生的旋轉量,所述虛擬現實設備產生的旋轉量是根據所述虛擬現實設備的傳感器采集的數據確定的; 所述第二處理器獲取所述虛擬現實設備產生的平移量,所述虛擬現實設備產生的平移量是根據所述攝像頭捕獲的所述N幀圖像確定的; 所述第二處理器根據所述虛擬現實設備產生的旋轉量和所述虛擬現實設備產生的平移量,確定所述虛擬現實設備的運動姿態。3.如權利要求1所述的方法,其特征在于,所述預先設定的狀態控制策略包括: 所有虛擬現實設備的各個物理標記點具有唯一的編號,每個物理標記點的編號對應唯一的二進制編碼,二進制編碼的數位N根據物理標記點的數量確定;每個物理標記點在所述第i個同步信號對應時刻的狀態,由該物理標記點對應二進制編碼的第i個數位的數值標記,第i個數位的數值為O,物理標記點展現第一狀態,第i個數位的數值為I,物理標記點展現第二狀態。4.如權利要求2所述的方法,其特征在于,根據所述N幀圖像,確定所述虛擬現實設備的平移量,包括: 第三處理器獲取所述攝像頭捕獲的所述N幀圖像,根據所述N幀圖像確定所述各個標記點影像的位置信息;所述各個標記點影像的位置信息是指所述各個標記點影像在預設的圖像坐標系中的位置信息; 所述第三處理器根據所述N幀圖像,確定所述各個物理標記點與所述各個標記點影像之間的對應關系; 所述第三處理器根據所述各個物理標記點的實際位置信息,所述各個標記點影像的位置信息,以及所述各個物理標記點與所述各個標記點影像之間的對應關系,確定所述虛擬現實設備產生的平移量;所述各個物理標記點的實際位置信息是所述各個物理標記點在預設的世界坐標系中的位置信息。5.如權利要求4所述的方法,其特征在于,所述第三處理器根據所述N幀圖像,確定所述各個物理標記點與所述各個物理標記點的標記點影像之間的對應關系,包括: 根據所述N幀圖像中所述各個標記點影像的顯示信息和所述預先設定的狀態控制策略,確定所述各個標記點影像對應的二進制編碼; 根據所述各個標記點影像對應的二進制編碼,確定所述各個標記點影像的編號; 根據所述各個標記點影像之間的位置關系,確定所述各個標記點影像的編號之間的位置關系; 若所述各個標記點影像的編號之間的位置關系與所述各個物理標記點的編號之間的位置關系一致,則根據編號信息,確定任一標記點影像對應的物理標記點。6.如權利要求5所述的方法,其特征在于,若所述各個標記點影像的編號之間的位置關系與所述各個物理標記點的編號之間的位置關系不一致,所述方法還包括: 所述第三處理器通知所述第一處理器向所述虛擬現實設備和所述攝像頭繼續發送第N+1至第2N個同步信號,以獲取所述攝像頭捕獲的所述虛擬現實設備的第N+1至第2N幀圖像;所述第三處理器依次按照所述第二至第N+1幀、所述第三至第N+2幀,…,所述第N至第2N-1幀的次序構成多組N幀圖像,并根據所述多組N幀圖像的先后次序,依次返回根據所述N幀圖像,確定所述各個物理標記點與所述各個物理標記點的標記點影像之間的對應關系的步驟,直至一組N幀圖像中各個標記點影像的編號之間的位置關系與所述各個物理標記點的編號之間的位置關系一致。7.如權利要求1至6任一項所述的方法,其特征在于,所述虛擬現實設備包括所述運動對象佩戴的至少一個頭盔設備和至少一個與所述頭盔設備配套的手柄設備;所述頭盔設備上設置m個物理標記點,所述手柄設備上設置P個物理標記點; 所述頭盔設備上包括第一控制電路,所述手柄設備上包括第二控制電路; 所述第一控制電路用于接收所述至少第I至第N個同步信號,根據接收到的所述同步信號,控制所述m個物理標記點在各個時刻的狀態; 所述第二控制電路用于接收所述至少第I至第N個同步信號,根據接收到的同步信號,控制所述P個物理標記點在各個時刻的狀態; 所述頭盔設備上還包括第一 MEMS傳感器;所述手柄設備上還包括第二 MEMS傳感器;所述頭盔設備上還包括第一 MEMS傳感器;所述手柄設備上還包括第二 MEMS傳感器;所述方法還包括: 所述頭盔設備在所述第一控制電路接收至少所述第I至第N個同步信號之后,根據所述第一MEMS傳感器采集到的所述頭盔設備的旋轉姿態信息,確定所述頭盔設備產生的旋轉量; 所述手柄設備在所述第二控制電路接收至少所述第I至第N個同步信號之后,根據所述第二 MEMS傳感器采集到的所述手柄設備旋轉姿態信息,確定所述手柄設備產生的旋轉量。8.如權利要求7所述的方法,其特征在于,所述第一處理器和所述第三處理器集成在所述攝像裝置內,所述第二處理器集成在所述頭盔設備內;則所述根據所述N幀圖像確定所述虛擬現實設備的運動姿態,包括: 所述頭盔設備通過所述攝像裝置與所述頭盔設備之間的通訊電路,獲取所述頭盔設備和所述手柄設備產生的平移量; 所述頭盔設備通過所述手柄設備與所述頭盔設備的之間的通訊電路,獲取所述手柄設備產生的旋轉量; 所述頭盔設備根據所述頭盔設備和所述手柄設備產生的平移量、所述頭盔設備和所述手柄設備產生的旋轉量,確定所述運動對象產生的姿態信息; 所述頭盔設備根據所述姿態信息,控制所述頭盔設備的顯示器的顯示。9.如權利要求7所述的方法,其特征在于,所述第三處理器集成在所述攝像裝置的主控制器內;所述第一處理器和所述第二處理器集成在第一服務器內;所述根據所述N幀圖像確定所述虛擬現實設備的運動姿態,包括: 所述第一服務器通過所述攝像裝置與所述第一服務器之間的通訊電路,獲取所述頭盔設備和所述手柄設備產生的平移量; 所述第一服務器通過所述手柄設備與所述第一服務器之間的通訊電路,獲取所述手柄設備產生的旋轉量; 所述第一服務器通過所述頭盔設備與所述第一服務器之間的通訊電路,獲取所述頭盔設備產生的旋轉量; 所述第一服務器根據所述頭盔設備產生的平移量和旋轉量,以及所述手柄設備產生的平移量和旋轉量,確定所述運動對象產生的姿態信息;將所述姿態信息發送給所述頭盔設備,以使所述頭盔設備根據所述姿態信息,控制所述頭盔設備的顯示器的顯示。10.一種運動對象追蹤系統,其特征在于,包括: 攝像裝置,用于在確定需獲取虛擬現實設備的運動姿態時,向所述虛擬現實設備和所述攝像裝置的攝像頭發送至少第I至第N個同步信號,以獲取所述攝像頭捕獲的所述虛擬現實設備的N幀圖像;所述虛擬現實設備的運動姿態是根據所述N幀圖像確定的; 虛擬現實設備,用于接收所述第一處理器發送的第i個同步信號,根據所述第i個同步信號,按預先設定的狀態控制策略展現所述虛擬現實設備上各個物理標記點的狀態,^N; 所述攝像裝置的攝像頭,用于接收所述第一處理器發送的第i個同步信號,根據所述第i個同步信號,捕獲所述虛擬現實設備的第i幀圖像,所述第i幀圖像中包括所述各個物理標記點的標記點影像。11.如權利要求10所述的系統,其特征在于,所述預先設定的狀態控制策略包括: 所有虛擬現實設備的各個物理標記點具有唯一的編號,每個物理標記點的編號對應唯一的二進制編碼,二進制編碼的數位N根據物理標記點的數量確定;每個物理標記點在所述第i個同步信號對應時刻的狀態,由該物理標記點對應二進制編碼的第i個數位的數值標記,第i個數位的數值為0,物理標記點展現第一狀態,第i個數位的數值為I,物理標記點展現第二狀態。12.如權利要求10所述的系統,其特征在于,所述攝像裝置還用于: 獲取所述攝像頭捕獲的所述N幀圖像,根據所述N幀圖像確定所述各個標記點影像的位置信息;所述各個標記點影像的位置信息是指所述各個標記點影像在預設的圖像坐標系中的位置信息; 根據所述N幀圖像,確定所述各個物理標記點與所述各個標記點影像之間的對應關系; 根據所述各個物理標記點的實際位置信息,所述各個標記點影像的位置信息,以及所述各個物理標記點與所述各個標記點影像之間的對應關系,確定所述虛擬現實設備產生的平移量;所述各個物理標記點的實際位置信息是所述各個物理標記點在預設的世界坐標系中的位置信息。13.如權利要求12所述的系統,其特征在于,所述攝像裝置具體用于: 根據所述N幀圖像中所述各個標記點影像的顯示信息和所述預先設定的狀態控制策略,確定所述各個標記點影像對應的二進制編碼; 根據所述各個標記點影像對應的二進制編碼,確定所述各個標記點影像的編號; 根據所述各個標記點影像之間的位置關系,確定所述各個標記點影像的編號之間的位置關系; 若所述各個標記點影像的編號之間的位置關系與所述各個物理標記點的編號之間的位置關系一致,則根據編號信息,確定任一標記點影像對應的物理標記點。14.如權利要求13所述的系統,其特征在于,所述攝像裝置還用于: 若所述各個標記點影像的編號之間的位置關系與所述各個物理標記點的編號之間的位置關系不一致,所述攝像裝置向所述虛擬現實設備和所述攝像頭繼續發送第N+1至第2N個同步信號,以獲取所述攝像頭捕獲的所述虛擬現實設備的第N+1至第2N幀圖像; 所述攝像裝置依次按照所述第二至第N+1幀、所述第三至第N+2幀,…,所述第N至第2N-1幀的次序構成多組N幀圖像,并根據所述多組N幀圖像的先后次序,依次返回根據所述N幀圖像,確定所述各個物理標記點與所述各個物理標記點的標記點影像之間的對應關系的步驟,直至一組N幀圖像中各個標記點影像的編號之間的位置關系與所述各個物理標記點的編號之間的位置關系一致。15.如權利要求10至14中任一項所述的系統,其特征在于,所述虛擬現實設備包括所述運動對象佩戴的至少一個頭盔設備和至少一個與所述頭盔設備配套的手柄設備;所述頭盔設備上設置m個物理標記點,所述手柄設備上設置P個物理標記點; 所述頭盔設備上包括第一控制電路,所述手柄設備上包括第二控制電路; 所述第一控制電路,用于接收所述第I至第N個同步信號,根據接收到的所述同步信號,控制所述m個物理標記點在各個時刻的狀態; 所述第二控制電路,用于接收所述第I至第N個同步信號,根據接收到的同步信號,控制所述P個物理標記點在各個時刻的狀態; 所述頭盔設備上還包括第一 MEMS傳感器;所述手柄設備上還包括第二 MEMS傳感器;所述頭盔設備,還用于在所述第一控制電路接收至少所述第I至第N個同步信號之后,根據所述第一MEMS傳感器采集到的所述頭盔設備的旋轉姿態信息,確定所述頭盔設備產生的旋轉量; 所述手柄設備,還用于在所述第二控制電路接收至少所述第I至第N個同步信號之后,根據所述第二 MEMS傳感器采集到的所述手柄設備旋轉姿態信息,確定所述手柄設備產生的旋轉量。16.如權利要求15所述的系統,其特征在于,所述頭盔設備具體用于: 所述頭盔設備通過所述攝像裝置與所述頭盔設備之間的通訊電路,獲取所述頭盔設備和所述手柄設備產生的平移量; 所述頭盔設備通過所述手柄設備與所述頭盔設備的之間的通訊電路,獲取所述手柄設備產生的旋轉量; 所述頭盔設備根據所述頭盔設備和所述手柄設備產生的平移量、所述頭盔設備和所述手柄設備產生的旋轉量,確定所述運動對象產生的姿態信息; 所述頭盔設備根據所述姿態信息,控制所述頭盔設備的顯示器的顯示。17.一種運動對象追蹤系統,其特征在于,包括: 第一服務器,用于在確定需獲取虛擬現實設備的運動姿態時,向所述虛擬現實設備和所述攝像裝置的攝像頭發送至少第I至第N個同步信號,以獲取所述攝像頭捕獲的所述虛擬現實設備的N幀圖像;所述虛擬現實設備的運動姿態是根據所述N幀圖像確定的; 虛擬現實設備,用于接收所述第一處理器發送的第i個同步信號,根據所述第i個同步信號,按預先設定的狀態控制策略展現所述虛擬現實設備上各個物理標記點的狀態,^N; 所述攝像裝置的攝像頭,用于接收所述第一處理器發送的第i個同步信號,根據所述第i個同步信號,捕獲所述虛擬現實設備的第i幀圖像,所述第i幀圖像中包括所述各個物理標記點的標記點影像。18.如權利要求17所述的系統,其特征在于,所述攝像裝置還用于: 獲取所述攝像頭捕獲的所述N幀圖像,根據所述N幀圖像確定所述各個標記點影像的位置信息;所述各個標記點影像的位置信息是指所述各個標記點影像在預設的圖像坐標系中的位置信息;根據所述N幀圖像,確定所述各個物理標記點與所述各個標記點影像之間的對應關系;根據所述各個物理標記點的實際位置信息,所述各個標記點影像的位置信息,以及所述各個物理標記點與所述各個標記點影像之間的對應關系,確定所述虛擬現實設備的平移量;所述各個物理標記點的實際位置信息是所述各個物理標記點在預設的世界坐標系中的位置信息。19.如權利要求17或18所述的系統,其特征在于,所述虛擬現實設備包括所述運動對象佩戴的至少一個頭盔設備和至少一個與所述頭盔設備配套的手柄設備;所述頭盔設備上設置m個物理標記點,所述手柄設備上設置P個物理標記點; 所述頭盔設備上包括第一控制電路,所述手柄設備上包括第二控制電路; 所述第一控制電路,用于接收所述第I至第N個同步信號,根據接收到的所述同步信號,控制所述m個物理標記點在各個時刻的狀態; 所述第二控制電路,用于接收所述第I至第N個同步信號,根據接收到的同步信號,控制所述P個物理標記點在各個時刻的狀態; 所述頭盔設備上還包括第一 MEMS傳感器;所述手柄設備上還包括第二 MEMS傳感器;所述頭盔設備,還用于在所述第一控制電路接收至少所述第I至第N個同步信號之后,根據所述第一MEMS傳感器采集到的所述頭盔設備的旋轉姿態信息,確定所述頭盔設備產生的旋轉量; 所述手柄設備,還用于在所述第二控制電路接收至少所述第I至第N個同步信號之后,根據所述第二 MEMS傳感器采集到的所述手柄設備旋轉姿態信息,確定所述手柄設備產生的旋轉量。20.如權利要求19所述的系統,其特征在于,所述第一服務器具體用于: 所述第一服務器通過所述攝像裝置與所述第一服務器之間的通訊電路,獲取所述頭盔設備和所述手柄設備產生的平移量; 所述第一服務器通過所述手柄設備與所述第一服務器之間的通訊電路,獲取所述手柄設備產生的旋轉量; 所述第一服務器通過所述頭盔設備與所述第一服務器之間的通訊電路,獲取所述頭盔設備產生的旋轉量; 所述第一服務器根據所述頭盔設備產生的平移量和旋轉量,以及所述手柄設備產生的平移量和旋轉量,確定所述運動對象產生的姿態信息;將所述姿態信息發送給所述頭盔設備,以使所述頭盔設備根據所述姿態信息,控制所述頭盔設備的顯示器的顯示。
【文檔編號】G06F3/01GK105931272SQ201610298381
【公開日】2016年9月7日
【申請日】2016年5月6日
【發明人】王金亮, 陸真國
【申請人】上海樂相科技有限公司