交互式虛擬現實系統及方法

交互式虛擬現實系統及方法
【專利摘要】公開了一種用于更大的劇院尺寸觀眾的沉浸式虛擬現實系統。該系統能使多個用戶協作或作為一組工作在一起，或使各組競爭。用戶通過操縱手持的交互式裝置與虛擬現實系統交互。每個裝置具有形成圖案的多個燈。跟蹤傳感器監控手持的裝置，該系統解釋用戶的運動并基于用戶的運動動態地改變虛擬現實環境。該系統為一組內的用戶分配獨特的角色。
【專利說明】
交互式虛擬現實系統及方法
技術領域
[0001]本發明通常涉及交互式虛擬現實系統和方法。更具體說，本發明涉及用于在劇院內或在劇院之間合作或競爭的大量用戶的交互式虛擬現實系統。
【背景技術】
[0002]虛擬現實環境正變得越來越普遍，因為它們提供了娛樂和訓練的獨特形式。然而，許多常規的虛擬現實環境僅適用于少量的用戶。
[0003]因此，存在為更大數量的用戶提供虛擬現實環境的需要。

【發明內容】

[0004]在第一方面，公開了一種用于為多個用戶提供沉浸式虛擬現實環境的方法。該方法包括產生一個虛擬現實環境，所述虛擬現實環境包括具有至少一個虛擬對象的顯示屏和一個虛擬控制臺，虛擬控制臺具有多個顯示圖標，所述多個顯示圖標的每個都表示與虛擬對象相關的不同功能并對每個用戶提供手持交互式裝置，每個交互式裝置具有提供所述每個交互式裝置的識別和跟蹤信息的多個燈，所述每個交互式裝置具有一個被構造用于傳送觸發事件發生的觸發機構。該方法進一步包括對于形成單一組用戶的用戶對所述每個交互式裝置分配獨特的角色，每個角色都具有一個用于在虛擬現實環境中操縱虛擬對象，以及跟蹤所述每個交互式裝置以確定所述每個交互式裝置的當前狀態，當前狀態包括位置、定向、運動、觸發事件的存在，以及所述每個交互式裝置的識別。該方法進一步包括基于分配給所述每個交互式裝置的角色解釋所述每個交互式裝置的當前狀態，改變與角色相關的功能從而基于當前狀態的解釋操縱虛擬對象，并且在虛擬現實環境中動態地顯示被操縱的虛擬對象。
[0005]在第一優選實施例中，對每個交互式裝置分配獨特的角色優選地進一步包括啟用所有交互式裝置以具有發射虛擬射彈的角色，在虛擬現實環境中顯示一個或多個目標，監控交互式裝置的性能，基于交互式裝置的相對性能分配角色。該方法優選地進一步包括對用戶提供反饋。對用戶提供反饋優選地包括以下的一個或多個:提供聲音效果，啟動運動座椅，提供視覺效果，或提供目標景象的視覺表示。角色之一優選地包括一個領導角色，該領導角色具有在虛擬現實環境中發射虛擬射彈的功能，解釋具有該領導角色的交互式裝置的狀態優選地進一步包括從具有該領導角色的交互式裝置檢測觸發事件的存在，基于具有該領導角色的交互式裝置的位置和定向確定虛擬射彈的軌跡，以及確定虛擬射彈的軌跡是否影響一個或多個虛擬對象。角色優選地包括用于發射虛擬射彈的領導角色，用于操縱虛擬對象的轉向角色，用于控制虛擬對象速度的速度控制角色，以及用于將交互式裝置瞄準虛擬對象的武器目標角色。
[0006]在第二方面，公開了一種用于為多個用戶提供沉浸式虛擬現實環境的方法。該方法包括從多個用戶形成第一用戶組和第二用戶組，并提供一種手持交互式裝置到第一和第二組中的每個用戶，每個交互式裝置具有傳送所述每個交互式裝置的標識的多個燈，所述每個交互式裝置具有一種被構造用于傳送觸發事件發生的觸發機構。該方法進一步包括產生一個虛擬現實環境，所述虛擬現實環境包括具有至少一個虛擬對象的顯示屏和一個分別用于第一和第二組的第一和第二虛擬控制臺，每個虛擬控制臺具有多個顯示圖標，所述多個顯示圖標的每個都表示與虛擬對象相關的不同功能，并且對于第一和第二用戶組內的用戶對所述每個交互式裝置分配獨特的角色，每個角色包括一個用于在虛擬環境中操縱虛擬對象的相關功能。該方法進一步包括跟蹤所述每個交互式裝置以確定所述每個交互式裝置的當前狀態，當前狀態包括位置、定向、運動、觸發事件的存在，以及所述每個交互式裝置的識別，并且基于分配給所述每個交互式裝置和相關組的角色解釋所述每個交互式裝置的當前狀態。該方法進一步包括操縱與虛擬對象相關的功能以提供被改變的虛擬對象，并且動態地顯示被改變的虛擬對象。
[0007]在第二優選實施例中，產生虛擬現實環境進一步包括提供具有表示第一和第二組的虛擬對象的單一屏幕。產生虛擬現實環境優選地進一步包括對第一和第二組提供一個單獨屏幕部分。該方法優選地進一步包括形成附加用戶組。該方法進一步優選地包括對用戶的反饋。對用戶提供反饋優選地進一步包括以下的一個或多個:提供聲音效果，啟動運動座椅，提供視覺效果，或提供目標景象的視覺表示。對每個交互式裝置分配獨特的角色優選地進一步包括對于第一和第二組，啟動所有交互式裝置以具有發射虛擬射彈的角色，在虛擬現實環境中顯示一個或多個目標，監控交互式裝置的性能，以及基于交互式裝置的相對性能分配角色。
[0008]角色之一優選地包括一個領導角色，該領導角色具有在虛擬現實環境中發射虛擬射彈的功能。解釋具有領導角色的交互式裝置的狀態優選地進一步包括從具有領導角色的交互式裝置檢測觸發事件的存在，基于具有領導角色的交互式裝置的位置和定向確定虛擬射彈的軌跡，以及確定虛擬射彈的軌跡是否影響一個或多個虛擬對象。角色優選地包括用于發射虛擬射彈的領導角色，用于操縱虛擬對象的轉向角色，用于控制虛擬對象速度的速度控制角色，以及用于將交互式裝置瞄準虛擬對象的武器目標角色。
[0009]在第三方面，公開了一種用于為多個用戶組提供沉浸式虛擬現實環境的系統。該系統包括一個虛擬現實環境，所述虛擬現實環境包括用戶組的顯示屏，多個交互式裝置，每個交互式裝置包括一個具有桶部和柄部的殼體，以及被定位在桶部內的多個燈，間隔的燈形成一個通常與虛擬射彈的預期軌跡對準的圖案，一個被定位在柄部上的觸發機構，以及一個耦合到觸發機構并提供電流到所述燈的控制器，該控制器傳送觸發事件。該系統還包括對于燈信號和觸發事件監控交互式裝置的多個傳感器，所述多個傳感器輸出每個交互式裝置的實時裝置當前狀態，以及一個接收每個裝置的實時當前狀態并更新虛擬現實環境的系統控制器。
[0010]在第三優選實施例中，該虛擬現實環境進一步包括一個球形或彎曲屏幕。該虛擬現實環境優選地進一步包括一個穹頂。該虛擬現實環境優選地進一步包括用于顯示三維圖象的球形屏幕，用于多個用戶的多個運動座椅，以及用于為用戶提供聲音效果的環繞音響系統。
[0011]在第四方面，公開了一種手持交互式裝置。該交互式裝置包括一個具有桶部和柄部的殼體，被定位在桶部內的多個燈，間隔的燈形成一個通常與虛擬射彈的預期軌跡對準的圖案，一個基本圍繞所述燈并允許等輻射將近360度遠場發射圖案的半透明蓋部，一個被定位在柄部上的觸發機構，以及一個耦合到觸發機構并提供電流到所述燈的控制器，該控制器傳送觸發事件。
[0012]在第四優選實施例中，該多個燈為與虛擬射彈的預期軌跡共線地定位和平行的第一和第二燈。該多個燈優選地為與虛擬射彈的預期軌跡共線地定位和平行的第一、第二和第三燈。該多個燈優選地為與虛擬射彈的預期軌跡共線地定位和平行的第一和第二燈，以及從虛擬射彈的預期軌跡偏移定位的第三燈。該多個燈優選地為與虛擬射彈的預期軌跡共線地定位和平行的第一和第二燈，以及從虛擬射彈的預期軌跡偏移定位的第三和第四燈。提供電流到所述燈優選地進一步包括提供一個表示交互式手持裝置的獨特標識的脈沖信號。
[0013]在第五方面，公開了一種用于跟蹤多個手持交互式裝置的系統。該系統包括一個用于多個用戶的虛擬現實環境，以及多個交互式裝置。每個交互式裝置包括一個具有桶部和柄部的殼體，被定位在桶部內的多個燈，間隔的燈形成一個通常與虛擬射彈的預期軌跡對準的圖案，一個基本圍繞所述燈并允許等輻射將近380度遠場發射圖案的半透明蓋部，一個被定位在柄部上的觸發機構，以及一個耦合到觸發機構并提供電流到所述燈的控制器，該控制器傳送觸發事件。該系統進一步包括對于燈信號和觸發事件監控交互式裝置的多個傳感器，所述多個傳感器輸出每個交互式裝置的實時裝置當前狀態，以及一個接收每個裝置的實時當前狀態并更新虛擬現實環境的系統控制器。
[0014]在第五優選實施例中，所述每個交互式裝置的多個燈包括與虛擬射彈的預期軌跡共線地定位和平行的第一和第二燈。所述每個交互式裝置的多個燈優選地包括與虛擬射彈的預期軌跡共線地定位和平行的第一、第二和第三燈。所述每個交互式裝置的多個燈優選地包括與虛擬射彈的預期軌跡共線地定位和平行的第一和第二燈，以及從虛擬射彈的預期軌跡偏移定位的第三燈。所述每個交互式裝置的多個燈優選地包括與虛擬射彈的預期軌跡共線地定位和平行的第一和第二燈，以及從虛擬射彈的預期軌跡偏移定位的第三和第四燈。
[0015]提供電流到所述燈的所述每個交互式裝置的控制器優選地進一步包括提供一個表示交互式手持裝置的獨特標識的脈沖信號。對于燈信號和觸發事件監控交互式裝置的多個傳感器優選地包括與觸發事件的監控異步地監控燈信號。該系統控制器優選地進一步被構造用于禁用特定的交互式裝置。該系統控制器優選地進一步被構造用于永久地啟用特定的交互式裝置。更新虛擬現實環境優選地包括在虛擬現實環境中改變虛擬對象。
[0016]在第六方面，公開了一種用于提供交互式裝置的跟蹤信息的方法。該方法包括對多個用戶提供一種具有多個標志燈的交互式裝置，從每個交互式裝置的標志燈產生脈沖燈信號，所述脈沖燈信號表示所述每個交互式裝置的獨特標識，跟蹤從交互式裝置發射的燈，基于脈沖燈信號確定與特定交互式裝置相關的燈，確定一個或多個燈是否被遮擋，并且基于不被遮擋的裝置的燈計算位置和定向。
[0017]在第六優選實施例中，所述多個標志燈為形成一個通常與虛擬射彈的預期軌跡對準的圖案的間隔燈。所述每個交互式裝置的多個燈優選地包括與虛擬射彈的預期軌跡共線地定位和平行的第一、第二和第三燈。所述每個交互式裝置的多個燈優選地包括與虛擬射彈的預期軌跡共線地定位和平行的第一和第二燈，以及從虛擬射彈的預期軌跡偏移定位的第三和第四燈。
[0018]對于優選實施例的描述，參考相關附圖，本發明的這些和其他特征和優點將變得更加明顯。
【附圖說明】
[0019]圖1是多個用戶使用交互式裝置在劇院型設置中交互的示意性框圖。
[0020]圖2是一種提供交互式虛擬現實環境的多用戶的示例性劇院。
[0021]圖3描述了一種在一個實施例中為多個用戶提供雙路交互體驗的示例性過程。
[0022]圖4描述了一種在一個實施例中基于評分在一組內對用戶分配角色的示例性過程。
[0023]圖5示出了與其他組在虛擬現實環境中進行交互的用戶組。
[0024]圖6描述了在一個或多個實施例中的示例性顯示圖標。
[0025]圖7描述了在一個或多個實施例中的附加顯示圖標。
[0026]圖8示出了在虛擬現實環境中交互的示例性多個組，該虛擬現實環境在共用的單一屏幕上具有虛擬控制臺。
[0027]圖9示出了在虛擬現實環境中交互的示例性多個組，該虛擬現實環境在一個分成屏幕部分的屏幕上具有虛擬控制臺。
[0028]圖10示出了在虛擬現實環境中交互的示例性多個組，該虛擬現實環境在一個分成屏幕部分的屏幕上具有多個靶心目標。
[0029]圖11示出了在虛擬現實環境中交互的示例性多個組，該虛擬現實環境在一個分成屏幕部分的屏幕上具有多個作戰場景。
[0030]圖12示出了圖11所示環境的單一組的細節。
[0031]圖13示出了在虛擬現實環境中交互的示例性多個組，在一個或多個實施例中，該虛擬現實環境在一個分成屏幕部分的屏幕上具有多個作戰場景。
[0032]圖14示出了圖13所示用于環境的單一組的細節。
[0033]圖15是一種用于為一個或多個用戶組提供沉浸式虛擬現實環境的示例性過程。
[0034]圖16描述了一種裝置頂部安裝有燈的手持交互式裝置。
[0035]圖17A描述了一種在燈上具有半透明蓋部以提供寬輻射發射圖案的手持交互式裝置。
[0036]圖17B是一種具有半透明蓋部以提供寬輻射發射圖案的交互式裝置的另一實施例的側視圖。
[0037]圖17C是在一個實施例中交互式裝置的頂部透視圖。
[0038]圖17D是在一個實施例中交互式裝置的頂視圖。
[0039]圖18示出了用于提供五自由度跟蹤的兩個場景。
[0040]圖19示出了用于提供六自由度跟蹤的兩個場景。
[0041]圖20是一種用于為一大組用戶確定每個交互式裝置的位置和定向的示例性過程。
【具體實施方式】
[0042]以下優選的實施例涉及用于多用戶的沉浸式虛擬現實環境。常規的虛擬現實環境可在共享環境中容納有限數量的并發用戶。相機監控用戶的行為，通常使用一種放置在用戶或放置在手持裝置上的“標記”。標記可以是小反射面或小燈。通過使用多個相機，可使用三角形方法計算一組標記的位置和定向。當幾個用戶共享一個虛擬現實環境時，由于用戶對于自己和對于在區域中的他人移動和阻擋標記，標記可不總是對相機可見。因此，為多個用戶提供虛擬現實環境在許多應用中可以是優選的。
[0043]一個或多個實施例涉及一種用于更大的劇院規模的觀眾的沉浸虛擬現實系統。該系統使多個用戶作為一組協作或一起工作，或使各組競爭。用戶通過操縱手持交互式裝置與虛擬現實系統交互。每個裝置具有形成圖案的多個燈。跟蹤傳感器監控手持裝置，并且該系統解釋用戶的運動并基于用戶的運動動態地改變虛擬現實環境。在一個實施例中，該系統為一組內的用戶分配獨特的角色。
[0044]本文所述的一個或多個實施例涉及在虛擬現實環境中的游戲。提供這些實施例以闡述通常概念，并且不應視為實際上被限制。在一個或多個實施例中考慮用于提供培訓、教育或娛樂的系統和方法。如本文使用的并且如本領域通常使用的，一個物體可由六自由度表征。六自由度的分量包括物體的位置;也就是說，相對于已知固定點的物體的x、y、z坐標。六自由度還包括物體的定向，包括俯仰、偏航(或行進方向)和滾動。如本文所使用的，以及如本領域通常使用的，詞語“共線”通常指在同一線上的點。因此，兩個點會被認為共線。
[0045]圖1是具有在使用交互式裝置的共享劇院型設置中交互的多個用戶的虛擬現實系統1I的示意性框圖。系統1I包括一個或多個控制器110，跟蹤系統112，3D投影儀陣列114，運動座椅116，環繞音響系統118以及手持交互式裝置120。在一個實施例中，用戶122坐在運動座椅116中。每個用戶122保持一個可識別的交互式裝置130。交互式裝置130具有控制器142和殼體132，所述殼體形狀類似于在一個實施例中具有觸發按鈕140的槍。在一個或多個實施例中，可采用多個觸發按鈕或一個或多個其他輸入。燈134、136和138被定位在殼體132的頂部。跟蹤系統112監控交互式裝置130的燈134、136和138并捕獲每個交互式裝置的5自由度(D0F)或者也許6自由度運動。在一個或多個實施例中可考慮附加觸發按鈕。
[0046]因此，系統101知曉用戶ID的識別，觸發事件的存在和定時，以及包括在所有時間每個裝置的位置和定向的跟蹤信息。這可能與可在觸發事件中或在觸發事件后的很短時間中僅確定裝置的位置和定向的常規系統相反。實施例在用戶122和交互系統122之間提供雙路通信。如以下所討論的，用戶122可通過交互式裝置130彼此相互協作。系統101能夠對用戶提供反饋，包括，例如提供聲音效果，啟動運動座椅，提供視覺效果或提供目標景象和/或虛擬射彈的視覺表示。
[0047]圖2是一種在提供真實沉浸式和實時交互系統的實施例中的示例性虛擬現實劇院。在一個實施例中，三個長椅225、230和235位于下平臺242上，并且三個長椅210、215和220位于上平臺244上。每個長椅包括四個運動座椅。在一個實施例中，系統240跟蹤24個用戶。
[0048]在一個或多個實施例中，系統240還包括彎曲屏幕250。然而，在一個或多個實施例中考慮了球形屏幕或穹頂。系統240在球形或彎曲屏幕250上傳輸3D立體內容。用戶122穿戴立體眼鏡以觀看3D內容。弧形屏幕250提供與平面屏幕相比更大的視場(“F0V”)并且為用戶122提供真實的沉浸式體驗。
[0049]系統240為一大組用戶提供雙路交互。用戶122與使用手持交互式裝置130的內容交互。通過從在彎曲屏幕250上所顯示內容的視覺或聽覺效果，以及也通過包括通過振動、噴水、氣味或觸覺的運動座椅118的物理運動，用戶122接收即時反饋。
[0050]運動座椅116可采用在虛擬環境中仿真物理變化的幾種效果。運動座椅116可采用驅動器，其可致使運動座椅116體驗俯仰、滾動、行進方向和高度的變化。運動座椅116可提供其他效果，例如通過座椅下的振動，座椅下的升降桿，背后的升降桿，面部噴氣，頸部噴氣，面部噴水，腿發癢，以及氣味傳遞。座椅運動和效果可作為朝所有用戶122的實時響應產生。例如，在過山車行進時，所有座椅沿一個軌道移動。座椅運動和效果可作為朝共享一個運動座椅的長椅的每組用戶的實時響應產生。例如，考慮在軌道上駕駛賽車的一組人，如果車撞了路障，該組的座椅可劇烈地振動以發出碰撞組信號到該組成員，并且僅到該組成員。在一個或多個實施例中，每組可體驗一種運動座椅的獨特體驗，或整個觀眾或一部分觀眾可體驗相同的經驗。
[0051 ]圖1和2中所展示的系統可對用戶122提供不同的體驗。例如，每個用戶122可單獨地與屏幕250上的內容交互。在另一實施例中，每個用戶122可通過在一個共享的共同目標射擊而與其他用戶競爭來評分。另外，所有用戶122可在同一目標射擊并贏得游戲。在另一示例中，所有用戶122可參與培訓應用，或也可投票給期望的選項，例如基于情節如何發展選擇期望場景，或選擇影響情節如何發展的期望場景。
[0052]在一個或多個實施例中考慮了用戶122之間的協作。用戶122可作為一個小組與的內容交互，與在同一組內的其他用戶競爭，與同一組內的其他用戶協作，或可作為一組與其他組競爭。在一個或多個實施例中，可根據其在首輪游戲中的表現指定一個組領導，在一個實施例中，賦予該領導對游戲的更多控制。在一個實施例中，領導角色具有在虛擬現實環境內發射虛擬射彈的功能。通過從具有領導角色的交互式裝置檢測觸發事件的存在，確定虛擬射彈的軌跡基于具有領導角色的交互式裝置的位置和定向，以及確定虛擬射彈的軌跡是否影響一個或多個虛擬對象，該系統評分給領導的正確性評分。共享多個運動座椅的一個長椅的用戶122可在一個或多個實施例中形成一組。
[0053]圖3描述了在一個實施例中用于為多個用戶提供雙路交互體驗的示例性過程301。跟蹤系統112監控交互式裝置130(步驟310)。確定交互式裝置的位置、方向和運動裝置(步驟312)以及觸發事件的存在和定時(步驟314)。由控制器處理裝置的當前狀態(S卩，位置、定向、運動和觸發事件信息)(步驟316)。基于交互式裝置130的當前狀態，當檢測到觸發事件時，控制器將計算虛擬射彈的軌跡(步驟328)。如果虛擬射彈錯過了目標，不采取行動(步驟330)。如果虛擬射彈擊中目標，事件的兩條途徑將發生。首先，產生適當的反饋，例如通過聲音效果(步驟320)，激活運動座椅(步驟322)，顯示視覺效果(步驟324)，或顯示目標景象和射彈的視覺表示(步驟326)，并被提供給用戶(步驟340)。第二，確定射擊性能的評分(步驟332)并且確定最佳評分(步驟334)。如果特定用戶具有最佳成績，“游戲規則A”應用于被發送回到控制器的該用戶(步驟336)。如果用戶沒有最佳成績，“游戲規則B”應用于被發送回到控制器的該用戶(步驟338)。因此，系統101可基于用戶122的射擊性能不同地對待用戶。控制器對于特定用戶還可關閉或打開整個交互式裝置130(步驟318)。控制器也可關閉交互式裝置以局部地禁用跟蹤312，并對于特定用戶僅保持監控觸發事件314(步驟318)。
[0054]因此，系統101能夠提供雙路交互并且可在同一游戲中不同地對待用戶。系統101判斷用戶的表現、回報具有最佳表現的用戶，并能暫時禁用或局部禁用表現糟糕的用戶的交互式裝置130。在一個實施例中，屏幕上的目標景象可改變以對最佳用戶永久。用戶通過實時內容(而不是固定的預渲染內容，或在預渲染結局的有限組合之間切換，在主題樂園中常見)接收視覺和聽覺反饋。所選用戶從以允許完全5自由度或6自由度交互的任何形式表示的真實3D指示器(S卩，目標景象，場景操縱者)接收附加的視覺反饋。
[0055]在涉及多個參與者的場景中，每個參與者保持一個具有獨特標識的交互式裝置130。參與者被分成多組。根據場景，通過對于其他組關閉或局部關閉交互式裝置130，系統可分配一組率先控制虛擬現實環境。不活躍交互裝置130上的燈信號作為用戶的視覺線索將保持關閉。
[0056]在一個實施例中，用于跟蹤和用于觸發行為的采樣率彼此獨立。與使用卡爾曼濾波器與觸發序列的系統相比，跟蹤和觸發動作從交互式裝置130異步地采樣，與系統允許的一樣快。在一個或多個實施例中，多個傳感器對于燈信號和觸發事件監控交互式裝置，其中，傳感器與觸發事件的監控異步地監控燈信號。在一個實施例中，系統不引入附加的時間延遲。
[0057]實施例提供具有從用戶到系統的“雙路A”以及從系統用戶的“雙路B”的雙路交互。每個用戶保持一個具有獨特標識的交互式裝置130。對于其位置、定向(S卩，5自由度或6自由度跟蹤)和觸發按鈕狀態，跟蹤交互式裝置130。事件被提供給以交互“雙路A”的“用戶ID、定時、裝置位置和定向、觸發狀態”形式的控制器(步驟312和314)。控制器基于交互物體(如目標)來驗證場景中的每個事件，并相應地做出反應(步驟316)。一種多人游戲場景用作示例來闡述這一過程。
[0058]在一個實施例中，如果用戶射擊并擊中物體，事件經過評分規則(步驟332)。同時觸發多感官效果(“雙路B”)，包括聲音效果(如爆炸聲音)，運動座椅運動(如運動座椅的振動)，視覺效果(如在屏幕上顯示火焰)以及其他視覺信息，包括在步驟320-326中改變目標景象的表示(如，顯示激光，改變物體在屏幕上上的顏色或尺寸，顯示射彈)。如果用戶錯過了目標，丟棄該事件(步驟330)。評分規則計算評分和排名(步驟332)，并且結果返回到控制器用于將結果顯示在屏幕上以提供交互交互“雙路B”。
[0059]基于評分規則，該系統還可決定暫時地關閉在某些交互式裝置上的燈信號(用于跟蹤)，對于不滿足設定性能水平的提供交互“雙路B”的用戶作為禁用交互式裝置130的方法。用戶在游戲中接收所有上述多感官反饋(交互“雙路A”)。
[0060]僅作為示例采用涉及本文所述游戲的實施例。雙路交互機構還可用于行業或培訓環境。例如，設計者可以使原型產品可視化，設計師可以使建筑設計可視化，并且學員可參與虛擬訓練體驗。
[0061]圖4描述了在一個實施例中，基于評分在一組內對用戶分配角色的示例性進程401。通過啟用所有交互式裝置以具有發射虛擬射彈的角色、在虛擬現實環境中顯示一個或多個目標、監控交互式裝置的性能，以及基于交互式裝置的相對性能分配角色，一種例如系統101的系統可分配獨特的角色到每個交互式裝置。
[0062]具體來說，控制器確定用戶是否已經用虛擬射彈成功地擊中目標(步驟410)，確定用戶122的評分(步驟412)。基于該評分，角色被分配給用戶(步驟414)。在一個或多個實施例中，一組包括四個用戶122。一個用戶可被分配用于操縱虛擬車輛的角色(步驟416)，第二用戶可被分配給速度控制(步驟418)，第三目標用戶可被分配給武器瞄準(步驟420)，第四用戶可被分配給武器發射(步驟422)。在一個或多個實施例中，一個用戶可被認為是領導并具有附加授權和責任，在一個或多個實施例中，可基于其他因素分配角色，例如但不限于，基于用戶的偏好、基于用戶的年齡或身份，或基于先前階段的結果。
[0063]圖5顯示與其他組在虛擬現實環境501中交互的用戶組。系統501提供4用戶的6組并且具有六個長椅，包括標簽“A”的長椅225、標簽“B”的長椅230、標簽“C”的長椅235、標簽“D”的長椅210、標簽?”的長椅215以及標簽“F”的長椅220。每個長椅具有四個運動座椅。例如，長椅225具有標記為1-4的運動座椅226-229，長椅230具有標記為5-8的運動座椅231-234，以及長椅220具有標記為21-24的運動座椅221-224。在一個實施例中，每個長椅都被認為是一組，盡管在一個或多個實施例中各組可包括與坐在長椅無關的其他用戶組。
[0064]在一個實施例中，在每組內，一個用戶被認為具有領導角色，其他三個用戶組被認為具有配角角色。例如，在運動座椅228、233和222中的用戶具有領導角色并且具有交互式裝置510。在一個或多個實施例中，其他用戶226、227、229、231、232、234、221、223和224具有配角角色并且具有如圖表示的裝置512，裝置510可物理上不同于裝置512。在其他實施例中，裝置510可等同于裝置512，但已由控制器指令從而具有不同的性能和功能。
[0065]因此，引入具有不同角色的這一機構以避免通過具有太多用戶的混亂。例如，在多人游戲的場景中，除了示出所有用戶122的目標景象，系統501在每個用戶組內分配領導角色，并且僅顯示領導的目標景象。在一個實施例中，在該組中的其他成員發揮配角作用，在屏幕上沒有其交互式裝置的任何視覺表示。一組的所有成員協作并且一起工作以實現目標。
[0066]在一個實施例中，對于每個組，領導瞄準并射擊目標，其他配角組成員僅通過在正確時刻按壓觸發器使用交互式裝置上的觸發按鈕，以躲避到來的障礙，或轉向遠離路障。目標景象的數量有限，并且交互作用可分類成顯式控制(具有目標景象的用戶)和隱式控制(沒有目標景象的用戶)。
[0067]一個或多個實施例示出了一種在共享屏幕上與場景的多用戶交互的新穎方式。關鍵是通過將用戶劃分為組讓每個人都盡可能多地參與交互，并創建有效方式以讓所有用戶參與交互，而不使屏幕充斥太多信息。總體目標是在所有用戶之間的團隊合作。在一個或多個實施例中，領導角色可在小組成員之間旋轉。
[0068]圖6描述了在一個或多個實施例中的虛擬圖象。虛擬圖象610和820具有被顯示用于處于領導角色的用戶的發射軌跡的示例性圖象。僅該組領導具有使用5自由度或6自由度交互式裝置510的顯式控制。來自每個領導的目標612和622、目標景象614和624、子彈和射擊軌跡616和626顯示在屏幕上。這些視覺表示可根據游戲的結果改變。表示610示出了一種擊中目標612的射彈616，并且表示620示出了一種錯過目標622的射彈626。
[0069]具有隱式控制的配角用戶可看到顯示圖標，例如顯示圖標630和650。對于在屏幕上的每個配角成員示出了這些警告顯示(“HUD”)。警告顯示足夠小不與場景干涉。例如，來自裝置512的行進方向和俯仰信息可用于控制轉向或速度(即，4-方向的)或僅轉向控制(即，2-方向的)，或僅定時控制，其中用戶在預期定時精確地按壓觸發按鈕。
[0070]顯示圖標630是一種在提供拇指操作的四通方向控制的游戲控制臺上經常發現的方向鍵(“D鍵”)的虛擬圖象。顯示圖標630具有上按鈕632、下按鈕634、左按鈕638和右按鈕636ο在一個實施例中，配角用戶可通過在向上運動中揮動交互式裝置512選擇上按鈕632，通過向下揮動交互式裝置512選擇下按鈕634，通過向左揮動交互式裝置512選擇左按鈕638，以及通過向右揮動交互式裝置選擇右按鈕636 ο在一個或多個實施例中，可在對跟蹤系統指示該運動具有重要性的運動中按壓一個觸發按鈕。
[0071]顯示圖標650是操縱桿的虛擬圖象。顯示圖標650具有上指示器652、下指示器654、左指示器658，右指示器656，以及示出與顯示圖標650的功能相關的相對二維位置的位置指示器660。對于方向轉向和速度控制，可以使用裝置的行進方向或俯仰信息。點位置指示器660示出了跟蹤信息的當前測量。
[0072]圖7描述了在一個或多個實施例中的附加示例性顯示圖標。顯示圖標710是水平滑動開關的虛擬圖象。圖標710具有左箭頭指示器712、右箭頭指示器714、中間區域716以及示出功能或一維參數的當前相對值的滑塊718。顯示圖標730是垂直滑動開關的的虛擬圖象。圖標730具有上箭頭指示器732，下箭頭指示器734，中間區域736，以及示出功能或一維參數的當前相對值的的滑塊738。在一個實施例中，滑塊718和738可示出虛擬對象的相對行進方向和俯仰。通過對于圖標710上下以及對于圖標730左右揮動交互式裝置512，用戶可與這些顯示圖標配合。
[0073]顯示圖標750描述了三個垂直滑動開關的虛擬圖象。相對基線752、754和756表示相關功能或參數的最小值，并且滑塊762、764和766示出了當前功能或參數的值，例如當前的俯仰、行進方向或定時信息。
[0074]顯示圖標760描述了一種三垂直滑塊的類似的虛擬圖象。在一個實施例中，團隊成員可試圖協調定時控制以指示良好的團隊合作。在一個實施例中，當所有用戶精確地在所需時刻同時按壓觸發器時，可授予額外的分數或相對的強度榮譽。
[0075]圖8示出了在共同的單一屏幕上具有虛擬控制臺的虛擬現實環境801中交互的多個組。組和用戶的結構類似于如上關于圖5所討論的那樣。屏幕250顯示在運動座椅228、233和222中的領導試圖擊中的目標803、807和822。該顯示還示出了分別與長椅225、230、235、210、215和220中各組相關的虛擬控制臺825、830、835、810、815和820。在一個或多個實施例中，表示虛擬控制臺的虛線用于說明性目的，并且不可見或不具有正確比例。
[0076]虛擬現實環境801產生一個具有虛擬對象的虛擬現實環境，例如在屏幕250上顯示的目標803、807和822。該屏幕還顯示了可具有多個顯示圖標的虛擬控制臺810、815、820、825、830和835，例如每個都表示與虛擬對象相關的不同功能或參數的顯示圖標826、827和829。例如，顯示圖標826可表示車輛的速度，顯示圖標827可表示定向角，顯示圖標829可表示武器的發射。每個用戶保持一個具有多個燈的手持交互式裝置，例如提供交互式裝置的識別和跟蹤信息的圖1的燈134、136和138。交互式裝置具有一種被構造用于傳送觸發事件的發生的觸發機構。
[0077]每個交互式裝置510和512可被分配一個獨特的角色到對于如圖4所示的一個或多個用戶組的用戶的每個交互式裝置，其中每個角色都具有用于在虛擬現實環境中操縱虛擬對象的相關功能或參數。跟蹤系統112監控每個交互式裝置510和512以確定每個交互式裝置510和512的的當前狀態，例如位置、定向、運動、觸發事件的存在，以及交互式裝置510和512的識別。
[0078]系統801基于分配給交互式裝置的角色解釋每個交互式裝置的當前狀態。例如，與顯示826交互的用戶一在這一示例中為物體的速度一將通過揮動交互式裝置512以改變速度與虛擬環境交互。同樣，與顯示827交互的用戶一其為虛擬對象的定向角一將通過揮動交互式裝置以改變定向角與虛擬環境512交互。基于用戶的輸入，系統801改變與角色相關的功能或參數以操縱虛擬對象。因此，在這一示例中表示速度變化的顯示圖標828的變化，虛擬環境將改變虛擬對象的速度，并將在虛擬現實環境中動態地顯示操作虛擬對象。
[0079]圖9示出了在虛擬現實環境中交互的多個組，該虛擬現實環境在一個分成屏幕部分的屏幕上具有虛擬控制臺。系統901具有長椅225、230、235、210、215和220，其中每個長椅具有四個運動座椅。在這一實施例中，屏幕902被分成6部分，每個長椅被分配給一個特定部分。在一個實施例或中，長椅225被分配給部分925，長椅230被分配給屏幕部分930，長椅235被分配給屏幕部分935，長椅210被分配給屏幕部分910，長椅215被分配給部分915，長椅220被分配到部分920。
[0080]圖9示出了一種多個用戶與分成多個屏幕部分的屏幕交互的新穎方式。這一概念的關鍵方面是將用戶劃分為組，其中每個組具有用于觀察的專門子屏幕。總體目標不僅限于在所有用戶之間的團隊，而且團隊合作可以是每個組的單獨目標。
[0081]—種實施例提供了作為示例的多人游戲場景。為了避免在共享屏幕上的混亂，目標景象的數量有限，并且交互可分類為顯式控制(具有目標景象的用戶)和隱式控制(沒有目標景象的用戶)。
[0082]圖10示出了在虛擬現實環境中交互的示例性多個組，該虛擬現實環境在一個分成屏幕部分的屏幕上具有多個靶心目標。實施例允許多個用戶協作通過分割屏幕，其中用戶被劃分成對應于屏幕部分的四個組。每組中的用戶射擊與該組相關的目標，并且具有最高評分的用戶成為組領導。基于評分為游戲分配角色，其中具有較高評分的用戶被分配給更重要的角色。在一個實施例中，每組中的最佳玩家可變成該組的領導，并且可具有比與具有配角的用戶相比更大的控制或責任，在一個實施例中，領導可具有獨特彩色的目標位置。用戶可在每組內合作。在一個實施例中，各組成員的角色可由系統以例如圖4所示的方式確定，其中每個組成員可控制一個子任務，例如轉向、速度控制、武器瞄準和武器發射。在一個實施例中，用戶可不局限于在一個階段中的單一子任務。作為示例，當一個用戶完成他的子任務時，用戶然后可參與在一個或多個實施例中的其他子任務。分隔屏幕是在多個用戶之間處理協作的一種方式，但并不絕對地必要。
[0083]圖11示出了在虛擬現實環境中交互的多個組，該虛擬現實環境在一個分成屏幕部分的屏幕上具有多個作戰場景。圖12示出了圖11所述環境的單一組的細節。在一個實施例中，長椅225被分配給屏幕部分1125，長椅230被分配給屏幕部分1130，長椅220被分配給屏幕部分1120。其他長椅同樣也被分配給相關的屏幕部分。運動座椅228中的用戶是被分配給長椅225的組的領導，并且在屏幕部分1125中朝目標“F”射擊。運動座椅233中的用戶是被分配給長椅230的組的領導，并且在屏幕部分1130中朝目標“C"射擊。運動座椅223中的用戶是被分配給長椅220的組的領導，并且在屏幕部分1120中朝目標“A”射擊。
[0084]配角中的成員在屏幕部分的上拐角中具有顯示圖標。例如，圖12示出了運動座椅231中的用戶具有顯示圖標650，運動座椅232中的用戶具有顯示圖標730，運動座椅234中的用戶具有顯示圖標750。
[0085]在一個實施例中，具有配角的非領導也可具有使用5自由度或6自由度跟蹤裝置的顯式控制。目標、目標景象、子彈和從每個用戶的射擊軌跡僅示出在與用戶組相關的子屏幕。把屏幕分成部分允許更多用戶具有顯式控制，不使整個屏幕混亂。同一組中的用戶也可具有顯式控制和隱式控制的混合。
[0086]圖13示出了在虛擬現實環境中交互的示例性多個組，在一個或多個實施例中，該虛擬現實環境在一個分成屏幕部分的屏幕上具有多個作戰場景。圖14示出了圖13所示用于環境的單一組的細節。在一個實施例中，運動座椅226、228和229中的用戶分別朝目標“E”、“F”和“D”射擊;運動座椅232、233和234中的用戶分別朝目標“F”、“C”和“A”射擊;運動座椅223和224中的用戶分別朝目標“A”和“C”射擊。圖14示出了組在長椅230中組“B”的細節。運動座椅231中的用戶具有配角并且與顯示圖標650交互。在一個實施例中，將屏幕分成部分允許同一組的用戶作為一個團隊與其他組競爭。
[0087]圖15示出了一種用于為一個或多個用戶組提供協作和/或競爭的示例性過程1261。形成一個或多個用戶組(步驟1262)。產生一種包括至少一個虛擬對象和一個用于操作虛擬對象的虛擬控制臺的虛擬現實環境(步驟1263)。具有至少一個觸發器的手持交互式裝置被提供給每個用戶，每個交互式裝置提供交互式裝置的識別和跟蹤信息(步驟1264)。獨特角色被分配給用戶的每個交互式裝置，其中，每個角色都具有用于在虛擬現實環境中操縱虛擬對象的相關參數或功能(步驟1265)。跟蹤每個交互式裝置以確定每個交互式裝置的當前狀態(步驟1266)。基于被分配給交互式裝置的角色解釋每個交互式裝置的當前狀態(步驟1267)。基于對當前狀態的解釋改變與操作虛擬對象的角色相關的參數和功能(步驟1268)。被操縱的虛擬對象動態地顯示在虛擬現實環境中(步驟1269)。
[0088]參考圖1和16-20，以下進一步討論了跟蹤交互式裝置的細節。可存在用于制造可以類似方式工作的跟蹤系統的幾種方法。系統通常需要兩個或多個相機，其監控已知或可計算的的裝置位置和定向(一種通常被稱為“系統校準”的過程)。系統通常需要相機的可跟蹤目標(被稱為“標記”)以檢測和跟蹤2D空間，由于CCD相機產生2D圖象。采用數學三角測量算法，可基于從兩個或多個相機(稱為“相機陣列”)的讀數計算每個標記的3D位置(稱為“重構”)。二是相機數量的最小要求，盡管通常更多的相機用于冗余(即，魯棒性)，并且也擴大了捕獲體積。冗余很重要，因為并不是所有標記都可由所有相機在所有時間中看到。每當通過至少兩個相機看不到標記時，這些標記不可能被跟蹤(稱為“遮擋”)。由于構造算法并不需要每個標記從所有相機在所有時間都可見，具有更多相機意味著能夠跟蹤更大的體積。
[0089]現有的跟蹤系統可以稍微不同的方式工作。一些系統使用反射球形的標記，并且每個鏡頭都具有圍繞其鏡頭的紅外選通脈沖。從選通脈沖發出的紅外光被從標記反射回到相機，并且他們在非常黑暗背景下顯示為明亮圓形，即標記容易從跟蹤體積內側的所有其他物體突出。通常使用紅外光，因為它對人眼不可見，并且如果拾取相機相對容易。然而，可以使用其他顏色的光。相機使用允許他們以非常高的幀速捕獲的灰度CCD。所有相機都是一起同步，以確保同相地捕獲所有幀。
[0090]為了跟蹤非變形物體(被稱為“剛體”)，幾個標記以非對稱方式放置在物體周圍。最小標記數為三以提供6自由度跟蹤(如，三自由度位置和三自由度定向)。這些標記(稱為“標記組”)以如下方式形成獨特圖案，無論該物體如何被定向，一種算法能夠僅使用標記組內每個標記的位置計算剛體的位置和定向。由于可同時跟蹤多個物體，即使3個標記足以形成獨特圖案，通常使用4個或多個標記。此外，當限制了被跟蹤物體的尺寸時，可存在僅使用3個標記的有限組的標記圖案。此外，標記可被頻繁地遮擋，并且物體的定位可完全地喪失，當3-標記圖案僅與2個標記一起留下時，因此具有附加標記在這種情況下可提供附加魯棒性。然而，標記之間在近距離的一簇中具有幾個標記可極大地降低跟蹤質量，由于相機在混亂的標記組中可能不清晰地看到每個標記。
[0091]假如每個剛體附接有一個獨特標記圖案，可以同時跟蹤多個剛體。需要注意的是，在一個標記組中的每個標記不可與剩余標記區分，該系統依賴于獨特圖案以在剛體之間區分。這種方法的一大缺點是，如果兩個標記彼此橫過，可擾亂該系統。這一過程通常被稱為“標記對換” ο當兩個剛體經過彼此或從彼此反彈時，當太多接近發生在標記之間時，這可能很容易發生。
[0092]其他系統采用從每個標記發出的脈沖光(稱為“有源標記”)。一些系統依賴于以二進制形式編碼的光。例如，8位二進制編碼可對256個標記編碼。原理上，僅8個連續幀被相機陣列捕獲，系統應該能夠識別每個有源標記的獨特閃爍圖案，并且區分至多256個標記(并獲得每個標記的脈沖模式的獨特標記ID)。其他系統需要，在每一幀中僅一個標記發光并被相機觀察到，而所有其他標記不發光。在在每一幀中，所有標記交替，一個發光。不利的是，當標記數量增加時，系統需要更多的幀以循環通過所有標記。大多數時候，每個標記保持關閉，意味著系統沒有跟蹤標記，從而減少了跟蹤平滑度。對于6自由度剛體跟蹤，仍然需要非共線標記組，其中最小標記數為3。然而，對于識別每個標記的能力，該系統可以潛在地跟蹤共享相同標記圖案的多個剛體，并且仍能夠在剛體之間區分。這可以是對于大量觀眾如何可跟蹤交互式裝置的基礎。
[0093]圖16描述了一種裝置頂部安裝有燈1214、1216和1218的手持交互式裝置1201。交互式裝置1201具有控制器1242、主體1210、柄部1211、桶部1212、觸發器1240，并且可通過可選系鏈1220物理地固定到一個位置。如本文所使用的，桶部通常指通常與虛擬裝置的預期軌跡平行的交互式裝置的部分。柄部通常是指在常規操作中由用戶保持的裝置的部分。交互式裝置1201用由用戶控制的附加觸發按鈕捕獲5自由度(也可以是6自由度)用戶運動，允許在3D空間中更好地交互。交互式裝置1201是一種多個用戶在一種應用中交互的設備，提供跟蹤和觸發動作。采用多個指向裝置的實施例能夠發射多個信號，例如紅外或近紅外光線(_活動標記)。
[0094]圖17A描述了一種在燈上具有半透明蓋部以提供寬輻射發射圖案的手持交互式裝置1251。交互式裝置1251采用了具有半透明蓋部的三個燈1252、1254、1256，因此遠場光發射圖案與使用僅從頂部可見的表面安裝LED作為光源的圖15所示的交互式裝置1201相比大得多。具有半透明蓋部的燈可允許從更寬范圍看到燈或LED，從而減少遮擋。通過在裝置表面上的環狀半透明蓋部，燈標記1252、1254和1256可具有在裝置周圍近360度的遠場發射圖案。這與圖16的交互式裝置1201相反，其中燈標記1214、1216和1218僅從頂部可見，由于主體1210在一定程度上阻擋了所發出的光。在一個或多個實施例中，考慮了具有四個或多個燈的交互式裝置1251。
[0095]在一個實施例中，系統控制器110優選地被進一步構造用于完全地禁用特定交互式裝置1251，或僅禁用交互式裝置1251上的特定燈。
[0096]每個交互式裝置1251均提供一種由高速紅外相機陣列檢測的方法，并且可以區分每個燈信號的特性。因此可以區分每個交互式裝置。如上所討論的，從交互式裝置1251發出的每個燈信號被重建為具有x、y、z坐標的3D點。編碼標記跟蹤系統的實施例提供了良好的魯棒性，即使當交互式裝置彼此靠近地經過時。每個燈信號可由其獨特ID區分，而沒有用非編碼標記跟蹤系統常見的“標記對換”。每個跟蹤系統還提供了一種用于檢測用戶的觸發動作以及重新編碼觸發動作的特性的方法。
[0097]圖17B、17C和17D描述了一種在燈1271、1272、1273和1274上具有半透明蓋部1277以提供寬輻射發射圖案的的手持交互式裝置1270。交互式裝置1270采用具有用于裝置前部的整個半透明蓋部1277的多個燈1271、1272、1273和1274。遠場光發射圖案與圖15的交互式裝置1201相比可能大得多。具有半透明蓋部1277的燈可允許從更寬的范圍看到燈，減少了遮擋，在一個或多個實施例中，當交互式裝置的頂部的遠離相機面對時，減少了遮擋。燈安裝到一個在裝置內側支撐燈的薄樹狀結構內。薄結構設計用于將遮擋問題降到最低。
[0098]交互式裝置1270具有細長的桶部1279、柄部1276、觸發按鈕1275和可選系鏈1280。在一個或多個實施例中，系鏈1280可用提供電力并傳輸信號的電纜拴到座椅，并防止用戶移除交互式裝置，在一個實施例中，系鏈1280可簡單地防止用戶從劇院移除交互式裝置1270并且交互式裝置可由電池驅動并且完全地無線，使用信號傳輸的無線電頻率。燈1271，1272和1274與虛擬射彈的預期軌跡共線和平行。燈1273從連接燈1271、1272和1274的線路偏移。在一個或多個實施例中考慮了附加燈或用于提供增強冗余度的燈布置的其他圖案。在一個或多個實施例中，交互式裝置1270可包括兩個或多個燈。燈1271、1272、1273和1274由一種允許全方位輻射的發射圖案從每個燈突出的半透明蓋部1277覆蓋。這種結構對于具有大量并發用戶的共享虛擬現實環境可減少與遮擋相關的問題。在一個或多個實施例中，燈1271、1272、1273和1274可以是具有在可見光或紅外光譜中的發射波長的發光二極管。
[0099]圖18顯示出用于提供五自由度跟蹤的兩種結構1301和1321。結構1301具有共線地位于一種例如交互式裝置1251的交互式裝置上的兩個燈1302和1304。在每個交互式裝置上使用最少2個重構的共線3D點，可以確定包括5自由度(“D0F”)信息的交互式裝置的目標方向，該信息包括行進方向、俯仰和x、y、z坐標中的3D位置。這一信息不僅提供了在二維屏幕上的目標信息，而且提供了包括平移的5-D0F交互。結構1301具有與虛擬射彈1308的預期軌跡共線地定位和平行的第一燈1302和第二燈1304。
[0100]結構1321具有都彼此共線以提供5自由度跟蹤的三個燈1302、1304和1306。如果一個燈信號被完全遮擋，系統仍能夠從余下的兩個燈信號獲取目標方向。結構1321具有與虛擬射彈1308的預期軌跡共線地定位和平行的第一燈1302、第二燈1304和第三燈1306。
[0101]圖19顯示用于提供六自由度跟蹤的兩個場景。結構1341使用三個燈1342、1344和1346，其中燈1342和燈1346共線，但燈1344相對于連接燈1342和1346的線偏移。結構1341使用在每個交互式裝置上的最少3個重構的共線3D點，以提供包括6自由度(DOF)信息的交互的目標方向，該信息包括行進方向、俯仰和x、y、z坐標中的3D位置。這不僅給用戶在二維屏幕上的目標信息，而且給用戶包括平移的完全6自由度交互。結構1341具有與虛擬射彈1308的預期軌跡共線地定位和平行的第一燈1342和第二燈1346，以及從虛擬射彈1308的預期軌跡偏移的第三燈1344。
[0102]結構1361具有總共四個燈，其中第一燈1342和第二燈1346與虛擬射彈1308的預期軌跡共線地定位和平行，并且第三燈1344和第四燈1348從虛擬射彈1308的預期軌跡偏移定位。對于6自由度跟蹤，4個燈信號以非對稱方式安裝在每個交互式裝置上。如果一個燈信號被完全遮擋，系統仍能夠從余下的3個燈信號獲得完整的6自由度平移信息。這種冗余提供了附加的魯棒性。
[0103]在一個或多個實施例中，多個燈優選為一個與虛擬射彈的預期軌跡共線地定位和平行的燈子集，并且余下的燈從虛擬射彈的預期軌跡偏移定位，并且燈的數量超過三個。
[0104]圖20提供了一種用于為大量用戶確定交互式裝置的位置和定向的示例性過程1401。具有多個編碼的標志燈的交互式裝置被提供給用戶(步驟1402)。跟蹤交互式裝置(步驟1403)。確定與特定交互式裝置相關的燈(步驟1405)。確定一個或多個燈是否已被遮擋(步驟1406)。如果一個或多個燈被遮擋，基于不被遮擋的裝置上的燈計算位置和定向(步驟1406) ο
[0105]本文公開了一種劇院尺寸的交互式穹頂系統的新穎設計。對于教育娛樂，它使好萊塢風格的故事講述與前沿技術相結合，為一組觀眾提供沉浸式4D劇院體驗的盛宴。對于行業培訓，完全沉浸式和交互式穹頂對于增強的培訓經驗提供了實時虛擬現實(“VR”)教程。與像計算機輔助虛擬環境(“CAVE”)的傳統虛擬現實訓練設施相比，其因為人均更低的培訓成本托管更多組的學員，并提供與多個學員協作培訓的方法。
[0106]該設計主要目標是兩類用途:I)教育和娛樂相結合(教育娛樂)，2)行業培訓。對于教育娛樂，實施例將好萊塢的敘事風格和包括交互式手持裝置和運動座椅的前沿技術結合起來，并為一組觀眾提供沉浸式4D劇院體驗的盛宴。對于使用實時虛擬現實教程的行業培訓，穹頂提供能夠極大地增強培訓經驗的完全沉浸式渲染和交互性。與像CAVE的傳統虛擬現實訓練設施相比，穹頂因為人均更低的培訓成本能夠托管更多組的學員，并提供與多個學員協作培訓的方法。
[0107]對于沉浸式虛擬現實(“VR”)體驗已經開發了CAVE型的平臺。他們通常用6自由度(DOF)跟蹤用戶的頭部和控制棒以在虛擬環境中導航并且與內容交互。由于其沉浸式體驗和直觀的操作能力，其在研究和產業社區快速地獲得普及，它已經用作一種從教學地球科學到抽象數學的主要教育工具。另一方面，由于以低得多的成本提供良好沉浸式體驗的能力，頭部安裝的顯示器(“HMD”)系統也得到普及，近年來教育娛樂的概念流行，它將游戲內容帶入基于教育場景的虛擬現實以使學習更有效和有趣。結果表明，學生更多地參與這一新概念，同時具有學習體驗的長久記憶。隨著在各種新虛擬現實技術方面公共利益快速地增長，越來越多的博物館和主題公園正在選擇實時虛擬現實作為他們的顯示媒體。這一趨勢也影響了娛樂行業的未來，特別地對于游樂設施。這對傳統VR在同一時間托管多個觀眾提出了挑戰。
[0108]多年來，對于沉浸式內容顯示已經出現了新型穹頂平臺。這些設計對注意力帶來了各種挑戰。例如，一種概念討論了像穹頂狀包裝設計、立體觀賞、實時內容集成的許多穹頂設計相關方面，然而他們僅停留在設計層面上并且沒有提供整體工作的解決方案。另一方面，另一概念使用一組18PC用于在穹頂中的立體渲染，一種設置和維護太復雜的系統。相比之下，一個或多個實施例提供了一種用于教育娛樂和沉浸式培訓的交互式穹頂設計的工作解決方案。由3D聲音和4D運動座椅系統伴隨，實施例提供一種真正獨特和壓倒性的冒險體驗。在教育娛樂目的之外，實施例提供了一種行業培訓的主要方式，它已被證明非常有用以在危險或邏輯上不可能的區域中進行培訓，例如在緊急情況下為煤礦工人準備逃生路線，或消防場景等。穹頂訓練設施還提供了托管一大組學員協同訓練場景的益處。
[0109]實施例包括三個主要部分:穹頂及其投影系統，實時交互和4D劇院系統。一個或多個實施例的新穎性可被看作將好萊塢電影質量、極好的虛擬現實角色、4D多感官劇院平臺和每個參與者的完全交互結合起來。具體地，實施例具有以下優點:與傳統博物館和教育電影放映相比，實施例增加了娛樂元素到電影中，使學習更有趣并且容易理解。更重要地，它提供了一種由多個學員同時共享的沉浸式組培訓環境。與具有平面屏幕并且沒有交互的傳統4D劇院不同，實施例對每個參與者提供了完全沉浸和實時交互的空前體驗。
[0110]在一個實施例中，穹頂測量直徑9米，在地面平面以上以45度角傾斜。觀眾座椅在提升平臺上被布置在三排中，所有座椅面對穹頂屏幕的中心，根據乘坐位置大約3到5米遠。觀眾的平均視場(“F0V”)是135度。實施例在觀察質量和建設成本之間取得了良好的平衡，并為觀眾提供完全沉浸式感覺。然而，為了實現更寬的視場，不僅人均成本將顯著地增加，其也會損害立體效果。
[0111]穹頂的結構成件地進來并在現場組裝。屏幕由軟乙烯基材料制成；它包含整個穹頂結構并使用位于穹頂頂部的真空風扇維持其形狀。3個投影儀安裝在穹頂結構的邊緣，朝穹頂中心發射。軟件用于包裝和邊緣融合以在球形屏幕上實現無縫呈現。投影儀不需要魚眼鏡頭或鏡頭或特殊冷卻，這降低了整體成本并簡化了安裝。當與使用更多投影儀的系統相比時，實施例稍微犧牲了圖象亮度和像素計數;然而3個投影儀都由在惠普Z820工作站上運行的單一Nvidia Quadro K6000卡驅動。這消除了同步多個投影儀和工作站的需求，其在穹頂中對輸出的主動立體3D渲染提供了良好基礎。
[0112]交互系統的實施例經由手持裝置跟蹤一小組用戶。每個裝置由一組光學相機跟蹤標記和一個無線游戲控制器構建。實施例可使用6Vicon相機來跟蹤每個裝置的位置和定向。相機安裝在兩個將穹頂結構保持在適當位置的柱子上。索尼導航控制器用作無線控制裝置。為簡單起見，僅使用底部觸發按鈕(L2觸發器)并且屏蔽所有剩余按鈕。這一觸發按鈕已在仿真軟件內編程以射擊目標，操縱虛擬現實對象并控制仿真流。例如，參與者可以確定仿真故事如何發展，由于它們在路叉選擇走哪條路。
[0113]實施例結合有極大地增強整體交互體驗的多感官運動座椅。每個座椅長椅被螺栓連接到3自由度(“D0F” )運動的運動平臺以容納4個騎手。平臺由3個實質上產生俯仰、滾動和舉起(高度調整)運動的空氣活塞驅動器驅動。運動座椅系統還通過升降桿(座椅和背部)提供多感官效果，腿發癢，氣味/水噴霧，噴氣(面部和頸部背面)和座椅振動。該系統由在以太網上的MIDI控制。每個驅動器使用不同的midi通道或midi標記。
[0114]在VR平臺中開發實施例的內容，它在內容導入和交互編程方面提供極大的靈活性。這里，我們描述三個場景。
[0115]實施例將一種8分鐘高質量的好萊塢風格的敘事體驗與VR技術結合起來。其存在一種具有平臺可以提供的許多可能性的簡短預告場景的圖案，從翱翔的風景到海洋生物以及從高速賽車到太空作戰和探索。在亮點中，觀眾在空間作戰中瞄準和射擊小行星和龍，在海洋潛水并在他們靠近時喂海豚，在沉浸在松林味道時繼續全速公路賽。
[0116]實施例包括一個名為“我的飛車”的激烈游戲。玩家在怪異礦區行進在地下過山車上，瞄準并沿行程射擊晶體以賺點，并摧毀路障以防止撞到它們。整個形程像迷宮，當沿軌道來到幾個路叉時，玩家必須選擇哪個方向繼續，或它們會陷入死胡同。人們很喜歡其它地方非常罕見的這類游戲體驗。
[0117]實施例包括在各種平臺上運行的許多行業培訓應用。這些培訓應用可以很容易地接入到實施例內，形成一種全新的體驗。由于大FOV，當在穹頂內側觀察時，相同內容更加沉浸，除此之外，穹頂對于在同一階段中與多個學員一起培訓的組來說是完美的，相對于其他系統降低了人均成本。實施例包括需要協作的團隊工作的設計培訓應用，使其更有趣和有效。
[0118]實施例主要解決三個方面:1)好萊塢電影/動畫與虛擬現實內容的密切結合，2)游戲多用戶交互系統，3)游樂園型4D劇院系統。該系統具有以下優點:與如劇院和博物館的傳統教育媒體相比，所添加的交互元素使學習部分更愉快和有效。與如CAVE的其他交互設施相比，實施例托管每個階段的多個參加者，降低了人均培訓費用并提供協作的培訓環境。實施例提供一種交互并實時控制內容的方式，形成一種全新的娛樂體驗。
[0119]正在幾個方面改進該系統，包括立體效果、內容形成管道、簡化目標和射擊裝置，以使其成為娛樂、教育和培訓的多功能平臺
[0120]盡管已經參照具體實施例討論了發明，顯而易見并且應該理解的是，可另外實施該概念以實現所討論的優點。已經描述了主要作為大量并發用戶的沉浸式虛擬現實系統和方法的以上優選實施例。在這方面，出于闡述和描述的目的，提出了虛擬現實環境的上述描述。此外，說明書并不旨在將本發明限制到本文所公開的形式。因此，與相關技術的以下教導、技能和知識一致的變型和修改在本發明的范圍內。本文所述的實施例進一步旨在解釋用于實踐因此公開的本發明的模式，并且使本領域技術的其他人員在等同或替代實施例中利用本發明以及具有通過本發明的特定應用或使用所考慮必需的各種修改。
【主權項】
1.一種用于為多個用戶提供沉浸式虛擬現實環境的方法，該方法包括: 產生一個虛擬現實環境，該虛擬現實環境包括一具有至少一個虛擬對象的顯示屏和一虛擬控制臺，該虛擬控制臺具有多個顯示圖標，每個所述顯示圖標均表示與所述虛擬對象相關的不同功能； 對每個用戶提供一手持的交互式裝置，每個所述交互式裝置均具有多個燈，所述燈提供每個所述交互式裝置的識別和跟蹤信息，每個所述交互式裝置均具有一觸發機構，所述觸發機構設置為傳送一觸發事件的發生； 對于形成單組用戶的用戶，分配給每個所述交互式裝置一獨特的角色，每個角色均具有一用于在所述虛擬現實環境中操縱所述虛擬對象的相關功能； 跟蹤每個所述交互式裝置，以確定每個所述交互式裝置的當前狀態，所述當前狀態包括位置、方向、運動、觸發事件的存在，以及每個所述交互式裝置的識別； 基于分配給每個所述交互式裝置的角色，來解釋每個所述交互式裝置的當前狀態； 改變與所述角色相關的功能，從而基于對當前狀態的解釋來操縱所述虛擬對象;并且， 在所述虛擬現實環境中動態地顯示被操縱的虛擬對象。2.根據權利要求1所述的用于為多個用戶提供沉浸式虛擬現實環境的方法，其中，對每個交互式裝置分配一獨特的角色進一步包括: 使所有的交互式裝置均具有發射虛擬射彈的角色； 在所述虛擬現實環境中顯示一個或多個目標； 監控所述交互式裝置的性能；以及 基于所述交互式裝置的相對性能分配角色。3.根據權利要求1所述的用于為多個用戶提供沉浸式虛擬現實環境的方法，進一步包括對用戶提供反饋。4.根據權利要求3所述的用于為多個用戶提供沉浸式虛擬現實環境的方法，其中，對用戶提供反饋包括以下中的一個或多個:提供聲音效果，、啟動運動座椅，提供視覺效果，或提供目標景象的視覺圖象。5.根據權利要求1所述的用于為多個用戶提供沉浸式虛擬現實環境的方法，其中，角色之一包括一領導角色，該領導角色具有在虛擬現實環境中發射虛擬射彈的功能。6.根據權利要求5所述的用于為多個用戶提供沉浸式虛擬現實環境的方法，其中，解釋具有該領導角色的交互式裝置的狀態進一步包括: 從具有該領導角色的交互式裝置檢測觸發事件的存在； 基于具有領導角色的交互式裝置的位置和方向來確定所述虛擬射彈的軌跡；以及 確定虛擬射彈的軌跡是否影響一個或多個虛擬對象。7.根據權利要求1所述的用于為多個用戶提供沉浸式虛擬現實環境的方法，其中，所述角色包括用于發射虛擬射彈的領導角色，用于操縱虛擬對象的轉向角色，用于控制虛擬對象速度的速度控制角色，以及用于將所述交互式裝置瞄準一虛擬對象的武器瞄準角色。8.一種用于為多個用戶提供沉浸式虛擬現實環境的方法，該方法包括: 從多個用戶形成第一組用戶和第二組用戶； 將一手持的交互式裝置提供給所述第一組用戶和第二組用戶中的每個用戶，每個交互式裝置均具有多個燈，所述燈傳送每個所述交互式裝置的標識，每個所述交互式裝置均具有一觸發機構，所述觸發機構設置為傳送一觸發事件的發生； 產生一個虛擬現實環境，所述虛擬現實環境包括具有至少一個虛擬對象的顯示屏和一個分別用于第一組和第二組的第一虛擬控制臺和第二虛擬控制臺，每個虛擬控制臺均具有多個顯示圖標，每個所述顯示圖標均表示與所述虛擬對象相關的不同功能； 對于在第一組用戶和第二組用戶內的用戶，分配一獨特的角色給每個所述交互式裝置，每個角色包括一用于在一虛擬環境中操縱虛擬對象的相關功能； 跟蹤每個所述交互式裝置，以確定每個所述交互式裝置的當前狀態，該當前狀態包括位置、方向、運動、觸發事件的存在，以及每個所述交互式裝置的識別； 基于分配給每個所述交互式裝置的角色和相關的組來解釋每個所述交互式裝置的當前狀態； 操縱與所述虛擬對象相關的功能，以提供一被改變的虛擬對象；以及 動態地顯示該被改變的虛擬對象。9.根據權利要求8所述的用于為多個用戶提供沉浸式虛擬現實環境的方法，其中，產生一虛擬現實環境還包括提供具有表示第一組和第二組的虛擬對象的單一屏幕。10.根據權利要求8所述的用于為多個用戶提供沉浸式虛擬現實環境的方法，其中，產生一虛擬現實環境還包括為所述第一組和第二組提供一單獨的屏幕部分。11.根據權利要求8所述的用于為多個用戶提供沉浸式虛擬現實環境的方法，還包括形成附加組的用戶。12.根據權利要求8所述的用于為多個用戶提供沉浸式虛擬現實環境的方法，進一步包括為用戶提供反饋。13.根據權利要求8所述的用于為多個用戶提供沉浸式虛擬現實環境的方法，其中，為用戶提供反饋包括以下中的一個或多個:提供聲音效果，啟動運動座椅，提供視覺效果，或提供目標景象的視覺圖象。14.根據權利要求8所述的用于為多個用戶提供沉浸式虛擬現實環境的方法，其中，給每個所述交互式裝置分配一獨特的角色進一步包括: 對于第一組和第二組: 使所有的交互式裝置具有發射虛擬射彈的角色； 在所述虛擬現實環境中顯示一個或多個目標； 監控所述交互式裝置的性能；以及 基于所述交互式裝置的相對性能分配角色。15.根據權利要求8所述的用于為多個用戶提供沉浸式虛擬現實環境的方法，其中，角色之一包括一領導角色，該領導角色具有在所述虛擬現實環境中發射虛擬射彈的功能。16.根據權利要求15所述的用于為多個用戶提供沉浸式虛擬現實環境的方法，其中，解釋具有領導角色的交互式裝置的狀態進一步包括: 從具有領導角色的交互式裝置檢測觸發事件的存在； 基于具有領導角色的交互式裝置的位置和方向確定該虛擬射彈的軌跡；以及 確定所述虛擬射彈的軌跡是否影響一個或多個虛擬對象。17.根據權利要求8所述的用于為多個用戶提供沉浸式虛擬現實環境的方法，其中，所述角色包括用于發射虛擬射彈的領導角色，用于操縱虛擬對象的轉向角色，用于控制虛擬對象速度的速度控制角色，以及用于將交互式裝置瞄準虛擬對象的武器瞄準角色。18.—種用于為多組用戶提供沉浸式虛擬現實環境的系統，該系統包括: 一個虛擬現實環境，所述虛擬現實環境包括用于數組用戶的顯示屏； 多個交互式裝置，每個交互式裝置包括: 一殼體，所述殼體具有桶部和柄部； 多個燈，所述燈位于所述桶部內，間隔開的所述燈形成一圖案，該圖案與一虛擬射彈的預期軌跡大致對正； 一觸發機構，該觸發機構被定位在所述柄部上；以及 一控制器，該控制器與所述觸發機構相連，并為所述燈提供電流，所述控制器傳送觸發事件； 多個傳感器，所述多個傳感器對于燈信號和觸發事件監控所述交互式裝置，并輸出每個交互式裝置的實時裝置當前狀態；以及 系統控制器，該系統控制器接收每個裝置的實時當前狀態，并更新所述虛擬現實環境。19.根據權利要求18所述的為多組用戶提供沉浸式虛擬現實環境的系統，其中，所述虛擬現實環境還包括一球形屏幕。20.根據權利要求18所述的為多組用戶提供沉浸式虛擬現實環境的系統，其中，所述虛擬現實環境還包括一穹頂。21.根據權利要求18所述的為多組用戶提供沉浸式虛擬現實環境的系統，其中，所述虛擬現實環境還包括: 用于顯示三維圖象的球形屏幕； 用于多個用戶的多個運動座椅；以及 用于為用戶提供聲音效果的環繞音響系統。22.—種用于跟蹤多個手持的交互式裝置的系統，該系統包括: 用于多個用戶的虛擬現實環境； 多個交互式裝置，每個交互式裝置包括: 一殼體，該殼體具有桶部和柄部； 多個燈，所述燈位于所述桶部內，間隔開的所述燈形成一圖案，該圖案與一虛擬射彈的預期軌跡大致對正； 一半透明的蓋部，所述蓋部圍繞所述燈，并使燈可輻射將近360度遠場發射圖案； 一觸發機構，該觸發機構位于所述柄部；以及 一控制器，所述控制器與所述觸發機構相連，并為所述燈提供電流，該控制器傳送觸發事件； 多個傳感器，就燈信號和觸發事件監控所述交互式裝置，所述多個傳感器輸出每個所述交互式裝置的實時裝置當前狀態；以及 一系統控制器，該系統控制器接收每個裝置的實時當前狀態，并更新所述虛擬現實環境。23.根據權利要求22所述的用于跟蹤多個手持的交互式裝置的系統，其中，每個所述交互式裝置的多個燈包括第一燈和第二燈，所述第一燈和第二燈與虛擬射彈的預期軌跡共線和平行。24.根據權利要求22所述的用于跟蹤多個手持的交互式裝置的系統，其中，每個所述交互式裝置的多個燈包括第一燈、第二燈和第三燈，所述第一燈、第二燈和第三燈與虛擬射彈的預期軌跡共線和平行。25.根據權利要求22所述的用于跟蹤多個手持的交互式裝置的系統，其中，每個所述交互式裝置的多個燈包括第一燈、第二燈和第三燈，所述第一燈和第二燈與虛擬射彈的預期軌跡共線和平行，所述第三燈從該虛擬射彈的預期軌跡偏移。26.根據權利要求22所述的用于跟蹤多個手持的交互式裝置的系統，其中，每個所述交互式裝置的多個燈包括第一燈、第二燈、第三燈和第四燈，所述第一燈和第二燈與虛擬射彈的預期軌跡共線和平行，所述第三燈和第四燈從虛擬射彈的預期軌跡偏移。27.根據權利要求22所述的用于跟蹤多個手持的交互式裝置的系統，其中，為所述燈提供電流的每個所述交互式裝置的控制器還包括提供一個表示所述手持的交互式裝置的獨特標識的脈沖信號。28.根據權利要求22所述的用于跟蹤多個手持的交互式裝置的系統，其中，就燈信號和觸發事件監控交互式裝置的多個傳感器與觸發事件的監控異步地監控燈信號。29.根據權利要求22所述的用于跟蹤多個手持的交互式裝置的系統，其中，該系統控制器還設置為使一特定的交互式裝置停止工作。30.根據權利要求22所述的用于跟蹤多個手持的交互式裝置的系統，其中，該系統控制器還設置為使一特定的交互式裝置永久啟動。31.根據權利要求22所述的用于跟蹤多個手持的交互式裝置的系統，其中，更新所述虛擬現實環境包括在該虛擬現實環境中改變一虛擬對象。32.一種手持的交互式裝置，包括: 一殼體，該殼體具有桶部和柄部； 多個燈，所述多個燈位于所述桶部內，間隔開的所述燈形成一圖案，該圖案與一虛擬射彈的預期軌跡大致對正； 一半透明的蓋部，所述蓋部圍繞所述燈，并使所述燈可輻射將近360度遠場發射圖案； 一觸發機構，該觸發機構位于所述柄部上；以及 一控制器，該控制器與所述觸發機構相連，并向所述燈提供電流，該控制器傳送觸發事件。33.根據權利要求32所述的手持的交互式裝置，其中，所述多個燈為第一燈和第二燈，所述第一燈和第二燈與虛擬射彈的預期軌跡共線和平行。34.根據權利要求32所述的手持的交互式裝置，其中，所述多個燈為第一燈、第二燈和第三燈，所述第一燈、第二燈和第三燈與虛擬射彈的預期軌跡共線和平行。35.根據權利要求32所述的手持的交互式裝置，其中，所述多個燈為第一燈、第二燈和第三燈，所述第一燈和第二燈與虛擬射彈的預期軌跡共線和平行，所述第三燈從虛擬射彈的預期軌跡偏移。36.根據權利要求32所述的手持的交互式裝置，其中，所述多個燈為第一燈、第二燈、第三燈和第四燈，所述第一燈和第二燈與虛擬射彈的預期軌跡共線和平行，所述第三燈和第四燈從虛擬射彈的預期軌跡偏移。37.根據權利要求32所述的手持的交互式裝置，其中，向所述燈提供電流的控制器還包括提供一表示手持的交互式裝置的獨特標識的脈沖信號。38.一種用于提供交互式裝置的跟蹤信息的方法，該方法包括: 向多個用戶提供具有多個標志燈的交互式裝置； 從每個交互式裝置的標志燈產生脈沖燈信號，所述脈沖燈信號表示每個所述交互式裝置的獨特標識； 跟蹤從所述交互式裝置發射的光； 基于脈沖燈信號來確定與一特定的交互式裝置相關的燈； 確定是否一個或多個燈被遮擋；以及 基于未被遮擋的裝置的燈計算位置和方向。39.根據權利要求38所述的用于提供交互式裝置的跟蹤信息的方法，其中，所述多個標志燈為間隔開形成一與虛擬射彈的預期軌跡大致對正的圖案的燈。40.根據權利要求38所述的用于提供交互式裝置的跟蹤信息的方法，其中，每個所述交互式裝置的多個燈包括第一燈、第二燈和第三燈，所述第一燈、第二燈和第三燈與虛擬射彈的預期軌跡共線和平行。41.根據權利要求40所述的用于提供交互式裝置的跟蹤信息的方法，其中，每個所述交互式裝置的多個燈包括第一燈、第二燈、第三燈和第四燈，所述第一燈和第二燈與虛擬射彈的預期軌跡共線和平行，所述第三燈和第四燈從虛擬射彈的預期軌跡偏移。
【文檔編號】A63G31/16GK106061571SQ201580011739
【公開日】2016年10月26日
【申請日】2015年4月3日 公開號201580011739.5, CN 106061571 A, CN 106061571A, CN 201580011739, CN-A-106061571, CN106061571 A, CN106061571A, CN201580011739, CN201580011739.5, PCT/2015/24222, PCT/US/15/024222, PCT/US/15/24222, PCT/US/2015/024222, PCT/US/2015/24222, PCT/US15/024222, PCT/US15/24222, PCT/US15024222, PCT/US1524222, PCT/US2015/024222, PCT/US2015/24222, PCT/US2015024222, PCT/US201524222
【發明人】黃亞洲, 詹姆·卡加斯特羅姆, 李爾博, 邁特斯·約翰遜
【申請人】Eon現實公司