用于頭戴式顯示器的基于預測跟蹤的感知的制作方法
【專利說明】
[0001] 版權和商業外觀的通知
[0002] 本專利文獻的公開內容的一部分包含受到版權保護的物質(material)。本專利文 獻可示出和/或描述成為或者可能成為所有者的商業外觀的問題(matter)。由于專利公開 出現在專利與商標局的專利文件或記錄中，版權所有人和商業外觀所有人不反對任何人對 本專利公開進行傳真復制，但除此之外保留所有版權和商業外觀權。
技術領域
[0003] 本公開設及用于頭戴式顯示器的預測運動跟蹤。
【背景技術】
[0004] 頭戴式顯示器已被長期用在虛擬現實和增強現實系統中。通常，虛擬現實系統完 全包裹佩戴者的眼睛，并且用"虛擬"現實替代現實。運些虛擬現實環境可能是刻意原始的， 或由于缺乏虛擬現實系統的能力而變得原始的。然而，虛擬現實環境也可W是詳細的、交互 式的、并且十分復雜的，設及虛擬的人、對話、W及體驗。虛擬環境的最明顯范例可能是設及 與游戲世界交互的玩家角色的視頻游戲。然而，虛擬環境不必是游戲，并且可能反而是教育 體驗、小組活動(諸如歷史遺跡之旅）、或僅僅W朋友的化身代表坐在虛擬空間中并進行談 話。
[0005] 相反地，增強現實系統通常提供覆蓋半透明或透明的屏幕或佩戴者眼睛前方的屏 幕，W便使用其他的信息、圖示、或補充數據"增強"現實。例如，增強現實可向觀看者重疊關 于現實的"虛擬"人、商品、汽車、房間、空間、標志、W及其他數據。簡單的增強現實系統可僅 僅提供與觀看的場景或區域有關的信息（例如，溫度、佩戴者即將到來的約會、運動速度、 GPS位置等）。更復雜的增強現實系統可在場景上重疊"虛擬"有形對象(諸如墻壁、工藝品、 個體、W及相似元件）。運些可實時更新，使得呈現在增強現實顯示器中的圖像對于佩戴者 看起來是存在于地點內的。
[0006] 在任一個系統中，為了對用戶運動作出反應并且更新存在的圖像，可跟蹤運種耳 機的佩戴者的運動。運種跟蹤利用生成關于耳機的位置、運動、W及方位的數據的傳感器 (諸如巧螺儀、加速計、磁力儀、W及，在某些情況下，照相機、或顏色傳感器）。該跟蹤數據可 用于生成諸如角速度、線加速度、W及重力數據的信息，該信息可響應于佩戴者運動反過來 用于調整耳機的顯示器。
[0007] 在過去，預測運動已被結合到虛擬現實和增強現實的耳機中。然而，用于W上識別 到的傳感器的采樣率通常相對于人類視覺的靈敏度來說是十分長的（大約數十毫秒）。因為 樣本之間的時間長，所W運些預測通常導致所謂的"過沖(overshoot)"，其中，預測過沖實 際的頭部位置和方位，或必須嚴重地進行平滑W避免由于僅僅沒有預測運動傳遞 (movement delivers)更好的結果而導致預測不夠精確的其他問題。
【附圖說明】
[0008] 圖1是虛擬現實系統的概覽圖。
[0009] 圖2是計算設備的框圖。
[0010] 圖3是虛擬現實耳機的框圖。
[0011] 圖4是虛擬現實系統的功能圖。
[0012 ]圖5是佩戴虛擬現實耳機的用戶。
[001 ：3 ] 圖6由圖6A和圖6B組成，是由預ii運動跟蹤產生的抖動的示例圖。
[0014]圖7由圖7A、圖7B、和圖7C組成，是與實際運動相比的預測運動跟蹤的示例圖。
[001引圖8是示出了應用于預現帳動跟蹤過程的感知調諧濾波的流程圖。
[0016] 貫穿本說明書，出現在圖中的元件被指定為Ξ個數字參考標號，其中，最重要的數 字是圖號，并且兩個最次要的數字具體到元件。未結合圖描述的元件被推定為具有與先前 描述的元件相同的特征和功能，先前描述的元件具有同樣最次要的數字參考標號。
【具體實施方式】
[0017] 運動預測的動態應用能夠顯著降低與預現帳動跟蹤相關聯的問題，該運動預測的 動態應用是為了考慮包括虛擬現實系統的抖動、延遲、W及總體響應的各種因素的。例如， 相比僅啟動用于所有運動的預測跟蹤并且將預測跟蹤啟動至相同的程度，僅將預測運動應 用至正在運動的耳機并且僅應用至適于該運動的尺寸的程度提供了更好的總體預測精確 度(在整個相同的預測區間）。
[0018] 同樣地，例如，當運動數據表示耳機基本上不運動時，可更積極地應用最近檢測到 的運動的基于回歸取平均值(regression-based averaging)的平滑;但是當運動數據表示 耳機在W相對高的角速度運動或角加速度在增加時，可更不積極地應用平滑。運是因為相 比人類轉頭時，當頭部基本上不運動時，人眼對所謂的"抖動"是非常敏感的。當傳感器測量 的一系列微小變化導致得到的擅染視頻"彈跳"時，出現抖動。當頭部不運動時，該抖動是高 度可見的。當頭部運動時，該抖動幾乎完全被人類感知忽視。
[0019] 平滑和運動預測的運類動態縮放可被稱為感知調諧濾波，因為它們結合對可用在 虛擬現實系統中的硬件的技術缺陷的理解，依賴與人類感知相關的發現。
[0020] 裝置的描述
[0021] 現在參考圖1，示出了虛擬現實系統100的概覽圖。該系統包括通過網絡150連接的 用戶系統110和環境服務器120, W及VR耳機130。盡管用戶135被考慮為與系統100分離，但 是也示出了用戶135。
[0022] 用戶系統110是為了生成用于VR耳機上的顯示器的虛擬現實環境而連接至VR耳機 130并且與VR耳機130交互的計算設備。例如，用戶系統110可W是典型的臺式計算機和視頻 游戲控制臺（諸如Μ妃婚soft?進孤X蠻、期姑鎖doi) Wii駭和Wi助愈、W及 Sony吸PlayStation嚴控制臺）。在一些情況下，用戶系統110可W是諸如運動電話、平板 電腦、或其他手提或更小的計算設備的運動設備。用戶系統110可包括特定任務硬件，諸如 通常由計算設備使用的用于擅染Ξ維環境的視頻處理器。視頻處理器可被容納在獨立顯卡 內或可被集成到更大的處理器或片上系統。
[0023] 通常，用戶系統110將運行包括操作系統軟件和潛在虛擬環境軟件的生成用于VR 耳機130上的顯示器的虛擬環境的圖像的軟件。虛擬環境軟件可W是，例如，生成Ξ維世界 的圖像的視頻游戲軟件，W便VR耳機130的佩戴者看上去是在游戲世界的虛擬環境"中"。
[0024] 環境服務器120是計算設備。取決于虛擬現實系統100的執行過程，環境服務器120 可W是可選的。在虛擬環境100是多用戶或多方的情況下，環境服務器120可提供由用戶系 統110使用的一些數據W便擅染虛擬環境。
[0025] 例如，環境服務器120可經由網絡150維持和通信關于同時連接至由用戶系統110 擅染的虛擬環境的其他用戶的數據。W此方式，用于一系列VR耳機(如同VR耳機130)的用戶 的用戶化身可一起出現在虛擬環境內。當一個用戶在該環境內"運動"時，環境服務器120可 接收該數據并且將該數據傳遞至與其他用戶相關聯的用戶系統(如同用戶系統110)。因此， 環境服務器120可使一組用戶能夠一起實時體驗虛擬環境。
[0026] 在一些實施方式中，尤其是那些不包括任意多用戶或多方體驗的實施方式中，環 境服務器120可能是不必要的。在運種情況下，用戶系統110可承擔對擅染虛擬環境的全部 責任。
[0027] VR耳機130是如同用戶系統110的計算設備，但是具有少許特殊特征。VR耳機130包 括至少一個集成顯示器，并且包括可用于生成VR耳機130的運動、位置、和/或方位數據的一 個或多個傳感器。當VR耳機130的佩戴者運動時，傳感器生成運動、位置、和/或方位數據，并 且向用戶系統110傳輸那些數據。用戶系統110返回在集成到VR耳機130的顯示器上顯示的 一個或多個圖像。
[002引通過諸如1化8貨'，皿11、0￥1、￥64、光纖、015口1巧化1-祕、1^311加1巧飯連接器、^ 太網的標準計算機輸入和輸出接口，或者通過特定設計的用于將VR耳機130連接至用戶系 統110的自定義接口，VR耳機130可連接至用戶系統110。通常，運些連接的至少一部分將是 相對高通量的W確保盡可能小的延遲那些擅染的視頻數據圖像地在集成顯示器上的顯示。 在一些情況下，使用802.11協議、藍牙、或者射頻的無線連接可用于在用戶系統110與VR耳 機130之間傳輸一部分數據。
[0029] VR耳機130可集成用戶系統110的功能的一些或所有。然而，使用當前技術，運些系 統保持彼此根本上不同，因為擅染令人信服的虛擬環境并且執行本文中描述的運動推斷所 需要的處理能力和儲存最好是比目前僅在更大的或