使用imu的直接全息圖操縱的制作方法
【專利說明】使用IMU的直接全息圖操縱
[000i]MM.
[0002] 增強現實（AR)涉及提供經增強的真實世界環境，其中用計算機生成的虛擬數據 來增強或修改對真實世界環境（或表示真實世界環境的數據）的感知。例如，可使用諸如 相機或話筒等傳感輸入設備實時地捕捉表示真實世界環境的數據，并用包括虛擬圖像和虛 擬聲音的計算機生成的虛擬數據來增強該數據。虛擬數據還可包括與真實世界環境有關的 信息，諸如與真實世界環境中的真實世界對象相關聯的文本描述。一些AR環境內的對象可 包括真實對象（即，存在于特定的真實世界環境中的對象）和虛擬對象（即，不存在于特定 的真實世界環境中的對象）。
[0003] 為了將虛擬對象逼真地集成到AR環境中，AR系統通常執行包括映射和本地化的 若干任務。映射涉及生成真實世界環境的映射的過程。本地化涉及相對于真實世界環境的 映射來定位特定的視角或姿勢的過程。在一些情況下，AR系統可實時本地化在真實世界環 境內移動的移動設備的姿勢，以便確定與該移動設備相關聯的、需要隨該移動設備在真實 世界環境中移動而被增強的特定視圖。
[0004] 麗述
[0005] 描述了用于促進與頭戴式顯示設備（HMD)相關聯的增強現實環境的控制的技術。 在一些實施例中，可向HMD的終端用戶顯示虛擬指針，并且虛擬指針可由終端用戶使用與 輔助設備（例如，移動電話）相關聯的運動和/或朝向信息來控制。使用虛擬指針，終端 用戶可在增強現實環境中選擇并操縱虛擬對象、在增強現實環境中選擇現實世界對象，和/ 或控制HMD的圖形用戶界面。在一些情況中，在增強現實環境內的虛擬指針的最初位置可 基于終端用戶正在凝視的特定方向和/或終端用戶當前關注或最近關注的特定對象來確 定。
[0006] 提供本
【發明內容】
以便以簡化的形式介紹將在以下詳細描述中進一步描述的一些 概念。本
【發明內容】
不旨在標識出所要求保護的主題的關鍵特征或必要特征，也不旨在用于 幫助確定所要求保護的主題的范圍。
【附圖說明】
[0007]圖1是可在其中實施所公開的技術的聯網計算環境的一個實施例的框圖。
[0008] 圖2A描繪了與第二移動設備通信的移動設備的一個實施例。
[0009] 圖2B描繪了 HMD的一部分的一個實施例。
[0010] 圖2C描繪了 HMD的一部分的一個實施例，其中延伸到凝視點的凝視向量用于對準 遠瞳孔間距（iro)。
[0011] 圖2D描繪了 HMD的一部分的一個實施例，其中延伸到凝視點的凝視向量用于對準 近瞳孔間距（iro)。
[0012] 圖2E描繪了 HMD的一部分的一個實施例，該HMD具有包括凝視檢測元件的可移動 顯示光學系統。
[0013] 圖2F描繪了 HMD的一部分的一個替換實施例，該HMD具有包括凝視檢測元件的可 移動顯示光學系統。
[0014] 圖2G描繪了 HMD的一部分的側視圖的一個實施例。
[0015] 圖2H描繪了 HMD的一部分的側視圖的一個實施例，其提供對微顯示器部件的三維 調整的支持。
[0016] 圖3描繪了包括捕捉設備和計算環境的計算系統的一個實施例。
[0017] 圖4一6描繪了各種增強現實環境的各種實施例，其中可向HMD的終端用戶顯示 虛擬指針，并且虛擬指針可由終端用戶使用與輔助設備相關聯的運動和/或朝向信息來控 制。
[0018] 圖7A是描述了用于使用輔助設備控制增強現實環境的方法的一個實施例的流程 圖。
[0019] 圖7B是描述了用于確定初始虛擬指針位置的過程的一個實施例的流程圖。
[0020] 圖7C是描繪用于確定輔助設備的朝向是否在超時時間段內在閾值范圍內已經改 變的過程一個實施例的流程圖。
[0021] 圖8是描述了用于使用輔助設備控制增強現實環境的方法的一個替換實施例的 流程圖。
[0022] 圖9是移動設備的一個實施例的框圖。
[0023] 詳細描沐
[0024] 描述了用于提供與頭戴式顯示設備（HMD)相關聯的增強現實環境的高精度控制 的技術。在一些實施例中，可向HMD的終端用戶顯示虛擬指針，并且虛擬指針可由終端用戶 使用與輔助設備（例如，移動電話或具有向HMD提供運動和/或朝向信息的能力的其它設 備）相關聯的運動和/或朝向信息來控制。使用虛擬指針，終端用戶可在增強現實環境中 選擇并操縱虛擬對象、在增強現實環境中選擇現實世界對象，和/或控制HMD的圖形用戶界 面（例如，終端用戶可選擇應用、拖放虛擬對象，或放大到增強現實環境的各部分內）。如果 虛擬指針指向（或覆蓋）可選的虛擬或現實世界對象，那么HMD可向終端用戶提供對象可 選的反饋（例如，振動、聲音，或可使用可視指示符來警告終端用戶與可選對象相關聯的附 加信息可用）。在一些情況中，在增強現實環境中的虛擬指針的初始位置可基于終端用戶正 在凝視的特定方向和/或終端用戶當前關注或最近關注的特定對象來確定。
[0025] 使用HMD控制增強現實環境的一個問題是，不像其它計算設備（例如包括觸摸屏 界面的平板計算機），HMD它本身不提供允許使用手和/或手指手勢操縱對象的界面。此 外，與調節終端用戶的頭的朝向（這可能還導致終端用戶頸部疲勞）相比，終端用戶使用手 和/或手指的移動能更精確地控制選擇對象（例如，HMD的視野內的小對象）的能力。因 此，有使用可由HMD的終端用戶使用手臂、手和/或手指移動操縱的輔助設備來促進與HMD 相關聯的增強現實環境的控制的需求。
[0026] 圖1是可在其中實施所公開的技術的聯網計算環境100的一個實施例的框圖。聯 網計算環境1〇〇包括通過一個或多個網絡180互連的多個計算設備。所述一個或多個網絡 180允許一特定計算設備連接到另一計算設備以及與其通信。所描繪的計算設備包括移動 設備11、移動設備12、移動設備19和服務器15。在一些實施例中，所述多個計算設備可以包 括未示出的其他計算設備。在一些實施例中，所述多個計算設備可以包括比圖1所示的計 算設備的數目更多或更少的計算設備。所述一個或多個網絡180可以包括諸如企業專用網 絡之類的安全網絡、諸如無線開放式網絡之類的不安全網絡、局域網（LAN)、廣域網（WAN)、 以及因特網。所述一個或多個網絡180中的每個網絡可以包括集線器、網橋、路由器、交換 機、以及有線傳輸介質，比如有線網絡或直接線連接。
[0027] 可包括補充信息服務器或應用服務器的服務器15可允許客戶機從該服務器下載 信息（例如，文本、音頻、圖像和視頻文件）或者執行與存儲在該服務器上的特定信息相關 的搜索查詢。一般而言，"服務器"可以包括在客戶端-服務器關系中充當主機的硬件設備、 或者與一個或多個客戶機共享資源或為所述一個或多個客戶機執行工作的軟件過程。客戶 機-服務器關系下的計算設備之間的通信可以通過由客戶機向服務器發送要求訪問特定 資源或執行特定工作的請求來發起。服務器隨后可以執行所請求的動作并且將響應發送回 客戶機。
[0028] 服務器15的一個實施例包括網絡接口 155、處理器156、存儲器157和翻譯器158， 所有這些都彼此通信。網絡接口 155允許服務器15連接到一個或多個網絡180。網絡接口 155可以包括無線網絡接口、調制解調器、和/或有線網絡接口。處理器156允許服務器15 執行存儲在存儲器157中的計算機可讀指令以執行在此討論的過程。翻譯器158可包括用 于將第一文件格式的第一文件翻譯成第二文件格式的對應第二文件的映射邏輯（即，第二 文件可以是經翻譯的版本的第一文件）。可使用文件映射指令來配置翻譯器158,該文件映 射指令提供用于將第一文件格式的文件（或其部分）映射成第二文件格式的對應文件的指 令。
[0029] 移動設備19的一個實施例包括網絡接口 145、處理器146、存儲器147、相機148、 傳感器149、以及顯示器150,所有這些都彼此通信。網絡接口 145允許移動設備19連接到 一個或多個網絡180。網絡接口 145可以包括無線網絡接口、調制解調器、和/或有線網絡 接口。處理器146允許移動設備19執行存儲在存儲器147中的計算機可讀指令以執行在此 討論的過程。相機148可以捕捉色彩圖像和/或深度圖像。傳感器149可生成與移動設備 19相關聯的運動和/或定向信息。在一些情況下，傳感器149可包括慣性測量單元（頂1])。 顯示器150可顯示數字圖像和/或視頻。顯示器150可包括透視顯示器。
[0030] 在一些實施例中，包括網絡接口 145、處理器146、存儲器147、相機148以及傳感器 149的移動設備19的各組件可被集成在單芯片基片上。在一示例中，網絡接口 145、處理器 146、存儲器147、相機148、傳感器149可被集成成為片上系統（S0C)。在另一實施例中，網 絡接口 145、處理器146、存儲器147、相機148、傳感器149可被集成在單個封裝中。
[0031] 在一些實施例中，通過采用照相機148、傳感器149,和運行在處理器146上的姿勢 識別軟件，移動設備19可提供自然用戶界面（NUI)。使用自然用戶界面，人的身體部位和移 動可被檢測、解釋、以及用于控制計算應用的各方面。在一個示例中，利用自然用戶界面的 計算設備可推斷與計算設備交互的人的意圖（例如，終端用戶執行了特定姿勢來控制該計 算設備）。
[0032] 聯網計算環境100可以為一個或多個計算設備提供云計算環境。云計算指的是基 于因特網的計算，其中共享的資源、軟件和/或信息通過因特網（或其他全局網絡）被按需 提供給一個或多個計算設備。基于在計算機網絡圖中使用的云圖來將因特網描繪成對其所 表示的底層基礎設施的抽象，術語"云"被用作對因特網的比喻。
[0033] 在一個示例中，移動設備19包括向頭戴式顯示設備（HMD)的終端用戶提供增強現 實環境或混合現實環境的頭戴式顯示設備。HMD可包括視頻透視和/或光學透視系統。終端 用戶佩戴的光學透視HMD可允許（例如經由透明透鏡）對真實世界環境的實際直接查看， 并且同時可將虛擬對象的圖像投影到終端用戶的視野中，由此用虛擬對象來增強終端用戶 所感知的真實世界環境。
[0034] 通過利用HMD，佩戴HMD的終端用戶可在真實世界環境（例如，起居室）中四處移 動，并感知覆蓋有虛擬對象的圖像的真實世界的視圖。虛擬對象可以看起來保持與真實世 界環境的相干空間關系（即，當終端用戶在真實世界環境中轉動他們的頭或移動時，顯示 給該終端用戶的圖像將改變，使得虛擬對象看起來像被終端用戶感知的那樣存在于該真實 世界環境內）。虛擬對象還可看起來相對于終端用戶的視角是固定的（例如，無論終端用 戶如何在真實世界環境中轉動他們的頭或移動，總是出現在終端用戶視角的右上角的虛擬 菜單）。在一個實施例中，真實世界環境的環境映射可由服務器15 (即，在服務器側）來執 行，而相機本地化可在移動設備19上（即，在客戶機側）執行。虛擬對象可包括與真實世 界對象相關聯的文本描述。
[0035] 在一些實施例中，移動設備（諸如移動設備19)可與云中的服務器（諸如服務器 15)通信，并可提供與移動設