頭戴式顯示器資源管理的制作方法
【專利說明】
【背景技術】
[0001]諸如頭戴式顯示設備等增強現實設備可包括生成各種形式的輸入數據的多個傳感器。這些傳感器中的每一個傳感器在捕捉并處理輸入數據時都消耗功率。這樣的傳感器可包括例如話筒、圖像傳感器、深度相機、眼睛跟蹤傳感器，以及位置傳感器。這些傳感器的連續操作可消耗大量功率并且可能降低頭戴式顯示設備的電池壽命。另外，在一些示例中，來自一個或多個傳感器的數據可通過網絡傳送。這樣的輸入數據的連續傳輸也可消耗大量功率以及網絡資源。
[0002]除了可接受的電池壽命之外，增強現實設備的用戶還需要一貫高質量的增強現實體驗。盡管關閉或降低遞送給一個或多個傳感器的功率可以降低功耗和/或網絡需求，但這樣的功率波動也可能使增強現實設備所提供的增強現實體驗降級。
【發明內容】
[0003]為解決以上問題，提供了一種包括頭戴式顯示設備的資源管理系統和相關方法。在一個示例中，頭戴式顯示設備被配置成由用戶佩戴且起作用地連接到計算設備。頭戴式顯示設備還包括多個傳感器和用于呈現全息對象的顯示系統。
[0004]資源管理系統進一步包括由計算設備的處理器執行的資源管理程序。資源管理程序被配置成按默認功率模式來操作多個傳感器中的所選傳感器以達到所選的傳感器保真度水平。資源管理程序還被配置成接收來自傳感器中的一個或多個傳感器的用戶相關信息，其中用戶相關信息選自包括以下各項的組:音頻信息、用戶注視信息、用戶位置信息、用戶移動信息、用戶圖像信息，以及用戶生理信息。
[0005]資源管理程序進一步被配置成確定是否在用戶相關信息中檢測到目標信息。在檢測到目標信息的情況下，資源管理程序被配置成調整所選傳感器以按降低的功率模式來操作，該降低的功率模式比默認功率模式使用更少的功率，從而達到降低的傳感器保真度水平。
[0006]提供本
【發明內容】
以便以簡化的形式介紹將在以下詳細描述中進一步描述的一些概念。本
【發明內容】
并不旨在標識所要求保護主題的關鍵特征或必要特征，也不旨在用于限制所要求保護主題的范圍。此外，所要求保護的主題不限于解決在本公開的任一部分中所提及的任何或所有缺點的實現。
【附圖說明】
[0007]圖1是根據本公開的一實施例的資源管理系統的示意圖。
[0008]圖2示出根據本公開的一實施例的示例頭戴式顯示設備。
[0009]圖3是根據本公開的一實施例的在使用圖2的頭戴式顯示設備以及圖1的資源管理系統的物理環境中的兩個用戶的示意圖。
[0010]圖4A、4B和4C是根據本公開的一實施例的用于管理頭戴式顯示設備中的資源的方法的流程圖。
[0011]圖5是計算系統的一實施例的簡化示意圖解。
[0012]詳細描沐
[0013]圖1示出用于管理頭戴式顯示(HMD)設備中的資源的資源管理系統10的一個實施例的示意圖。資源管理系統10包括可被存儲在計算設備22的大容量存儲18中的資源管理程序14。資源管理程序14可被加載到存儲器26中并由計算設備22的處理器30執行以執行下文更為詳細地描述的方法和過程中的一個或多個。計算設備22還可包括用于對計算設備的各組件供電的電源32，如電池。
[0014]在一個示例中，資源管理系統10可包括可被存儲在計算設備22的大容量存儲18中的增強現實顯示程序28。增強現實顯示程序28可以生成用于顯示在顯示設備(如第一HMD設備34)上的虛擬環境36。虛擬環境36可包括一個或多個虛擬對象表示，如全息對象。在一些示例中，虛擬環境36可被生成以提供交互式視頻游戲形式的增強現實體驗、運動圖片體驗或其他合適的電子游戲或體驗。在另一示例中，增強現實顯示程序28和/或資源管理程序14可被遠程存儲且可由計算設備22通過該計算設備起作用地連接到的網絡(如網絡38)來訪問。
[0015]計算設備22可采用以下形式:臺式計算機，諸如智能電話、膝上型計算機、筆記本或平板計算機之類的移動計算設備，網絡計算機，家庭娛樂計算機，交互式電視，游戲系統，或其他合適類型的計算設備。關于計算設備22的組件和計算方面的附加細節在下文中參考圖5所示的計算系統被更詳細地描述。
[0016]計算設備22可使用有線連接來與第一 HMD設備34起作用地連接，或可采用通過WiF1、藍牙或任何其他合適的無線通信協議的無線連接。另外，圖1中示出的示例將計算設備22示為與第一 HMD設備34分開的組件。將理解，在其他示例中，計算設備22可被集成到第一 HMD設備34中。
[0017]計算設備22還可經由網絡38與一個或多個附加設備起作用地連接。在一個示例中，計算設備22可以經由網絡38與第二 HMD設備通信。網絡38可以采取局域網(LAN)、廣域網(WAN)、有線網絡、無線網絡、個人區域網或其組合的形式，并可包括因特網。
[0018]現在還參考圖2，提供了一副具有透明顯示器50的可配戴眼鏡形式的HMD設備200的示例。將明白，在其他示例中，HMD設備200可以采取其他合適的形式，其中透明、半透明或不透明顯示器被支撐在查看者的一只或兩只眼睛前方。還將明白，圖1中所示的HMD設備34可以采取HMD設備200的形式(如在下文更詳細地描述的)或任何其他合適的HMD設備。另外，還可使用具有各種形狀因子的許多其他類型和配置的顯示設備。例如，還可使用提供增強現實體驗的手持式顯示設備。
[0019]參考圖1和2，在這一示例中，第一 HMD設備34包括顯示系統46和使圖像能夠被遞送到用戶的眼睛的透明顯示器50。透明顯示器50可被配置成向透過該透明顯示器查看物理環境的用戶在視覺上增強該物理環境的外觀。例如，物理環境的外觀可以由經由透明顯示器50呈現的圖形內容(例如，一個或多個像素，每一像素具有相應色彩和亮度)來增強。
[0020]透明顯示器50還可被配置成使用戶能夠透過顯示虛擬對象表示的一個或多個部分透明的像素來查看物理環境中的物理現實世界對象。在一個示例中，透明顯示器50可包括位于透鏡204內的圖像生成元件(諸如例如透視有機發光二極管(OLED)顯示器)。作為另一示例，透明顯示器50可包括在透鏡204邊緣上的光調制器。在這一示例中，透鏡204可以擔當光導以供將光從光調制器遞送到用戶的眼睛。這樣的光導可以使用戶能夠感覺3D虛擬圖像位于用戶正在查看的物理環境內，這還允許用戶查看物理環境中的物理對象。
[0021 ] 在其他示例中，透明顯示器50可以支持在從物理環境接收到的光在到達佩戴HMD設備200的用戶的眼睛之前對該光進行選擇性過濾。這樣的過濾可以在逐像素地或按像素群的基礎上來執行。在一個示例中，透明顯示器50可包括添加一個或多個被照亮像素形式的光的第一顯示層，以及過濾從物理環境接收到的環境光的第二顯示層。這些層可具有不同顯示分辨率、像素密度，和/或顯示能力。
[0022]第二顯示層可包括其中可生成阻擋圖像的一個或多個不透明層52。一個或多個不透明層52可集成在透明顯示器50內。在其他示例中，一個或多個不透明層52可以分開安裝或附連到透明顯示器50附近，如以單獨遮罩的形式。
[0023]第一 HMD設備34還可包括各種系統和傳感器。例如，第一 HMD設備34可包括利用至少一個面向內的傳感器208 (參見圖2)的眼睛跟蹤傳感器系統54。該面向內的傳感器208可以是被配置成從用戶的眼睛獲取眼睛跟蹤信息形式的圖像數據的圖像傳感器。假定用戶已同意獲取和使用這一信息，眼睛跟蹤傳感器系統54可以使用這一信息來跟蹤用戶的眼睛的位置和/或移動。眼睛跟蹤傳感器系統54隨后可以確定用戶正在注視何處和/或什么物理對象或虛擬對象。該面向內的傳感器208還可包括捕捉可見光譜和/或紅外光的一個或多個光學傳感器。這樣的傳感器可被用于例如確定用戶的臉與HMD設備34的鄰近度。
[0024]第一 HMD設備34還可包括利用至少一個面向外的傳感器212 (如光學傳感器)的光學傳感器系統58。面向外的傳感器212可以檢測其視野內的移動，如視野內的用戶或人或物理對象所執行的基于姿勢的輸入或其他移動。面向外的傳感器212還可從物理環境和該環境內的物理對象捕捉圖像信息和深度信息。例如，面向外的傳感器212可包括深度相機、可見光相機、紅外光相機，和/或位置跟蹤相機。在一些示例中，面向外的傳感器212可包括用于觀察來自物理環境中的真實世界光照條件的可見光譜和/或紅外光的一個或多個光學傳感器。這樣的傳感器可包括例如可檢測RGB環境光和/或黑及白環境光的電荷耦合器件圖像傳感器。
[0025]如上所述，第一 HMD設備34可包括經由一個或多個深度相機的深度感測。每一深度相機可包括例如立體視覺系統的左和右相機。來自這些深度相機中的一個或多個的時間分辨的圖像可被彼此配準和/或與來自另一光學傳感器(如可見光譜相機)的圖像配準，且可被組合以產生深度分辨的視頻。
[0026]在一些實施例中，深度相機可以采取結構化光深度相機的形式，該結構化光深度相機被配置成投影包括多個離散的特征(例如，線或點)的結構化紅外照明。深度相機可被配置成對從結構化照明被投影到其之上的場景中反射的結構化照明進行成像。基于所成像的場景的各個區域內鄰近特征之間的間隔，可構造該場景的深度圖。
[0027]在其他示例中，深度相機可以采取飛行時間深度相機的形式，其被配置成將脈沖的紅外照明投影到該場景上。該深度相機可被配置成對從場景反射的脈沖照明進行檢測。這些深度相機中的兩個或更多個可包括與該脈沖照明同步的電子快門。兩個或更多個深度相機的積分時間可能不同，使得從源到場景并隨后到深度相機的、脈沖照明的像素分辨的飛行時間不能根據在這兩個深度相機的對應像素中接收到的光的相對量來辨別出。第一HMD設備34還可包括用于輔助結構化光和/或飛行時間深度分析的紅外投影儀。
[0028]在其他示例中，來自所述用戶和/或物理環境中的人的基于姿勢的輸入和其他運動輸入也可經由一個或多個深度相機來檢測。例如，面向外的傳感器212可包括用于創建深度圖像的具有已知相對位置的兩個或更多個光學傳感器。使用來自具有已知相對位置的這些光學傳感器的