專利名稱：用虛擬數據使靜態打印內容成為動態的制作方法
技術領域：
本發明涉及用虛擬數據使靜態打印內容成為動態。
背景技術：
靜態打印材料可以被認為是一種形式的只讀存儲器，所述存儲器不需要電力并且以對人眼可見的形式來存儲其數據。超過一千年的牛皮紙文本存活至今。此外，數據通常以人眼能夠舒適閱讀的格式來呈現，這種格式將打印的文字呈現在白色或另一種對比色的紙的對比物理背景上。打印材料的物理本質允許用戶例如通過翻閱雜志的頁面并查看雜志中的圖示或吸引人的標題來在物理上篩選其數據以尋找“感興趣的內容”。人們能夠保持他在物理書籍中的位置，并向后翻一堆頁面(用戶的大腦知道這在正確的章節附近)來重讀一章節并回頭再看手指保持的位置。當然，由于信息在頁面上的永久設置，實體書籍、期刊和論文也具有它們的劣勢。
發明內容
混合現實是一種允許將虛擬圖像與現實世界視圖相混合的技術。用戶可佩戴透視、頭戴式、混合現實顯示設備來觀看用戶的視野中所顯示的現實物體和虛擬物體的混合圖像。這種頭戴式顯示(HMD)設備可以更新以及在一些情況下可還原靜態打印材料中體現的數據。換言之，實體書籍、雜志、或靜態打印材料的其他實施例在以下意義上成為了一種形式的動態存儲器打印的紙張、打印的卡片、或其他的打印的介質上出現的東西可以改變。本發明技術提供一種使用透視、近眼、混合現實顯示設備來使靜態打印內容成為動態的方法的實施例。該方法包括標識透視、近眼、混合現實顯示設備的視野中的打印內容項，以及基于物理動作用戶輸入來標識對打印內容項內的打印內容選擇的用戶選擇。基于物理動作用戶輸入來確定用戶請求的針對該打印內容選擇的任務并執行該任務。根據所請求的任務來顯示與該打印內容選擇有關的虛擬數據。本發明技術提供一種用于使靜態打印材料成為動態的透視、近眼、混合現實顯示設備系統的系統的實施例。該系統包括由支撐結構定位的用于每只眼睛的相應透視顯示器。支撐結構的一個示例是框架。用于捕捉所述相應透視顯示器的視野中的圖像數據的至少一個面向外的相機被定位在所述支撐結構上。一個或多個軟件控制的處理器通信地耦合到所述至少一個面向外的相機來接收圖像數據并耦合到光學地耦合到該相應透視顯示器的至少一個圖像生成單元。該一個或多個軟件控制的處理器基于物理動作用戶輸入和圖像數據來標識對打印內容選擇的用戶選擇。例如，書籍的頁可以在至少一個面向外的相機的視圖中。物理動作用戶輸入是由用戶使用身體部位來執行、并由自然用戶界面(NUI)捕捉的動作。物理動作提供指示應用的操作的數據或命令。物理動作的一些示例是眼睛注視和姿勢。—個或多個軟件控制的處理器通信地耦合到能夠訪問數據存儲的搜索引擎，所述數據存儲包括用于作品的內容、布局和虛擬數據以及體現所述作品的打印內容項。所述一個或多個軟件控制的處理器基于基于所述圖像數據來制定一個或多個查詢來標識包括所述打印內容選擇的打印內容項以及包括所述打印內容選擇的與介質無關的版本的作品。所述一個或多個查詢被發送到所述搜索引擎。所述一個或多個軟件控制的處理器致使所述至少一個通信地耦合的圖像生成單元通過每個光學地耦合的相應透視顯示器來顯示與所述打印內容選擇相關聯的虛擬數據或所述打印內容選擇的與所述介質無關的版本。該技術提供一個或多個處理器可讀存儲設備的實施例，該存儲設備具有編碼于其上的指令，所述指令致使一個或多個處理器執行一種用于使用透視、近眼、混合現實顯示設備系統來用虛擬數據改善靜態打印材料的可讀性的方法。該方法包括基于該顯示設備系統的一個或多個面向外的相機所捕捉的圖像數據來在標識透視、近眼、混合現實顯示設備系統的視野中的打印材料，以及確定位于所述視野中的打印材料是否滿足可讀性準則。響應于可讀性準則未被滿足，在所述視野中顯示滿足可讀性準則的所述打印材料的虛擬版本。此外，如果所述打印材料仍在所述一個或多個面向外的相機的視野內，則響應于對所述打印材料的所述虛擬版本或所述打印材料之一或兩者的物理動作用戶輸入采取動作。提供本發明內容以便以簡化形式介紹將在以下具體實施方式
中進一步描述的一些概念。本發明內容并非旨在標識所要求保護的主題的關鍵特征或必要特征，也不旨在用于幫助確定所要求保護的主題的范圍。
圖1A是描繪透視、混合現實顯示設備系統的一個實施例的示例組件的框圖。圖1B是描繪透視、混合現實顯示設備系統的另一實施例的示例組件的框圖。圖1C是描繪將移動設備用作處理單元的透視、混合現實顯示設備系統的另一實施例的示例組件的框圖。圖2A是被具體化為提供對硬件和軟件組件的支持的眼鏡的透明、混合現實顯示設備的實施例中的鏡架的鏡腿的側視圖。圖2B是透視、近眼、混合現實設備的顯示光學系統的實施例的俯視圖。圖3是從軟件角度來看的用于通過透視、混合現實顯示設備系統來提供混合現實用戶界面的系統的框圖，用于使得打印材料成為動態的軟件可以在該顯示設備系統中操作。圖4A示出打印內容選擇元數據記錄的示例。圖4B示出與打印介質相關(medium-dependent)的以及與介質無關(medium-1ndependent)的交叉引用內容數據存儲的示例。圖5是用于用虛擬數據來使靜態打印內容成為動態的方法的實施例的流程圖。圖6是用于標識透視、混合現實顯示設備的視野中的打印內容項的過程的實施例的流程圖。圖7A是用于標識用戶眼睛選擇打印內容選擇的至少一個物理動作的過程的實現示例的流程圖。圖7B是用于標識用戶眼睛選擇打印內容選擇的至少一個物理動作的過程的另一實現示例的流程圖。圖7C是用于標識姿勢選擇打印內容選擇的至少一個物理動作的過程的實現示例的流程圖。圖8A是用于生成用戶定義的姿勢并將該姿勢與任務相關聯的過程的實現示例的流程圖。圖SB是用于確定虛擬數據相對于打印材料的放置的過程的實現示例的流程圖。圖9A是一種執行使內容選擇最新(up-to-date)的任務的方法的實施例的流程圖。圖9B是基于與打印內容選擇相關聯的至少一個關鍵詞來執行搜索的方法的實施例的流程圖。圖9C是基于與打印內容選擇的標記相關聯的至少一個關鍵詞來執行搜索的方法的實施例的流程圖，該標記在包括其他標記的細分內。圖1OA示出了過時的并且包括不可見標記的靜態打印材料的示例。圖1OB示出了插入虛擬數據以使內容成為最新的且交互式的虛擬內容并顯示搜索結果的示例。圖1lA是用于用虛擬數據來注釋靜態打印內容的方法的實施例的流程圖。圖1lB是用于為作品的另一個打印的版本顯示為該作品的一個版本輸入的被存儲的注釋的方法的實施例的流程圖。圖12A示出指定手寫內容選擇的姿勢的示例。圖12B示出了為用戶顯示的虛擬鍵入輸入設備的示例。圖12C示出了用來選擇要注釋的打印文本的手指姿勢的示例。圖12D示出了將圖12A的手寫內容選擇的經格式化的文本版本作為注釋來顯示的虛擬數據的示例。圖13A是用于在舒服閱讀位置處提供打印內容的虛擬版本的方法的實施例的流程圖。圖13B是用于提供打印內容的虛擬版本以獲得該內容的改善的可見性的方法的實施例的流程圖。圖14示出提供虛擬數據以獲得改善的可見性以及多用戶視角共享視圖的示例。圖15是用于提供被鏈接到用戶視野的打印內容的虛擬版本的方法的實施例的流程圖。圖16是可用于實現網絡可訪問計算系統的計算系統的一個實施例的框圖。圖17是可以在本技術的各實施例中操作的示例性移動設備的框圖。
具體實施例方式本技術提供用于被透視、近眼、混合現實顯示設備系統透視并顯示的虛擬數據來使靜態打印內容成為動態的各實施例。透視顯示設備系統標識用戶視野中的真實書籍、雜志、報紙或其他真實的打印材料。書籍、雜志、報紙、卡片或獨立的紙片都是打印內容項的示例，對象識別軟件能夠從面向前的相機所捕捉的圖像數據中標識這些打印內容項，所述相機被置于顯示設備系統上用于捕捉該顯示設備的視野中的對象，該顯示設備的視野近似于用戶透過該顯示設備看時的視野。在某些情況下，眼睛注視數據標識用戶正聚焦于視野中的何處，并且能夠因此標識用戶正在看打印內容項的哪一部分。對打印材料的一部分的注視持續可將該部分標識為打印內容選擇。注視持續是用戶使用身體部位的物理動作的示例。由用戶身體部位(諸如手或手指)執行并被捕捉在圖像數據中的姿勢也是物理動作用戶輸入的示例。眨眼或眼睛的眨動序列也可以是姿勢。手、手指或其他身體部位的指向或特定移動姿勢也可指示打印內容選擇，比如單詞、句子、段落或照片。用戶生成的聲音命令(諸如語音命令)也可以被認為是指示用戶輸入的物理動作的示例。基于聲音的動作通常伴隨比如姿勢和眼睛注視等其他物理動作。一旦用戶選擇圖片或文本，則不同的任務或應用可針對該內容選擇被執行，比如用交互式游戲和全息圖來增強、用經更新的內容來取代、以及使用三維、兩維或這兩種虛擬數據來注釋。還可以通過生成并顯示該打印內容項的至少一部分的虛擬版本來改善可用性。圖1A是描繪透視、增強或混合現實顯示設備系統的實施例的示例組件的框圖。系統8包括作為在此示例中通過線6或者在其他示例中無線地與處理單元4進行通信的近目艮、頭戴式顯示設備2的透視顯示設備。在該實施例中，頭戴式顯示設備2的框架115為眼鏡的形狀，該框架115具有針對每只眼睛的顯示光學系統14，其中圖像數據被投影到用戶的眼睛中以生成圖像數據的顯示，同時用戶還通過顯示光學系統14觀看以獲得現實世界的實際直接視圖。使用術語“實際直接視圖”來指直接用人眼看到現實世界對象，而非看到所創建的對象的圖像表示的能力。例如，透過眼鏡看房間將允許用戶得到該房間的實際直接視圖，而在電視機上查看房間的視頻不是該房間的實際直接視圖。每個顯示光學系統14也被稱為透視顯示器，并且兩個顯示光學系統14 一起也可以被稱為透視顯示器。框架115提供用于將該系統的各元件保持在原位的支撐結構以及用于電連接的管道。在該實施例中，框架115提供了便利的眼鏡架作為下面進一步討論的系統的各元件的支撐體。在此實施例中，框架115包括鼻梁架部分104，該鼻梁架部分104具有用于記錄聲音并傳送音頻數據的話筒110。框架的鏡腿或側臂102位于用戶的每只耳朵上。在此示例中，右鏡腿102r包括用于顯示設備2的控制電路136。如圖2A和2B中所示，在該實施例中在每個鏡腿102上還包括圖像生成單元120。而且，在本視圖中沒有示出但在圖2A和圖2B中示出了面向外的相機113，所述相機113用于記錄數字圖像和視頻并將視覺記錄傳送到控制電路136，控制電路136可進而將所捕捉的圖像數據發送到處理單元4，處理單元4還可通過網絡50將該數據發送到一個或多個計算機系統12。處理單元4可以采取各種實施例。在一些實施例中，處理單元4是可佩戴在用戶的身體(例如腕)上的單獨單元，或者可以是比如圖1C中示出的所示移動設備4之類的單獨設備。處理單元4可通過通信網絡50與一個或多個計算系統12有線地或無線地通信(例如，WiF1、藍牙、紅外、RFID傳輸、無線通用串行總線(WUSB)、蜂窩、3G、4G或其它無線通信裝置)，無論位于附近還是位于遠程位置。在其他實施例中，處理單元4的功能可被集成在圖1B的顯示設備2的軟件和硬件組件中。
可以充分利用遠程的、網絡可訪問計算機系統12來處理電力和遠程數據訪問。應用可在計算系統12上執行，其中該應用與顯示系統8交互或為顯示系統8執行處理，或者該應用可以在透視、混合現實顯示系統8中的一個或多個處理器上執行。圖16示出了計算系統12的硬件組件的示例。圖1B是描繪可通過通信網絡50與其他設備通信的透視、增強或混合現實顯示設備系統8的另一個實施例的示例組件的框圖。在此實施例中，顯示設備2的控制電路136經由無線收發機(參見圖2A中的137)通過通信網絡50與一個或多個計算機系統12無線地通信。圖1C是將移動設備用作處理單元4的透視、混合現實顯示設備系統的另一實施例的框圖。移動設備4的硬件和軟件組件(諸如包含在智能電話或平板計算設備中)的示例在圖17中描述。移動設備4的顯示器7還可顯示用于執行應用的數據(例如菜單)，并且該顯示器7可以是觸摸敏感的，以接受用戶輸入。移動設備4的一些其他示例是智能電話、膝上型計算機或筆記本計算機以及上網本計算機。圖2A是被具體化為提供對硬件和軟件組件的支持的眼鏡的透視、混合現實顯示設備2的實施例中的框架115的鏡腿102的側視圖。面向物理環境的攝像機113位于框架115前方，該攝像機能夠捕捉現實世界的視頻和靜止圖像，以映射在透視顯示器的視野中并因此在用戶的視野中的現實對象。所述相機還被稱為面向外的相機，意思是從用戶的頭部面向外。每個面向前的相機113是相對于其相應的顯不光學系統14的參考點來校準的，以使得可以從相應相機113所捕捉的圖像數據來確定顯示光學系統14的視野。這樣的參考點的一個示例是其相應顯示光學系統14的光軸(參見圖2B中的142)。該圖像數據通常是彩色圖像數據。在許多實施例中，兩個相機113提供重疊的圖像數據，從所述圖像數據中可以基于立體視覺確定所述場景中的對象的深度信息。在一些示例中，所述相機還可以是深度敏感相機，所述深度敏感相機傳送并檢測紅外光，從紅外光可確定深度數據。該處理標識并映射用戶的現實世界視野。可以包括在頭戴式顯示設備2上的深度感測技術的一些示例為、但不限于SONAR、LIDAR、結構化光和/或飛行時間。控制電路136提供支持頭戴式顯示設備2的其他組件的各種電子裝置。在該示例中，右鏡腿102r包括用于顯示設備2的控制電路136，該控制電路包括處理單元210、處理單元210可訪問的用于存儲處理器可讀指令和數據的存儲器244、通信地耦合到處理單元210的無線接口 137、以及電源239，該電源為控制電路136的各組件以及顯示器2的其他組件(如相機113、話筒110和下面討論的傳感器單元)提供電力。處理單元210可包括一個或多個處理器，包括中央處理單元(CPU)和圖形處理單元(GPU)。耳機130、慣性傳感器132、一個或多個位置或鄰近傳感器144 (其一些示例是GPS收發機、紅外(IR)收發機、或用于處理RFID數據的射頻收發機)位于鏡腿102內部或安裝到鏡腿102。可選的電脈沖傳感器128經由眼睛移動檢測命令。在一個實施例中，慣性傳感器132包括三軸磁力計132A、三軸陀螺儀132B、以及三軸加速度計132C。慣性傳感器用于感測頭戴式顯示設備2的位置、定向、以及突然加速。從這些移動中，也可以確定頭部位置。在此實施例中，在其操作中使用模擬信號的設備(比如傳感器設備144、128、130和132以及下面討論的話筒110和IR照明器134A)的每一個包括控制電路，該控制電路與數字處理單元210和存儲器244接口，并且為其相應的設備產生并轉換模擬信號。產生表示圖像的可見光的圖像源或圖像生成單元120安裝在鏡腿102上或鏡腿102內。在一個實施例中，圖像源包括用于投射一個或多個虛擬對象的圖像的微顯示器120和用于將圖像從微顯示器120定向到反射表面或元件124的耦合光學透鏡系統122。微顯示器120可以以各種技術實現，包括投射投影技術、微有機發光二極管(OLED)技術、或反射技術，比如數字光處理(DLP)、硅基液晶(LC0S)、以及來自高通有限公司的Mirasul.K:U示技術。反射表面124將光從微顯器120定向到光導光學兀件112,光導光學兀件112將表圖像的光定向到用戶的眼睛。可將虛擬對象的圖像數據與現實對象配準，這意味著當現實對象在透視顯示器14的視野中時虛擬對象跟蹤其位置到通過透視顯示設備2看到的現實對象的位置。在一些實施例中，為了增強而被跟蹤的一個或多個打印內容選擇可被打印有一個或多個標記以改善對內容選擇的檢測。標記還可包括描述內容選擇的元數據。例如，雜志中的照片可被打印有IR回射標記或RFID標簽，所述標記或標簽包括照片中的人的標識符、以及拍攝該照片的地點、日期和一天中的時間。此外，可包括已打印有標識符的作品的一個或多個打印或電子版本的標識符。IR或RFID單元144可檢測所述標記并將其包含的數據發送到控制電路136。圖2B是包括顯示光學系統14的透視、近眼、混合現實顯示設備的一側的實施例的俯視圖。近眼顯示設備2的框架115的一部分將圍繞顯示光學系統14以用于提供支撐和進行電連接。為了示出頭戴式顯示設備2中的顯示光學系統14 (在該情況下是右眼系統14r)的各個組件，圍繞顯示光學系統的框架115的一部分未被描繪。在所示實施例中，顯示光學系統14是集成眼睛跟蹤和顯示系統。該系統包括光導光學元件112、不透明度濾光器114、以及可選的透視透鏡116和透視透鏡118。用于增強虛擬圖像的對比度的不透明度濾光器114處于任選的透視透鏡116之后并與其對齊，用于投影來自微顯示器120的圖像數據的光導光學元件112處于不透明度濾光器114之后并與其對齊，而任選的透視透鏡118處于光導光學兀件112之后并與其對齊。下面提供光導光學元件112和不透明度濾光器114的更多細節。光導光學元件112將來自微顯示器120的光傳送到佩戴頭戴式顯示設備2的用戶的眼睛140。光導光學元件112還允許如表示顯示光學系統14r的光軸的箭頭142所示那樣將來自頭戴式顯示設備2的前方的光通過光導光學元件112傳送到眼睛140，由此除接收來自微顯示器120的虛擬圖像之外還允許用戶具有頭戴式顯示設備2的前方的空間的實際直接視圖。因此，光導光學兀件112的壁是透視的。光導光學兀件112包括第一反射表面124 (例如鏡面或其他表面)。來自微顯示器120的光穿過透鏡122并入射在反射表面124上。反射表面124反射來自微顯示器120的入射光以使得所述光被困在波導內，在本實施例中該波導為平面波導。代表性的反射元件126表示一個或多個光學元件，比如鏡、光柵以及將表示圖像的可見光從平面波導引導向用戶眼睛140的其他光學元件。紅外照明和反射還橫穿平面波導112以供眼睛跟蹤系統134跟蹤用戶眼睛的位置。用戶眼睛的位置和眼睛的圖像數據一般可用于諸如注視檢測、眨眼命令檢測、以及收集指示該用戶的個人存在狀態(state of being)的生物測定信息等應用。眼睛跟蹤系統134包括在此示例中位于透鏡118和鏡腿102之間的眼睛跟蹤照明源134A以及眼睛跟蹤IR傳感器134B。在一個實施例中，眼睛跟蹤照明源134A可包括以大約預定IR波長或一定范圍的波長發射的一個或多個紅外(IR)發射器(諸如紅外發光二極管(LED)或激光器(例如，VCSEL))。在一些實施例中，眼睛跟蹤傳感器134B可以是用于跟蹤閃光位置的IR相機或IR位置敏感檢測器(PSD)。在此實施例中將平面波導用作光導光學元件112允許為圖像生成單元120、照明源134A以及IR傳感器134B靈活地放置進出波導的光路的進入和退出光學耦合。在此實施例中，波長選擇濾光器123使來自反射表面124的可見光譜光通過并且將來自眼睛跟蹤照明源134A的紅外波長照明引導到平面波導112中，波長選擇濾光器125使來自微顯示器120的可見照明和來自源134A的IR照明以向鼻梁架104的方向前進的光學路徑穿過。在此示例中的反射元件126還表示實現了雙向紅外(IR)濾光的一個或多個光學元件，其將IR照明導向眼睛140 (優選地以光軸142為中心)并從用戶眼睛140接收IR反射。除了上面提到的光柵等等之外，還可使用一個或多個熱鏡(hot mirror)來實現紅外濾光。在本示例中，IR傳感器134B也光學地稱合到波長選擇濾光器125,波長選擇濾光器125僅將來自波導的紅外輻射(包括用戶眼睛140的紅外反射，優選地包括在光軸142周圍捕捉的反射)導出波導112并導入到IR傳感器134B中。在其他實施例中，眼睛跟蹤單元光學器件未與顯示光學器件集成。關于HMD設備的眼睛跟蹤系統的更多示例，參見于2008年7月22日頒發給Kranz等人的名稱為“HeadMounted Eye Tracking and Display System (頭戴式眼睛跟蹤和顯示系統)”的美國專利7，401，920 ;參見Lewis等人的于2011年8月30日提交的名稱為“Gaze Detection in aSee-Through, Near-Eye, Mixed RealityDisplay (透視、近眼、混合擴增現實顯示器中的注視檢測)”的美國專利申請號13/245,739;以及參見Bohn的于2011年9月26日提交的名稱為“ IntegratedEye Tracking and Display System (集成眼睛跟蹤和顯示系統)”的美國專利申請號13/245，700，所 有這些申請作為弓I入并入在此。用于跟蹤眼睛的方向的另一實施例基于電荷跟蹤。該方案基于如下觀察視網膜攜帶可測量的正電荷并且角膜具有負電荷。在某些實施例中，傳感器128安裝在用戶的耳朵附近(靠近耳機130)以檢測眼睛在轉動時的電勢并且有效地實時讀出眼睛正在進行的動作。(參見 2010 年 2 月 19 日的 “Control yourmobile music with eyeball-activatedearphones!(用眼球激活的耳機控制你的移動音樂！)”http://www. wirefresh. com/control-your-mobile-music-with-eyeball-actvated-headphones,其通過引用將其并入在此)。眨眼可作為命令被跟蹤。還可使用用于跟蹤眼睛移動(諸如眨眼)的其他實施例，其基于在來自裝載在眼鏡內部上的小眼睛跟蹤相機134B的圖像數據中進行模式和運動識別。眼睛跟蹤相機134B在控制電路136的控制下將圖像數據的緩沖發送到存儲器244。與光導光學元件112對齊的不透明度濾光器114選擇性地阻擋自然光使其不穿過光導光學元件112以用于增強虛擬圖像的對比度。當系統為增強現實顯示器而呈現場景時，該系統注意到哪些現實世界對象處于哪些虛擬對象之前，反之亦然。如果虛擬對象處于現實世界對象之前，則不透明度對于該虛擬對象的覆蓋區域而言被開啟。如果虛擬對象(虛擬地)處于現實世界對象之后，則不透明度以及該顯示區域的任何顏色都被關閉，使得對于現實光的該相應區域而言，用戶將會僅僅看到現實世界對象。不透明度濾光器幫助使虛擬對象的圖像表現得更真實并且表示全范圍的顏色和強度。在該實施例中，不透明度濾光器的電控制電路(未示出)通過路由經過框架的電連接從控制電路136接收指令。再者，圖2A、2B僅示出頭戴式顯示設備2的一半。完整的頭戴式顯示設備可包括另一組可選透視透鏡116和118、另一不透明度濾光器114、另一光導光學元件112、另一微顯示器120、另一透鏡系統122、面向物理環境的相機113 (也稱面向外或面向前的相機113)、眼睛跟蹤組件134、耳機130、以及傳感器128(如果存在)。在通過引用全部包含于此的2010年10月15日提交的題為“Fusing Virtual Content Into Real Content (將虛擬內容融合到現實內容中)”的美國專利申請號12/905952中示出頭戴式顯示器2的附加細節。圖3示出了從軟件角度來看的計算環境實施例，該計算環境實施例可由顯示設備系統8、與該顯示設備系統通信的遠程計算系統12或兩者來實現。網絡連通性允許充分利用可用的計算資源。計算環境54可以使用一個或多個計算機系統實現。如圖3的實施例中所示，計算環境54的軟件組件包括與操作系統190通信的圖像和音頻處理引擎191。圖像和音頻處理引擎191包括對象識別引擎192、姿勢識別引擎193、聲音識別引擎194、虛擬數據引擎195、以及可選的眼睛跟蹤軟件196(如果使用了眼睛跟蹤的話)，這些均彼此通信。圖像和音頻處理引擎191處理從捕捉設備(諸如面向外的相機113)接收的視頻、圖像和音頻數據。為了幫助檢測和/或跟蹤對象，圖像和音頻處理引擎191的對象識別引擎192可通過一個或多個通信網絡50來訪問結構數據200的一個或多個數據庫。虛擬數據引擎195處理虛擬對象并使虛擬對象的位置和定向相關于一個或多個坐標系配準。此外，虛擬數據引擎195使用標準圖像處理方法來執行平移、旋轉、縮放和視角操作以使虛擬對象顯得逼真。虛擬對象位置可與相應的現實對象的位置配準或取決于該現實對象的位置。虛擬數據引擎195確定虛擬對象的圖像數據在每個顯示光學系統14的顯示坐標中的位置。虛擬數據引擎195還可確定虛擬對象在顯示設備系統8或計算系統12的存儲器單元中所存儲的現實世界環境的各個地圖中的位置。一個地圖可以是顯示設備相對于用于逼近用戶眼睛的位置的一個或多個參考點的視野。例如，透視顯示光學系統14的光軸可被用作這樣的參考點。在其他示例中，現實世界環境地圖可以獨立于顯示設備，例如，為一地點(例如，商店、咖啡店、博物館)的3D地圖或模型。計算系統12或顯示設備8或兩者的一個或多個處理器還執行對象識別引擎192來標識由面向環境的相機113所捕捉的圖像數據中的現實對象。與在其他圖像處理應用中一樣，人可以是一種類型的對象。例如，對象識別引擎192可基于結構數據200來實現模式識別來檢測特定對象，包括人。對象識別引擎192還可包括面部識別軟件，該面部識別軟件被用來檢測特定人的面部。結構數據200可以包括關于要跟蹤的目標和/或對象的結構信息。例如，可以存儲人類的骨架模型以幫助識別身體部位。在另一示例中，結構數據200可以包括關于一個或多個無生命對象的結構信息以便幫助識別所述一個或多個無生命對象。結構數據200可以將結構信息作為圖像數據來存儲或者將圖像數據用作模式識別的參考。圖像數據還可用于面部識別。因為打印材料通常包括文本，結構數據200可包括一個或多個圖像數據存儲，該圖像數據存儲包括數字、符號(例如，數學符號)、以及來自由不同語言所使用的字母表的字母和字符的圖像。此外，結構數據200可包括用于識別的用戶的手寫樣本。基于圖像數據，動態的打印材料應用202可將圖像數據轉換成用于具有較小的存儲器占用的文本的計算機標準化的數據格式。計算機標準化的文本數據格式的一些示例是基于通用字符集(UCS)的統一碼(Unicode)以及美國信息交換標準碼(ASCII)格式。隨后可對照數據庫來搜索文本數據以查找包括該文本的內容的標識或查找與該文本的內容有關的相關信息。在對象識別引擎192檢測到一個或多個對象之后，圖像和音頻處理引擎191可向操作系統190報告所檢測到的每個對象的標識以及相應的位置和/或定向，操作系統190將該標識和位置和/或定向一直傳送到比如動態的打印材料應用202等應用。聲音識別引擎194處理經由話筒110接收的音頻。在顯示設備系統8的實施例中，面向外的相機113結合姿勢識別引擎193來實現自然用戶界面(NUI)。眼睛跟蹤軟件196所標識的眨眼命令或注視持續數據也是物理動作用戶輸入的示例。語音命令也可對諸如姿勢和眼睛注視等所識別的其他物理動作進行補充。姿勢識別引擎193可以標識出由用戶執行的、將控制或命令指示給執行中的應用的的動作。該動作可以由用戶的身體部位(例如在閱讀應用中通常為手或手指)來執行，但是眼睛的眼睛眨眼序列也可以是姿勢。在一個實施例中，姿勢識別引擎193包括姿勢過濾器的集合，每個姿勢過濾器都包括關于可由骨架模型至少一部分執行的姿勢的信息。姿勢識別引擎193將從所捕捉的圖像數據中導出的骨架模型和與其相關聯的移動與姿勢庫中的姿勢過濾器進行比較來標識出用戶(其由骨架模型來表示)何時執行了一個或多個姿勢。在一些示例中，在與同顯示設備系統8或計算系統12通信的顯示設備2相分離的現實環境中的相機(特別是深度相機)可檢測姿勢并將通知轉發到系統8、12。在其他示例中，姿勢可在相機113的視圖中由身體部位(諸如用戶的手或一個或多個手指)來執行。在一些示例中，在姿勢訓練會話期間將圖像數據與用戶的手或手指的圖像模型進行匹配，而非進行骨架跟蹤可用于識別姿勢。關于對象的檢測和跟蹤的更多信息可在2009年12月18日提交的名為“MotionDetection Using Depth Images(使用深度圖像的運動檢測)”的美國專利申請12/641，788,以及名為 “Device for Identifying and Tracking MultipleHumans over Time (用于隨時間標識和跟蹤多個人類的設備)”的美國專利申請12/475，308中找到，這兩個申請的全部內容通過引用并入本申請。關于姿勢識別引擎193的更多信息可以在2009年4月13日提交的名為“GestureRecognition System Architecture (姿勢識別器系統架構)”的美國專利申請12/422，661中找到，該申請通過整體引用合并于此。關于識別姿勢的更多信息可在2009年2月23日提交的名為“Standard Gestures (標準姿勢)”的美國專利申請12/391，150 ;以及2009年5月29日提交的名為“Gesture Tool (姿勢工具)”的美國專利申請12/474，655中找到，這兩個申請的全部內容通過引用并入本申請。計算環境54還將數據存儲在圖像和音頻數據緩存器199中。緩沖器提供用于接收從面向外的相機113捕捉的圖像數據、來自該眼睛跟蹤部件(如果被使用的話)的眼睛跟蹤相機的圖像數據的存儲器，用于保持要由圖像生成單元120顯示的虛擬對象的圖像數據的緩沖器，以及用于經由話筒110來自用戶的語音命令等音頻數據以及要經由耳機130發送到用戶的指令的緩沖器。設備數據198可以包括計算機系統8的唯一標識符、網絡地址(例如IP地址)、型號、配置參數(諸如所安裝的設備)、操作系統的標識、以及什么應用在該顯示設備系統8中可用并正在該顯示系統8中執行等等。尤其對于透視、混合現實顯示設備系統8，該設備數據還可包括來自傳感器的或從所述傳感器(諸如定向傳感器132、溫度傳感器138、話筒110、電脈沖傳感器128 (如果存在)、以及位置和鄰近收發機144)確定的數據。在此實施例中，顯示設備系統8和用戶所使用的其他基于處理器的系統161執行客戶端側版本的推送服務應用204N，所述推送服務應用204n通過通信網絡50與信息推送服務引擎204通信。在此實施例中信息推送服務引擎204是基于云的。基于云的引擎是在一個或多個聯網計算機系統上執行并通過該一個或多個聯網計算機系統存儲數據的一個或多個軟件應用。該引擎不被束縛于特定位置。基于云的軟件的一些示例是社交聯網站點和基于web的電子郵件站點，比如Yahoo! -8'和Hotmaii''用戶可向彳目息推送服務引擎204注冊帳戶，該信息推送服務引擎授予信息推送服務監視以下數據的許可用戶正在執行的應用及其生成和接收的數據以及用戶簡檔數據197，以及用于跟蹤用戶的地點和設備能力的設備數據198。基于從用戶的系統8、161聚集的用戶簡檔數據、由用戶所使用的系統8、161上的正在執行的應用所接收和發送的數據、以及設備數據198^198,中所存儲的位置和其他傳感器數據，信息推送服務204可確定用戶的物理上下文、社交上下文、個人上下文或者各上下文的組合。用戶簡檔數據的本地副本1971、197N可存儲同一用戶簡檔數據197的一部分并可通過通信網絡50周期性地用由計算機系統12存儲在可訪問數據庫197中的用戶簡檔數據更新其本地副本。用戶簡檔數據197 —些示例是用戶所表達的偏好、用戶的朋友的列表、用戶的偏好活動、用戶的最愛(用戶的最愛的示例包括最愛的顏色、最愛的食物、最愛的書、最愛的作者等)、用戶的提醒的列表、用戶的社交團體、用戶的當前位置、以及其他用戶創建的內容，諸如用戶的照片、圖像和錄制的視頻。在一個實施例中，用戶特定的信息可以從一個或多個數據源或應用獲得，數據源或應用為諸如信息推送服務204、用戶的社交聯網站點、聯系人或地址簿、來自日歷應用的排程數據、電子郵件數據、即時消息收發數據、用戶簡檔或者因特網上的其他源以及該用戶直接輸入的數據。如同下面討論的，存在狀態可以從眼睛數據推導得出并且可以被本地地或由遠程推送服務應用204更新并存儲在用戶簡檔數據197中。在此實施例中，網絡可訪問的存在狀態查找表179將所標識的眼睛數據作為用于推導存在狀態的參考與所述存在狀態相鏈接。
信任等級可通過用戶簡檔數據197來確定，用戶簡檔數據將用戶認識的人標識成例如社交網絡朋友和共享相同游戲服務的家庭成員，可以基于信任等級將這些人細分為不同的分組。此外，用戶可以使用客戶端側推送服務應用204,在他們的用戶簡檔數據197中顯式地標識信任等級。在一個實施例中，基于云的信息推送服務引擎204聚集來自存儲在用戶的不同用戶計算機系統8、161上的用戶簡檔數據197n的數據。推送服務應用204的每個版本還在用戶簡檔數據197中存儲該用戶的跟蹤歷史。在跟蹤歷史中跟蹤的事件、人和物的一些示例是所訪問的地點、事務、購買的內容和現實物品、以及所檢測到的與該用戶交互過的人。如果電子地標識的朋友(例如，社交網絡朋友)也向推送服務應用204注冊，或者他們通過其他應用166使信息對用戶可用或公開可用，則推送服務應用204也可使用此數據來跟蹤該用戶的內容和社交上下文。如同下面進一步討論的，動態的打印材料應用202可訪問一個或多個搜索引擎203來訪問用于標識打印內容選擇和包括所述打印內容選擇的打印內容項的信息以及相關的虛擬數據205。可被搜索以查找標識和相關虛擬數據的資源的示例被示出為發布者數據庫207和用于因特網搜索的索引的與打印內容相關的資源209。例如，可訪問通用搜索引擎(比如Bing8或Google )以及對公眾可用或基于訂閱(如在用戶簡檔數據中可標識的)而可用的國會圖書館、大學圖書館或發布者數據庫的搜索引擎。發布者可具有指向其數據庫207中的虛擬內容的指針，因為發布者可能具有用于鼓勵為其打印材料開發虛擬內容的業務模型。此外，與發布者不相關的實體或者希望維護他們自己的數據資源的人可能希望使虛擬內容可通過他們自己的網站(所述網站是因特網索引的資源)來得到。通過對從打印內容選擇和包含打印內容選擇的打印內容項的圖像數據導出的信息進行搜索，可以用值來填充用于打印內容選擇的元數據201中的數據字段。下面討論的圖4A提供了打印內容選擇的元數據記錄的示例。該技術的一個優勢在于更新在沒有針對虛擬增強的任何計劃的情況下打印出來的先前發布的材料的能力。如同下面討論的，用戶可被請求查看有關打印內容的打印版本標識數據，例如書籍或報紙的標題頁或雜志的內容表。版本標識數據的其他示例是標準化標識符，標準化標識符的一個示例是書籍的國際標準書籍號(ISBN)。書籍上的ISBN號標識諸如該書籍的語言組、發布者、標題和版次或變體等數據。對于期刊，國際標準序列號(ISSN)標識期刊的標題，而連續出版物和及其單篇文獻的標識(SICI)是用來標識具體的卷、文章或期刊的其他可標識部分的標準。例如，ISSN可標識期刊，例如雜志“頭戴式顯示器”，而SCSI通過書目項(bibliographic items)來標識文章,書目項的一些示例是標題、卷和號碼、發行日期、開始和結束頁以及內容格式，例如，用于打印文本的TX。其他內容格式可指示web發布和視聽格式。來自面向外的相機的圖像數據或從被查看的標識數據的圖像數據轉換的文本被發送到一個或多個搜索引擎203。以下討論了用于通過創建打印材料的虛擬版本來滿足可讀性準則206來改善打印材料的可讀性的方法，該可讀性準則206可被存儲為用于由動態的打印材料應用202的規則引擎執行的規則。可讀性準則的一些示例是舒服閱讀位置準則和可見性準則。舒服閱讀位置準則的一些示例是距透視、混合現實顯示設備系統中包括的用于每只眼睛的透視顯示器的相應參考點的角度位置準則、距用于每只眼睛的透視顯示器的深度距離、以及內容數據在該顯示設備的視野中的定向。參考點的一個示例是通常位于顯示器的中心附近的顯示器的光軸142，當用戶向正前方看向一對象時該光軸大致與用戶的瞳孔對齊。如果打印材料太偏向一側，則可能導致頸部扭傷。深度距離準則可指示閱讀材料太靠近或太遠離。內容數據的定向可指示文本或圖片上下顛倒或者偏向一側，這對于閱讀是不理想的。可見性準則的示例可以是視野中的文本或圖畫內容的大小。如果太小或太大，內容大小可被調整到合適的水平。該準則可基于用戶的實際視力(如果上傳了規定的話)、對用戶年齡而言典型的視力、或基于人類的平均視力特征。一旦標識了用戶正在看的作品的打印版本并在其中定位了打印內容選擇，則動態的打印材料應用202可查詢一個或多個搜索引擎203以基于包括打印內容選擇的打印內容項來搜索與打印內容選擇有關的虛擬內容205。在一些實施例中，虛擬內容與作品或包括內容選擇的作品版本相關聯，而與表達該內容的介質無關。例如，紙或其他可打印材料是介質的示例。表達作品的另一介質是電子顯示器或音頻記錄。在一些情況下，虛擬數據205是特別生成來供布置在特定的打印版上(例如，在書籍的特定頁或者打印材料的其他細分上)時與內容選擇有關地出現的數據。例如，發布者可創建用于更新教科書的新近版本的虛擬內容，在該新近版本中解釋將被顯示在具有過時信息的頁的上方，該過時信息指示存在九(9)個行星并列出這些行星。最新的解釋可以是被專門格式化以覆蓋整個頁的圖像并且解釋現在只存在八(8)個行星而不是九(9)個行星以及為什么冥王星沒有資格作為行星。在另一示例中，具有存儲在其數據庫中的書籍布局的發布者可為書籍在頁面上的預定位置處以及為特定頁面提供交互式游戲以及其他內容。在其他示例中，虛擬內容205綁定到與介質無關的作品或作品版本。例如，教授可將她在不同點處做出的她的筆記存儲在一教科書的她的打印版本中，以可用于該教科書的、與介質無關的任何版本。換言之，教科書的內容是作品。該教科書的當前的、先前的和未來的版本是作品的版本。動態的打印材料應用202將每個筆記鏈接到作品的與介質無關的組織中的該作品的細分。例如，可將筆記鏈接到可通過執行用于文本匹配的軟件指令來標識的特定段落中的短語。段落是一種與介質無關的細分，而頁面依賴于特定的打印或電子布局。教科書的具有較小印刷字體的平裝副本與該教科書的用較大印刷字體的精裝副本是不同的打印作品版本，但是它們包含該教科書內容的完全相同的版本。教授可通過向上她的課的學生或過去的學生授予許可和訪問權來允許她的虛擬筆記可用于在她的判斷下存儲或流傳輸給這些學生。圖4A示出了打印內容選擇元數據記錄的示例，該元數據記錄包括打印內容選擇描述性數據210、打印內容項版本標識符212、打印內容選擇位置數據214、作品版本標識符216、以及作品版本位置數據218 (如果適用)、作品標識符220和作品位置數據222。作品標識符220與特定格式或介質無關地標識該創造性作品。作品位置數據222按照一個或多個與介質無關的細分(比如段落、詩節、詩篇等)來標識打印內容選擇的一個或多個位置。可包括作品版本標識符216，以描述作品210的不同版本或版次(例如，翻譯)，其也與特定的格式或介質無關。還可按照一個或多個與介質無關的細分來定義作品版本位置218。打印內容項版本標識符212標識特定的打印布局的特定的打印版次。打印版本標識符212綁定于為紙或被物理打印的其他材料的介質。打印內容選擇位置數據214可以按照具體的靜態打印布局位置，比如頁面或頁面上的位置。例如，詩“貝奧武夫(Beowulf)”是一個作品。該詩的原始的舊英語形式是一個作品版本，如同用現代英語詞匯替換了一些單詞的是一個版本一樣。版本的另一示例是法語譯文。另一示例將是用評論做腳注的原始的舊英語詩。打印版本標識符212可標識圖書館中保存的一片或多片牛皮紙上的該詩的打印版本。這一打印的版本還將具有原始的舊英語形式的作品版本標識符以及與其相關聯的貝奧武夫的作品標識符。不同的打印內容項版本標識符212標識已打印了貝奧武夫的用在其第37頁開始的評論做了腳注的版本的英語文獻的選集。這一不同的打印版本與該詩的原始的舊英語形式具有不同的打印內容項版本標識符212和作品版本標識符，但是具有相同的作品標識符。對于用戶所選擇的該詩的選集版本內的內容，打印內容選擇的位置數據按照第37頁。在此情況下，同樣，作品版本位置數據218和作品位置數據222包括相同的詩節。圖4B示出打印的與介質相關的和與介質無關的內容數據存儲的示例，這些數據存儲在此處被示為交叉引用數據庫。這些數據庫211、213、215提供對包括內容選擇的特定布局的訪問。所述布局可以與介質無關或與介質相關。在此示例中，打印內容項版本標識符212、作品版本標識符216、或作品標識符220中的任一個可被用來交叉引用或索引到與介質無關的作品211和作品版本數據庫213和與介質無關的或布局特定的打印內容項數據庫215中任一個。作品的布局或位置數據、任何作品版本以及該作品的各個打印內容項版本也被交叉引用。同樣，與介質無關的細分標識符的一些示例可以是向作品或作品版本提供與介質無關的組織的段落、詩節、詩篇等等。作品中的第80段在一個打印內容項版本中可以被交叉引用到第16頁，且在另一打印內容項版本中被交叉引用到該作品的較大印刷字體版次中的第24頁。經由打印內容項版本標識符212，開發者能夠鏈接到打印內容項數據庫215中的打印版本(例如，特定的版次)的打印布局。打印布局包括比如以下事項頁碼、頁邊距寬度、頁眉和頁腳內容、字體大小、圖示和照片的位置及其在頁面上的大小、以及其他這種布局專用的信息。發布者可以提供對他們的有版權的作品的數據存儲的訪問，以用于標識目的并作為針對虛擬內容的開發者的對該作品的布局、作品版本或打印的版本的參考。通過能夠訪問作品的布局、特定作品版本和特定的打印內容項版本，開發者能夠為作品的與介質無關和與介質相關版本創建虛擬內容205。如所示，數據庫211、213、215和虛擬內容205可彼此交叉引用。對于沒有版權的作品，可以在處于圖書館(特別是具有大的收集的那些圖書館，諸如國會圖書館、其他國家圖書館、大學、以及大的公共圖書館、以及書籍編輯網站，比如Google Book 和由大學維護的站點)控制下的數據存儲中搜索作品的副本、作品版本或打印內容的版本，以獲得將參考位置數據214、218、222引用到的布局。在以下各圖中呈現用于該技術的方法的實施例以及所述方法的一些步驟的示例實現過程。為說明目的，下面的方法實施例是在上述系統實施例的上下文中描述的。然而，所述方法實施例不限于在上述系統實施例中操作，而是可以在其他系統實施例中實現。圖5是用于用虛擬數據來使靜態打印內容成為動態的方法的實施例的流程圖。物體識別引擎192可將在透視、混合現實顯示設備的視野中的物體識別為一項打印材料(例如，書籍或期刊或僅是一頁 紙)，并且由操作系統190向動態的打印材料應用202通知該物體識別。在步驟302，動態的打印材料應用202標識打印內容項，并且在步驟304中基于物理動作用戶輸入來標識對打印內容項內的打印內容選擇的用戶選擇。在步驟306，動態的打印材料應用202基于物理動作用戶輸入來確定針對打印內容選擇的任務，并且在步驟308中執行該任務。在步驟310中根據該任務顯示與打印內容選擇有關的虛擬數據。任務的一些示例是響應于用戶輸入來顯示并更新交互式虛擬內容(例如游戲)的交互式任務，允許用戶選擇打印內容并經由消息收發應用(比如電子郵件、即時消息收發或短消息服務(SMS))將其發送到另一用戶的SnipperS江具，注釋應用，語言翻譯應用，搜索任務，使其最新應用，定義應用，創建用戶可在他或她的視野中操縱的打印內容的虛擬版本而不再看實際的打印內容的“跟著我”應用，用于改善內容的可見性和閱讀期間的舒適性的可讀性應用，以及生成打印內容的未標記版本的修訂和刷新應用。例如，打印內容的標記版本可包括下劃線、涂寫、以及在頁邊距處的筆記，這些標記使得內容幾乎不可讀。例如，僅具有作品的精簡版本的用戶可能定義填入已刪除內容的任務。另一示例是還原應用，其中用戶標識丟失的頁，并且顯示它們。如同上面提到的，用戶也可定義任務。
圖6是用于標識透視、混合現實顯示設備的視野中的打印內容項的過程的實施例的流程圖。在步驟312中，動態的打印材料應用202電子地輸出請求用戶將打印內容項的一個或多個版本標識片段放置到顯示設備2的視野中的指令。版本標識部分的一些示例是上面討論的ISBN、ISSN和SICI號、報紙或雜志的封面、標題頁面、首頁、內容表、以及版權頁。書籍的版權頁通常以標準格式提供ISBN號、標題、印刷日期、版次、作者、發布者以及關于先前的版權的信息。該一個或多個版本標識部分可在圖像數據中被標識，例如，基于版權頁的模板或用于ISBN、ISSN和SICI的標準數字格式的模板以及被提取并放入比如文本、作者、發布者等預定搜索字段中的數據。在其他示例中，可基于字母表結構數據200來標識頁面上的文本將并該文本轉換成用于查詢的計算機標準文本數據格式。在步驟314中，基于該一個或多個版本標識片段來制定查詢，并在步驟316中將該查詢發送到搜索引擎以查找打印內容項版本標識符。動態的打印材料應用202在步驟318中接收打印內容項版本標識符。可選地，在步驟320中，響應于驗證打印內容項的身份，動態的打印材料應用202接收與介質無關的作品標識符以及任何適用的與介質無關的作品版本標識符。動態應用202還可通過將打印內容項版本標識符212用作發布者數據庫207或因特網索引的資源209中的索引來接收作品標識符和作品版本標識符。圖7A是用于標識用戶眼睛選擇打印內容選擇的至少一個物理動作的過程的實現示例的流程圖。眼睛跟蹤軟件196通常基于瞳孔位置來標識眼睛在眼眶內的位置，但是虹膜位置也可以作為基礎。在步驟322中，動態的打印材料應用202確定用戶注視打印內容對象的持續時間已經超過了時間窗口，并且在步驟324中，致使圖像生成單元120顯示勾勒出打印內容對象的視覺增強。在步驟326中，響應于標識物理動作用戶輸入確認，動態的打印材料應用202將該打印內容對象標識為用戶的打印內容選擇。物理動作用戶輸入確認的一些示例是比如指示“是”或“選擇”或對任務的請求的眨眼、姿勢或語音命令的動作。用戶可通過對視覺增強(例如輪廓)的物理動作來指示確認之外的命令，比如改變該視覺增強的形狀來包括更多或更少的內容或指示“否”或“取消”的姿勢、眨眼或語音命令。圖7B是用于標識用戶眼睛選擇打印內容選擇的至少一個物理動作的過程的另一實現示例的流程圖。在步驟322中，動態的打印材料應用202標識用戶眼睛在用戶注視打印內容對象期間的選擇動作，并且在步驟334中，致使圖像生成單元120顯示勾勒出該打印內容對象的視覺增強。在步驟336中，響應于標識物理動作用戶輸入確認，動態的打印材料應用202將該打印內容對象標識為用戶的打印內容選擇。圖7C是用于標識一姿勢選擇打印內容選擇的至少一個物理動作的過程的實現示例的實施例的流程圖。在步驟342中，動態的打印材料應用202接收已經檢測到手指在打印內容材料的一部分(例如，一頁)上的開始姿勢的通知，并且在步驟344中致使圖像生成單元120顯示勾勒手指在打印內容材料的該部分上的移動的視覺增強。在步驟346中，動態的打印材料應用202接收已經檢測到手指在該打印內容材料上的停止姿勢的通知。因為手指通常在用戶正在閱讀的頁或片或卡片的某個部分上，所以開始和停止姿勢對用戶正在做出請求的時候與用戶只是移動手指位置的時候做出清楚的區分。其他過程示例可不要求開始和停止姿勢，而是改為基于監視隨時間的用戶手指行為來將移動與姿勢進行區分。在步驟348中，響應于標識物理動作用戶輸入確認，動態的打印材料應用202將該打印內容對象標識為用戶的打印內容選擇。
圖8A是用于生成用戶定義的姿勢并將該姿勢與任務相關聯的過程的實現示例的流程圖。步驟352中的動態的打印材料應用202顯示可用于打印內容選擇的任務的菜單，其可包括用戶定義的任務。用戶定義的任務的示例將是用戶選擇內容并執行查詢以查找有關該內容的評論。用戶可保存該特定搜索查詢，或將對查找評論的準則的搜索項保存為任務。當用戶選擇不同內容選擇的評論任務時，檢索該不同內容選擇的評論。動態的打印材料應用202在步驟354中接收選擇定義姿勢的用戶輸入，并在步驟356中接收從菜單選擇任務或子任務的用戶輸入。面向外的相機113在步驟358中捕捉由該用戶執行的姿勢的圖像數據(向動態的打印材料應用202通知了所述姿勢)，并在步驟360中，動態的打印材料應用202將所述姿勢作為在菜單中選擇的任務或子任務的請求而關聯。一些打印材料(比如書籍和期刊)可能是用包括用于虛擬內容的指定點的布局打印的。例如，挨著照片(該照片具有帶標識該照片的元數據的標記和有關的虛擬內容或數據)的可以是預定尺寸的空間，所述有關的虛擬內容適合放入該空間。該空間也可具有標識要在那里顯示的虛擬內容的標記，例如RFID標簽或IR標記。然而，即便對于為了通過虛擬數據進行增強而被預先打印內容，用戶也可能激活諸如搜索任務等任務并接收該頁面并未針對其預先格式化的數據。在顯示設備系統8上的計算環境54、遠程計算機系統12或兩者中執行的軟件確定要將虛擬數據放置于何處。用戶也可通過物理動作來指定放置。例如，用戶可注視虛擬數據一持續時間，并隨后注視片或頁上的空白點。在另一示例中，用戶可用手指指向虛擬對象并拖動該手指到該片或頁上的另一點。圖SB是用于確定虛擬數據相對于打印材料的放置的過程的實現示例的流程圖。在此示例中，動態的打印材料應用202具有要從中進行選擇的、與打印內容選擇有關的多個預定位置選項。用戶可按照他或她的偏好從預定位置移動虛擬數據。在此示例中，在步驟353中，動態的打印材料應用202確定適用的執行任務是否請求替換位置。例如，一任務可能是個性化任務，該個性化任務具有改變角色名稱或將角色名稱插入到那些讀者或者一個或多個用戶指定的人中的子任務。如果想要替換，則動態的應用202在步驟355中為打印內容選擇在一替換位置顯示虛擬內容。在步驟357中，響應于執行任務不請求替換位置，動態的打印材料應用202確定虛擬數據內容是否合適放到行間位置并仍舊滿足可見性準貝U。行間位置是文本的各行之間的空間，或一行文本或一圖片之間的空間，或各圖片之間的空間。可見性準則的一個示例是適合放入行間位置的虛擬內容的大小對于具有平均視力的人在舒服的閱讀位置進行閱讀而言是否太小。虛擬數據內容是否適合放入行間位置可基于多少百分比的內容可以在行間位置被顯示并仍舊可見來確定。作為定義的同義詞是可適合放入行間位置并仍舊滿足可見性準則的內容的一個示例。行間位置通常不適于圖片。如果行間位置是適當的，則動態的應用202在步驟359中為打印內容選擇在行間位置顯示虛擬內容。如果行間位置不是適當的，則在步驟361中，動態的應用202確定虛擬數據內容是否適合放入任何頁邊距位置并仍舊滿足可見性準則。如果一個或多個滿意的頁邊距位置可用，則動態的應用202在步驟363中選擇最靠近打印內容選擇的滿意的頁邊距位置。如果滿意的頁邊距位置不可用，則動態的打印材料應用202在步驟365中將虛擬內容格式化為一個或多個片段，所述片段具有當前片段的布局性質，并且在步驟367中，將具有經格式化的虛擬內容的該一個或多個片段顯示在打印材料的布局中的當前片段之后。當前片段的一個示例是一頁。作為片段的頁的布局性質包括典型的頁面布局設置。這些設置的一些示例是頁邊距、頁碼放置、行間距、圖片周圍的間距、字體和字體大小。打印材料的布局的一些示例可以是報紙、書籍、雜志或慰問卡。在打印材料為書的示例中，可以使用虛擬內容來格式化的一個或多個片段看上去像是該書籍的額外頁。在圖8B的示例中，虛擬數據被格式化為看上去像在物理打印材料的周界內。在其他示例中，浮動位置也可以是一個位置選項。例如，對于注釋已經占用了最近的頁邊距的內容選擇來說，頁邊距可以看上去被擴展為包括鏈接到該內容選擇的圖片。在另一示例中，浮動的解釋性段落可以表現為在靠近它所解釋的概念的行間空間中以垂直于頁的方式彈出。在下面的圖15的實施例中，可以向打印內容選擇的虛擬版本分配鏈接到用戶視野而非打印材料本身的浮動位置。圖9A到圖15示出了任務的示例實施例，其中用戶可請求該任務并且該任務可生成或帶來用于顯示的虛擬數據。圖9A是一種用于執行使內容選擇最新(up-to-date)的任務的方法的實施例的流程圖。動態的打印材料應用202在步驟362中將打印內容選擇標識為在該打印內容項的過時(out-of-date)片段內。打印內容選擇可被標識為過時的一種方式是發布者已經在其打印內容版本的布局的存儲版本中標識了過時內容。例如，發布者提供描述性元數據，該描述性元數據包括過時信息的布局內的位置數據。在一個示例中，動態的打印材料應用202通過向搜索引擎發送包括打印內容版本標識符的搜索查詢來標識打印內容項中的過時片段，該搜索查詢請求過時片段的標識。響應于標識過時片段的搜索結果，動態的應用202接收具有在打印內容項的布局中的位置數據的元數據。取代過時片段的最新虛擬數據的數據訪問標識符(比如統一資源定位符(URL)可被包括在該元數據中。該元數據可以用使用標記語言(比如擴展標記語言(XML))的標準化格式，以通過應用編程接口(API)與應用接口。在以上示例中，動態的打印材料應用202基于打印內容版本標識符和位置數據來請求最新虛擬數據。當這種數據訪問標識符被發布者的數據庫管理器接收到時，用于替換過時材料的最新虛擬數據被發送到數據訪問標識符的發送者。在步驟364中，動態的打印材料應用202例如從發布者的數據庫207檢索具有與打印內容選擇有關的最新信息的虛擬數據，并且在步驟366中在與該打印內容選擇有關的位置顯示帶有最新信息的虛擬數據。例如，可為最新虛擬數據指定替換或浮動位置。在其他示例中，動態的打印材料應用202也可搜索因特網索引的資源209以尋找與打印內容項有關的虛擬數據，并且從虛擬內容的獨立開發者為該打印內容選擇檢索最新內容。圖1OA示出了過時的靜態打印材料的示例。在此示例中，10年前打印的兒童用的數學練習簿380包括長頸鹿的圖片381，長頸鹿具有在照片382i中畫出的考察者11年前執行的實驗中雷達槍所達到的最快速度。從那時起，雷達槍的設計被改進了，而相同的考察者去年執行了相同的實驗，并且記錄了甚至更快的獅子的速度。文本片段381:和3812提供了數學問題，并且解釋了雷達槍的變化，這些變化使雷達槍能夠捕捉更快的速度。圖1OB示出了插入虛擬數據以使圖1OA的內容為最新的且交互式虛擬內容的示例。在此示例中，數學練習簿380虛擬地擦除了長頸鹿的圖片381，并且用在該圖片的布局位置中用山獅的替換圖像數據3842覆蓋。此外，用替換的更新近的圖片3722更新了考察者在十年前的圖片382”交互點386被示出為交互式按鈕全息圖386。從面向外的相機113捕捉的圖像數據，檢測到手385的手指387按壓虛擬按鈕的物理動作，該物理動作致使虛擬計算器388出現，虛擬計算器388可使得片段38^和3812中的數學問題做起來更有趣。當透視、混合現實顯示設備系統能夠產生三維(3D)的虛擬對象時，獅子的圖片3472以及計算器378齊平地躺在該頁，就像被打印在該頁上一樣。3D全息圖382看上去像由該頁產生。打印內容的讀者現在能夠用顯示系統8執行的另一任務是搜索任務的一個或多個實施例。內容的發布者和其他索引者可用與一個或多個打印內容選擇相關聯的關鍵詞來補充他們的存儲的布局，所述關鍵詞可被用來搜索與打印內容選擇有關的信息。如圖9C所討論的，打印材料可以被打印有標記(例如不可見的RFID或IR標簽，或視覺數據的子集)，該標記標識不同的打印內容選擇。可見標記的一個示例是擔當圖像數據的簽名的圖像數據的子集。例如，當打印內容項被標識時，沿著相交的對角線的圖像數據子元素可標識圖片。該標記數據是一種快速參考，它可以減少標識布局中的打印內容選擇時的處理時間。可為每個標記存儲并更新一個或多個關鍵詞。圖9B是基于與打印內容選擇相關聯的至少一個關鍵詞來執行搜索的方法的實施例的流程圖。在步驟368中，動態的打印材料應用202基于物理動作用戶輸入數據來標識對打印內容項的打印內容選擇的搜索請求。例如，該物理動作用戶輸入可基于眼睛跟蹤數據，尤其是注視數據。作為一些示例，用戶可能定義了注視持續時間長度、下劃線姿勢、或眨眼序列是對在打印內容選擇上進行搜索的任務請求的指示。在步驟370中，動態的打印材料應用202可請求與打印內容選擇相關聯的至少一個關鍵詞并從一個或多個與打印內容有關`的數據存儲中接收該至少一個關鍵詞，并且在步驟372中，基于所接收的至少一個關鍵詞來制定搜索查詢。與打印內容有關的數據存儲的一些示例是與打印內容有關的因特網索引的資源209和發布者數據庫207。在步驟374中，動態的打印材料應用202向搜索引擎發送搜索查詢，并且在步驟378中在透視顯示器的視野中顯示搜索結果。參見例如，具有文本搜索結果397的虛擬紙片的虛擬數據395，該文本搜索結果397在沿著與作為搜索基礎的男性考察者圖像數據的打印內容選擇最靠近的頁邊距的頁外位置處。圖1OA示出了靜態打印材料的示例，該靜態打印材料是過時的并且在考察者的面部383和389以及服裝(390、391)上包括不可見標記。這些標記可能已經被預先打印有文本。此外，表示標記的虛線可表示在打印之后生成的并且與打印內容項的布局相關聯的標記。這種標記的一個示例是上面討論的圖像數據簽名。甚至書籍的已用打印副本也可以與關鍵詞鏈接并用關鍵詞來更新。例如，每當新的演員在“三個火槍手”的新電影版本中表演角色時，可以為該小說的1937年印次更新與該角色名稱相關聯的一個或多個關鍵詞。圖9C是基于與打印內容選擇的標記相關聯的至少一個關鍵詞來執行搜索的方法的實施例的流程圖，該標記在包括其他標記的細分內。在步驟369中，基于物理動作用戶輸入數據從用于打印內容項的細分的多個標記中標識該細分內的打印內容選擇的標記。例如，傳感器(比如IR或RFID感測單元144)檢測來自該標記的信號，該信號包括數據，單元144為處理單元210將該數據轉換成處理器可讀的形式。在一些示例中，該數據標識該細分內的打印內容選擇并可包括一個或多個關鍵詞。在另一示例中，視覺標記可被存儲為結構數據200，而對象識別軟件192從相機113所捕捉的圖像數據中標識視覺標記并向處理單元210通知標記標識符，處理單元可將標記標識符發送到發布者數據庫207或與打印內容有關的因特網索引的資源209以查找一個或多個更關聯的關鍵詞。如上所討論的細分可以是段落或圖片或詩節。注視數據允許該系統在該細分內定位(pinpoint)用戶正關注的位置，例如，關注段落內的哪一個或多個單詞，或者關注用戶正在看的照片中的什么對象。可以在非常詳細的等級分配關鍵詞。用于細化和分類的注視持續時間、帶眨眼的注視、以及帶手指指向的姿勢、以及語音數據可被用來在細分內選擇內容。在步驟371中，動態的打印材料應用202基于物理動作用戶輸入數據來選擇針對打印內容選擇的搜索任務。如上面討論的，對打印內容項的選擇和搜索請求可同時被指示。在步驟373中，動態的打印材料應用202請求與該標記相關聯的至少一個關鍵詞并從一個或多個數據存儲(例如，207或209)接收該至少一個關鍵詞，并且在步驟375中基于與該標記相關聯的至少一個關鍵詞來生成搜索查詢。在步驟377中將搜索查詢發送到搜索引擎，并且在步驟379中，動態的應用202致使將搜索結果顯示在透視顯示器的視野中。圖1OB示出了如同上面提到的插入顯示搜索結果的虛擬數據的示例。在圖1OB的示例中，盡管有虛擬數據的覆蓋，不可見標記383、389、390和391仍舊向外發送信號。處理單元210還可在搜索查詢中包括與該虛擬數據相關聯的關鍵詞，特別是當虛擬數據被標識為與打印內容選擇有關時。例如，動態的打印材料應用202基于使最新任務也被執行來確定這一點。圖1lA是用于用虛擬數據來注釋靜態打印內容的方法的實施例的流程圖。動態的打印材料應用202在步驟392中基于物理動作用戶輸入來確定用戶正請求的、針對打印內容選擇的任務是注釋，并且在步驟394中致使圖像生成單元120為用戶顯示虛擬鍵入(virtual key entry)輸入設備。例如,可以顯示虛擬智能電話鍵盤區,用戶可用雙手使用該鍵盤區來選擇按鍵，就像一些人是極快地文本輸入者(texter)—樣輸入文本消息。在其他示例中，可顯示虛擬QWERTY鍵盤或其他典型計算機鍵盤以供用戶進行交互。動態的打印材料應用202在步驟396中基于用虛擬鍵盤鍵入輸入設備的用戶輸入來生成注釋數據，并且在步驟398中，在由物理動作用戶輸入所指示的位置處顯示注釋數據。在步驟400中，注釋數據被存儲并鏈接到具有打印內容選擇中的內容的與介質無關的數據版本的注釋數據，例如，作品或作品版本。通過存儲具有與介質無關的版本的注釋，該用戶可回想該注釋，而不管該作品的特定打印布局。可選地，在步驟401中，可將注釋數據與打印內容項中的打印內容選擇鏈接在一起，并且該注釋數據是用戶在當前時刻通常使用的版本。在其他示例中，可經由處理單元(例如，圖1C的移動設備4)，而不是虛擬鍵入輸入設備，來輸入注釋數據。同樣如在圖12A的示例中所指示的，可將手寫筆記制成注釋數據并將其作為注釋數據顯示。圖1lB是用于為作品的另一個打印版本顯示為該作品的一個版本輸入的被存儲的注釋的方法的實施例的流程圖。在步驟402中，動態的打印材料應用202標識在包括相同內容選擇的透視、混合現實顯示設備的視野中的不同的打印內容項。例如，不同的打印內容項具有不同的打印內容項版本標識符212但是具有相同的作品標識符220。打印內容項的位置數據、作品版本和作品也可在數據庫211、213和215中被發布者、大學、圖書館或維護因特網索引的資源的其他實體交叉引用。在步驟404中，接收請求在鏈接的內容選擇在顯示設備的視野中時顯示用戶注釋數據的用戶輸入。在步驟406中，動態的應用202標識該視野中的打印的相同內容選擇，并且在步驟408中，在與在不同的打印內容項中打印的相同的內容選擇的位置有關的位置處顯示鏈接到該內容選擇的與介質無關的版本的注釋數據。圖12A、12B、12C和12D呈現用于用來自其他打印材料的數據來對打印材料進行注釋的序列的示例。圖12A示出指定手寫內容選擇的姿勢的示例。示出了具有用于捕捉用戶手指姿勢的面向前的相機1131和113r的顯示設備2。其他身體部位(諸如手、腕、上臂甚至腳、肘等)所執行的姿勢也可以被用來控制比如動態的應用202等應用。手和手指姿勢允許用戶在執行姿勢的同時維持對顯示器的視野中的材料的閱讀。線7041和7041■表示逼近來自用戶的瞳孔或視網膜的注視矢量的眼睛視線。用戶的手480正跨越課堂筆記的筆記本頁410跟著指尖482在加虛擬下劃線的要被選擇的手寫文本412:中移動。輪廓工具顯示用于勾勒(outlining)用戶正選擇的文本的經突出顯示的框414。為了開始在此圖集中討論的序列，用戶可能已從視野中顯示的虛擬注釋任務菜單中選擇了做注釋子任務或者可能執行了啟動“做注釋”子任務的姿勢或 說了啟動“做注釋”子任務的話。如在以上示例中，開始和停止姿勢還可被用來劃界序列中的各步驟的開始和結束。紙或卡板或能被印刷的其他材料上的手寫筆記可被認為是一種形式的打印材料，而計算機屏幕上的手寫筆記將不是打印內容選擇。動態的打印材料應用202基于作為結構數據200存儲的用戶手寫樣本來標識手寫中的字母并將所選擇的手寫內容格式化成計算機標準文本數據格式的文本4122，并存儲該內容選擇和打印內容選擇元數據記錄201。手寫內容選擇也可以被標記成注釋并被鏈接到注釋的列表。圖12B示出了為用戶顯示的虛擬鍵入輸入設備的示例。在此示例中，與虛擬智能電話上所顯示的按鈕有關的用戶拇指4941和494r的圖像數據被面向外的相機113捕捉。也可檢測其他手指，因為不是所有用戶都像普通的15歲大的人一樣是熟練的文本輸入者。用戶使用該虛擬鍵入設備481鍵入注釋“共生一種獨立的、彼此有益的關系；將會考到”。響應于用戶的文本輸入，生成文本并在虛擬電話屏幕483上顯示該文本。用戶能夠像在真正的電話上一樣敲擊定制的“發送” “返回”和這樣的按鈕并傳輸對文本輸入的注釋的編輯和完成。圖12C示出了被用來選擇要注釋的打印文本的手指姿勢的示例。正如在圖12A中一樣，面向前的相機1131和113r捕捉用戶的手指482在教科書中的單詞“共生”下面劃線以作為打印內容選擇462的圖像數據。圖12D示出了將圖12A的手寫內容選擇的經格式化文本版本作為注釋來顯示的虛擬數據的示例。如在顯示設備2的視野中所見并如面向前的相機1131和113r所捕捉的，在注釋任務是活動的且用戶執行了對文本“共生”的選擇姿勢后，用戶的手指482被動態的打印材料應用202從圖像數據中標識為指向頁的用戶指定的頂部頁邊距位置以用于手寫內容選擇的文本版本。雖然未示出，但用戶可能已從虛擬菜單或最近作的注釋的顯示中選擇了文本版本4122。在另一示例中，當文本版本4122是在當前會話中作出的最后注釋時，動態的打印材料應用202顯示該文本版本。文本版本4122被顯示在該頁的頂部處并寫著“共生一種獨立的、彼此有益的關系；將會考到”。除了向靜態打印材料提供附加信息或交互內容外，還可制作靜態打印內容材料的虛擬版本來改善內容的可見性，這是由于改變了內容的外觀性質或內容在顯示設備視野中的位置。圖13A和圖13B討論了用于通過生成材料的虛擬版本來改善打印材料的可讀性的方法實施例。圖13A是用于在舒服的閱讀位置提供打印材料的虛擬版本的方法的實施例的流程圖。在步驟432中，動態的打印材料應用202從圖像數據中標識一位置，該位置可包括打印材料在透視、混合現實顯示設備的視野中的定向。在步驟434中，動態的打印材料應用202確定打印材料在該視野中的位置是否滿足舒服準則。舒服準則的一些示例是打印材料(例如，書籍或雜志)的角度、以及所確定的文本相對于顯示設備的參考點(例如，透視顯示器的光軸142)的角度。打印材料的角度是否在舒服閱讀區域內還可基于從定向感測單元132推導的估計的注視矢量和頭部位置數據來確定。例如，參考頭部位置可以是0度頭部位置，0度頭部位置意味著向正前方看而非以一定角度向上或向下或向左或向右看。從此參考0度頭部位置，閱讀舒服區域或舒服準則可指示距0度位置不超過45度的頭部位置。在任何方向上距光軸25超過45度的注視估計矢量可被用作指示不再滿足舒服準則的閾值。文本確定的角度或定向可標識該文本是否被倒置或處于另一不舒服的角度。深度距離還可基于被應用到捕捉設備113的圖像數據的立體觀測或當相機113被實現成具有深度感測能力時獲得的深度數據來確定。如果打印材料在深度舒服范圍(例如，I到3英尺)夕卜，則可觸發虛擬版本的生成。用戶的臂長(臂長可在用戶簡檔數據197中獲得)可以是用于確定深度舒服范圍的指南。如果該位置滿足閱讀位置準則，則在步驟452中，動態的打印材料應用202返回到步驟432來進行下一調度的檢查。如果不滿足閱讀位置準則，則動態的打印材料應用202在步驟436中確定用于滿足舒服閱讀位置準則的新位置。例如，新位置將該書籍定向在舒服角度以及閱讀舒服區的距離邊界內。在步驟438中，動態的打印材料應用202生成打印材料的虛擬版本的圖像數據。該虛擬版本可以是基于打印材料的圖像數據生成的。此外，動態的打印材料應用202可基于動態的打印材料應用202可訪問的打印材料的電子版本來生成虛擬版本。例如，報紙發布者可制作用打印在其報紙的副本上的移動標簽來訪問的電子版本。電子版本可具有打印材料的完整的文本(例如，整天的報紙)以及其布局信息。在步驟440中，動態的打印材料應用202致使圖像生成單元120將該虛擬版本顯示在透視顯示器中的新位置處并且在步驟452中返回到步驟432的下一調度的檢查處。圖13B是用于提供打印內容的虛擬版本以獲得該內容的改善的可見性的方法的實施例的流程圖。在步驟442中，動態的打印材料應用202標識該視野中的版本中的內容數據的大小。在步驟446中確定可見性準則是否被滿足。如同上面提到的，在一些示例中，可見性準則確定內容數據的大小對于在該打印材料的位置和深度處的用戶年齡的普通人而言是否可能是可見的。圖13A和13B的方法是互補的。首先執行圖13A可調整任何可見性問題，但是即使在舒服閱讀位置處，文本仍舊可能太大或太小。如果可見性準則被滿足，則在步驟452中，動態的打印材料應用202返回到步驟432來進行下一調度的檢查。如果可見性準則不被滿足，則在步驟448中，動態的打印材料應用202生成具有經改變的大小的內容數據的虛擬版本以滿足可見性準則，并且在步驟450中致使在透視顯示器中顯示具有經改變的大小的內容數據的虛擬版本。在步驟452中，動態的打印材料應用202返回到步驟432的下一調度的檢查處。圖14示出了提供虛擬數據以獲得改善的可見性和多用戶視角共享視圖的示例。在此起居室場景中，祖母489坐在她孫子484的對面，同時在給她孫子讀一本書,交互虛擬內容對該書是可用的。每個人均佩戴顯示設備系統8，其中所有電子器件均如圖1B的示例被合并在顯示設備2中。在此版本中，書490包括處理器和以標記語言存儲用于該書的虛擬數據的存儲器。例如，可使用可擴展標記語言(XML)。在另一示例中，可使用比如虛擬現實建模語言(VRML)等標記語言。在一些示例中該書包括密碼，并且多個用戶可輸入密碼并登錄同一會話。該虛擬數據被無線傳輸到已登錄的顯示設備，這些顯示設備運行動態的打印材料應用202的分組閱讀插件應用。祖母489和孫子484正在共享同一應用會話，很像玩家正在玩在線游戲，但是祖母489控制動作。祖母489喜歡看她孫子看到該虛擬數據(諸如南瓜燈486^487^488。的顯示時的表情以及他對故事中的事件和對話的反應。然而，她孫子只是在學習他的字母并且還不能讀這種書。祖母從菜單中 為她自己選擇了閱讀者角色并為她孫子分配了參與者角色。為了使孩子對閱讀感興趣，通過在他們看書時顯示虛擬數據來將他們的方向聚焦在書上。顯示設備系統8能夠檢測預定距離內的其他設備。例如，各顯示設備系統可經由藍牙、WUSB、IR或RFID連接來交換身份令牌。可選擇位置鄰近收發機144的類型和范圍以僅允許在預定距離內的連接。諸如來自GPS收發機144或基于無線收發機信號137的蜂窩三角定位的位置數據結合諸如Bump 等應用也可被用于標識在彼此的預定距離內的設備。通過閱讀者對故事的內容的某一部分的眼睛注視來激活虛擬數據。該故事是一件作品，而該內容在打印內容項(其是書490)的第485頁上。祖母將書放在她的膝蓋上，而該閱讀角度不滿足舒服準則。然而，當比如孫子484等參與者在他的顯示設備系統8的視野中看該書時，該書是虛擬數據所源自的地方，并且閱讀者的眼睛注視激活虛擬內容或數據。圖13A的過程檢測祖母的不舒服閱讀位置。如下面在圖15中進一步討論的，她反復地從書往上看也可能觸發“跟著我”任務。打印頁485:的虛擬版本4852被投影到祖母的眼睛里，使得該虛擬頁以及該虛擬頁的任何經調整的字體大小或對比度出現在她的顯示器中的閱讀舒服區域內。觸發虛擬頁4852中的虛擬南瓜的她對內容的注視持續時間也觸發虛擬南瓜ASeiWST1JSS1為她的孫子參與者出現，以在他看該書時看上去時從物理頁485:中漂浮出來。在她的顯示器中，祖母從她的視角看到虛擬南瓜4862、4872和4882。同樣由于圖15的過程示例，虛擬頁4852被放置成使得她能舒服地閱讀該虛擬頁。用于放置的另一個準則是如果空間允許則不阻擋視野中的參與者。下面討論的外觀布局變化也可被用來適合將參與者保持在視野中。
如果實體書仍舊在祖母的顯示設備的視野中，則動態的應用202響應于祖母對實體書的物理動作(例如，翻頁)以及對當前顯示的虛擬版本頁4852的物理動作而采取動作。圖15是用于提供被鏈接到用戶視野的打印內容的虛擬版本的方法的實施例的流程圖。在步驟502中，響應于觸發事件，觸發動態的打印材料應用202的以下用戶任務。觸發事件的一個示例是檢測到打印材料的一片段移入并移出顯示設備2的視野多次。觸發事件的一些其他示例是請求以下用戶任務的用戶輸入，諸如預定義的或用戶定義的姿勢或說出的命令，比如“跟著我”。在步驟504中，動態的打印材料應用202確定包括用戶正在查看的打印材料的打印內容項的電子版本是否可用。如果可用，則動態的應用202可將打印內容項的至少一片段加載到存儲器中以便可在用戶進一步閱讀并在體現在打印材料中的內容中前進時獲得。如果電子版本可用，則動態的應用202在步驟514中在視野中與打印內容項的位置無關的位置處顯示包括打印內容選擇的內容的圖像數據。具體而言，在用戶前后移動他或她的頭的位置已經觸發了“跟著我”任務的示例中，如果注視持續時間數據或姿勢或語音數據還沒有肯定地指示內容選擇，則動態的應用202選擇用戶一直在關注的打印內容項的片段作為打印內容選擇。在步驟516中，響應于用戶對該虛擬版本的物理動作輸入，更新圖像數據的顯示。如果打印內容項仍在視野內，則動態的應用202對針對打印項版本以及虛擬版本兩者的物理動作用戶輸入均做出響應。物理動作用戶輸入可包括與虛擬對象交互的姿勢，諸如在視野中到處推動虛擬頁，并且將虛擬頁釘在動態應用202所跟蹤的視野之外的“位置”。如果用戶移動她的頭來看該“位置”，則應用202致使該虛擬頁再現。例如，遵循食譜的廚師在她執行食譜的不同步驟時可使用手的運動來將食譜推入和推出視圖。可任選地,在步驟518中，該動態的應用響應于用戶的布局改變請求來更新圖像數據的顯示。布局改變請求的一個示例是使虛擬內容出現在透明紙片上并增加文本間的間距以便用戶能夠透視該虛擬內容。語音命令可請求透明度。或者，用戶可增加文本的各部分之間的間隔來創建用來看他或她正影響的對象的透視窗口。用雙手以相反的方向拉虛擬頁的拉伸姿勢可調整該間距。在車下工作的機械工可具有手冊頁的透明版本，該透明版本具有他通過伸平的手向下推動該頁的一片段并隨后向上推動該頁的另一片段的姿勢來插入的窗口，以便他能在中間看。姿勢的另一個示例還可以是兩只伸平的手將多個頁部分(例如，段)往不同方向推。在打印內容項的電子版本不可用的情況下，在步驟506中，動態的應用202存儲當前在視野中的打印內容選擇的片段的圖像數據，并且在步驟508中輸出請求用戶看該打印內容項的包括當前閱讀會話中可用的內容的一個或多個片段的指令(例如，音頻或通過顯示設備投影的指令)。例如，在去到車下并開始工作之前，機械工可看汽車手冊中與他的維修有關的頁。動態的應用202在步驟510和512中當一個或多個片段中的每一個處于面向外的相機的視野中時捕捉并存儲相應片段的圖像數據，并隨后進行到步驟514。在一種意義上，動態的應用202制作該用戶所看的頁的影印本。對物理內容選擇執行的任務也可以對虛擬版本執行。通過任何任務執行得到的虛擬數據可被存儲并且也可在以后再次看該物理內容選擇時被查看。圖16是計算系統的一個實施例的框圖，該計算系統可用于實現一個或多個網絡可訪問計算系統12，所述計算系統12可以托管計算環境54的軟件組件中的至少一些或者圖3所描繪的其他元件。參考圖16，用于實現本發明的一個示例性系統包括計算設備，諸如計算設備800。在其最基本的配置中，計算設備800 —般包括一個或多個處理單元802，并且還可包括不同類型的處理器，諸如中央處理單元(CPU)和圖形處理單元(GPU)。計算設備800還包括存儲器804。取決于計算設備的確切配置和類型，存儲器804可以包括易失性存儲器805 (如RAM)、非易失性存儲器807 (如ROM、閃存等)或是兩者的某種組合。該最基本配置在圖16中由虛線806來示出。另外，設備800還可具有附加特征/功能。例如，設備800還可包含附加存儲(可移動和/或不可移動)，包括但不限于磁盤、光盤或磁帶。這樣的附加存儲在圖16中由可移動存儲808和不可移動存儲810示出。設備800還可以包含允許該設備與其他設備通信的通信連接812，比如一個或多個網絡接口和收發器。設備800還可以具有諸如鍵盤、鼠標、筆、語音輸入設備、觸摸輸入設備等輸入設備814。還可以包括諸如顯示器、揚聲器、打印機等輸出設備816。所有這些設備在本領域是眾知的并且不必在此詳細討論。如同上面討論的，處理單元4可被嵌入在移動設備5中。圖17是可以在本技術的各實施例中操作的示例性移動設備900的框圖。描繪了典型移動電話的示例性電子電路。電話900包括一個或多個微處理器912，以及存儲由控制處理器912的一個或多個處理器執行來實現此處所述的功能的處理器可讀代碼的存儲器910 (例如，諸如ROM等非易失性存儲器和諸如RAM等易失性存儲器)。移動設備900可包括例如處理器912、包括應用和非易失性存儲的存儲器1010。處理器912可實現通信以及任何數量的應用，包括本文中所描述的應用。存儲器1010可以是任何種類的存儲器存儲介質類型，包括非易失性和易失性存儲器。設備操作系統處理移動設備900的不同操作，并可包含用于操作的用戶界面，如撥打和接聽電話呼叫、文本消息收發、檢查語音郵件等。應用930可以是任何種類的程序，如用于照片和/或視頻的相機應用、地址簿、日歷應用、媒體播放器、因特網瀏覽器、游戲、其他多媒體應用、鬧鐘應用、其他第三方應用，比如本文討論的用于處理發送至或者來自顯示設備2的圖像數據的皮膚應用和圖像處理軟件，等等。存儲器910中的非易失性存儲組件940包含諸如web高速緩存、音樂、照片、聯系人數據、日程安排數據、以及其他文件等數據。處理器912還與RF發射/接收電路906進行通信，該電路906進而耦合到天線902，它還與紅外發射器/接收器908、與像W1-F1、WUSB、RFID、紅外或藍牙等任何附加通信信道960、以及與像加速度計等移動/定向傳感器914通信。加速度計被包括到移動設備中，以啟用諸如讓用戶通過姿勢輸入命令的智能用戶界面之類的應用，在與GPS衛星斷開聯系之后計算設備的移動和方向的室內GPS功能，并檢測設備的定向，并且，當旋轉電話時自動地將顯示從縱向變為橫向。可以，例如，通過微機電系統(MEMS)來提供加速度計，該微機電系統是構建在半導體芯片上的微小機械器件(微米尺寸)。可以感應加速方向、以及定向、振動和震動。處理器912還與響鈴器/振動器916、用戶界面鍵區/屏幕、生物測定傳感器系統918、揚聲器920、話筒922、相機924、光傳感器921以及溫度傳感器927進行通信。處理器912控制無線信號的發射和接收。在發射模式期間，處理器912向RF發射/接收電路906提供來自話筒922的語音信號或其他數據信號。發射/接收電路906將該信號發射到遠程站(例如固定站、運營商、其他蜂窩電話等)來通過天線902進行通信。響鈴器/振動器916被用于向用戶發傳入呼叫、文本消息、日歷提醒、鬧鐘提醒或其他通知等信號。在接收模式期間，發射/接收電路906通過天線902接收來自遠程站的語音或其他數據信號。所接收到的語音信號被提供給揚聲器920，同時所接收到的其它數據信號也被適當地處理。另外，物理連接器988可被用來將移動設備900連接到外部電源，如AC適配器或加電對接底座。物理連接器988還可被用作到計算設備的數據連接。該數據連接允許諸如將移動設備數據與另一設備上的計算數據進行同步等操作。為這種服務啟用使用基于衛星的無線電導航來中繼用戶應用的位置的GPS接收器 965。附圖中示出的示例計算機系統包括計算機可讀存儲設備的示例。計算機可讀存儲設備也是處理器可讀存儲設備。這樣的設備包括以用于存儲諸如計算機可讀指令、數據結構、程序模塊或其他數據等信息的任意方法或技術來實現的易失性和非易失性、可移動和不可移動存儲器設備。處理器或計算機可讀存儲設備的一些是RAM、ROM、EEPR0M、高速緩存、閃存或其他存儲器技術、CD-ROM、數字多功能盤(DVD)或其他光盤存儲、記憶棒或卡、磁帶盒、磁帶、媒體驅動器、硬盤、磁盤存儲或其他磁性存儲設備、或能用于存儲所需信息且可以由計算機訪問的任何其他設備。盡管用結構特征和/或方法動作專用的語言描述了本主題，但可以理解，所附權利要求書中定義的主題不必限于上述具體特征或動作。更確切而言，上述具體特征和動作是作為實現權利要求的示例形式公開的。
權利要求
1.一種用于使用透視、近眼、混合現實顯示設備來用虛擬數據使靜態打印內容成為動態的方法，包括 標識透視、近眼、混合現實顯示設備的視野中的打印內容項； 基于物理動作用戶輸入來標識對所述打印內容項內的打印內容選擇的用戶選擇； 基于物理動作用戶輸入來確定針對所述打印內容選擇的任務； 執行所述任務；以及 根據所述任務來顯示與所述打印內容選擇有關的虛擬數據。
2.如權利要求1所述的方法，其特征在于，所述任務使所述打印內容選擇最新，其進一步包括 將所述打印內容選擇標識為在所述打印內容項的過時片段內； 為包括所述打印內容選擇的所述片段檢索具有最新信息的虛擬數據；以及 在與所述打印內容選擇的位置有關的位置顯示具有最新信息的所述虛擬數據。
3.如權利要求1所述的方法，其特征在于，執行所述任務進一步包括通過以下動作來執行搜索任務 基于物理動作用戶輸入數據來從所述打印內容項的細分的多個標記中標識所述細分內的所述打印內容選擇的標記； 基于物理動作用戶輸入數據來選擇針對所述打印內容選擇的搜索任務； 請求與所述標記相關聯的至少一個關鍵詞并從一個或多個與打印內容有關的數據存儲接收所述至少一個關鍵詞； 基于與所述標記相關聯的所述至少一個單詞生成搜索查詢； 將所述搜索查詢發送到搜索引擎；以及 在所述透視、近眼、混合現實顯示設備的所述視野中顯示搜索結果。
4.如權利要求1所述的方法，其特征在于，所述任務是分組閱讀任務，并且執行所述分組閱讀任務進一步包括 接收將與所述透視、混合現實顯示設備系統相關聯的用戶標識為閱讀者或者參與者的用戶輸入； 響應于將所述用戶標識成閱讀者的用戶輸入，顯示所述打印內容項的虛擬版本，并且如果所述打印內容項在所述顯示設備系統的相機的視野內，則對針對所述打印內容項的所述虛擬版本或所述打印內容項的物理動作用戶輸入做出響應；以及 響應于將所述用戶標識成參與者的用戶輸入，響應于來自所述閱讀者的另一透視、近目艮、混合現實顯示設備系統的一個或多個通知來顯示與所述視野中的所述打印內容項有關的虛擬數據。
5.如權利要求1所述的方法，其特征在于，所述任務是用于提供與所述用戶視野相鏈接的打印內容的虛擬版本，其進一步包括 在所述用戶視圖中與所述打印內容選擇的位置無關的位置處顯示包括所述打印內容選擇的內容的圖像數據；以及 響應于所述用戶的物理動作輸入，更新所述圖像數據的顯示。
6.如權利要求5所述的方法，其特征在于，還包括 確定所述打印內容項的電子版本是否可用；響應于所述打印內容項的電子版本可用，顯示所述電子版本的圖像數據； 響應于所述打印內容項的電子版本不可用，存儲所述打印內容選擇的圖像數據， 經由所述顯示設備系統向所述用戶輸出看所述打印內容項的包括在當前閱讀會話中可用的內容的一個或多個片段的指令； 當所述一個或多個片段中的每一個片段在所述顯示設備系統的面向外的相機的視野中時捕捉相應片段的圖像數據；以及存儲所捕捉的圖像數據。
7.一種用于使靜態打印材料成為動態的透視、近眼、混合現實顯示設備系統，包括 由支撐結構定位的用于每只眼睛的相應透視顯示器； 用于捕捉所述相應透視顯示器的視野中的圖像數據的、被定位在所述支撐結構上的至少一個面向外的相機； 一個或多個軟件控制的處理器，所述一個或多個軟件控制的處理器通信地耦合到能夠訪問數據存儲的搜索引擎，所述數據存儲包括用于作品的內容、布局和虛擬數據以及體現所述作品的打印內容項； 所述一個或多個軟件控制的處理器通信地耦合到所述至少一個面向外的相機以用于接收圖像數據； 所述一個或多個軟件控制的處理器用于基于物理動作用戶輸入和圖像數據來標識對打印內容選擇的用戶選擇； 所述一個或多個軟件控制的處理器用于基于基于所述圖像數據來制定一個或多個查詢以及將所述一個或多個查詢發送到所述搜索引擎來標識包括所述打印內容選擇的打印內容項以及包括所述打印內容選擇的與介質無關的版本的作品； 所述一個或多個軟件控制的處理器致使至少一個通信地耦合的圖像生成單元通過光學地耦合到所述至少一個圖像生成單元的每個相應透視顯示器來顯示與所述打印內容選擇或所述打印內容選擇的所述與介質無關的版本之一或兩者相關聯的虛擬數據。
8.如權利要求7所述的系統，其特征在于，還包括 用于存儲數據和軟件的存儲器，所述軟件包括用于將圖像數據中的文本轉換成計算機標準化文本數據存儲格式的文本的軟件；以及 所述一個或多個軟件控制的處理器用于基于基于所述圖像數據來制定一個或多個查詢以及將所述一個或多個查詢發送到所述搜索引擎來標識包括所述打印內容選擇的打印內容項以及包括所述打印內容選擇的與介質無關的版本的作品進一步包括 所述一個或多個軟件控制的處理器在圖像數據中標識所述打印內容項的一個或多個版本標識片段， 所述一個或多個軟件控制的處理器基于所述一個或多個版本標識片段來制定查詢并將所述查詢發送到所述通信地耦合的搜索引擎，以及 所述一個或多個軟件控制的處理器接收打印內容項版本標識符。
9.如權利要求8所述的系統，其特征在于，還包括 所述一個或多個軟件控制的處理器基于所述打印內容項版本標識符來請求并從所述數據存儲接收所述打印內容選擇在所述打印內容項的布局內的位置數據、與介質無關的作品標識符、根據與介質無關的細分的所述打印內容選擇的與介質無關的版本的作品位置數據、以及根據所述介質無關的細分的任何適用的與介質無關的作品版本標識符和作品版本位置數據。
10.一種用于使用透視、近眼、混合現實顯示設備系統來用虛擬數據改善靜態打印材料的可讀性的方法，所述方法包括 基于由所述顯示設備系統的一個或多個面向外的相機捕捉的圖像數據來標識所述透視、近眼、混合現實顯示設備系統的視野中的打印材料； 確定位于所述視野中的所述打印材料是否滿足可讀性準則；以及響應于可讀性準則不被滿足，在所述視野中顯示滿足可讀性準則的所述打印材料的虛擬版本；以及 如果所述打印材料仍在所述一個或多個面向外的相機的視野內，則對針對所述打印材料的所述虛擬版本或所述打印材料之一或兩者的物理動作用戶輸入做出響應。
全文摘要
本發明涉及用虛擬數據使靜態打印內容成為動態。本技術提供了用于用虛擬數據的顯示使得通過透視、混合現實顯示設備系統看到的靜態打印內容更加動態的實施例。例如書籍或雜志等打印內容項被從顯示設備上的相機所捕捉的圖像數據中標識，并且基于例如眼睛注視或姿勢等物理動作用戶輸入來標識對打印內容項內的打印內容選擇的用戶選擇。基于物理動作用戶輸入來確定與打印內容選擇有關的任務。根據該任務來顯示用于該打印內容選擇的虛擬數據。此外，虛擬數據可被鏈接到體現在打印內容項中的作品。而且，打印材料的虛擬版本可以在更舒服的閱讀位置處并用改善的內容可見性來顯示。
文檔編號G06F3/01GK103064512SQ20121052635
公開日2013年4月24日 申請日期2012年12月7日 優先權日2011年12月7日
發明者S·M·斯莫爾, A·A-A·基普曼, B·I·瓦特, K·S·佩雷斯 申請人:微軟公司