用于頭部安裝顯示器的基于人體手勢的區域和空間選擇的制作方法
【專利說明】
【背景技術】
[0001]本發明的方面涉及使用人體手勢在頭部安裝顯示器(HMD)上選擇擴增現實(AR)對象。
[0002]HMD現可發展為具有內附的或由連接到HMD的主機裝置(例如，智能型手機)提供的某一程度的計算能力的重量輕、可買得起的裝置。
[0003]HMD可包括安裝于眼鏡框架上的一或多個自我中心相機。HMD還可包括光學傳感器、加速計、GPS、回轉儀、固態羅盤、RFID和無線傳感器。HMD可具有在用戶的視野內的透明顯示區，用戶在透明顯示區中可在顯示器上觀看實體對象和虛擬對象。
[0004]使用內建相機，HMD可根據用戶的輸入而俘獲圖像和視頻。常規方法包括用戶觸碰HMD上的按鈕以俘獲用戶的視野中的圖像。
【發明內容】
[0005]描述特定實施例，所述特定實施例允許用戶在頭部安裝顯示器(HMD)上選擇一或多個擴增現實(AR)對象而無需用戶實體觸碰所述HMD。
[0006]在一些實施例中，HMD可基于由用戶的至少一只手形成的手勢而界定感興趣區域(ROI)。隨后，所述HMD可在所述HMD上向所述用戶顯示一形狀。在至少一個布置中，所述形狀描畫所述ROI的輪廓。另外，所述HMD可向所述用戶顯示多個AR對象，所述多個AR對象中的每一者與所述ROI內的目標相關聯。此外，所述HMD可基于所述用戶的所述至少一只手的第一移動而減小所述ROI的大小以形成減小大小ROI。在至少一個布置中，所述減小大小ROI用以從所述多個AR對象選擇特定AR對象。在一或多個配置中，用于減小所述ROI的大小的方法包含使所述用戶的手移動得更靠近彼此。另外，所述HMD可基于放開事件而放開所述減小大小ROI ο舉例來說，所述放開事件可在所述用戶的所述至少一只手遠離所述ROI時、在所述用戶的至少一手指和拇指靠攏時或在所述用戶發出語音命令時出現。
[0007]在另一配置中，其中多個擴增與所述特定AR對象相關聯，所述HMD可進一步基于所述用戶的所述至少一只手在所述特定AR對象的方向上的第二移動而向所述用戶顯示來自與所述特定AR對象相關聯的所述多個擴增的對應擴增。
[0008]在另一配置中，所述HMD可進一步:俘獲所述減小大小ROI內的文字；且基于所述俘獲文字而初始化翻譯。所述HMD還可執行所述ROI或所述減小大小ROI的自動視覺辨識和視覺搜索。
[0009]在另一配置中，所述HMD可在與一或多個其他用戶共享的視頻期間使用所述減小大小來使視野變窄。
[0010]在一些實施例中，一種用于選擇擴增現實(AR)對象的頭部安裝裝置(HMD)可包含:一或多個處理器；以及存儲計算機可讀指令的存儲器，所述計算機可讀指令在由所述一或多個處理器執行時使所述HMD:基于由用戶的至少一只手形成的手勢而界定感興趣區域(ROI);在所述HMD上向所述用戶顯示一形狀，其中所述形狀描畫所述ROI的輪廓；向所述用戶顯示多個AR對象，所述多個AR對象中的每一者與所述ROI內的目標相關聯；且基于所述用戶的所述至少一只手的第一移動而減小所述ROI的大小以形成減小大小R0I，其中所述減小大小ROI用以從所述多個AR對象選擇特定AR對象。
[0011]在一些實施例中，一或多個計算機可讀媒體，所述一或多個計算機可讀媒體存儲用于在頭部安裝裝置(HMD)上選擇擴增現實(AR)對象的計算機可執行指令，所述計算機可執行指令在執行時使包括于HMD中的一或多個計算裝置:基于由用戶的至少一只手形成的手勢而界定感興趣區域(ROI);在所述HMD上向所述用戶顯示一形狀，其中所述形狀描畫所述ROI的輪廓；向所述用戶顯示多個AR對象，所述多個AR對象中的每一者與所述ROI內的目標相關聯；且基于所述用戶的所述至少一只手的第一移動而減小所述ROI的大小以形成減小大小R0I，其中所述減小大小ROI用以從所述多個AR對象選擇特定AR對象。
[0012]在一些實施例中，一種用于選擇擴增現實(AR)對象的頭部安裝裝置(HMD)可包含:用于基于由用戶的至少一只手形成的手勢而界定感興趣區域(ROI)的裝置；用于在所述HMD上向所述用戶顯示一形狀的裝置，其中所述形狀描畫所述ROI的輪廓；用于向所述用戶顯示多個AR對象的裝置，所述多個AR對象中的每一者與所述ROI內的目標相關聯；以及用于基于所述用戶的所述至少一只手的第一移動而減小所述ROI的大小以形成減小大小ROI的裝置，其中所述減小大小ROI用以從所述多個AR對象選擇特定AR對象。
【附圖說明】
[0013]本發明的方面以舉例方式說明。在附圖中，相似參考數字指示類似元件，且:
[0014]圖1A和IB說明可并入有一或多個實施例的HMD的簡化圖；
[0015]圖2根據一實施例說明描述與HMD交互以選擇AR目標的無觸碰方法的流程圖；
[0016]圖3A和3B根據一實施例說明用于選擇感興趣區域(ROI)的方法；
[0017]圖4根據一實施例說明顯示于HMD上的具有五個目標的ROI ；
[0018]圖5根據一實施例說明顯示于HMD上的具有三個目標的減小大小ROI ；
[0019]圖6說明用于選擇AR目標的特定擴增層的流程圖；
[0020]圖7說明用戶通過使用VOI在目標的方向上滾動而瀏覽多個擴增；
[0021]圖8說明用于基于ROI起始智能應用程序(例如，翻譯、視覺搜索)的流程圖；以及
[0022]圖9說明可在其中實施一或多個實施例的計算系統的實例。
【具體實施方式】
[0023]現將參看形成實施例的部分的附圖來描述若干說明性實施例。雖然下文描述了其中可實施本發明的一或多個方面的特定實施例，但在不脫離本發明的范圍和所附權利要求書的精神的情況下，可使用其它實施例且可作出各種修改。
[0024]本發明的實施例涉及使用人體手勢在頭部安裝顯示器(HMD)上選擇擴增現實(AR)對象。一些實施例揭示用于在頭部安裝顯示器(HMD)上選擇一或多個擴增現實(AR)對象而無需用戶實體觸碰所述HMD的方法。
[0025]HMD可通過將用戶所觀看的實體對象與(例如)相關聯于實體對象或相關聯于用戶的位置和/或環境的數字內容(例如，文字、圖片、視頻)重疊而提供擴增現實(AR)功能性。舉例來說，具有擴增現實(AR)能力的HMD可將實體世界和虛擬對象兩者的圖像放置于用戶的視野上方。結果，HMD可為用戶提供移動和合作式AR體驗。
[0026]如本文中所使用，術語HMD是指鏈接到移動處理器的俘獲距離傳感器數據且具有顯示能力的裝置，其可為相對于頭部安裝裝置分離的裝置。在一實施例中，HMD 120可為移動裝置CPU(例如，移動電話、平板計算機、智能型手機等處理器)的配件，其中HMD控制系統的主要處理在移動裝置的處理器上執行。在另一實施例中，HMD 120可包含處理器、存儲器、顯示器和相機。
[0027]在另一實施例中，HMD可包括用于與因特網、本地無線網絡或另一計算裝置連接的無線接口。在另一實施例中，投影儀可關聯于HMD中以實現圖像到表面上的投影。HMD有選為輕量的且構造成避免使用可使裝置佩戴起來不舒適的沉重組件。HMD還可操作以從用戶接收音頻/手勢輸入。此等手勢或音頻輸入可為所說的語音命令或經辨識的用戶手勢，所述輸入在由計算裝置辨識后可使所述裝置執行對應命令。
[0028]擴增現實(AR)可為要素通過計算機產生的感測輸入(例如，但不限于，聲音、文字、圖形、視頻和GPS數據)擴增的實體真實世界環境的實況的直接或非直接視圖。
[0029]通過使用例如對象辨識等AR技術，關于用戶的周圍真實世界的信息變為交互性的且數字可操縱的。關于用戶的環境及其對象的人工信息可覆蓋于真實世界上方。
[0030]此外，雖然本文中相對于HMD來描述實施例，但所屬領域的技術人員將了解，可利用其它形式的頭部安裝顯示器。舉例來說，本文中所描述的實施例可相對于用戶可佩戴的一或多個隱形眼鏡而實施和/或可以用戶可借以感覺視野的另一形式的顯示器而實施。
[0031]一些實施例允許與HMD交互以選擇地理定位興趣點(POI)和AR目標。通過檢測自然人體手勢，系統可觸發HMD選擇經由眼鏡看到的ROI內的POI或AR目標的子集。
[0032]各種實施例包括在擴增現實系統中選擇AR目標的方法，所述方法包括:基于通過用一或多個頭部安裝傳感器俘獲空間數據的用戶的手勢而界定ROI ;在麗0的顯示器上顯示描畫所述ROI的輪廓的形狀；計算包括對應于AR目標的相對于HMD的距離的參數，在所述ROI內顯示多個AR對象；基于用戶的手部移動而減小所述ROI的大小；以及使用減小大小的ROI選擇特定AR目標。在一實施例中，所述方法可包括連續更新產生的虛擬對象的顯示，使得虛擬對象隨著用戶轉動其頭部而以固定顯示的方式出現。
[0033]圖1A到IB說明可并入有一或多個實施例的HMD 120的簡化圖。
[0034]圖2所描述的流程圖根據一實施例說明與HMD交互以選擇地理定位興趣點(pointof interest，POI)和AR目標的無觸碰方法。通過檢測自然人體手勢，HMD可選擇經由眼鏡看到的所述POI或AR目標的子集。圖3A說明使用圖2中所描述的方法與HMD交互以選擇AR目標的例示性方法。手勢可涉及使雙手的食指和拇指在正交方向上指向，如圖3A和圖4所示。在ROI已由HMD辨識之后，用戶可通過進一步指定ROI或注意空間(volume-of-1nterest, V0I)而選擇二維或三維空間中的地理定位POI或AR目標，如圖3B、圖5和圖7所示。
[0035]根據另一實施例，HMD上的具有深度測量功能的相機(例如，立體相機)可用于在AR具有與之相關聯的多個擴增時使用VOI來選擇擴增。具備深度測量功能的相機可辨識手部在用戶前面或在相機視界中的移動。利用此等相機，HMD可辨識用戶的手相對于目標的位置，且因此基于所述位置而顯示不同擴增。
[0036]舉例來說，用戶可選擇AR目標的特定擴增層，如圖6所說明的流程圖中所進一步描述。首先，用戶可通過選擇ROI而選擇特定AR目標。此外，如果多個擴增與給定AR目標相關聯，那么用戶可通過使用VOI在目標的方向上卷定而瀏覽所述擴增。舉例來說，在圖7中，關于電影海報720，用戶可瀏覽展示以下各者的三個不同擴增705、710、715:電影的名稱(帶評論)；預告