用于多維輸入的導航方法
【專利說明】用于多維輸入的導航方法
[0001] 背景
[0002] 人們正逐漸使用便攜式電子裝置來執行多種任務。由于多種任務增加，因此增加 以新的且有幫助的方式與這些裝置交互的期望。一種這樣的交互方法涉及在裝置的可檢測 范圍內作出手勢或具體運動。例如，用戶可在某個方向上移動手或手臂以提供輸入給裝置。 不幸的是，諸如不同的水平和垂直運動的某些運動并不是人類用戶所固有的。尤其由于人 類的手指、手和手臂每個附接在單一各自樞轉點處（這通常導致隨著用戶運動而引起一定 量的旋轉），所以輸入將通常存在一定的漂移或角度。取決于諸如裝置的分辨率或靈敏度的 因素，這樣的非線性或其它這樣的偏離量可導致將不準確或不可確定的輸入提供給裝置。
[0003] 附圖簡述
[0004] 將參考附圖描述根據本公開的各個實施方案，其中：
[0005] 圖1示出了用戶提供基于運動的輸入給根據各個實施方案的電子裝置的實例；
[0006] 圖2(a)和圖2(b)示出了示例性程序，用戶通過所述程序能夠提供二維或三維 運動以指定元件來進行選擇且使用沿單一維度的運動以選擇根據各個實施方案的所述元 件；
[0007] 圖3(a)、圖3(b)和圖3(c)示出了用于確定可根據各個實施方案使用的特征的位 置的基于照相機的方法；
[0008] 圖4(a)、圖4(b)和圖4(c)示出了用戶在嘗試選擇根據各個實施方案的界面對象 時可能作出的例示性固有運動；
[0009] 圖5(a)、圖5(b)、圖5(c)、圖5(d)、圖5(e)和圖5(f)示出了可用來根據各個實施 方案確定接受和/或處理的輸入方向的數量的示例性運動閾值或準則；
[0010] 圖6示出了用于接受沿可根據各個實施方案使用的適當數量的方向的輸入的示 例性程序；
[0011] 圖7示出了可根據各個實施方案使用的示例性計算裝置；
[0012] 圖8示出了諸如圖7中示出的計算裝置的組件的示例性配置；和
[0013] 圖9示出了其中可實施各個實施方案的示例性環境。
[0014] 詳述
[0015] 根據本公開內容的各個實施方案的系統和方法可以克服常規方法中具有的前述 和其它缺點中的一個或多個以提供輸入給電子裝置。特定地說，各個實施方案使用戶能夠 使用在相距裝置的某個距離處執行的運動或手勢來提供各種類型的輸入給電子裝置。在至 少一些實施方案中，用戶能夠在計算裝置的一個或多個照相機的視野內執行手勢和其它這 樣的運動。照相機可捕獲可被分析來定位和跟蹤用來執行手勢的至少一個用戶特征或對象 的圖像信息。計算裝置可使用已識別的手勢來確定要提供的輸入，諸如要選擇的字符、要進 行的導航等等。
[0016] 根據各個實施方案的方法可通過考慮由于固有的人類運動和其它這樣的因素產 生的漂移或非期望變化來改善基于運動或手勢的輸入的準確度。通常可執行兩個或三個維 度的手勢，但是由于人體的機能，用戶將通常不會以精確方式執行手勢。各個實施方案可嘗 試確定不同類型的動作或手勢（使用相對于裝置運動沿一個軸或方向的運動而執行），諸 如選擇動作。即使用戶可能在執行這些動作時使用其它方向上的運動，裝置仍然可鎖定或 限制一個或多個其它方向上的運動量以嘗試改善期望輸入的準確度。為了如本文別處討論 且建議的任何適當目的，這樣的方法可用于任何維度、軸、平面、方向或其組合。如果裝置相 對于用戶特征或其它這樣的對象移動，那么也可使用這樣的方法。
[0017] 下文關于各個實施方案展示各個其它應用程序、程序和使用。
[0018] 如討論的，各種方法使用戶能夠通過運動或手勢輸入提供輸入給裝置。例如，圖1 示出了示例性情況100,其中用戶102能夠通過在計算裝置104的至少一個照相機106或傳 感器的視野108內移動特征（諸如用戶的指尖110)來提供輸入給計算裝置104。雖然這 個實例中的裝置是便攜式計算裝置（諸如智能電話、平板電腦或個人數據助手），但是應了 解任何適當的計算或電子裝置可利用各個實施方案的各個方面，因為其可以包括個人計算 機、機頂盒、智能電視機、視頻游戲系統等等。在這個實例中，計算裝置包括單一照相機，其 被操作來捕獲用戶的指尖110的圖像和/或視頻且分析所述特征隨時間變化的相對位置和 /或運動以嘗試確定用戶打算提供給裝置的輸入。然而，應了解，類似于或不同于根據各個 實施方案的裝置的位置中可存在額外照相機或替代傳感器或元件。可使用任何適當的算法 分析圖像以識別和/或定位感興趣的特征以及跟蹤隨時間變化的所述特征。例如，2008年 12月10日提交且標題是"Movement Recognition as Input Mechanism"的同在申請中的 第12/332, 049號美國專利申請中可找到由已捕獲的圖像信息跟蹤特征的實例，所述申請 是以引用的方式并入本文。
[0019] 通過能夠跟蹤特征或對象相對于裝置的運動，所述裝置可使用戶能夠與（例如） 顯示在裝置上的界面交互，且選擇顯示或以其它方式呈現為所述界面的部分的一個或多個 對象。例如，在圖2(a)的情況200中，用戶能夠在虛擬平面中相對于裝置移動用戶的手 206 (諸如在水平和垂直方向上相對于裝置的顯示屏裝置移動用戶的手206)以使虛擬光標 208移動跨過顯示在計算裝置上的虛擬小鍵盤204。光標208由于所述特征相對于裝置移 動而可隨著用戶的手、手指或其它這樣的特征移動，以使用戶能夠在不實際接觸裝置的情 況下控制光標。雖然這個實例中使用光標和鍵盤，但是應了解，任何適當的界面元件可使用 本文在各個實施方案的范圍內討論的方法。
[0020] 當用戶想要選擇界面對象（諸如虛擬小鍵盤204上的字母或字符）時，用戶可使 用所跟蹤的特征執行選擇動作。在圖2(b)的示例性情況220中，這個選擇動作包括朝裝置 移動特征，無論是通過移動用戶的整只手206或使用用戶的指尖作出"推"的運動。裝置能 夠區分沿正交于裝置的顯示屏的軸的這個運動（本文稱作z運動）和平行于顯示屏的平面 中的運動以移動光標（本文稱作x/y運動）。z運動然后可用來對裝置指示：將選擇當前指 示的界面對象。應了解，在至少一些實施方案中，x/y運動無須在平行于顯示屏的平面中， 且在各個實施方案的范圍內可允許至少一定的傾角或角度。
[0021] 如提及，根據各個實施方案的方法可捕獲并分析圖像信息或其它傳感器數據以確 定諸如用戶的特征的相對距離和/或位置的信息，所述信息能夠提供（或輔助提供）這樣 的輸入。例如，圖3(a)、圖3(b)和圖3(c)示出了可根據各個實施方案使用的一種示例性 方法，其用于確定用戶的至少一個特征的相對方向和/或位置。在這個實例中，可通過監控 用戶的指尖304相對于裝置的位置提供輸入給計算裝置302。在一些實施方案中，可使用 單一照相機以捕獲包括用戶的指尖的圖像信息，其中可在兩個維度中由圖像中指尖的位置 和由圖像中指尖的相對大小確定的距離來確定相對位置。在其它實施方案中，可使用距離 檢測器或其它這樣的傳感器來提供距離信息。已示出的計算裝置302在這個實例中反而包 括位于裝置上且具有足夠的分離的至少兩個不同圖像捕獲元件306、308使得裝置可使用 立體成像（或另一種這樣的方法）來在三個維度中確定一個或多個特征相對于裝置的相對 位置。雖然在這個實例中示出了裝置的頂部和底部附近的兩個照相機，但是應了解，在各個 實施方案的范圍內，裝置上的各個其它位置處可存在相同或不同類型的額外或替代成像元 件。照相機可包括全彩色照相機、紅外線照相機、灰度照相機等等。此外，應了解，除非另有 說明，否則諸如"頂部"和"上部"的術語是用于澄清解釋且不旨在需要具體定向。
[0022] 在這個實例中，上部照相機306能夠看見用戶的指尖304,前提是所述特征在上部 照相機306的視野310內且上部照相機與所述特征之間不存在障礙。如果在計算裝置上執 行（或以其它方式與計算裝置通信）的軟件能夠確定諸如照相機的角度視野、當前正捕獲 信息的縮放等級的信息和任何其它這樣的相關信息，那么軟件可確定指尖相對于上部照相 機的大概方向314。如果只基于一個照相機的相對方向確定輸入，那么大概方向314可能 足以提供適當的輸入，且無需第二照相機或傳感器等等。在一些實施方案中，諸如超聲波檢 測、特征大小分析、通過主動照明進行的亮度分析的方法或其它這樣的距離測量方法也可 用來輔助位置確定。
[0023] 在這個實例中，第二照相機用來輔助位置確定以及通過立體成像實現距離確定。 圖3 (a)中的底部照相機308還能夠使指尖304成像，前提是所述特征至少部分在底部照相 機308的視野312內。使用類似于上文描述的程序的程序，適當的軟件可分析由底部照相 機捕獲的圖像信息以確定用戶指尖的大概方向316。在至少一些實施方案中，可通過查看 相距圖像的中心（或其它）點的距離和比較所述距離與照相機的視野的角度測量來確定方 向。例如，所捕獲的圖像中間的特征有可能在各自捕獲元件的正前方。如果所述特征正好 是在圖像的邊緣處，那么所述特征有可能與正交于捕獲元件的圖像平面的矢量相距45度 角。邊緣與中心之間的位置對應于將為本領域一般技術人員所明白且本領域中已知用于立 體成像的中間角度。一旦針對給定特征確定來自至少兩個圖像捕獲元件的方向矢量，可確 定所述矢量的交點，其對應于各自特征的三個維度中的大概相對位置。
[0024] 進一步示出這種示例性方法，圖3(b)和圖3(c)示出了示例性圖像320、340,其可 能是使用圖3 (a)的照相機306、308捕獲的指尖的圖像。在這個實例中，圖3 (b)示出了可使 用圖3(a)中的上部照相機306捕獲的示例性圖像320。一個或多個圖像分析算法可用來分 析圖像以執行模式識別、形狀識別或另一這樣的程序以識別感興趣的特征，諸如用戶的指 尖、拇指、手或其它這樣的特征。用來識別圖像中的特征的方法（可以包括特征檢測、臉部 特征提取、特征識別、立體視覺探測、字符識別、屬性估計或徑向基函數（RBF)分析方法）在 本領域中眾所周知且本文將不會詳細描述。當識別特征（這里是用戶的手322)時，確定至 少一個感興趣的點324 (這里是用戶的食指的指尖）。如上文討論，軟件可使用