用于與數字設備交互的直接指向檢測的系統和方法
【專利說明】用于與數字設備交互的直接指向檢測的系統和方法
[0001]相關申請
本申請要求2013年6月27日提交的申請號為61/840,447的美國臨時申請的優先權，通過引用將其全部內容包括在內。
技術領域
[0002]本發明涉及非接觸式手勢檢測，尤其涉及用于采用傳感器來檢測非接觸式手勢的設備和計算機可讀介質。
【背景技術】
[0003]允許用戶與設備或設備上運行的應用進行交互，這在許多不同設置中都是有用的。例如，電子系統通常包含鍵盤、鼠標和控制桿等，使得用戶能夠輸入數據、操作數據，并且使得系統的處理器執行各種其它操作。然而，越來越多的觸控式輸入設備，比如鍵盤、鼠標和控制桿等，被那些允許非接觸式用戶交互的設備所代替或補充。例如，系統可能包括的圖像傳感器，該圖像傳感器捕獲包括用戶的手和/或手指等的用戶圖像。處理器可配置為接收該圖像并基于用戶執行的非接觸式手勢而發起操作。因此，有必要改進用于檢測和輸入非接觸式手勢的技術。
【發明內容】
[0004]在一個公開的實施例中，公開了一種非接觸式手勢識別系統。該非接觸式手勢識別系統可能包括至少一個處理器。該至少一個處理器可能被配置為，啟用對用戶的第一顯示信息的呈現，以在顯示器上的至少第一位置處提示第一非接觸式手勢，從至少一個圖像傳感器接收第一手勢信息，該第一手勢信息對應于與所述用戶的第一非接觸式手勢相關聯的、顯示器上的第一手勢位置，其中至少部分地由于用戶的一只眼相對于該用戶的另一只眼而言占優勢，所述第一手勢位置不同于所述第一顯示信息的位置，確定與所述第一顯示信息的位置和所述第一手勢位置相關聯的第一偏移，啟用第二信息的呈現，以提示用戶在所述顯示器上的至少第二位置處做出后續非接觸式手勢，從至少一個圖像傳感器接收所述用戶的后續非接觸式手勢對應的后續手勢信息，并使用所述第一偏移確定所述顯示器上受所述后續非接觸式手勢影響的位置。
[0005]將在以下描述中的部分闡述與實施例有關的其他方面，并且從描述中可以理解本發明的其他方面，或者可以通過公開的實施例的實踐學習本發明的其他方面。
[0006]可以理解的是，以上整體概述和以下詳細描述僅是示例性和解釋性的，并非對權利要求的限制。
【附圖說明】
[0007]合并在本說明書中并構成本說明書的一部分的附圖，舉例說明了本發明中的幾個示例性實施例，其連同描述，用來說明本發明的原理。
[0008]圖1展示了根據一些公開實施例的非接觸式用戶界面系統的示例性圖形表示；
圖2A展示了根據一些公開實施例的非接觸式用戶界面的示例性處理單元；
圖2B展示了根據一些公開實施例的系統的示例性框圖；
圖3A展示了示例性偏移確定步驟，其可依照與本發明的實施例相關聯的方法、系統及計算機可讀介質而使用；
圖3B展示了手勢檢測和識別的示例性步驟，其可依照與本發明的實施例相關聯的方法、系統及計算機可讀介質而使用；
圖4展示了根據一些公開實施例的非接觸式用戶界面系統的示例性圖形表示；
圖5展示了用于識別指向位置的示例性步驟，其可依照與本發明的實施例相關聯的方法、系統及計算機可讀介質而使用；
圖6A展示了根據一些公開實施例的非接觸式用戶界面系統的示例性圖形表示；
圖6B展示了根據一些公開實施例的非接觸用戶界面系統的示例性圖形表示；
圖7展示了示例性校準步驟，其可依照與本發明的實施例相關聯的方法、系統及計算機可讀介質而使用；
圖8展示了根據一些公開實施例的非接觸式用戶界面系統的示例性圖形表示；
圖9展示了用于識別候選平面或候選區域的示例性步驟，其可依照與本發明的實施例相關聯的方法、系統及計算機可讀介質而使用；
圖10展示了根據一些公開實施例的示例性候選平面的維恩圖(Venn diagram)；
圖11展示了示例性手勢追蹤步驟，其可依照與本發明的實施例相關聯的方法、系統及計算機可讀介質而使用；
圖12展示了用于確定單眼優勢的示例性步驟，其可依照與本發明的實施例相關聯的方法、系統及計算機可讀介質而使用；
圖13展示了根據一些公開實施例的非接觸式用戶界面系統的示例性圖形表示；
圖14展示了根據一些公開實施例的用戶臉部的示例性圖形表示；
圖15展示了根據一些公開實施例的用戶手部的示例性圖形表示；
圖16A展示了根據一些公開實施例的指向視覺效果的示例性圖形表示；
圖16B展示了根據一些公開實施例的指向視覺效果的示例性圖形表示；
圖17展示了根據一些公開實施例的非接觸式用戶界面系統的示例性圖形表示。
具體實施例
[0009]以下將結合附圖對本發明的示例性實施例進行詳細描述。在可能情況下，附圖所使用的相同附圖標記表示相同或相似的部件。
[0010]圖1描繪了系統2的實施例，其用于具有顯示器6的設備4的非接觸操作。該設備4可能包括，例如，手機、智能眼鏡、個人計算機(PC)、娛樂設備、機頂盒、電視機、移動游戲機、平板計算機、電子閱讀器、便攜式游戲機、筆記本電腦或超級筆記本電腦等便攜式計算機、廚房電器等家用電器、通信設備、空調、塢站、移動視頻游戲設備等游戲機、數碼攝像頭、手表、娛樂設備、揚聲器、智能家居設備、媒體播放器或媒體系統、定位設備、微型投影儀或嵌入式投影儀、醫學顯示設備等醫學設備、車輛、車載/機載資訊娛樂系統、導航系統、可穿戴設備、增強現實功能設備、可穿戴護目鏡、機器人、交互式數字看板、數字亭、自動售賣機、自動柜員機(ATM)、或可從用戶接收數據或向用戶輸出數據的任何其它設備或系統。
[0011]該顯示器6可能包括能夠導致圖形或其他視覺信息顯示的任何平面、表面、或其它工具。進一步地，該顯示器6可能包括將圖像或視覺信息投影到平面或曲面上的任何類型的投影儀。例如，該顯示器6可能包括一個或多個電視機、計算機顯示器、頭戴式顯示器、廣播參考監視器、液晶顯示器(IXD)屏幕、基于發光二極管(LED)的顯示器、LED背光LCD顯示器、陰極射線管(CRT)顯示器、電致發光(ELD)顯示器、電子紙/墨水顯示器、等離子顯示面板、有機發光二極管(OLED)顯示器、薄膜晶體管(TFT)顯示器、高性能定址(HPA)顯示器、表面傳導電子發射顯示器、量子點顯示器、干涉調制器顯示器、體掃描顯示器、碳納米管顯示器、變焦鏡顯示器、發射波長顯示器、激光顯示器、全息顯示器、光場顯示器、墻壁、三維顯示器、電子墨水顯示器、以及用于輸出視覺信息的任何其它電子設備。該顯示器6可能包括觸摸屏或者是觸摸屏的一部分。圖1描繪的顯示器6是設備4的一部分。然而，在可選的實施例中，顯示器6可能在設備4的外部。
[0012]該系統2還可能包括圖像傳感器8(或從圖像傳感器8接收信息)，該圖像傳感器8位于設備4附近并且配置為獲取以虛線10為界的三維(3-D)觀察空間的圖像。該圖像傳感器8可能包括任何圖像采集設備，例如，攝像頭、光傳感器、紅外線(IR)傳感器、超聲傳感器、接近傳感器、CMOS圖像傳感器、短波紅外線(SWIR)圖像傳感器、或反射傳感器、CXD圖像傳感器、反射傳感器、包括三維圖像傳感器或兩個或兩個以上二維立體圖像傳感器的深度視頻系統、以及能夠感應環境的視覺特性的任何其它設備中的一個或多個。舉例來說，圖1描繪了與設備4相鄰的圖像傳感器8，但在可選的實施例中，該圖像傳感器8可能成為該設備4的一部分或者遠離設備4。
[0013]位于由虛線10所指示的觀察空間中的用戶16可能出現在圖像傳感器8所獲取的圖像中。該圖像傳感器8可能輸出二維的或三維的單色的、彩色的、或IR視頻至處理單元12，該處理單元12可能與圖像傳感器8集成在一起，或者通過有線或無線通信通道連接至該圖像傳感器8。
[0014]本發明的實施例可能包括至少一個處理器。這里使用的術語“處理器”可能包括對一個輸入或多個輸入執行邏輯運算的電路。例如，這種處理器可能包括一個或多個集成電路、微芯片、微控制器、微處理器、全部的或部分的中央處理單元(CPU)、圖形處理單元(GPU)、數字信號處理器(DSP)、現場可編程門陣列(FPGA)、專用集成電路(ASIC)、或適用于執行指令或執行邏輯運算的任何其它電路。該至少一個處理器可能與處理單元一致，或者可能組成處理單元的任何部分，例如，圖2A所示的處理單元12。圖2A的處理單元12可能包括處理器15和存儲器13等等，存儲器13可能用于存儲由圖像傳感器8獲取的圖像。處理單元12和/或處理器15配置為執行存在于處理器15和/或存儲器13中的一個或多個指令。
[0015]存儲器13可能包括，例如，一個或多個非暫態性存儲器、R0M、EEPR0M、EAR0M、閃速存儲器設備、磁盤、磁光盤、CD-R0M、DVD_R0M、藍光媒介，并且可能包括指令(比如軟件或固件)和/或其它數據。圖2A描繪了作為處理單元12的一部分的存儲器3，但在其它實施例中，存儲器13可能在處理單元12的外部。
[0016]處理單元12可能配置為分析由圖像傳感器8獲取的圖像，并追蹤由用戶16用來與顯示器6交互的一個或多個預定義的指向元件。指向元件可能包括，例如，位于該圖像傳感器8的觀察空間內的用戶16的指尖14。在一些實施例中，該指向元件可能包括，例如，用戶16的一只或多只手、手的一部分、一個或多個手指、手指的一個或多個部分、以及一個或多個指尖14、或手持式定位筆。雖然圖1描繪了作為指向元件的指尖14，但是可以類似地使用其它的指向元件并且服務于同樣的目的。因此，無論在本說明書的什么地方提到指尖14，其都應當被看作只是一個例子，并且應當大致理解為也包括其他指向元件。
[0017]處理單元12配置為呈現顯示信息，比如在顯示器6上的圖標20，用戶16可能將指尖14指向該圖標20。處理單元12還可能配置為在顯示器6上指示輸出18(指針(indicator)18)，該輸出18對應于用戶16所指的位置。例如，如圖17所示，該用戶16可能打算指向顯示器6上的顯示信息(圖標20)。在這個例子中，處理單元12可能確定該用戶16實際上指向手勢位置19。然而，該處理單元12可能確定與顯示信息和手勢位置19之間的差別相關的偏移O。通過部分使用與該偏移O相關的信息，處理單元12可以反應用戶意圖地向顯示器6的目的地發送輸出(例如，指針18)。在圖17所示的例子中，盡管用戶16實際上指向手勢位置19，但是指針18顯示在與圖標20相同的位置。
[0018]手勢位置19可能是與該顯示器6上的位置有關的任何數學表達方式，其根據用戶指向的位置由系統2定義在某點。該手勢位置19可以包括在顯示器(x，y)上的特定坐標(X，y)或(三維顯示情況下的x，y，z)。手勢位置19可能包括在該顯示器6上的區域或位置(例如，候選平面)。另外，該手勢位置19可以被定義為與顯示器上的位置有關的概率函數(比如三維高斯函數)。該手勢位置19可以與一組疊加圖片相關聯，該疊加圖片反映了檢測的質量，比如表示該手勢位置19在顯示器6上的位置的估計的精確性的概率。
[0019]在智能眼鏡的情況下，例如，有能力向用戶16呈現數字信息的可穿戴眼鏡，該手勢位置可能被定義為虛擬平面的位置，該虛擬平面是由智能眼鏡顯示器呈現的用戶認為看到數字信息的平面。
[0020]顯示信息可能包括靜態圖像、動態圖像、交互對象(比如圖標)、視頻、和/或任何可視化信息。顯示信息可以由上述顯示器的任何方式來顯示，并且可能包括平板顯示器、曲面顯示器、投影機、如用在可穿戴眼鏡中的透明顯示器，和/或直接地或間接地投射至用戶的眼或瞳孔的顯示器。
[0021]指向圖標的指示或反饋可能由例如視覺指示、音頻指示、觸感指示、超聲波指示、觸覺指示中的一個或多個提供。顯示視覺指示可能包括，例如，在顯示器6上顯示圖標、在顯示器6上更改圖標、在顯示器6上更改圖標的顏色、顯示指示燈、顯示亮度增強、陰影或其它效果、在顯示器6上移動指針、提供方向性振動指示、和/或提供空氣觸覺指示。視覺指針可能出現在顯示器6上出現的所有其它圖像或視頻的上面(或前面)。如用戶16在顯示器6上選擇的圖標的視覺指針，可能與用戶的眼22和在共同觀察光線24(或視線)上的指尖14共線。由于下面將更詳細描述的原因，這里使用的術語“用戶的眼”為定義用戶的臉上與視線相關的位置或區域的簡短術語。因此，這里使用的術語“用戶的眼”包括眼的瞳孔或其它的眼特征、眼之間的用戶臉部位置、或與至少一個用戶的眼相關的在用戶臉部上位置、或可能與視線有關的臉上的一些其它的解剖特征。這種概念有時還稱為“虛擬眼”。
[0022]圖標作為示例性圖形元素，可能在顯示器6上顯示并被用戶16選擇。除了圖標之夕卜，圖形元素還可能包括，例如，顯示在已顯示的圖像和/或影片中的對象、顯示在顯示器6上