使用多個傳感器的手勢識別的制作方法
【專利摘要】一種裝置，包括：處理器；用戶界面，使用戶能夠與關聯于所述處理器的一個或多個軟件應用進行交互；第一傳感器和第二傳感器，被配置為檢測位于遠離所述裝置的相應的第一感測區和第二感測區內的物體，并且分別生成對應于所述物體的信號，其中所述傳感器被配置使得它們相應的感測區在空間上重疊，以界定所述第一傳感器和所述第二傳感器都能在其中檢測到共同物體的第三重疊區；以及手勢識別系統，用于從傳感器接收信號，所述手勢識別系統響應于在所述重疊區內部檢測到物體，來根據從兩個傳感器接收的信號控制第一用戶界面功能。
【專利說明】使用多個傳感器的手勢識別
【技術領域】
[0001]本發明總體上涉及手勢識別，并且具體地但非排他地涉及識別由設備或終端的第一傳感器和第二傳感器檢測到的手勢。
【背景技術】
[0002]已經知道，使用由通信終端的攝像頭接收的視頻數據來使得用戶能夠控制與該終端關聯的應用。應用存儲有使用攝像頭檢測到的預定用戶手勢和與應用關聯的一個或多個命令之間的映射。例如，一個已知的照片瀏覽應用允許使用在終端的前置攝像頭前進行的揮手手勢來控制如何在用戶界面上顯示照片，從右到左的手勢通常致使應用按照照片的順序如進。
[0003]然而，攝像頭趨向于具有有限的光學感測區或視場，并且，因為其操作方式，它們對解釋某些手勢、尤其涉及朝向或遠離攝像頭運動的手勢有困難。因此解釋三維手勢的能力非常有限。
[0004]進一步的，能夠以這種方式來控制的功能的數目受限于系統能夠區分的不同手勢的數目。
[0005]在視頻游戲領域中，已經知道，使用由雷達收發器發射的無線電波來在比攝像頭更大的視場上標識物體運動。
【發明內容】
[0006]本發明的第一方面提供了一種裝置，包括:
[0007]處理器；
[0008]用戶界面，使用戶能夠與關聯于所述處理器的一個或多個軟件應用進行交互；
[0009]第一傳感器和第二傳感器，被配置為檢測位于遠離所述裝置的相應的第一感測區和第二感測區內的物體，并且生成對應于所述物體的信號，其中所述傳感器被配置使得它們相應的感測區在空間上重疊，以界定所述第一傳感器和所述第二傳感器都能在其中檢測到共同物體的第三重疊區；以及
[0010]手勢識別系統，用于從所述傳感器接收信號，所述手勢識別系統響應于在所述重疊區內部檢測到物體，來根據從兩個傳感器接收的信號控制第一用戶界面功能。
[0011]所述手勢識別系統可以進一步響應于在所述重疊區外部檢測到物體，來根據僅從所述傳感器中的一個傳感器接收的信號控制不同的第二用戶界面功能。
[0012]所述手勢識別系統可以進一步響應于在所述重疊區內部檢測到物體，來根據檢測到的物體的運動從兩個傳感器接收的信號標識出一個或多個預定的手勢，并且根據每個標識的手勢來控制所述第一用戶界面功能。
[0013]所述第一傳感器可以是光學傳感器，以及所述第二傳感器可以使用電磁譜的不同部分來感測接收的無線電波并且可選的是雷達傳感器。該裝置可以進一步包括:圖像處理裝置，與所述光學傳感器關聯，所述圖像處理裝置被配置為標識從所述光學傳感器的不同區接收的圖像信號，并且其中所述手勢識別系統被配置為根據物體在其中被檢測到的區域來控制不同的相應的用戶界面功能。所述雷達傳感器可以被配置為以界定比所述光學傳感器的空間感測區更寬的空間感測區的方式來發射或接收無線電信號。所述手勢識別系統可以被配置為從接收的圖像信號和無線電感測信號中標識平移移動和徑向移動二者、和/或物體相對于所述裝置的徑向距離，以及可以被配置為從中確定用于控制所述第一用戶界面功能的一個或多個預定的手勢。所述手勢識別系統可以被配置為從接收的所述圖像信號中標識與在隨后的圖像幀之間的前景物體的位置變化關聯的運動向量，以及可以被配置為從中獲得所述平移運動。
[0014]所述裝置可以是移動通信終端。所述移動通信終端可以包括在所述移動通信終端的一側或一面的顯示器，用于顯示借助于從所述第一傳感器和所述第二傳感器二者接收的信號來控制的圖像數據。所述光學傳感器可以是在所述顯示器同側或同面提供的攝像頭。所述雷達傳感器可以被配置為接收來自所述顯示器同側或同面的反射的無線電信號。
[0015]所述手勢識別系統可以用于檢測手形物體。
[0016]本發明的第二方面提供了一種方法，包括:
[0017]從第一傳感器和第二傳感器接收信號，所述第一傳感器和所述第二傳感器具有相應的第一物體感測區和第二物體感測區并且提供所述第一傳感器和所述第二傳感器都能在其中檢測到共同物體的第三重疊區；以及
[0018]響應于在所述重疊區中檢測到物體，根據從兩個傳感器接收的信號來控制第一用戶界面功能。
[0019]該方法還可以包括:響應于在所述重疊區外部檢測到物體，僅從所述傳感器中的一個傳感器接收信號；以及根據接收的所述信號來控制不同的第二用戶界面功能。
[0020]該方法還可以包括:響應于在所述重疊區外部檢測到物體，僅從所述第二傳感器接收信號；以及根據接收的所述信號來控制不同的第三用戶界面功能。
[0021]該方法還可以包括:基于檢測到的所述物體的運動，從兩個傳感器接收的信號中標識出一個或多個預定的手勢；以及根據該標識出的手勢來控制所述第一用戶界面功能。
[0022]該方法還可以包括:標識從光學傳感器的不同區域接收的圖像信號，以及根據物體在其中被檢測到的區域來控制不同的相應的用戶界面功能。
[0023]本發明的第三方面提供了一種計算機程序，包括當被計算機裝置執行時，用于控制所述計算機裝置執行上述方法的指令。
[0024]本發明的第四方面提供了一種非瞬態計算機可讀存儲介質，包括存儲在其上的計算機可讀代碼，當被計算裝置執行時致使所述計算裝置執行包括以下的方法:
[0025]從第一傳感器和第二傳感器接收信號，所述第一傳感器和所述第二傳感器具有相應的第一物體感測區和第二物體感測區并且提供所述第一傳感器和所述第二傳感器都能在其中檢測到共同物體的第三重疊區；以及
[0026]響應于在所述重疊區內檢測到物體，根據從兩個傳感器接收的信號來控制第一用戶界面功能。
[0027]本發明的第五方面提供了一種裝置，所述裝置具有至少一個處理器和至少一個其上存儲有計算機可讀代碼的存儲器，當所述代碼被執行時，控制所述至少一個控制器:
[0028]從第一傳感器和第二傳感器接收信號，所述第一傳感器和所述第二傳感器具有相應的第一物體感測區和第二物體感測區并且提供所述第一傳感器和所述第二傳感器都能在其中檢測到共同物體的第三重疊區；以及
[0029]響應于在所述重疊區中檢測到物體，根據從兩個傳感器接收的信號來控制第一用戶界面功能。
【專利附圖】
【附圖說明】
[0030]現在，將僅通過示例的方式，參照附圖來描述本發明各實施例，其中:
[0031]圖1是體現本發明的各方面的移動終端的透視圖；
[0032]圖2a和圖2b是能夠在圖1示出的移動終端中使用的雷達傳感器類型的不同示例的電路圖；
[0033]圖3是圖不圖1移動終端的部件和它們的連接關系的不意圖；
[0034]圖4a和圖4b是與針對第一傳感器和第二傳感器相應的感測區(包括重疊區)一起示出的圖1移動終端的示意圖；
[0035]圖5是圖示作為圖1示出的移動終端的一部分提供的手勢控制模塊的功能部件的示意圖；
[0036]圖6示出了將來自傳感器的簽名數據與針對圖1示出的終端的關聯的軟件的一個或多個控制功能進行相關的控制映射；
[0037]圖7a、圖7b和圖7c示出了如何可以采用多種控制功能的圖像表示，這有助于理解本發明；以及
[0038]圖8是攝像頭傳感器被分成多個傳感區的移動終端的第二實施例的示意圖。【具體實施方式】
[0039]這里描述的實施例包括設備或終端，尤其包括通信終端，其使用補充傳感器來提供體現終端周圍環境的特征的信息。具體而言，該傳感器提供信息以標識手勢，其中該信息被處理來標識傳感器的相應感測區中的物體以及該物體運動。
[0040]取決于僅由一個傳感器還是由兩個傳感器檢測到物體，使用相應的命令或命令組來控制終端的用戶界面功能，例如控制終端的操作系統或與操作系統關聯的應用的一些方面。與僅由一個傳感器檢測到的物體對應的信息被處理來執行第一命令或第一命令組，反之，與由兩個或多個傳感器檢測到的物體對應的信息被處理來執行第二命令或第二命令組。在第二種情況下，這一處理基于來自不同傳感器的信息的融合。
[0041]另外，可以基于由一個或兩個傳感器感測到物體的運動而處理由傳感器提供的信息來標識用戶手勢。因此，將要執行的特定命令組取決于哪個或哪些傳感器檢測到手勢以及進一步地取決于標識與該組內不同命令對應的特定手勢。
[0042]首先參考圖1，示出了終端100。終端100的外部具有觸敏顯示器102、硬件鍵104，、前置攝像頭105a、雷達傳感器105b、揚聲器118以及耳機口 120。雷達傳感器105b可以內置并且因此在終端100外部不可見。終端100可以是智能電話、移動電話、個人數字助理、平板電腦、手提電腦等。終端100可代之為諸如電視機或臺式電腦等非便攜式設備。非便攜式設備是需要連接至主電源來運行的設備。
[0043]前置攝像頭105a設在終端100的第一側上，其與觸敏顯示器102是同側。[0044]雖然這并不是必要的，但是雷達傳感器105b設在終端與前置攝像頭105a的同側上。雷達傳感器105b可以設在終端100的另一側、后側。仍可替換地，雖然未示出，但是可以連冋雷達傳感器105b —起在終端100的后側上設有后直攝像頭105。
[0045]將理解，雷達是使用電磁波尤其是無線電波來檢測物體的存在、它們的速度和運動方向以及它們到雷達傳感器105b的距離的物體檢測系統。從物體上反彈回來(即，反射)的發射波被傳感器檢測。在復雜雷達系統中，可以根據發射波和反射波之間的時間差來確定物體的距離。在簡單系統中，能夠確定物體的存在但是不能確定物體的距離。不論哪種情況，都能夠通過檢測多普勒頻移來檢測朝向還是遠離傳感器105b的物體的運動。在復雜系統中，雖然在當前最適于在手持設備中實現的系統中缺少方向發現能力，但是可以通過波束賦形來確定物體的方向。
[0046]現在簡要描述當前的雷達技術及其局限性如下。一般而言，雷達能夠檢測到存在、運動的徑向速度和方向(朝向或遠離)，或者它能夠檢測物體自雷達傳感器的距離。非常簡單的多普勒雷達僅能夠檢測到運動的速度。如果多普勒雷達具有正交下變頻，那么它還可以檢測到運動的方向。脈沖多普勒雷達能夠測量運動的速度。它還能夠測量距離。調頻連續波(FMCW)雷達或脈沖/超寬帶雷達能夠測量至物體的距離并且還能夠使用測量到的實時的距離的變化來測量運動的速度。然而，如果只需要速度測量，多普勒雷達很可能是最適合的設備。將理解，多普勒雷達根據運動檢測存在而FMCW或脈沖雷達根據距離信息檢測存在。
[0047]這里，雷達傳感器105b包括無線電波發射器和檢測器部分二者，以及能夠采用任何已知的適于位于手持終端上的雷達系統。圖2a和2b分別圖示了使用多普勒雷達前端和與正交下變頻一起的多普雷雷達前端的基本操作原理。兩個示例都包括用于根據IQ相位信息將反射波信息轉換和處理為指示物體移動的徑向方向、即朝向或遠離雷達傳感器105b的數字信號的模數(ADC)轉換裝置和快速傅里葉變換(FFT)和數字信號處理(DSP)裝置。并且，可以將US6492933中公開的多普勒雷達系統使用和布置在終端100上。
[0048]圖3示出了終端100的選定部件的示意圖。終端100具有控制器106、包括顯示部分108和觸覺接口部分110的觸敏顯示器102、硬件鍵104、前置攝像頭105a、雷達傳感器105b、存儲器112、揚聲器118、耳機口 120、無線通信模塊122、天線124和電池116。
[0049]進一步地，手勢控制模塊130被提供用于處理從攝像頭105a和雷達傳感器105b接收的數據信號，以便標識用于終端100的用戶界面的手勢控制的命令或命令組。關于這點，用戶界面意思是與終端100關聯的軟件的任何輸入界面。
[0050]再進一步地，通常由盒132指示的其它傳感器被提供為終端100的一部分。它們包括加速計、陀螺儀、擴音器、背景光傳感器等中的一個或多個。正如隨后將描述的那樣，得自這些其它傳感器的信息能夠用來調整上述手勢控制模塊130中的權重，還能夠用于檢測或幫助手勢檢測，或者甚至用于啟用或禁用手勢檢測。
[0051]控制器106連接至其它部件(除電池116之外)中的每個部件，以便控制其操作。
[0052]存儲器112可以是諸如只讀存儲器(ROM)、硬盤驅動器(HDD)或固態驅動器(SDD)的非易失性存儲器。存儲器112存儲操作系統126并且可以存儲軟件應用128以及其它內容。控制器106使用RAM114用于數據的暫時存儲。操作系統126可以包含如下代碼，當控制器106結合RAM114來執行該代碼時，該代碼控制終端的每個硬件部件的操作。[0053]控制器106可以采用任何適當形式。例如，它可以是微控制器、多個微控制器、處理器或多個處理器。
[0054]終端100可以是移動電話或智能電話、個人數字助理(PDA)、便攜媒體播放器(PMP)、便攜計算機或者能夠運行軟件應用以及提供音頻和/或視頻輸出的任何其它設備。在一些實施例中，終端100可以使用無線通信模塊122和天線124來參與蜂窩通信。該無線通信模塊122可以被配置為經由諸如GSM、CDMA、UMTS、藍牙和IEEE802.11 (W1-Fi)的若干協議進行通信。
[0055]觸敏顯示器102的顯示部分108用于向終端的用戶顯示圖像和文本，觸覺接口部分110用于從用戶接收觸摸輸入。
[0056]除了存儲操作系統126和軟件應用128，存儲器112還可以存儲諸如音樂和視頻文件的多媒體文件。可以在終端上安裝多種多樣的軟件應用128，包括網頁瀏覽器、無線電和音樂播放器、游戲和實用應用。在終端上存儲的這些軟件應用的部分或全部可以提供音頻輸出。可以通過終端的(多個)揚聲器將這些應用提供的音頻轉換成聲音，或者，如果耳機或揚聲器已經連接至耳機口 120則可以通過連接至耳機口 120的耳機或揚聲器將這些應用提供的音頻轉換成聲音。
[0057]在一些實施例中，終端110還可以與未存儲在終端上的外部的軟件應用相關聯。這些應用可以是存儲在遠程服務器設備上的應用并且可以部分或全部在該遠程服務器設備上運行。這些應用可以被稱為云托管應用。終端100可以與遠程服務器設備通信以便利用在其存儲的軟件應用。這可以包括接收由外部軟件應用提供的音頻輸出。
[0058]在一些實施例中，硬件鍵104是專用音量控制鍵或開關。硬件鍵可以例如包括兩個相鄰鍵、單個搖桿開關或旋轉轉盤。在一些實施例中，硬件鍵104位于終端100的側面。
[0059]攝像頭105a是數字攝像頭，能夠生成代表攝像頭的傳感器接收到的場景的圖像數據。圖像數據能夠被用來使用圖像數據的單一幀來提取靜止圖像，或者被用來記錄一連串幀作為視頻數據。
[0060]參照圖4a和圖4b，攝像頭105a和雷達傳感器105b具有各自的感測區134和132。至于雷達傳感器105b，感測區132是遠離終端100的空間量，來自感測區132的發射的無線電波能夠被反射并由傳感器檢測。在圖4a的情況下，雷達傳感器105b發射并檢測終端100周圍的無線電波，從而有效界定了各向同性的感測區132。在圖4b中，雷達的感測區更集中，具體而言，具有比各向同性的感測區的一半更小的視場。至于攝像頭105a，感測區是通常的矩形視場，其中由該攝像頭的光學傳感器檢測從物體反射或由物體發射的光波。
[0061]因此，攝像頭105a和雷達傳感器105b在電磁譜的不同頻段上操作。攝像頭105a在這一實施例中檢測波譜的可視部分的光，但是該攝像頭105a也可以是紅外攝像頭。
[0062]攝像頭105a和雷達傳感器105b布置在終端100上使得它們各自的感測區重疊以界定出第三重疊區136，在該第三重疊區136中兩個傳感器都能夠檢測到共同物體。如示出了終端100的側視圖的圖4a和圖4b 二者所指示，該重疊是雷達傳感器的感測區132根據其徑向空間覆蓋延伸到攝像頭的感測區134之外的部分。其中，雷達傳感器的感測區132的范圍是有限的，攝像頭的光學范圍(即，攝像頭能夠檢測到物體的自該攝像頭的最遠距離)可能延伸到雷達的光學范圍之外。另外，攝像頭的感測區134可能比更聚焦的雷達傳感器105b的感測區更寬。[0063]參照圖5，示出了手勢控制模塊130的部件。
[0064]手勢控制模塊130包括分別與雷達傳感器105b和攝像頭105a相關聯的第一手勢識別模塊(i) 142和第二手勢識別模塊(j) 144。
[0065]第一手勢識別模塊142從雷達傳感器105b接收數字化的數據(見圖2)，從該數據中可以得到與以下內容有關的簽名信息:(i)在感測區132內的物體140的存在，(ii)可選地，物體相對于傳感器的徑向距離，以及(iii)物體的移動，包括運動的速度和方向(基于檢測到的多普勒頻移)。總體而言，簽名信息被稱為R (i)，能夠用來識別在雷達感測區132內對終端100遠程操作的一個或多個預定的用戶手勢。這能夠通過將得到的信息R (i)與參考信息Ref (i)比較來執行，其中，參考信息Ref (i)將R (i)與針對不同手勢的預定的參考簽名相關。
[0066]第二手勢識別模塊144從攝像頭105a接收數字化的圖像數據，從該數據中可以得出與在其感測區134內的物體140的存在、形狀、大小和移動有關的簽名信息。物體140的移動可以是基于物體關于水平和垂直軸(x，y)的位置的變化的平移運動。物體140的移動朝向還是遠離攝像頭105a (堪比物體140自終端100的距離)能夠基于物體的大小隨時間的變化來估計。總體而言，該簽名信息被稱為R (j)，能夠用來識別在攝像頭感測區134內對終端100遠程操作的一個或多個預定的用戶手勢。這能夠通過將得到的簽名信息R (j)與參考信息Ref (j)比較來執行，其中，參考信息Ref (j)將R (j )與針對不同手勢的預定的參考簽名相關。
[0067]手勢控制模塊130還包括融合模塊146，將R (i)和R (j) 二者作為輸入，并基于R (i)和R (j) 二者的融合生成另一簽名信息組R (f)。具體地，當在圖4a和圖4b所指示的重疊區136中檢測到物體140時，融合模塊146從R (i)和R (j)進行檢測。如果是這樣，它生成另一融合簽名R (f)，等于wl*R (i)+w2*R (j)，其中，wl和w2是加權因子。此夕卜，R (f)能夠與參考信息Ref (f)相比較，其中，參考信息Ref (f)將R (f)與針對不同手勢的預定的參考簽名相關。
[0068]可以在產品設計階段將參考信息Ref (i)、Ref (j)和Ref (f)輸入手勢控制模塊130，但是也可以將新的多模手勢教授或存儲在該模塊中。
[0069]將理解，融合簽名R Cf)能夠基于來自攝像頭105a和雷達傳感器105b的數據的協作組合而提供更精確的手勢識別。例如，針對精確地確定物體是否在徑向移動(即，朝向還是遠離終端100)，攝像頭105a具有有限的能力，但是，從雷達傳感器105b接收到的數據能夠提供精確的徑向運動的指示。然而，雷達傳感器105b不具有精確標識物體140的形狀和大小的能力；可以通過處理從攝像頭105a接收到的圖像數據來實現高精確度的識別物體140的形狀和大小。此外，雷達傳感器105b不具有精確標識物體140的平移運動(S卩，跨雷達傳感器105b的視場的運動)的能力，但是，可以通過處理從攝像頭105a接收到的圖像數據來實現高精確度的識別物體140的平移運動。
[0070]根據標識特定手勢，加權因子Wl和《2能用來為任何簽名提供更大的重要性從而實現更高的精確性。例如，如果兩個簽名R (i)和R (j)都指示關于終端100的徑向運動，則考慮到與攝像頭固有的精確確定徑向運動的能力相比的雷達的該能力，能夠對R (i)實施更大的權重。能夠基于學習算法自動計算加權因子wl和《2，該算法能夠使用與用戶上下文有關的信息來檢測諸如周圍照度、設備振動等的信息。例如，(如圖3的盒132中所設想的)加速劑、陀螺儀、擴音器和光學傳感器中的一個或多個的上述用法能夠提供信息來調整上述手勢控制模塊130中的權重，并且也能夠用于檢測或幫助手勢檢測，或者甚至啟用或禁用手勢檢測。
[0071]此外，通過識別物體140在重疊區136內部還是外部，能夠將共同的或類似的手勢分配給不同用戶界面功能。
[0072]簽名R (i)、R ( j)和R (f)被輸出至手勢到命令映射(下面稱為“命令映射”)148，下面將進行描述。
[0073]命令映射148的目的在于標識接收到的簽名R (i)、R (j)或R (f)對應哪個命令。標識出的命令然后被輸出至控制器106以便控制與終端100關聯的軟件。
[0074]參照圖6，示出了簡化的命令映射148。這里假設使得三組界面控制功能能夠用于遠程手勢控制，分別標簽為CS#1、CS#2和CS#3。
[0075]在僅在雷達感測區132內檢測到物體的情況下，雷達簽名R(i)用來控制CS#1。類似的，在僅在攝像頭感測區134內檢測到物體的情況下，攝像頭簽名R (j)用來控制CS#2。如果在重疊區136內檢測到物體，則融合簽名R (f)用來控制CS#3。
[0076]在每組CS#1、CS#2和CS#3中，標識出的特定手勢用來控制界面控制功能的進一步的特性。
[0077]例舉實用示例，CF#1涉及音量控制命令，其中物體140僅在雷達感測區內的存在啟用了音量控制。在這種情況下，隨著物體的移動，響應于物體距離的增加和減少，相應地增加和減少音量控制。圖7a生動地指示了操作原理。
[0078]原則上，有許多種使用距離來控制音量的方式。例如，音量水平可以取決于物體自設備的測量距離。可替換地，如圖7a中示出的情況，(基于多普勒或距離對時間)基于運動是朝向還是遠離設備相應地增加和減少音量水平。音量的變化率能夠取決于運動的速度。第二種選擇(即多普勒選擇)更容易實施。在這兩種情況下，一旦設置了期望的音量水平，則有需要提供允許用戶的手從設備離開的方式。這可以通過按壓按鈕或通過以某些方式觸摸終端100來啟用該控制而實現。一種選項是僅當雷達105b檢測到運動同時攝像頭105a在其可視區134中檢測到物體時啟用音量控制。另一種選項是物體已經保持靜止持續某一時間段之后使該水平凍結(例如，3秒)。
[0079]CF#2涉及⑶I選擇滾動命令，其中物體140僅在攝像頭感測區134的存在啟用了選擇光標。隨著物體在視場中移動，光標在可選項之間移動，例如在桌面上的應用圖標之間移動或在照片瀏覽應用中的各照片之間移動。圖7b生動地指示了操作原理。
[0080]CF#3可以涉及三維⑶I交互命令，其中物體140在重疊區136中的存在引起了在X-Y空間內的平移移動、以及基于物體的徑向運動引起了放大/縮小操作。縮放操作可采用從攝像頭105a和雷達傳感器105b接收到的信息，但是，正如前面所指示，從雷達傳感器接收的簽名可能是更高的加權。圖7c生動地指示了操作原理。
[0081]CF#3還可以滿足有徑向運動但沒有平移運動的情形，例如，為了控制放大和縮小功能而無需⑶I上的轉化，反之亦然。
[0082]其它能夠通過命令映射被識別的手勢包括由有序運動形成的手勢。例如，以下運動的順序可以被解釋為與用戶界面沿逆時針方向旋轉相對應:(i)遠離該設備的徑向運動(使用雷達105b檢測)，(ii)從右到左的平移運動(使用攝像頭105a檢測)，(iii)朝向設備的徑向運動(使用雷達檢測)，(iv)從左到右的平移運動(使用攝像頭檢測)。其它這樣有序手勢也能夠被供應。
[0083]手勢控制模塊130能夠以軟件、硬件或二者的結合的方式體現。
[0084]現在將參考圖8描述本發明的第二實施例。在本實施例中，攝像頭105a的視場被有效地分成兩個或多個子區N，在本情況中攝像頭105a的視場被分成4個子區。更具體地，與攝像頭105a相關聯的處理軟件分別為不同的子區N分配相應的像素組。以和第一實施例(其中在雷達/攝像頭重疊區的外部檢測到的物體被分配給另一功能)的方式相同，在N個子區的不同子區中檢測到的物體被分配給不同的用戶界面功能。因此，能夠使用手勢來便利地區分的用戶界面功能的數目進一步增加。
[0085]假定上述物體140是人手，盡管手指、指針或其它用戶可操作物體也能夠被攝像頭105a和雷達傳感器105b標識為可識別的物體。其它適當的物體包括:人頭、腳、手套或鞋。系統也可以操作使得終端100相對于固定物體運動。
[0086]將理解，上面描述的實施例僅僅是說明性的并且不限定本發明的范圍。在閱讀本申請的基礎上，其它變形和修改對本領域技術人員而言是顯而易見的。例如，盡管已經說明雷達傳感器105b具有比攝像頭105a的視場更大的視場，但是反之也是可以的。
[0087]系統可以包括多于一個雷達傳感器105b或多于一個攝像頭105a或者二者。雷達傳感器105b可以基于超聲技術。
[0088]在另一實施例中，不需要總是保持傳感器105a和105b都激活。為了節約能量，一個傳感器一檢測到運動或存在，就打開另一個傳感器。例如，雷達傳感器105b可以用相對低的工作周期(短接通時間而更長斷開時間)來監控終端100的周圍，并且一旦它檢測到運動，控制器106可以接通攝像機105a，反之亦然。此外，雷達傳感器105b和攝像頭都可以例如通過聲音/語音來激活。也可以通過針對每個應用來設計攝像頭105a和雷達傳感器105b的使用使得它們只在需要時被激活而使功耗最小化。
[0089]進一步地，可能使用來自某些通信無線電設備的部件作為感測無線電設備來有效地進行雷達檢測。各示例包括藍牙和W1-Fi部件。
[0090]再進一步地，在上述實施例中，盡管攝像頭105a和雷達傳感器105b被描述成終端100內集成的部件，但是在備選實施例中，一種或兩種類型的傳感器可以被提供為通過例如USB或藍牙的有線或無線接口連接至終端的分離的配件。手勢控制模塊130包括處理器并且手勢控制模塊130用于接收和解釋來自該配件的信息。
[0091]此外，本申請的公開內容應當被理解為包括這里顯式或隱式公開的特征的任何新的特征或新的特征的組合、或其任何概括、或在本申請的審查期間由此衍生的任何申請，可以規劃新的權利要求來覆蓋任何這樣的特征和/或這樣特征的組合。
【權利要求】
1.一種裝置，包括: 處理器； 用戶界面，使用戶能夠與關聯于所述處理器的一個或多個軟件應用進行交互； 第一傳感器和第二傳感器，被配置為檢測位于遠離所述裝置的相應的第一感測區和第二感測區內的物體，并且生成對應于所述物體的信號，其中所述傳感器被配置使得它們相應的感測區在空間上重疊，以界定所述第一傳感器和所述第二傳感器都能在其中檢測到共同物體的第三重疊區；以及 手勢識別系統，用于從所述傳感器接收信號，所述手勢識別系統響應于在所述重疊區內部檢測到物體，來根據從兩個傳感器接收的信號控制第一用戶界面功能。
2.根據權利要求1所述的裝置，其中所述手勢識別系統進一步響應于在所述重疊區外部檢測到物體，來根據僅從所述傳感器中的一個傳感器接收的信號控制不同的第二用戶界面功能。
3.根據權利要求1或2所述的裝置，其中所述手勢識別系統進一步響應于在所述重疊區內部檢測到物體，來基于檢測到的物體的運動從兩個傳感器接收的信號標識出一個或多個預定的手勢，并且根據每個標識的手勢來控制所述第一用戶界面功能。
4.根據任一前述權利要求所述的裝置，其中所述第一傳感器是光學傳感器，以及所述第二傳感器使用電磁譜的不同部分來感測接收的無線電波并且可選的是雷達傳感器。
5.根據權利要求4所述的裝置，進一步包括:圖像處理裝置，與所述光學傳感器關聯，所述圖像處理裝置被配置為標識從所述光學`傳感器的不同區域接收的圖像信號，并且其中所述手勢識別系統被配置為根據物體在其中被檢測到的區域來控制不同的相應的用戶界面功能。
6.根據權利要求4或5所述的裝置，其中所述雷達傳感器被配置為以界定比所述光學傳感器的空間感測區更寬的空間感測區的方式來發射或接收無線電信號。
7.根據權利要求4至6中任一項所述的裝置，其中所述手勢識別系統被配置為從接收的圖像信號和無線電感測信號中標識平移運動和徑向運動二者、和/或物體相對于所述裝置的徑向距離，以及被配置為從中確定用于控制所述第一用戶界面功能的一個或多個預定的手勢。
8.根據權利要求7所述的裝置，其中所述手勢識別系統被配置為從接收的所述圖像信號中標識與在隨后的圖像幀之間的前景物體的位置變化關聯的運動向量，以及被配置為從中獲得所述平移運動。
9.根據任一前述權利要求所述的裝置，其中所述裝置是移動通信終端。
10.根據權利要求9所述的裝置，其中所述移動通信終端包括在所述移動通信終端的一側或一面的顯示器，用于顯示借助于從所述第一傳感器和所述第二傳感器二者接收的信號來控制的圖像數據。
11.根據權利要求9或10所述的裝置，當引用權利要求4時，其中，所述光學傳感器是在所述顯示器同側或同面提供的攝像頭。
12.根據權利要求11所述的裝置，其中所述雷達傳感器被配置為接收來自所述顯示器同側或同面的反射的無線電信號。
13.根據任一前述權利要求所述的裝置，其中所述手勢識別系統被配置為檢測手形物體。
14.一種方法，包括: 從第一傳感器和第二傳感器接收信號，所述第一傳感器和所述第二傳感器具有相應的第一物體感測區和第二物體感測區并且提供所述第一傳感器和所述第二傳感器都能在其中檢測到共同物體的第三重疊區；以及 響應于在所述重疊區中檢測到物體，根據從兩個傳感器接收的信號來控制第一用戶界面功能。
15.根據權利要求14所述的方法，進一步包括:響應于在所述重疊區外部檢測到物體，僅從所述傳感器中的一個傳感器接收信號；以及根據接收的所述信號來控制不同的第二用戶界面功能。
16.根據權利要求15或16所述的方法，進一步包括:響應于在所述重疊區外部檢測到物體，僅從所述第二傳感器接收信號；以及根據接收的所述信號來控制不同的第三用戶界面功能。
17.根據權利要求15或16所述的方法，包括:基于檢測到的所述物體的運動，從兩個傳感器接收的信號中標識出一個或多個預定的手勢；以及根據該標識出的手勢來控制所述第一用戶界面功能。
18.根據權利要求15至17中任一項所述的方法，包括:標識從光學傳感器的不同區域接收的圖像信號，以及根據物體在其中被檢測到的區域來控制不同的相應的用戶界面功倉泛。
19.一種計算機程序，包括當被計算機裝置執行時，用于控制所述計算機裝置執行權利要求14至19中任一項所述的方法的指令。
20.一種非瞬態計算機可讀存儲介質，包括存儲在其上的計算機可讀代碼，當被計算裝置執行時致使所述計算裝置執行包括以下的方法: 從第一傳感器和第二傳感器接收信號，所述第一傳感器和所述第二傳感器具有相應的第一物體感測區和第二物體感測區并且提供所述第一傳感器和所述第二傳感器都能在其中檢測到共同物體的第三重疊區；以及 響應于在所述重疊區內檢測到物體，根據從兩個傳感器接收的信號來控制第一用戶界面功能。
21.一種裝置，所述裝置具有至少一個處理器和至少一個其上存儲有計算機可讀代碼的存儲器，當所述代碼被執行時，控制所述至少一個處理器: 從第一傳感器和第二傳感器接收信號，所述第一傳感器和所述第二傳感器具有相應的第一物體感測區和第二物體感測區并且提供所述第一傳感器和所述第二傳感器都能在其中檢測到共同物體的第三重疊區；以及 響應于在所述重疊區中檢測到物體，根據從兩個傳感器接收的信號來控制第一用戶界面功能。
【文檔編號】G06F3/0487GK103502911SQ201280021975
【公開日】2014年1月8日 申請日期:2012年4月30日 優先權日:2011年5月6日
【發明者】汪孔橋, J·P·J·奧利凱南 申請人:諾基亞公司