與支持觸摸的設備的人機交互通常通過觸摸傳感器而被約束到這些設備的表面。然而,從微型可穿戴設備(例如,智能手表)到巨型顯示器范圍的計算設備的尺寸范圍可以將觸摸傳感器限制為主輸入介質。在小屏幕的情況下,觸摸屏幕可以是固有地有問題的,這是因為人類手指可以覆蓋屏幕的一部分,這阻礙顯示器的可視性。另一方面,與大型顯示器上的觸摸傳感器交互可能是繁瑣的。在一些情況下,能夠在不依賴觸摸傳感器的情況下檢測用戶姿態可能是有利的。
技術實現要素:
描述涉及3D姿態識別。一個示例姿態識別系統可以包括姿態檢測組件。該姿態檢測組件可以包括傳感器單元陣列和控制器,該控制器可以以不同的頻率將信號發送到傳感器單元陣列中的個體傳感器單元。該示例姿態識別系統還可以包括姿態識別部件,其可以根據個體傳感器單元在不同的頻率對信號的響應,來確定接近傳感器單元陣列的對象的參數,并且可以使用參數來標識由對象執行的姿態。
以上所列出的示例旨在提供快速的參考以輔助閱讀者并且不旨在限定本文所描述的概念的范圍。
附圖說明
附圖圖示了在本文檔中傳達的概念的實現。可以通過參考結合附圖取得的以下描述更容易地理解所圖示的實現的特征。附圖中的相同參考數字無論在哪里可行用于指示相似的元件。在一些情況下,圓括號在參考數字之后用于區分相似的元件。沒有相關聯的圓括號的參考數字的使用對于元件是通用的。進一步地,每個附圖標記的最左邊的數字傳達其中首先引入參考數字的附圖和相關聯的討論。
圖1至圖4共同地圖示了與本公開概念的一些實現一致的示例3D姿態檢測組件。
圖5圖示了與本公開概念的一些實現一致的示例3D姿態識別場景。
圖6圖示了與本公開概念的一些實現一致的示例性3D姿態識別系統。
圖7至圖9圖示了與本公開概念的一些實現一致的3D姿態識別系統使用場景。
圖10至圖12是根據本公開概念的一些實現的示例3D姿態識別技術的流程圖。
具體實施方式
概述
本描述涉及實時三維(3D)姿態(gesture)識別。本公開概念提供無觸摸地與數字顯示器交互的新穎方法。在一些實現中,射頻(RF)傳感器單元的二維(2D)陣列可以用于檢測對象(例如,人體部分)的接近度。通過隨時間監測來自傳感器單元陣列中的不同的傳感器單元的頻率響應中的變化,可以在三維啟用的姿態識別(例如,姿態識別)中跟蹤在傳感器單元陣列附近的對象。通過減少針對距離和位置分類所選擇的頻率的數目,可以利用較少的資源執行準確的實時3D姿態識別。RF傳感器單元陣列可以在沒有視線的情況下進行工作、可以嵌入在任何類型的表面的后面、可以被縮放和/或可以具有與其他接近感測技術相比較相對低的功耗。
在一些實現中,3D姿態識別系統可以包括3D姿態檢測組件和姿態識別部件。3D姿態檢測組件可以包括上文所提到的RF傳感器單元的2D陣列。RF傳感器單元陣列中的個體傳感器單元可以充當近場RF接近傳感器來檢測對象的接近度。對象的所檢測的接近度可以由姿態識別部件分析并且被標識(例如,被識別)為姿態。
通常,當對象非常接近于傳感器單元陣列的個體傳感器單元時,對象的接近度可以稍微干擾個體傳感器單元的頻率響應,這允許對象的檢測。通過將多個傳感器單元組合為2D傳感器單元陣列,高分辨率、基于RF的3D姿態檢測組件可以隨空間和時間而跟蹤對象。姿態識別部件可以使用由3D姿態檢測組件感測的信息來標識姿態。
第一示例基于RF的3D姿態檢測組件
圖1至圖2共同地圖示了第一示例基于RF的3D姿態檢測組件100。圖1是示例基于RF的3D姿態檢測組件100的示意圖。在該示例中,組件100包括傳感器單元陣列102。傳感器單元陣列102可能需要多個個體傳感器單元104。該組件可以包括控制器106、傳感器單元驅動器108、交換網絡110、和/或功率檢測器112,等等。
如在圖1中所示,傳感器單元104可以在矩形網格中成行地被布置。在該示例中,第1行包括傳感器單元104(1)、104(2)、104(3)和104(4)。在一些實現中,傳感器單元陣列102可以包括如在第2行、第3層和第N行處所指示的傳感器單元104的附加行。備選地或附加地,在一些實現中,傳感器單元陣列102可以包括傳感器單元104的更多更少的列。預期到傳感器單元的其他布置和/或分組,包括非線性的、多方向的和/或3D布置。
在圖1中所示的示例中,控制器106被連接到傳感器單元驅動器108。在一些情況下,控制器106可以引導傳感器單元驅動器108以將信號發送到傳感器單元陣列102。如圖1中的示例中所示,交換網絡110包括發送交換機114和接收交換機116。交換網絡110還可以包括從發送交換機114到個體傳感器單元104的線118和從個體傳感器單元104到接收交換機116的線120(僅線118和120中的一條線被指示以避免繪圖頁面上的混亂)。在這種情況下,交換網絡110可以通過發送交換機114將傳感器單元驅動器108連接到傳感器單元陣列102。在一些情況下,控制器106可以控制發送交換機114以確定哪個個體傳感器單元104從傳感器單元驅動器108接收信號。該控制器106還可以控制接收交換機116以將頻率響應從個體傳感器單元104傳遞到功率檢測器112。在一些情況下,功率檢測器112可以根據頻率響應生成功率讀數,并且功率檢測器112可以將功率讀數發送到控制器106。
圖2是第一示例基于RF的3D姿態檢測組件100的展開示意圖。在這種情況下,未示出傳感器單元第2行、第3行和第N行以避免繪圖頁面上的混亂。在圖2中,提供傳感器單元驅動器108的擴展圖以示出傳感器單元驅動器108的內部部件。在該示例中,傳感器單元驅動器108包括濾波器200(例如,低通濾波器、RC電路)、放大器202(例如,AMP)和電壓控制振蕩器(VCO)204(例如,VCO芯片)。
現在將關于圖2描述基于RF的3D姿態檢測組件100的示例操作。在一些實現中,可以將脈沖寬度調制(PWM)輸出206從控制器106發送到傳感器單元驅動器108。在一些實現中,控制器106可以是相對低功率和/或相對低頻率控制器。PWM輸出可以是具有可調節的占空比的方形脈沖。通過使占空比發生變化,可以在RC濾波器200的輸出處使DC電壓208的電平變化。放大器202可以被用于將電壓電平從DC電壓208提升到DC電壓210。在這種情況下,DC電壓210可以在VCO 204的輸入電壓范圍內。使用DC電壓210的輸入,VCO 204可以生成正弦波212。
控制器106還可以引導交換網絡110。該控制器106可以經由數字輸出214和216選擇個體傳感器單元104。該數字輸出214和216可以被發送到發送交換機114和接收交換機116。在圖2中的示例中,經由線118通過發送交換機114將正弦波212發送到個體傳感器單元104(4)。作為響應,傳感器單元104(4)可以在線120處輸出正弦波218。該接收交換機116可以將正弦波218引導到功率檢測器112。在一些情況下,正弦波212與正弦波218之間的頻率偏移可以表示由對象(諸如傳感器單元104(4)上的人類手指)與傳感器單元104的接近度所引起的頻率響應。此外,偏移的幅度可以暗示對象與傳感器單元104的距離。該功率檢測器112可以將正弦波218轉換為DC電壓220。該DC電壓220可以然后由A/D轉換器222采樣,A/D轉換器222可以被嵌入在控制器106上。
在這種情況下,控制器106可以引導交換機網絡110以對個體傳感器單元106進行多路復用。通過這種方式,正弦波212可以順序地被發送到個體傳感器單元104。可以針對對象的接近度,分析來自個體傳感器單元104的多個頻率響應。在一些情況下,多個頻率響應的分析可以提供3D姿態的標識。
在一些實現中,VCO 204的輸入電壓范圍可以使得正弦波212是高頻(例如,RF)正弦波(諸如6-8GHz)。在這些實現中,基于RF的3D姿態檢測組件100的部件和連接器的一部分將是高頻部件和連接器。例如,如在圖2中所示,虛線區域224可以表示高頻部件和連接器。虛線區域224外的部件和連接器可以被認為是低頻和/或控制部件。在這種情況下,設置低頻控制器106、RF濾波器200和放大器202,使得VCO 204可以生成高頻正弦波212。
總之,可以通過利用控制器、RF濾波器、放大器和VCO以相對低成本和相對低功率來生成高頻正弦波信號。此外,交換網絡可以用于對傳感器單元陣列進行多路復用。可以通過在傳感器單元陣列中的個體傳感器單元處檢測的頻率響應來檢測對象的接近度。多個所檢測的頻率響應可以被標識為3D姿態。
第二示例基于RF的3D姿態檢測組件
圖3至圖4共同地圖示了第二示例基于RF的3D姿態檢測組件300。圖3是示例基于RF的3D姿態檢測組件300的示意圖。在該示例中,組件300包括傳感器單元陣列302(傳感器單元陣列302可以與關于圖1所描述的傳感器單元陣列102類似)。該傳感器單元陣列302可能需要多個個體傳感器單元304(僅一個傳感器單元304被指示以避免繪圖頁面上的混亂)。在這種情況下,以四列和八行(示出但未指定)布置個體傳感器單元304。該組件300可以包括控制器306、傳感器單元驅動器308、交換網絡310和/或功率檢測器310(與圖1的對應的元件類似),等等。
在該示例中,傳感器單元驅動器308可以包括濾波器314(例如,低通濾波器、RF電路),其可以包括電阻器316和電容器318。該傳感器單元驅動器308還可以包括放大器320和電壓控制振蕩器(VCO)322。
在圖3中所示的示例中,交換網絡310包括電路板上的兩層發送交換機和兩層接收交換機。在一些情況下,分層交換網絡可以被用于降低并且潛在地最小化電路板上的RF線的數目,其可以減小信號的潛在交叉耦合并且降低功耗。在其他實現中,傳感器單元陣列可以具有比圖3中所示的示例更多或更少的個體傳感器單元。在這些情況中,可以存在或多或少交換機、交換機層和/或電路板上的線來支持傳感器單元陣列。
在圖3中的示例中,來自傳感器單元驅動器308的信號可以被引導到砷化鎵、金屬半導體場效應晶體管(GaAs MESFET)單極四擲(SP4T)發送交換機324。進而,可以將信號從SP4T發送交換機324引導到四個GaAs MESFET單極八擲(SP8T)發送交換機326、328、330和332之一。而且,可以將信號從SP8T發送交換機326、328、330和332引導到八個個體傳感器單元304中的任一個個體傳感器單元。在穿過個體傳感器單元304之后,信號可以進入對應的GaAs MESFET SP8T接收交換機334、336、338或340。該信號可以然后穿過GaAs MESFET SP4T接收交換機342并且進入功率檢測器312以及然后進入A/D轉換器344,A/D轉換器344可以被嵌入在控制器306中。預期到用于發送交換機和接收交換機的其他材料和/或規格。
在一些實現中,組件300可以具有多個RF線和DC控制線來控制交換機和DC偏置線以對交換機供電。例如,所有這些線可以具有50歐姆的阻抗。在圖3中未示出這些線中的大部分線以避免繪圖頁面上的混亂。線346、348、350和354將用于描述關于以下圖3和圖4的基于RF的3D姿態檢測組件300的操作。圖4是提供圖3的虛線框區域356的展開圖的示意圖。
圖4圖示了SP8T發送交換機332、八個個體傳感器單元304(1-8)和SP8T接收交換機340之間的連接線。僅兩個單獨的連接線400和402被指示以避免繪圖頁面上的混亂。圖4還示出了個體傳感器單元304(8)的分解圖。
在一些實現中,SP8T交換機(例如,326、328、330和332)的連接線可以是由3到8解碼器電壓控制的RF線。在圖4中所示的示例中,SP8T發送交換機332可以包含一根單極RF線(被連接到SP4T發送交換機324)、八根RF擲線(被連接到傳感器單元304(1-8),包括線400)、三根電壓控制線以控制八根RF擲線(未示出)和DC偏置線(未示出)。SP8T發送交換機的RF線可以是雙向的。因此,對于SP8T發送交換機332而言,單極RF線可以操作為輸入線,并且八根RF擲線可以用作輸出線。當參考SP8T接收交換機340時,該操作可以被反轉。
類似地,參考圖3,SP8T發送交換機326、328、330和332的單極RF線可以被連接到SP4T發送交換機324的擲線。SP4T發送交換機324的RF線可以由2到4解碼器電壓控制。該SP4T發送交換機324可以包含一根單極RF線352;連接到SP8T發送交換機326、328、330和332的四根RF擲線;控制四根RF擲線的兩根電壓控制線(未示出);和DC偏置線(未示出)。SP4T發送交換機324的RF線還可以是雙向的。因此,對于SP4T發送交換機324而言,單極RF線352可以操作為輸入線,并且四根RF擲線可以用作輸出線。當參考SP4T接收交換機342時,該操作可以被反轉。
在一些實現中,基于RF的3D姿態檢測組件300可以被指定到單個多層電路板上。在一個示例中,所有DC線(偏置線和控制線)可以在多層電路板的背面上,其可以幫助保存RF與DC信號之間的隔離。
如在圖4中的個體傳感器單元304(8)的分解圖中所示,傳感器單元304(8)可以包括三層。頂層404可以包括共振器貼片406。中間層可以是雙端口半波耦合帶通濾波器408。該帶通濾波器408可以具有三個分離的導電條帶,包括輸入端口410、中間條帶412和輸出端口414。該輸入端口410可以被連接到線400,并且輸出端口414可以被連接到線402。傳感器單元的低層可以是接地平面416。在其中組件300被指定到單個多層電路板上的實現中,接地平面416和帶通濾波器408可以存在于共面波導配置中的相同層上。這些實現可以允許僅使用多層電路板中的兩個襯底板。在一種情況下,頂層404可以具有1.6mm的厚度。此外,傳感器單元304(8)可能需要無源分布式電路部件,因此傳感器單元304(8)自身不是功耗的源。
在一些實現中,個體傳感器單元304的操作頻率可以對應于被檢測的對象(例如,人類手指)的大小和/或表面積。例如,如果傳感器單元304大于手指的表面積,則手指可能未顯著地影響傳感器單元304的詢問區域。因此,對于手指與傳感器單元304的接近度的可靠檢測而言,傳感器單元304的大小可以與平均人類手指的表面積類似。在圖4中的示例中,個體傳感器單元304(8)的共振器貼片406可以具有15mm的長度和15mm的寬度。在一些情況下,中間條帶412的長度可以是半波長長度,其可以確定帶通濾波器408的操作頻率。在一些實現中,中間條帶412越長,帶通濾波器408的操作頻率越低。因此,在其中傳感器單元304的大小與人類手指類似的情況下,傳感器單元304的操作頻率可以是相對高頻的(例如,RF)(諸如6-8GHz的范圍)。
在一些實現中,傳感器單元陣列302(圖3)的大小可以是比典型的人手的大小稍微大的。例如,在其中組件300被指定到單個多層電路板上的實現中,電路板可以具有210mm的長度和195mm的長度等。在一種情況下,行之間的分離距離可以是6.5mm,并且列之間的分離距離可以是7.2mm。當然,可以針對電路板和/或基于RF的3D姿態檢測組件或其部件部分而考慮其他尺寸。
現在將關于圖3和圖4描述基于RF的3D姿態檢測組件300的示例操作。在一些實現中,傳感器單元304的激活可以生成可以針對唯一簽名(諸如由用戶執行的姿態)而被分析的頻率響應。在一些情況下,與單個頻率相反,利用多個頻率激活傳感器單元304可以提供簽名的更詳細的特征。例如,多個頻率的使用可以更好地闡述用戶的手指放置和/或與傳感器單元304多個距離處的姿態的區別。因此,多個頻率的使用可以幫助實現更復雜的3D姿態的標識。為了利用來自VCO 322的多個頻率激活傳感器單元304,組件300可以被配置為將多個恒定DC電壓電平遞送給VCO 322,如下文將描述的。
參考圖3中的示例,控制器306可以是16MHz微控制器(例如,TI MSP430CPU)。在該示例中,控制器306可以具有低功率包絡,支持由組件300利用的輸入和輸出的類型,并且提供針對組件300的操作的計算功率。在圖3中的線346處,脈沖寬度調制(PWM)輸出可以從控制器306被發送到傳感器單元驅動器308。該PWM輸出可以是具有可調節的占空比的方形脈沖。在該示例中,控制器306可以具有0-3.3V的操作電壓范圍。因此,PWM輸出可以通常在0V或在3.3V。
通過適當地調節占空比,可以控制來自控制器306的PWM輸出在3.3V的時間量。當PWM輸出在3.3V時,RF濾波器314的電容器318可以被充電到非零電壓電平。在一些情況下,當PWM輸出在0V時,線348處的RF濾波器的輸出不是0V,而是在充電電容器318能夠維持的電壓電平。注意,當電容器318隨時間放電時,RF濾波器314到線348的輸出電壓也可以減小。然而,當PWM輸出在0V與3.3V之間振蕩時,電容器318自動地重新充電,這能夠維持線348處的通常恒定DC電壓,RC濾波器314的輸出。因此,線348處的恒定DC電壓電平的電平可以取決于346處的PWM輸出的占空比,在這種情況下,通常在0V與3.3V之間。例如,可以從線348處的RF濾波器314輸出多個恒定電壓(諸如1V、1.2V、1.4V等)。
仍然在該示例中,來自控制器306的PWM輸出可以具有124KHz的頻率。為了通過傳感器單元驅動器308獲得期望的電壓電平,可以調節PWM輸出的占空比。一般而言,較高的占空比對應于較高的輸出電壓。在該示例中,可以由8比特寄存器控制PWM輸出的占空比,并且因此其可以取得128個離散值。這些128個值中的每個值對應于不同的占空比以及因此VCO 322最終轉換為不同的頻率的不同的輸出電壓,如下文將描述的。通過這種方式,可以針對128個不同的頻率記錄個體傳感器單元304的頻率響應。
在圖3中所示的示例匯總,在348處的DC電壓可以進入放大器320。在一些實現中,VCO 322的輸入電壓范圍可以是7-9V。在這些實現中,放大器320可以被用于將電壓電平從348處的DC電壓提升到350處的DC電壓。在這種情況下,在350處的DC電壓可以是VCO322的輸入電壓范圍內的7-9V內。利用在350處的7-9V的DC電壓輸入,VCO可以在352處生成正弦波。在這種情況下,在352處的正弦波可以是相對高頻(諸如6-8GHz)的。通過這種方式,正弦波的頻率可以對應于傳感器單元304的操作頻率。注意,備選地或附加地,其他設備可以以期望頻率將信號提供給傳感器單元陣列。例如,頻率操作設備可以被耦合到傳感器單元陣列并且數字地設定在期望的輸出頻率處。針對基于RF的3D姿態檢測組件,預期到用于以特定頻率處生成信號的這些和其他設備的使用。
控制器306可以將交換網絡310配置為經由被發送到發送交換機和接收交換機的數字輸出來選擇個體傳感器單元304。通過一次僅激活單個傳感器單元304,可以減小跨越組件300的功耗。在圖3中的示例中,在352處的正弦波可以通過SP4T發送交換機324被發送到SP8T發送交換機332、經由經由線400(參見圖4)被發送到個體傳感器單元304(8)。在其他實例中,正弦波可以通過SP8T發送交換機326-332之一被引導到另一個體傳感器單元304。
參考圖4中所示的示例,6-8GHz正弦波可以被引導到個體傳感器單元304(8)。在該示例中,正弦波可以激發輸入端口410中的電流。該電流可以生成輸入端口410與中間條帶412之間的電容耦合。進而,可以在中間條帶412與輸出端口414之間生成電容耦合。在一些情況下,跨越帶通濾波器408的能量的電容耦合可以允許以某個頻帶內的頻率來發送信號,同時可以抑制某個頻帶外的其他信號。如上文所指出的,中間條帶412的長度可以是半波長長度,其可以確定帶通濾波器的操作的頻率(例如,6-8GHz)。
在該示例中,來自帶通濾波器408的能量可以耦合到共振器貼片406,其可以被定位在帶通濾波器408上。在一些實現中,將能量耦合到共振器貼片406可以具有兩個效應。第一,共振器貼片406可以創建7.8GHz左右的第二帶通響應。第二,共振器貼片406可以將電磁場(例如,能量)的小區域輻射在其表面上。磁場的區域可以建立針對傳感器單元304(8)的垂直感測范圍。在該示例中,將對象放置在傳感器單元304(8)可以干擾電磁場的區域。在一些情況下,包含水的對象可以干擾電磁場的區域。含水對象可以包括身體部分(例如,人類手指)或無生物(例如,包括水分子的讀出筆或觸筆等)。電磁場的干擾可以更改傳感器單元304(8)的頻率響應。所更改的頻率響應(例如,頻率偏移)可以被標識為傳感器單元304(8)上的對象的垂直放置的光譜簽名。而且,通過利用6-8GHz范圍內的不同的頻率的正弦波激發輸入端口410,可以記錄多個頻率響應來更好地表征接近于傳感器單元304(8)放置的對象的距離(例如,沿著x-y-z參考軸的z軸)、位置(例如,相對于x-y-z參考軸的x-y平面)和/或大小。在該示例中,帶通濾波器408可以允許相對高的能量從輸入端口410被發送到輸出端口414,其能夠促進接收功率相對發送功率中的變化的檢測。
所更改的頻率響應可以從輸出端口414處的傳感器單元304(8)被輸出到402作為輸出正弦波。在這種情況下,輸出正弦波可以穿過SP8T接收交換機340、提供SP4T接收交換機342并且到功率檢測器312上。該功率檢測器312可以將輸出正弦波轉換為線354處的DC電壓。該DC電壓可以然后由A/D轉換器344采樣,其可以被嵌入在控制器306上。
在一些實現中,取代來自穿過傳感器單元的信號的響應,響應可以是來自傳感器單元的反射信號。例如,測量可以由從終止的傳感器單元反射的信號組成。在該示例中,交換網絡可以將信號發送到傳感器單元并且經由相同線從傳感器單元接收響應。
在一些實現中,在沒有功率檢測器的情況下,可以設計基于RF的3D姿態檢測組件。取代功率檢測器的使用,在給定頻率,個體傳感器單元的輸出處的信號可以與個體傳感器單元的輸入處的信號直接地混合。這可以提供表示給定頻率的個體傳感器單元的傳輸響應的DC電壓。從基于RF的3D姿態檢測組件除去功率檢測器,這可以降低組件的總功耗。
總之,在一些實現中,3D姿態檢組件可以包括RF傳感器單元陣列、控制器、傳感器單元驅動器和交換網絡。在一個示例中,控制器可以引導傳感器單元驅動器以將高頻(例如,6-8GHz)信號提供到RF傳感器單元陣列。該控制器可以引導交換網絡選擇個體傳感器單元來接收信號。可以收集來自個體傳感器單元的頻率響應。為了高效地收集頻率響應的范圍,控制器可以選擇特定頻率并且引導傳感器單元驅動器,以便以第一頻率和然后附加的所選擇的頻率將信號發送到陣列中的所選擇的傳感器單元。頻率響應的所收集的范圍可以被標識為特定3D姿態。
在一些實現中,RF傳感器單元陣列中的個體傳感器單元可以以高速率被多路復用,以降低3D姿態檢測組件的功率和計算資源消耗。例如,可以以單個頻率利用輸入信號在任何給定時間處激活僅一個傳感器。一次激活一個傳感器可以降低將輸入信號驅動到傳感器使用的即時功率。此外,一次激活一個傳感器可以降低感測頻率,并且因此降低計算費用。為了進一步提高效率,特征選擇分析可以用于選擇提供高姿態識別速率的輸入信號頻率。
RF傳感器單元陣列可以被縮放到較小或較大的設備。在一些實現中,可以通過添加或從傳感器單元陣列移除RF傳感器單元來實現較小或較大的3D姿態檢測組件。此外,可以通過改變個體傳感器單元的大小來調節接近感測的有效范圍和/或靈敏度。
通常,RF傳感器單元的特性可以使得RF傳感器單元陣列可以被嵌入任何類型的表面后面/下面,同時仍然啟用實時姿態識別。例如,各種各樣的材料可以被用于具有被嵌入在材料后面的傳感器單元陣列的屏幕、顯示器、保護性覆蓋等。在RF傳感器單元陣列與所檢測的對象之間添加的表面或對象可以表現為傳感器單元陣列中的個體傳感器單元的頻率響應中的恒定偏移,并且因此可以在3D姿態檢測組件的校準期間被考慮。
此外,RF傳感器單元陣列可以實現實時姿態識別,而不需要在所檢測的對象的視線內。例如,用戶的口袋中的3D姿態檢測組件和/或設備可以檢測用戶的口袋外的對象。例如,用戶可以將他的電話放在他的口袋中并且利用口袋外的他的手執行姿態。在該示例中,被嵌入電話中的姿態檢測組件可以通過口袋的結構來檢測姿態。
在圖3中所圖示的情況中,傳感器單元驅動器308可以被認為是通過交換網絡310向多個個體傳感器單元304提供信號的信號源。在一些實現中,姿態檢測組件可以包括超過一個信號源。例如,姿態檢測組件可以包括兩個信號源,其將具有不同的頻率范圍的信號提供給傳感器單元的兩個集合。在這種情況下,傳感器單元的兩個集合可以具有對應于相應信號源的輸入頻率范圍。多個頻率范圍可以允許針對對象檢測和/或姿態識別的較寬的范圍。預期到姿態檢測組件的部件的數目或規格的其他變型。
基于RF的3D姿態識別場景示例
圖5圖示了示例3D姿態識別場景500。在該示例中,傳感器單元陣列502可以包括多個個體傳感器單元504。傳感器單元陣列502可以與關于圖1所描述的傳感器單元陣列102和/或關于圖3所描述的傳感器單元陣列302類似。在一些實現中,傳感器單元陣列502可以被包括在基于RF的3D姿態檢測組件(諸如關于圖3和圖4上文所描述的組件300)中。在場景500中,正被檢測的對象是用戶506的手。在這種情況下,用戶506可以與傳感器單元陣列502交互。例如,用戶506可以執行由三個實例1、2和3所表示的姿態。在該示例中,姿態識別部件508可以標識由用戶506執行的姿態。
通常,通過姿態識別部件508造成的姿態識別可以包括用于感測對象和/或對象的參數的能力。除了其他參數之外,參數可以包括對象在3D空間中的定向、對象的外形(例如,形狀、輪廓)和/或對象在一段時間內的運動。在一個示例中,對象可以是用戶的手。當用戶的手在3D姿態檢測組件上懸停時,個體傳感器單元可以感測手的不同的部分、手的定向、手的外形(一個或多個手指的位置的改變)和/或其他參數。姿態識別部件508可以使用感測參數的一些或全部參數來標識用戶的姿態或其他輸入。
對象在3D空間中的定向可以包括對象相對于傳感器單元陣列的2D位置以及對象與個體傳感器單元的距離。圖5中的三個實例示出了改變相對于傳感器單元陣列502的位置的用戶的手。在圖5中所示的示例中,由于手通過沿著x-y-z參考軸的x軸從左到右移動來改變關于傳感器單元陣列502的位置,因而可以改變和/或干擾傳感器單元504的不同的子集的頻率響應。類似地,手可以通過沿著y軸從傳感器單元陣列502的頂部移動到底部改變位置。跟蹤針對不同的手位置的干擾可以近似跟蹤傳感器單元陣列502的表面的2D空間中的手。
在圖5中所示的示例中,實例1示出了沿著x軸的傳感器單元陣列502的左側附近的用戶506的手。實例2示出了粗略地傳感器單元陣列502的中心附近處的手。實例3示出了傳感器單元陣列502的右側附近的手。在這種情況下,當用戶506跨越傳感器單元陣列502將他的手從左到右滑動時,不同的個體傳感器單元506可以記錄由利用交叉影線所表示的手的接近度所引起的頻率偏移。在圖5中,僅四個傳感器單元504(1-4)被指示以避免繪圖頁面上的混亂。在實例1中,傳感器單元504(1)(以及其他非指示的傳感器單元504)將記錄頻率偏移。在實例2中,傳感器單元504(2)和504(3)將記錄頻率偏移,并且傳感器單元504(1)不再讀取頻率偏移。在實例3中,傳感器單元504(4)將記錄頻率偏移。在這種情況下,姿態識別部件508可以檢測來自傳感器單元陣列502的輸出的手,標識傳感器單元陣列502上的從左到右的手的運動,并且將對象的運動標識為滑動姿態。
在圖5中所圖示的示例中,示出了平行于傳感器單元陣列502的表面的兩個維度上的位置和/或運動。備選地或附加地,傳感器單元陣列502還可以用于檢測第三維度上的垂直運動。例如,用戶506還可以沿著x-y-z參考軸的z軸將他的手抬離傳感器單元陣列502的表面或將他的手向傳感器單元陣列502的表面下降。在該示例中,隨著手沿著z軸運動,與傳感器單元504的距離可以改變。用戶506的手與對應的傳感器單元504的距離的變化還可以導致這些傳感器單元504的頻率響應的變化和/或信號強度的變化。一般而言,對象相對于傳感器單元陣列502的位置和距離的組合可以被認為是對象相對于傳感器單元陣列502的3D定向。
如上文所指出的,在一些實現中,3D姿態檢測組件可以被用于感測對象(諸如用戶的手)的不同的部分。在該示例中,手的外形中的變化可以由姿態識別部件508檢測并且被標識為姿態。例如,姿態可以是當用戶重復地伸開和彎曲他的食指時由用戶做出的一指滾動動作。在該實例中,手的總體定向可以不被認為是隨著時間改變,這是因為手可以在3D姿態檢測組件上的適當的位置上懸停。然而,姿態識別部件508可以隨著食指的定向的改變而檢測手(和/或手指的z軸距離)的外形的改變。在這種情況下,姿態識別部件508可以將外形中的變化標識為滾動姿態。
此外,如上文所指出的,使用多個頻率激發傳感器單元504可以幫助實現標識更復雜的3D姿態。例如,針對5mm的距離處的手而言,來自利用6.6GHz的單個頻率處的信號激發的傳感器單元504的頻率響應可以實際上與針對20mm的另一距離處的手是相同的。然而,如果6.6GHz的頻率附近的頻帶上的信號被用于激發傳感器單元504,可以區分針對5mm和20mm的距離處的手的頻率響應。姿態識別部件508可以通過被發送到傳感器單元504的信號的頻率來部分地標識姿態。而且,在一些實現中,姿態識別部件508可以同時檢測并且區分多個相鄰對象。
在圖5中所示的示例中,傳感器單元陣列502可以包括32個傳感器單元504,其可以產生32針對可以被分析用于對象的存在中的簽名的給定特征集的頻率響應(例如,所選擇的頻率)。在一些情況下,為了啟用低的總功耗,可以期望分離地激發32傳感器單元504。然而,為了啟用實時姿態識別,可以期望以比用戶506執行姿態更快的多個不同的頻率掃描來自32個傳感器單元的頻率響應。因此,為了在當一次僅激發一個傳感器單元504時的相對短時間內完成跨越多個頻率的傳感器單元陣列502的掃描,可以使用一些多路復用策略和/或機器學習技術。
在一些實現中,跨越多個傳感器單元504掃描單個頻率可以比在掃描每個傳感器單元504之前重置頻率相對更快。出于該原因,可以在改變到第二頻率之前以第一頻率對傳感器單元陣列502中的許多傳感器單元504進行采樣。附加地或備選地,可以不必掃描所有頻率。例如,特征選擇技術可以用于減少所掃描的頻率的數目。關于圖10和圖11描述了示例特征選擇技術。
在一些實現中,一旦已經完成傳感器單元陣列502的頻率響應的掃描,主機設備就可以使用推理算法計算用戶506的手的位置和距離。在圖5中所示的示例中,姿態識別部件508可以根據跨傳感器單元陣列502測量的標量功率輸出值的相對強度來計算實例1、2和/或3中的用戶506的手相對于x和y軸的2D位置。此外,姿態識別部件508可以根據該個體傳感器單元504處的標量功率輸出值的幅度來計算手與任何個體傳感器單元504的距離。因此,通過隨時間監測來自個體傳感器單元504的頻率響應中的變化,姿態識別部件508可以跟蹤三維的手的運動,并且將運動實時識別為3D姿態。
系統示例
圖6示出了用于完成本公開概念的示例3D姿態識別系統600。圖7到圖9示出了與本公開概念一致的示例3D姿態識別設備使用場景。
出于解釋的目的,圖6示出了五個示例3D姿態檢測設備602(1)、602(2)、602(3)、602(4)和602(5)。如圖6中所示,設備602(1)可以是平板類型設備,設備602(2)可以是電器(例如,冰箱),設備602(3)可以是智能個人和/或可穿戴設備(例如,智能手表),設備602(4)可以是數字白板(或其他大型顯示器或屏幕),并且設備602(5)可以是智能電話或其他移動設備。圖6中所示的示例不旨在是限制性的,并且各種各樣的類型的設備中的任一個設備可以被包括在姿態識別系統中。如圖6中所示,設備602中的任一個設備602可以通過一個或多個網絡604通信。
圖6示出了兩個設備配置606。個體設備可以采用配置606(1)或606(2)中的任一個或備選配置。簡要地,配置606(1)表示操作系統中心配置,并且配置606(2)表示片上系統(SOC)配置。配置606(1)被組織為一個或多個應用608、操作系統610和硬件612。配置606(2)被組織為共享資源614、專用資源616和其之間的接口618。
在任一配置606中,3D姿態檢測設備602可以包括存儲裝置620、處理器622、電池624(或其他功率源)、通信部件626和/或頻率響應映射表(FRMT)628。設備602的任一配置606還可以包括姿態檢測組件(GDA)100(1)或100(2)(諸如關于圖1所描述的姿態檢測組件100)。設備602的任一配置606還可以包括姿態識別部件(GRC)508(1)或508(2)(諸如關于圖5所描述的姿態識別部件508)。
在一些實現中,姿態識別部件508可以從姿態檢測組件100接收輸入。例如,姿態識別部件508可以標識來自傳感器單元陣列的輸出的姿態,如圖5中的示例所示。在該示例中,姿態識別部件可以使用頻率響應映射表628來比較被包括在傳感器單元陣列的輸出中的頻率響應。簡要地,頻率響應映射表628可以將頻率響應映射到已知姿態。該姿態識別部件508可以查找來自傳感器單元陣列的輸出頻率響應與頻率響應映射表628的內容之間的匹配。關于圖10和圖11描述了用于生成頻率響應映射表628的示例技術。
在一些情況下,在3D姿態檢測設備602由消費者使用之前,可以生成頻率響應映射表628。例如,頻率響應映射表628可以在3D姿態檢測設備602的制造時被加載到設備上。在一些情況下,數據可以稍后被添加到頻率響應映射表628,諸如當用戶希望訓練3D姿態檢測設備602以標識(一個或多個)定制姿態和/或校準他/她的個體設備。
該通信部件626可以允許設備602與各種其他設備通信。該通信部件可以包括接收器和發射器和/或用于經由各種技術(諸如蜂窩、Wi-Fi(IEEE 802.xx)、藍牙等)通信的其他射頻電路。
注意,在一些情況下,設備602上的姿態識別部件508可以是相對魯棒的。在這些情況下,姿態識別部件508可以對從姿態檢測組件100所接收的信號執行分析以標識用戶姿態。在其他情況中,設備602可以將輸出和/或其他信息從姿態檢測組件100、姿態識別部件508和/或頻率響應映射表628發送到遠程資源(諸如基于云的資源)以用于處理。例如,基于云的資源可以用于分析信息以標識用戶姿態,訓練系統以能夠標識新的姿態,和/或將新信息添加到音頻響應映射表628。
從一個視角,3D姿態檢測設備602中的任一個設備可以被認為是計算機。如本文使用的術語“設備”、“計算機”或“計算設備”可以意指具有一定量的處理能力和/或存儲能力的任何類型的設備。處理能力可以由一個或多個處理器提供,其可以執行以計算機可讀指令的形式的數據以提供功能。數據(諸如計算機可讀指令和/或用戶相關數據)可以被存儲在存儲裝置(諸如可以在計算機的內部或外部的存儲裝置)上。該存儲裝置可以尤其包括以下各項中的任何一項或多項:易失性或非易失性存儲器、硬盤驅動器、閃速存儲設備和/或光學存儲設備(例如,CD、DVD等)、遠程存儲裝置(例如,基于云的存儲裝置)。如本文所使用的,術語“計算機可讀介質”可以包括信號。相反,術語“計算機可讀存儲介質”排除信號。計算機可讀存儲介質包括“計算機可讀存儲設備”。計算機可讀存儲設備的示例包括易失性存儲介質(諸如RAM)和非易失性存儲介質(諸如硬盤驅動器、光盤和閃速存儲器)等。
如上文所提到的,配置606(2)可以被認為是片上系統(SOC)類型設計。在這樣的情況下,由設備所提供的功能可以被集成在單個SOC上或多個耦合的SOC。一個或多個處理器可以被配置為與共享資源(諸如存儲器、存儲裝置等)和/或一個或多個專用資源(諸如被配置為執行一些特定功能性的硬件塊)相協調。因此,如本文所使用的術語“處理器”還可以指代中央處理單元(CPU)、圖形處理單元(GPU)、控制器、微控制器、處理器核心或其他類型的處理設備。
通常,可以使用軟件、固件、硬件(例如,固定邏輯電路)、人工處理或這些實現的組合來實施本文所描述的功能中的任一個功能。如本文所使用的術語“部件”通常表示軟件、固件、硬件、全部設備或網絡或其組合。在軟件實現的情況下,例如,這些可以表示當被執行在處理器(例如,一個或多個CPU)上時執行特定任務的程序代碼。該程序代碼可以被存儲在一個或多個計算機可讀存儲器設備(諸如計算機可讀存儲介質)中。部件的特征和技術是平臺獨立的,這意味著其可以被實現在具有各種處理配置的各種商業計算平臺上。
圖7到圖9示出了與本公開概念一致的示例3D姿態識別設備使用場景。圖7圖示了用戶700以及平板類型設備602(1)。該平板類型設備602(1)可以具有放置在屏幕702內或下面的姿態檢測組件100(示出在圖7中的剖視圖中)。在該示例中,姿態檢測組件100可以用于檢測用戶700的手與平板設備602(1)的屏幕702的接近度。該用戶700可以在屏幕702的附近在三維中移動他的手,諸如關于圖5中的示例上文所描述的。在圖7中的示例中,與平板設備602(1)相關聯的姿態識別部件508可以將手的3D運動標識為(一個或多個)3D姿態。該姿態識別部件508可以根據姿態來控制平板設備602(1)。
圖8圖示了穿戴智能手表設備602(3)的用戶800。在該示例中,智能手表設備602(3)可以具有嵌入式姿態檢測組件(諸如圖7中的示例中所示的姿態檢測組件100),其可以被用于檢測用戶800的手指與智能手表設備602(3)的表面802的接近度。在該場景中,姿態識別部件508可以將手指的參數標識為(一個或多個)3D姿態。在一些實現中,姿態識別設備中的姿態檢測組件可以通過可以在設備與身體部分之間的(一種或多種)材料來檢測用戶的身體部分的接近度。在智能手表設備602(3)的示例中,用戶可以穿戴長袖襯衫。袖子可以在用戶的手腕上的智能手表設備602(3)上延伸。在該示例中,姿態檢測組件可以通過袖子材料檢測手指。
圖9示出了與冰箱設備602(2)交互的第一用戶900和與數字白板設備602(4)交互的第二用戶902。在這種情況下,姿態檢測組件100(1)可以嵌入或以其他方式與冰箱設備602(2)相關聯。上文和下文提供了其中姿態檢測設備602包括顯示器或屏幕的示例。該姿態檢測設備可以被用在其他場景中。在冰箱設備602(2)的示例中,上冰箱門可以是定位在傳統面板(例如,不透明的表面)后面的姿態檢測設備602。備選地,傳感器單元陣列可以被嵌入在還用作顯示器的冰箱門的一部分中。在其他實現中,姿態檢測組件可以被嵌入在人的家庭、辦公室等中的另一電器、設備或其他硬件中或與人的家庭、辦公室等中的另一電器、設備或其他硬件相關聯。
圖9還示出了與數字白板設備602(4)交互的用戶902。在該示例中,數字白板設備602(4)可以是具有嵌入式姿態檢測組件100(2)的墻上的相對大的顯示器。在圖9中所示的設備602(2)和602(4)的示例中,與設備的屏幕(例如,顯示器)相關聯的嵌入式傳感器單元陣列的表面積可以是相對大的。如此,這些姿態識別設備602可以包括姿態識別部件508,其可以檢測和/或標識可以利用用戶的手臂、手和/或其他身體部分執行的相對地大范圍的姿態。例如,姿態識別部件508可能能夠檢測這用戶的伸出的兩個手臂的3D運動并且將運動或其他參數標識為雙臂用戶姿態,并且根據雙臂用戶姿態控制設備602。
方法示例
圖10示出了用于生成姿態識別系統的訓練數據的示例方法1000。圖11示出了用于訓練姿態識別系統的姿態識別模型的示例方法1100。圖12示出了示例3D姿態識別方法1200。
參考圖10,在塊1002處,方法1000可以將已知對象定位在相對于傳感器單元陣列(諸如圖1中所示的傳感器單元陣列102)的已知3D定向(例如,位置、距離)。例如,用戶的手可以被定位在傳感器單元陣列上的已知距離(z維度)和位置(x和y軸)處。參見例如圖5,其示出了相對于傳感器單元陣列的三個不同的位置和恒定距離處的用戶的手。完成塊1002的一個方式可以是當用戶執行姿態時指點顯示器處的RGBD照相機。可以根據RGBD照相機和傳感器單元陣列的同時輸出來“知道”姿態。
在塊1004處,當對象在已知3D定向時,方法1000以多個頻率驅動傳感器單元陣列中的傳感器單元。在一些情況下,該方法可能需要在改變到下一頻率之前將所有期望的傳感器單元驅動在給定頻率。此外,對于給定頻率而言,可以一次驅動一個傳感器單元(例如,可以以給定頻率順序地驅動傳感器單元)。
在塊1006處,方法1000可以針對多個頻率和已知3D定向收集來自傳感器單元陣列的頻率響應。可以針對另一3D定向重復塊1002-1006(例如,可以向上或向下或橫向地移動用戶的手并且然后可以重復該方法)。此外,在一些實現中,針對多個對象收集頻率響應。例如,可以針對多個用戶重復方法以減小與測試用戶相關聯的偏差(例如,為了更代表全部人員)。例如,訓練數據可能包括針對多個受試者(諸如男人和女人二者)的頻率響應。此外,可以通過在每組條件(例如,用戶、3D定向、頻率)重復方法多次改進結果以降低可變性(諸如與RF信號有關的時間可變性)。
在塊1008處,方法1000可以根據所收集的頻率響應來生成訓練數據。在一些實現中,訓練數據可以包括可以根據定向、頻率、對象和時間的不同的組合生成的數千個頻率響應。在一些情況下,訓練數據可以包括所有頻率響應。在其他情況下,訓練數據可以包括頻率響應的子集。例如,訓練數據可以包括針對用于收集頻率響應的頻率的特定子集的頻率響應。例如,一些頻率可以受給定3D定向的對象的存在更多影響(例如,更多頻率響應方差)。那些高度影響的頻率可以被維持在訓練數據中,同時丟棄其他。
在一些情況下,訓練數據可以顯示為(關于圖6所討論的)頻率響應映射表。該頻率響應映射表可以傳達關于頻率響應的已知信息(例如,對象和對象的3D定向)。在其他情況下,訓練數據可以被用于生成姿態識別模型。下面關于方法1100討論了該方面。
總之,圖10中所示的示例方法1000可以用于開發訓練數據。一般地,可以在姿態檢測組件附近執行已知姿態來產生訓練數據。在一些實現中,不是感測整個姿態,可以在已知固定位置處感測對象。例如,可以以與圖5類似的方式在第一位置、第二位置和第三位置處的已知距離處感測技術人員或用戶的手。可以在第二已知距離處和第三已知距離等處重復過程。可以執行建模以在已知位置之間“填充間隙”。例如,在工廠設置中,技術人員可以執行特定姿態一次或多次并且可以針對姿態記錄頻率響應。在其他情況下,可以通過利用其他傳感器(諸如3D照相機)記錄姿態同時還利用姿態檢測組件感測姿態來“知道”訓練姿態。該訓練數據可以是響應于已知姿態而收集的頻率響應(例如,測量、功率輸出)。可以相對于位置、距離、頻率、對象和/或時間的不同的組合收集頻率響應。總之,訓練數據可以提供信息的兩個方面。第一方面涉及哪些頻率往往提供有用信息。由于幾乎無限范圍的頻率可用于感測,因而感測消費者設備上的所有頻率可能是不實際的。因此,訓練數據可以允許對有用頻率的子集進行過濾。第二,訓練數據可以提供針對已知姿態的頻率響應(例如,簽名)。可以在消費者設備上利用該信息以標識由用戶所執行的姿態。
在一些實現中,可以在代表性3D姿態識別設備上收集訓練數據。在這種情況下,從代表性3D姿態識別設備所收集的訓練數據可以用于訓練可以與多個其他3D姿態識別設備(關于圖11所描述的)一起使用的姿態識別模型。例如,代表性設備可以用于感測制造設施處的訓練數據。該訓練數據可以然后被存儲在針對消費者市場產生的相同模型的所有設備上。
圖11中所示的示例方法1100可以用于訓練姿態識別模型(例如,機器學習模型)以能夠標識已知姿態。
在塊1102處,方法1100可以獲得訓練數據。在一些實現中,可以從關于圖10所描述的方法1000接收訓練數據。
在塊1104處,方法1100可以使用訓練數據來訓練將3D定向映射到姿態的姿態識別模型。例如,姿態識別模型可以被訓練以對對象(例如,用戶的手)相對于姿態檢測設備的3D定向進行分類。在一些實現中,可以使用WEKA機器學習工具箱訓練隨機森林樹模型。在具有針對多個用戶收集的訓練數據的一個示例中,“忽略一個用戶”類型評價可以在訓練中使用,其中來自一個用戶的頻率響應忽略測試數據集,同時來自剩余的用戶的頻率響應被用作訓練數據集。可以重復該過程,針對個體評價忽略來自用戶中的不同用戶的一個的頻率響應,并且在訓練的結束處對來自多個評價的性能結果進行平均。在一些情況下,可以利用10顆樹對隨機森林樹模型進行訓練。當然,可以使用其他訓練技術,諸如支持向量機、神經網絡或隱馬爾可夫模型。
在塊1106處,方法1100可以輸出經訓練的姿態識別模型。
總之,在一些實現中,姿態識別模型可能需要或利用3D姿態識別系統的頻率響應映射表,諸如圖6中所示的頻率響應映射表628。從一個視角,姿態識別模型可以提供可以允許來自訓練數據的推斷以檢測未知的對象和/或3D定向(并且潛在地隨時間)以標識姿態。下面關于圖12討論了該方面。
如上文所指出的,可用于訓練姿態識別模型的訓練數據可以包括數千個頻率響應或測量結果。在一些實現中,訓練方法1100可以使用比可用的頻率響應更小數量的頻率響應(例如,特征)以用于訓練姿態識別模型。例如,訓練方法可以利用較少的可用的訓練數據來訓練附加模型。在該示例中,可以比較利用不同量的訓練數據訓練的不同的模型的結果,以確定可以產生針對姿態識別的可接受的位置和/或距離結果的訓練數據量。該比較的結果可以被用于降低用于標識姿態的傳感器單元陣列掃描的數量。
在一些實現中,訓練方法1100可以被用于降低利用最終使用場景中的傳感器單元陣列掃描的頻率的數量(例如,通過已經約束資源的消費者設備)。附加地或備選地,訓練方法1100可以用于選擇利用傳感器單元陣列掃描的特定頻率。例如,經訓練的姿態識別模型可以示出與其他頻率相比,特定頻率更可用于確定對象相對于姿態識別設備的位置和/或距離。然后,可以優選地選擇特定頻率以用于利用傳感器單元陣列進行掃描。在一些實現中,經訓練的姿態識別模型可以用于降低傳感器單元陣列掃描的數量,其由消費者被用于訓練個體姿態檢測設備上的定制姿態。
圖12示出了示例3D姿態識別方法1200。在這種情況下,在塊1202處,方法1200可以將傳感器單元陣列中的第一個體傳感器單元驅動在來自可用頻率集合的第一頻率。在一些實現中,可以基于來自諸如關于圖11所描述的姿態識別模型的輸出,來選擇可用頻率集合。還如相對于圖11所描述的,可以基于訓練數據來選擇頻率集。備選地,在一些實現中,可以預設(例如,預選擇)頻率或頻率集。例如,頻率的預設組可以被發送到傳感器單元陣列以用于掃描。
在一些實現中,與可用頻率集合的選擇類似,第一個體傳感器單元可以基于來自姿態識別模型的輸出而被選擇、基于訓練數據而被選擇、和/或被預設/被預選擇。第一頻率可以經由交換網絡順序地被發送到第一個體傳感器單元。例如,第一頻率可以被發送到第一單個個體傳感器單元、然后被發送到第二單個個體傳感器單元等。在該示例中,系統的功耗可以比在信號立刻被發送到多個傳感器單元的情況更低。
在塊1204處,方法1200可以從第一個體傳感器單元接收對第一頻率的第一響應。在一些實現中,響應可以是跨個體傳感器單元的頻率偏移。
在塊1206處,方法1200可以將傳感器單元陣列中的第二個體傳感器單元驅動在來自可用頻率集合的第一頻率。在一些情況下,第一頻率和第二頻率可以被發送到所有個體傳感器單元。在其他情況中,第一頻率和第二頻率可以被發送到個體傳感器單元的相同子集。在這種情況下,第一個體傳感器單元和第二個體傳感器單元可以是相同的個體傳感器單元。在一些實現中,第一頻率和第二頻率可以被發送到個體傳感器單元中的不同子集。例如,第一個體傳感器單元和第二個體傳感器單元可以或可以不在個體傳感器單元方面重疊。
在塊1208處,方法1200可以從第二個體傳感器單元接收對第二頻率的第二響應。當然,可以使用傳感器單元陣列中的各個傳感器單元針針對各種頻率收集附加響應。例如,虛線1210指示方法1200可以從塊1208循環返回到塊1202,以用于利用附加頻率驅動附加傳感器單元。例如,雖然在塊1202-1208中明確地喚起僅兩個頻率,但是可以針對數十或數百個頻率重復這些塊。
在塊1212處,方法1200可以根據第一響應和第二響應標識姿態。在一些實現中,姿態的標識可以包括確定對象的參數(諸如對象相對于傳感器單元陣列的3D定向)。而且,在多個時間點處所確定的3D定向(例如,對象的距離和位置)和/或其他參數可以被標識為姿態。在一些實現中,可以將頻率響應與經訓練的姿態識別模型相比較。例如,姿態識別部件(諸如關于圖5至圖9所描述的姿態識別部件508)可以查找用于在訓練期間產生的數據表(諸如關于圖6和圖10所描述的頻率響應映射表628)中的個體頻率的頻率響應。使用頻率響應映射表,姿態識別部件可以確定對象的對應的位置、距離、行進方向、姿態和/或其他參數。當然,盡管針對姿態識別此處明確地描述了第一響應和第二響應,但是姿態識別部件可以使用來自附加頻率的附加響應來標識姿態(關于虛線1210如上文所描述的)。
在一些實現中,姿態識別部件(圖5的508)可以利用方法1200并且可以學習基于由用戶造成的校準和/或根據由用戶造成的校正,來識別位置、距離、姿態和/或其他參數。例如,可以提示用戶在首先使用或設置姿態識別設備時對姿態識別部件進行校正。在另一示例中,如果用戶校正由姿態識別部件做出的姿態的識別,姿態識別部件可以學習識別用戶的姿態的識別。該方面還可以允許用戶創建他/她自己的姿態。例如,用戶可能能夠經由允許用戶執行他/她的新姿態的“設置”控制來訪問圖形用戶界面(GUI)。GUI可以請求用戶重復姿態多次(比如說10次)來增加準確度。姿態識別部件可以收集相關聯的頻率響應并且然后允許用戶將姿態綁定到命令(例如,該姿態意味著例如“播放視頻”)。在一些實現中,姿態的用戶的校準結果和/或用戶的標識可以被添加到頻率響應映射表。
換句話說,映射表可以包括被存儲在工廠處的設備上和/或從用戶獲得的頻率響應。例如,可以在代表設備的模型的設備上執行訓練。接著發生的映射表可以然后被存儲在工廠處的該模型的所有設備上(諸如在設備的存儲器或存儲裝置上)。用戶可以通過對用戶校準個體設備來增強映射表(例如,校準可以解決模型的個體設備的靈敏度和/或個體用戶如何執行姿態的敏感性中的輕微差異)。備選地或附加地,用戶可以將定制姿態添加到映射表(例如,用戶可以訓練設備上的定制姿態和如由用戶所定義的姿態,并且相關聯的頻率響應可以被添加到映射表)。
在一些情況下,姿態識別可以是相對固定的過程。在其他情況下,姿態識別可以是迭代過程。例如,在方法1200中,塊1202和1204可以被認為是姿態識別的第一部分,同時塊1206和1208可以被認為是姿態識別的第二部分。例如,姿態可以被認為具有第一部分和第二部分。在一些情況下,當姿態的第一部分被識別時,可以降低可能姿態的數目。在這些情況下,經訓練的姿態識別模型可以示出給定姿態的第一部分,可以掃描更少的頻率或更低數目的傳感器單元來確定姿態的第二部分。鑒于以上討論,返回參考圖5中的示例,姿態的第一部分可以由實例1和2表示,同時姿態的第二部分可以由實例3表示。在該示例中,姿態的第一部分可以由姿態識別部件508識別為位置中的用戶506的手,其激活實例1處的個體傳感器單元504(1),然后激活實例2處的個體傳感器單元504(2)和504(3)。在一些情況下,姿態識別部件508可以使用經訓練的姿態識別部件確定在實例2之后掃描的個體傳感器單元504可以包括用戶的手的最后檢測的位置附近的個體傳感器單元。姿態識別部件508還可以使用從左到右(例如,實例1到實例2)的手的運動的明顯方向以引導確定接下來掃描哪些傳感器單元。例如,姿態識別部件508可以使用經訓練的姿態識別模型和/或從左到右的運動來確定緊接地在實例2之后,可以掃描個體傳感器單元504(4),同時可以不掃描個體傳感器單元504(1)。
可以通過關于圖1到圖9上文所描述的系統和/或組件和/或通過其他組件、設備和/或系統來執行所描述的方法。描述方法的順序不旨在被解釋為限制的,并且任何數目的所描述的動作可以以任何順序被組合以實施方法或備選方法。而且,可以以任何適合的硬件、軟件、固件或其組合實施方法,使得設備可以實施方法。在一種情況下,方法在計算機可讀存儲介質上被存儲為指令集,使得通過計算設備的運行使得計算設備執行方法。
結論
基于RF的姿態識別系統可以感測三維中的對象的接近度并且使用所感測的信息來標識由對象所執行的3D姿態。不依賴于觸摸傳感器的3D姿態識別的基于RF的方法可以實現與設備更靈活并且自然的輸入和/或交互。基于RF,本方案包括超過當前感測技術的數個不同的優點,其包括在不依賴于視線的情況下工作的能力、容易地被嵌入在任何類型的表面后面的能力、以及縮放到幾乎任何大小的能力,全部同時在與當前接近感測技術類似的功率域進行操作。
基于RF姿態識別系統可以包括對于磨損魯棒、制造便宜、外形較小并且可以制造得小以用于集成到移動設備中的姿態檢測組件。另外,對象與姿態檢測組件之間的交互可以不由之間的介電材料阻礙、在一些情況中的垂直感測范圍中小的、掃描響應簡單、以及具有足夠高的分辨率以區分唯一性。基于RF的姿態識別系統還可以包括用于標識復雜姿態的姿態識別部件。姿態識別部件可以使用經訓練的姿態識別模型和/或學習被定制到設備或用戶的新姿態。
盡管以特定于結構特征和/或方法動作的語言描述了關于設備控制的技術、方法、組件、設備、系統等,但是應理解到,所附的權利要求中定義的主題不必限于所描述的特定特征或動作。相反,特定特征和動作被公開為實施所要求保護的方法、組件、設備、系統等的示例性形式。