用于手勢辨識的平移和尺度不變特征的制作方法
【專利說明】用于手勢辨識的平移和尺度不變特征
【背景技術】
[0001] 本發明大體上涉及用戶裝置或系統，且更確切來說涉及手勢辨識。
[0002] 技術正朝著無接觸人機交互快速前進。可以不需要按鍵或按鈕按壓，而實際上，可 以經由手勢實現人機交互。目前可用的許多手勢辨識系統能夠辨識有限、預編程數目的手 勢。可以由基于辨識關于手勢的一組預編程特性的機器(例如)使用一系列試探法來辨識這 些預編程手勢。然而，這些方法存在許多缺點，例如，需要對手勢中的每一者預編程試探法， 且不能產生新的手勢。在一些情況下，需要預先精確地調節手勢辨識技術，這需要繁瑣的定 時和校準。
[0003] 因此，在所屬領域中需要用于辨識手勢的經改良方法和系統。
【發明內容】
[0004] 呈現方法和系統以用于手勢辨識系統的自動化訓練。在一些實施例中，系統可以 經訓練以檢測手勢而不需要預編程規則或試探法來檢測所述手勢。在已經由訓練數據習得 手勢的情況下，系統可以隨后在實時環境(live setting)中檢測所述手勢。
[0005] 在一些實施例中，呈現一種方法以用于辨識多個所記錄數據對象中的手勢對象的 手勢，所記錄的數據對象隨時間而被記錄。所述方法可以包含使用多個所記錄的數據對象 計算至少一組手勢角度，其中至少一組中的手勢角度中的每一者包括手勢對象的兩個位置 之間的角度測量值，所述兩個位置記錄于多個所記錄的數據對象中的連續數據對象中。所 述方法還可以包含基于至少一組手勢角度辨識手勢。在一些實施例中，辨識手勢進一步基 于將至少一組手勢角度與手勢模型比較。
[0006] 在一些實施例中，所述方法進一步包含基于至少一組手勢角度計算表示角度頻率 的直方圖，其中辨識手勢進一步基于所計算的直方圖與各自表示可辨識手勢的一或多個直 方圖的比較。
[0007] 在一些實施例中，至少一組手勢角度為時間排序的。在一些實施例中，至少一組時 間排序的手勢角度進一步包含第一組時間排序的手勢角度和第二組時間排序的手勢角度， 且第二組時間排序的手勢角度包含第一組時間排序的手勢角度的子部分。在一些實施例 中，辨識手勢進一步基于:將第一組時間排序的手勢角度與手勢模型比較；以及將第二組時 間排序的手勢角度與手勢模型的第一子部分比較。在一些實施例中，至少一組時間排序的 手勢角度進一步包含第三組時間排序的手勢角度，且第三組時間排序的手勢角度包含第二 組時間排序的手勢角度的子部分。在一些實施例中，辨識手勢進一步基于將第三組時間排 序的手勢角度與手勢模型的第一子部分的子部分比較。
[0008] 在一些實施例中，第一組時間排序的手勢角度進一步包含第三組時間排序的手勢 角度，且第三組時間排序的手勢角度包含第一組時間排序的手勢角度的子部分，所述子部 分不包含第二組時間排序的手勢角度中包含的手勢角度中的任一者。在一些實施例中，辨 識手勢進一步基于將第三組時間排序的手勢角度與手勢模型的第二子部分比較，所述第二 子部分不包含手勢模型的第一子部分中的任一者。在一些實施例中，辨識手勢進一步基于： 將第二組時間排序的手勢角度與第三組時間排序的手勢角度級聯，以產生一組級聯的時間 排序手勢角度;將手勢模型的第一子部分與手勢模型的第二子部分級聯，以產生手勢模型 的級聯子部分；以及將所述組級聯的時間排序手勢角度與手勢模型的級聯子部分比較。
[0009] 在一些實施例中，手勢模型包含至少一組經訓練的時間排序手勢角度，所述組經 訓練的時間排序手勢角度在辨識手勢對象的手勢之前被產生。
[0010] 在一些實施例中，呈現一種設備。所述設備可以包含經配置以隨時間記錄多個數 據對象中的手勢對象的至少一個記錄裝置。所述設備還可以包含經配置以進行以下操作的 處理器:使用多個所記錄的數據對象計算至少一組手勢角度，其中至少一組中的手勢角度 中的每一者包括手勢對象的兩個位置之間的角度測量值，所述兩個位置記錄于多個所記錄 的數據對象中的連續數據對象中；且基于至少一組手勢角度辨識手勢。在一些實施例中，處 理器經進一步配置以將至少一組手勢角度與手勢模型比較。
[0011] 在一些實施例中，呈現另一設備。所述設備可以包含：用于使用多個所記錄的數據 對象計算至少一組手勢角度的裝置，其中至少一組中的手勢角度中的每一者包括手勢對象 的兩個位置之間的角度測量值，所述兩個位置記錄于多個所記錄的數據對象中的連續數據 對象中；以及用于基于至少一組手勢角度辨識手勢的裝置。在一些實施例中，用于辨識手勢 的裝置進一步基于用于將至少一組手勢角度與手勢模型比較的裝置。
[0012] 在一些實施例中，呈現一種非暫時性處理器可讀媒體。處理器可讀媒體可以包含 經配置以致使處理器進行以下操作的處理器可讀指令:隨時間記錄多個數據對象中的手勢 對象;使用多個所記錄的數據對象計算至少一組手勢角度，其中至少一組中的手勢角度中 的每一者包括手勢對象的兩個位置之間的角度測量值，所述兩個位置記錄于多個所記錄的 數據對象中的連續數據對象中；且基于至少一組手勢角度辨識手勢。在一些實施例中，指令 經進一步配置以致使處理器將至少一組手勢角度與手勢模型比較。
【附圖說明】
[0013] 可以通過參考以下各圖來實現對各種實施例的性質和優點的理解。在附圖中，類 似的組件或特征可以具有相同的參考標簽。此外，可以通過在參考標簽后面跟著短劃線和 區分類似組件的第二標簽來區分相同類型的各種組件。如果在說明書中僅使用第一參考標 簽，那么描述適用于具有相同的第一參考標簽的類似組件中的任一者，而與第二參考標簽 無關。
[0014] 圖1為可以實施本發明的各種實施例的實例裝置。
[0015]圖2說明根據一些實施例的與實例裝置交互的用戶。
[0016] 圖3A、3B和3C說明根據一些實施例的手勢的實例數據分析。
[0017] 圖4說明根據一些實施例的可以被解決的手勢辨識中的實例問題。
[0018] 圖5說明根據一些實施例的手勢的額外實例數據分析。
[0019] 圖6說明根據一些實施例的可以被解決的手勢辨識中的另一實例問題。
[0020] 圖7A和7B為說明根據一些實施例的方法的實例流程圖。
[0021 ]圖8為根據一些實施例的計算裝置的框圖。
【具體實施方式】
[0022] 現在將關于形成本文的一部分的附圖來描述若干說明性實施例。雖然下文描述可 以實施本發明的一或多個方面的特定實施例，但可以使用其它實施例，且可以在不脫離本 發明的范圍或所附權利要求書的精神的情況下進行各種修改。
[0023] 參考圖1，實例計算裝置100可以經配置以實施本發明的一個或多個方面。舉例來 說，計算裝置1〇〇可以是智能電話、平板計算機、個人數字助理或裝備有允許計算裝置1〇〇以 用戶輸入的形式捕捉運動和/或其它所感測到的狀況的一或多個傳感器的其它移動裝置。 在一些實施例中，計算裝置100不是移動裝置，且可以是(例如）臺式計算機、游戲機、靜止傳 感器或攝像機，或無線或有線地耦合在一起的機器的系統。計算裝置100可以裝備有、以通 信方式耦合到和/或以其它方式包含一或多個攝影機、麥克風、接近度傳感器、陀螺儀、加速 計、壓力傳感器、手握感測器、觸摸屏、電流或電容式傳感器、超聲波傳感器、運動傳感器和/ 或其它傳感器。除包含一或多個傳感器以外，計算裝置100還可以包含一或多個處理器、存 儲器單元和/或其它硬件組件，如下文更詳細描述。
[0024] 在一或多個布置中，計算裝置100可以單獨或組合使用這些傳感器中的任一者和/ 或全部來辨識由裝置的一或多個用戶執行的手勢。舉例來說，計算裝置100可以使用一或多 個攝影機來捕捉由用戶執行的手部和/或臂部移動，例如手部揮動或輕掃運動，以及其它可 能的移動。另外，例如，例如由用戶執行的全身移動(例如，行走、跳舞等)等更復雜和/或大 尺度的移動同樣可以由一或多個攝像機(和/或其它傳感器)來捕捉且隨后由計算裝置100 辨識為手勢。在又一實例中，計算裝置100可以使用一或多個觸摸屏來捕捉由用戶提供的基 于觸摸的用戶輸入，例如，收縮、輕掃和扭轉，以及其它可能的移動。雖然此處將可以單獨被 視為手勢和/或可以與其它移動或動作組合以形成更復雜手勢的這些樣本移動作為實例加 以描述，但運動、移動、動作或其它傳感器捕捉的用戶輸入的任何其它排序同樣可以被實施 本發明的一或多個方面的計算裝置(例如，計算裝置100)作為手勢輸入加以接收和/或將作 為手勢加以辨識。
[0025] 在一些布置中，舉例來說，例如運動傳感器、攝影機或超聲波傳感器等傳感器可以 用于基于辨識出用戶的手勢或手勢的變化而控制計算機或集線器。不同于可能受指紋的有 害遮蔽影響的一些觸摸屏系統，基于傳感器的手勢輸入可以允許基于用戶的自然的身體移 動或姿勢清晰地顯示或以其它方式輸出照片、視頻或其它圖像。記住此優點，可以辨識允許 用戶觀察、鏡頭移動（即，移動）、設定大小、旋轉和對圖像對象執行其它操縱的手勢。
[0026] 如本文中所使用，"手勢"希望指代用人體的部分或"手勢對象"進行的非言語交流 形式，且與例如話語等言語交流形成對比。還可以從作為人體的部分或從人體的一部分延 伸的工具或儀器(例如，旗、桿、棒等等)來辨識手勢。因此，手勢對象可以包含人體的一部分 和/或由人體握持或附接于人體的對象。可以通過第一位置、姿勢或表情與第二姿勢、位置 或表情之間的移動、改變或變換來定義手勢。日常交談中所使用的常見手勢包含(例如）"兩 手在空中比兔子耳朵"手勢、鞠躬、屈膝禮、親面頰、手指或手部運動、屈膝、頭部搖動或移 動、舉手擊掌、點頭、苦臉、舉起拳頭、敬禮、豎大拇指運動、收縮手勢、手部或身體扭動或指 手指手勢。可以使用圖像傳感器(例如通過分析用戶的圖像），使用傾斜傳感器(例如通過檢 測用戶握持或傾斜裝置的角度），使用超聲波傳感器或通過任何其它方法檢測手勢。
[0027] 手勢對象可以通過改變其位置（即，揮動運動)做出手勢（或"打手勢"），或手勢對 象可以在不改變其位置的情況下（即，通過做出握緊拳頭的手勢)打手勢。在一些布置中，手 部和臂部手勢可以用于經由攝影機輸入影響功能性的控制，而在其它布置中，還可以使用 其它類型的手勢。另外或替代地，可以在做出和/或檢測一或多個手勢時移動手和/或其它 身體部分(例如，臂、頭、軀干、腿、腳等）。舉例來說，一些手勢可以通過移動一或多個手來執 行，而其它手勢可通過移動一或多個手并移動一或多個臂、一或多個腿等等來執行。
[0028] 呈現方法和設備以用于手勢辨識系統的自動化訓練。典型手勢辨識算法時常基于 經預編程的試探法尋找輸入數據中的一些特性(例如，