基于上下文的手勢識別的制作方法

本申請總體上涉及手勢識別技術，包括但不限于從圖像數據識別手勢的方法、系統、和非暫時性計算機可讀介質。

背景技術：

1、現有的手勢識別解決方案通常要求在靠近攝像頭(例如，距離小于1米)的地方捕獲手勢(例如，手勢、面部動作等)，以準確檢測手勢。隨著手勢與成像設備之間的距離增加，手勢變得更小并且和與手勢同時捕獲的許多其他對象混合在一起。為了克服這些挑戰，應用于手勢識別的電子設備例如通過放大并將視野限制在小區域內而調整為聚焦于包含手勢的小區域。然而，一些電子設備在捕獲圖像之前無法聚焦于特定手勢，并且需要裁剪圖像以獲得包含該區域的小區域。其他解決方案依賴于強大的深度學習模型或檢測和分類過程的融合，因此需要大量的計算資源來進行手勢檢測和識別。因此，擁有能夠準確高效地檢測包括可能距離攝像頭較遠并且與圖像背景混合的手勢的圖像中捕獲的手勢的系統和方法將是有益的。

技術實現思路

1、本申請的各個實施例針對手勢識別技術，該手勢識別技術融合了局部手勢信息和上下文手勢信息，以提高手勢識別的準確性和效率。局部手勢信息包括有關手勢或執行手勢的身體部分的信息，上下文手勢信息包括有關諸如環境(例如，辦公室)的手勢周圍環境、手勢相對于用戶的位置、和/或其他因素的信息。此外，在一些實施例中，應用初始手勢分類來簡化檢測和分類過程，從而提高整體效率。在一些實施例中，基于上下文信息識別一個或多個手勢(例如，將手移到嘴邊以表示安靜)。圖像中的這種上下文信息用于提高手勢識別的準確性并減少誤報數量。在示例中，上下文信息用于區分局部手勢、上下文手勢、和/或非手勢。

2、在一方面，提供了一種手勢分類方法。該方法包括：獲得包括手部區域的圖像；檢測圖像中的手部區域；從圖像的手部區域確定第一手勢；從圖像(例如，整個圖像)確定第二手勢。該方法還包括：根據確定第一手勢不是多個上下文手勢中的任何手勢，確定圖像的最終手勢是第一手勢；根據確定第一手勢是多個上下文手勢之一，基于第二手勢和第二置信度分數確定最終手勢，第二手勢和第二置信度分數與圖像(例如，整個圖像)關聯。

3、在一些實施例中，從圖像的手部區域確定第一手勢還包括：從圖像的手部區域生成第一手勢向量。第一手勢向量的每個元素對應于相應手勢并且表示包括相應手勢的手部區域的相應第一置信度水平。該方法還包括：從第一手勢向量確定第一手勢和第一手勢置信度分數。在一些實施例中，該方法還包括：將圖像中的手部區域的檢測與包圍盒置信度分數關聯，將包圍盒置信度分數與第一手勢關聯的置信度分數結合，以生成第一手勢置信度分數。在一些實施例中，第一手勢包括對應于第一手勢向量的每個元素的相應第一置信度水平中的最大第一置信度水平的相應手勢，并且第一手勢置信度分數等于第一手勢向量的每個元素的相應第一置信度水平中的最大第一置信度水平。

4、在一些實施例中，從圖像確定第二手勢還包括：從圖像(例如，整個圖像)生成第二手勢向量。第二手勢向量的每個元素對應于相應手勢并且表示包括相應預定義手勢的圖像的相應第二置信度水平。該方法還包括：從第二手勢向量確定第二手勢和第二手勢置信度分數。在一些實施例中，第二手勢包括對應于第二手勢向量的每個元素的相應第二置信度水平中的最大第二置信度水平的相應手勢，并且第二手勢置信度分數等于第二手勢向量的每個元素的相應第二置信度水平中的最大第二置信度水平。

5、在一些實施例中，該方法包括：在確定第一手勢是否是多個上下文手勢中的至少一個之前，確定第一手勢置信度分數是否大于第二閾值p2，并且根據確定第一手勢置信度分數小于第二閾值p2，確定圖像不與任何手勢關聯。在一些實施例中，該方法還包括：在確定第一手勢是否是多個上下文手勢中的至少一個之前，確定第二手勢的第二手勢置信度分數是否大于第一閾值p1，并且根據確定第二手勢的第二手勢置信度分數小于第一閾值p1，確定圖像不與任何手勢關聯。

6、在一些實施例中，基于第二手勢和第二置信度分數確定最終手勢還包括：根據確定第一手勢和第二手勢彼此不同，確定圖像不與任何手勢關聯。該方法還包括：根據確定第一手勢和第二手勢彼此相同，(1)根據確定第三置信度分數超過綜合置信度閾值，確定最終手勢是第二手勢；以及(2)根據確定第三置信度分數不超過綜合置信度閾值，確定圖像不與任何手勢關聯。

7、在一些實施例中，該方法還包括：使用濾波函數對最終手勢進行濾波，該濾波函數用于借助時間信息(即來自先前圖像的結果)識別誤報。在一些實施例中，濾波函數是卷積函數、傅里葉濾波函數、或卡爾曼濾波器之一。在一些實施例中，濾波函數是時間的函數。

8、在另一方面，一些實施方式包括一種電子設備，該電子設備包括一個或多個處理器和其上存儲有指令的存儲器，當由一個或多個處理器執行時，該指令使得處理器執行上述任何方法。

9、在另一方面，一些實施方式包括一種非暫時性計算機可讀介質，其上存儲有指令，當由一個或多個處理器執行時，該指令使得處理器執行上述任何方法。

10、提及這些示例性的實施例和實施方式并非用于限制或定義本公開，而是用于提供示例以幫助理解本公開。具體實施方式中討論了更多的實施例，并提供了進一步說明。

技術特征：

1.一種手勢分類方法，由電子設備實現，所述方法包括：

2.根據權利要求1所述的方法，其中，從所述圖像確定所述第二手勢還包括：

3.根據權利要求2所述的方法，其中，所述第二手勢包括對應于所述第二手勢向量的每個元素的相應第二置信度水平中的最大第二置信度水平的相應手勢，并且所述第二手勢置信度分數等于所述第二手勢向量的每個元素的相應第二置信度水平中的所述最大第二置信度水平。

4.根據權利要求1-3中任一項所述的方法，還包括：

5.根據前述權利要求中的任一項所述的方法，其中，從所述圖像的所述手部區域確定所述第一手勢還包括：

6.根據權利要求5所述的方法，還包括：

7.根據權利要求5或6所述的方法，其中，所述第一手勢包括對應于所述第一手勢向量的每個元素的相應第一置信度水平中的最大第一置信度水平的相應手勢，并且所述第一手勢置信度分數等于所述第一手勢向量的每個元素的相應第一置信度水平中的所述最大第一置信度水平。

8.根據權利要求5-7中任一項所述的方法，還包括：

9.根據前述權利要求中的任一項所述的方法，其中，基于所述第二手勢和所述第二手勢置信度分數確定所述最終手勢還包括：

10.根據前述權利要求中的任一項所述的方法，還包括使用濾波函數對所述最終手勢進行濾波，其中，所述濾波函數用于識別誤報。

11.根據權利要求10所述的方法，其中，所述濾波函數是卷積函數、傅里葉濾波函數、或卡爾曼濾波器之一。

12.根據權利要求10或11所述的方法，其中，所述濾波函數是時間的函數。

13.一種電子設備，包括：

14.一種非暫時性計算機可讀介質，其上存儲有指令，當由一個或多個處理器執行時，所述指令使得所述一個或多個處理器執行根據權利要求1-12中任一項所述的方法。

技術總結
本申請旨在識別圖像中的手勢。電子設備獲得包括手部區域的圖像并檢測圖像中的手部區域。從圖像的手部區域確定第一手勢，并從圖像確定第二手勢。根據確定第一手勢不是多個上下文手勢中的任何手勢，電子設備確定圖像的最終手勢是第一手勢。相反，根據確定第一手勢是多個上下文手勢之一，電子設備基于與圖像關聯的第二手勢和相應的置信度分數從圖像確定最終手勢。

技術研發人員：劉杰,周揚
受保護的技術使用者：創峰科技
技術研發日：
技術公布日：2024/12/26