用于追蹤正在執行鍛煉的用戶的手部和/或腕部旋轉的方法和設備與流程

用于追蹤正在執行鍛煉的用戶的手部和/或腕部旋轉的方法和設備發明領域本發明涉及手部和/或腕部旋轉追蹤，并且特別是涉及用于追蹤正在執行鍛煉的用戶的手部和/或腕部旋轉的方法和設備。

背景技術：
一種基于單個攝像機和標識器的中風康復系統是新興市場的高性價比解決方案。通過電視機，中風后的患者可以根據屏幕上的由醫生/臨床醫學家規定的指導來自己進行康復鍛煉。WO2008/099301A1公開了一種用于引導和監管身體鍛煉的反饋裝置。盡管所述反饋裝置利用了戴在身上的傳感器或標識器以及攝像機系統來檢測人員的身體姿勢和/或身體運動，但所述反饋裝置只能檢測到整體的身體姿勢，而不能在(例如)手部和/或腕部的旋轉鍛煉中準確地檢測角度變化。特別地，在所有康復鍛煉中，與手部和/或腕部相關的旋轉運動是中風后患者的重要鍛煉。在具有任意形狀(如橢圓形球或立方體)的戴在手上的標識器的情形中，基于單個攝像機的系統難以追蹤3個自由度的手部旋轉。在多數情況下，為了完成此任務，必須在手部使用另外的標識器或其它模式(如加速計)來幫助追蹤旋轉。

技術實現要素：
為了簡化系統實施并減少用于手部和/或腕部旋轉追蹤的標識器的數量，本發明的發明人仔細研究了與所有類型的手部/腕部旋轉有關的鍛煉，并且發現這些鍛煉可以被分類成兩種類別：即，與攝像機獲取的標識器圖像的面積改變無關的第一類(例如，手部/腕部旋轉以及前臂旋前和旋后)；和與攝像機獲取的標識器圖像的面積改變有關的第二類(例如，腕部背屈和掌屈)。另外，本發明人認識到，對于屬于第一類的鍛煉來說，手部和/或腕部旋轉追蹤可由線性擬合算法來實施，而對于屬于第二類的鍛煉來說，手部/腕部旋轉追蹤可由面積角度映射算法實施。然而，并非所有的任意形狀的標識器都可以用于這兩種算法。換句話說，所述兩種算法應當結合被特別設計的戴在手上的標識器來使用，以使這兩種算法同時可行。用這種方法，戴在手上的單個標識器足以用于手部和/或腕部旋轉追蹤，使得可簡化系統的實施并可節省標識器或其它加速計的成本。如上文提及，本發明的發明人已發現，戴在手上的標識器的形狀不能是任意的，尤其是對于線性擬合算法來說。例如，如果標識器在攝像機上的投影是圓形形狀或方形形狀，則由攝像機獲取的圖像不能被線性擬合成線，因此由標識器運動代表的手部/腕部旋轉不能被線性擬合算法識別。因此，根據上文，本發明人已發現，為了在單個標識器的情況下使手部和/或腕部旋轉追蹤同時適合用于面積角度映射算法和線性擬合算法，標識器在攝像機上的投影應當是類似矩形的形狀，且優選地具有細長的矩形形狀以便適合用于線性擬合。換句話說，標識器的投影不應當是圓形形狀或方形形狀等。特別地，根據本發明的一個方面，提供一種追蹤正在執行鍛煉的用戶的手部和/或腕部旋轉的方法，其中用戶在他/她的手部佩戴有標識器，所述方法包括以下步驟：-當手部分別處于第一姿勢和第二姿勢時通過攝像機獲取所述標識器的第一圖像和第二圖像；-基于所述第一圖像和第二圖像以及用戶正在執行的鍛煉的類型，根據從第一姿勢到第二姿勢的改變導出手部和/或腕部的角度變化；以及-輸出所述手部和/或腕部的角度變化，其中所述標識器近似于矩形塊，所述標識器具有用于容納用戶的手掌的開口，并且標識器的沿著垂直于手掌的方向的邊大致比另外兩邊短。由于標識器的沿著垂直于手掌的方向的邊大致比另外兩邊短，因此其在攝影機上的投影是矩形形狀的且可被線性擬合成線。因此，具有上述形狀的戴在手上的標識器適合用于線性擬合算法。因此，通過本發明的方法，戴在手上的單個標識器足以用于手部和/或腕部旋轉追蹤，使得可簡化系統實施并且可節省標識器或其它加速計的成本。根據本發明的實施例，當用戶正在執行的鍛煉類型與前臂旋后和旋前有關并且第一圖像和第二圖像均為細長的時，導出步驟包括以下子步驟：-將第一圖像和第二圖像分別擬合成第一線和第二線；以及-計算第一線和第二線之間的角度作為手部和/或腕部的角度變化。用這種方法，如上文提及，可以通過利用線性擬合算法結合戴在手上的簡單標識器來容易地執行此類鍛煉的手部和/或腕部旋轉追蹤。另外，根據本發明的實施例，當用戶正在執行的鍛煉類型與腕部背屈和掌屈有關時，導出步驟包括以下子步驟：-分別計算第一圖像和第二圖像的第一面積和第二面積；-通過查找預定義表將第一面積映射到第一角度，所述第一角度指示當標識器處于第一姿勢時所述標識器所位于的平面相對于基準平面的角度；-通過查找預定義表將第二面積映射到第二角度，所述第二角度指示當標識器處于第二姿勢時所述標識器所位于的平面相對于基準平面的角度；以及-計算第一角度和第二角度之間的角度差作為手部和/或腕部的角度變化。用這種方法，如上文提及，可以通過利用面積映射算法結合戴在手上的簡單標識器來容易地執行此類鍛煉的手部和/或腕部旋轉追蹤。關于如何建立預定義表，根據本發明的優選實施例，為了區分具有相同面積但對應于不同姿勢的兩個圖像(例如，兩個圖像具有相同面積但分別是在腕部屈曲和伸展期間獲取的)，一種選項是將其中獲取的標識器的圖像的面積為最小值時的標識器平面視為基準平面，并參考標識器的中心來區分對應于相同面積的所獲取圖像的不同姿勢的符號。根據本發明的另一方面，提供一種用于追蹤正執行鍛煉的用戶的手部和/或腕部旋轉的設備，其中用戶在他/她的手部佩戴有標識器，所述設備包括：-攝像機，所述攝像機被配置成當手部分別處于第一姿勢和第二姿勢時獲取標識器的第一圖像和第二圖像；-處理器，所述處理器被配置成基于所述第一圖像和第二圖像以及用戶正在執行的鍛煉類型，根據從第一姿勢到第二姿勢的改變導出手部和/或腕部的角度變化；以及-界面，所述界面被配置成輸出手部和/或腕部的角度變化，其中所述標識器近似于矩形塊，所述標識器具有用于容納用戶的手掌的開口，并且標識器的沿著垂直于手掌的方向的邊大致比另外兩邊短。如上文提及，由于具有上述形狀的戴在手上的標識器適合用于線性擬合算法，因此，通過利用本發明的設備，戴在手上的單個標識器足以用于手部和/或腕部旋轉追蹤，使得可簡化系統實施并且可節省標識器或其它加速計的成本。根據本發明的另一個實施例，所述處理器還被配置成基于角度變化和鍛煉的設置目標來產生指令信息，并且所述界面還被配置成通過視頻和/或音頻將所述指令信息提供給用戶。用這種方法，所述設備可提供以可理解的方式示出或提供給用戶的實時反饋，所述實時反饋基本上是檢測結果的顯示或者是語音提示。因此，改善了用戶的體驗。根據本發明的實施例，標識器具有三個邊a、b和c，當用戶將他/她的手掌放入開口中時，所述三個邊分別對應于手掌的厚度、長度和寬度。在優選的實施例中，a、b和c的尺寸是：a＝55mm～75mm，b＝195mm～220mm，c＝155mm～170mm，以便貼合人手的形狀，使得標識器對用戶來說更為舒適和更為方便。關于標識器的類型和將在本發明中使用的攝像機，反向反射性標識器和紅外線攝像機的組合可為優選的。使用反向反射性標識器的優點是，可實現與非反射性區域相比極高的對比度，因此對于圖像分割來說是有利的。通過將標識器放在患者身體某些部位處(如上肢關節)，可追蹤臂部運動。然而，本發明的實施并不限于“反向反射性標識器和紅外線攝像機”的組合，而是可用于其它基于“標識器+攝像機”的配置中。例如，標識器未必是反向反射性標識器，而是可僅為紅色或可與標識器的周圍環境區分的任何其它顏色的任意標識器。在這種情況下，如果攝像機中使用的算法可通過色彩辨別來分割圖像元素，則攝像機可為任意攝像機。換句話說，可利用其它類型的標識器和攝像機，只要攝像機獲取的標識器圖像可與周圍事物的圖像區分開即可。根據結合附圖做出的說明，本發明的其它目的和優點將變得更顯而易見，且參考所述說明，將易于理解本發明的其它目的和優點。附圖說明結合實施例并參考附圖，將在下文中更詳細地描述和解釋本發明，圖中：圖1a-1c分別示出了戴在手上的標識器的俯視圖、前視圖和側視圖；圖2示出了戴在手上的標識器的透視圖；圖3示出了根據本發明實施例的戴在手上的標識器的幾何形狀；圖4是示出在前臂旋前和旋后期間對手部初始姿勢的定義的示意圖；圖5是示出了通過利用線性擬合算法獲得的手部和/或腕部的角度變化的示意圖；圖6是示出了在腕部屈曲和伸展期間戴在手上的標識器在前視圖中的面積改變的示意圖；圖7是根據本發明的實施例追蹤正在執行鍛煉的用戶的手部和/或腕部旋轉的方法的流程圖；圖8是根據本發明的實施例用于追蹤正在執行鍛煉的用戶的手部和/或腕部旋轉的設備的方框圖；以及圖9示出了角度變化在顯示器上的實時反饋中的呈現。附圖中的相同元件符號指示相似或對應的特征和/或功能。具體實施方式下文將參照附圖更詳細地描述本發明的實施例。戴在手上的標識器不應當僅適合于由中風后患者佩戴，而是應當也在技術上支持三個自由度的旋轉追蹤。中風患者難以佩戴具有單獨護套設計的手套，因此，基本形狀應當被設計成無指手套。圖1a-1c分別示出了戴在手上的標識器的俯視圖、前視圖和側視圖。反向反射性材料被涂敷在手套(即，戴在手上的標識器)外側以反射紅外光。圖2另外示出了所述戴在手上的標識器的透視圖。如根據圖2可見，手套具有翻轉式設計，尤其有助于肢體一側具有功能障礙的用戶更方便地戴上手套。圖3示出了根據本發明實施例的戴在手上的標識器的幾何形狀。如根據圖3可見，標識器的形狀是大致立方體的。所述標識器具有三個邊a、b和c，當用戶將他/她的手掌放入開口中時，所述三個邊分別對應于手掌的厚度、長度和寬度。根據本發明，a、b和c中的至少一個與另外兩個不同，使得組成所述立方體的六個側表面中的至少一對側表面是矩形的，并且能夠被線性擬合成線。在圖3所示的實施例中，所述標識器近似于矩形塊，所述標識器具有用于容納用戶手掌的開口，并且標識器的沿著垂直于手掌的方向的邊大致比另外兩邊短。由于標識器的沿著垂直于手掌的方向的邊大致比另外兩邊短，因此其在攝影機上的投影是矩形形狀的且可被線性擬合成線。因此，具有上文提及形狀的戴在手上的標識器適合用于線性擬合算法。根據本發明的實施例，為了使標識器適合于人手的形狀，優選地使b>c>a。另外，為了改善用戶的穿著性能，a優選地被選擇為介于55mm～75mm的范圍內，b優選地被選擇為介于195mm～220mm的范圍內，且c優選地被選擇為介于155mm～170mm的范圍內。另外優選地是，根據用戶的性別來選擇這些參數，以便考慮到男性或女性用戶的手形。例如，對于成人男性用戶來說，a＝60mm～75mm，b＝205mm～220mm，c＝160mm～170mm；而對于成年女性用戶來說，a＝55mm～65mm，b＝195mm～210mm，和c＝155mm～165mm。在本發明的優選實施例中，a可被選擇為63mm，b可被選擇為210mm，且c可被選擇為165mm。如上文提及，本發明的發明人已發現，這些與手部和/或腕部旋轉有關的鍛煉可以被分類成兩個類別：與攝像機獲取的標識器圖像的面積改變無關的第一類(例如，手部/腕部旋轉以及前臂旋前和旋后)；和與攝像機獲取的標識器圖像的面積改變有關的第二類(例如，腕部背屈和掌屈)。另外，本發明人已認識到，對于屬于第一類的鍛煉來說，手部和/或腕部旋轉追蹤可由線性擬合算法來實施，而對于屬于第二類的鍛煉來說，手部和/或腕部旋轉追蹤可由面積角度映射算法實施。在下文中，參照圖4和5示出了手部和/或腕部旋轉以及前臂旋前和旋后作為第一類鍛煉的實例。圖4是示出在前臂旋前和旋后期間對手部初始姿勢的定義的示意圖。如根據圖4可見，可選擇其中手部垂直于水平面的姿勢(即，圖4所示的手的0°位置)作為用于前臂旋前和旋后鍛煉的手部初始姿勢。圖5是示出了通過利用線性擬合算法獲得的手部和/或腕部的角度變化的示意圖。根據線性擬合算法，當將標識器戴在手部并由攝像機成像時，第一圖像和第二圖像是細長的，且標識器圖像的所有像素將被擬合成沿著圖像長度方向的線。如果當手部處于第一姿勢時所獲取的標識器圖像擬合成所述第一線，并且當手部處于第二姿勢時所獲取的標識器圖像擬合成所述第二線，則第一線和第二線之間的角度可被計算作為手部和/或腕部的角度變化。請注意，雖然本發明實施例的第一姿勢與初始姿勢相同，但第一姿勢也可偏離初始姿勢。例如，所述第一姿勢可并非圖4所示的手部的0°位置，而可以是圖4的左側所示的手部的80°位置。在下文中，參照圖6將腕部背屈和掌屈作為第二類鍛煉的實例示出。圖6是示出了在腕部背屈和掌屈期間戴在手上的標識器在前視圖中的面積改變的示意圖。如根據圖6可見，標識器的面積由于不同的腕部屈曲和伸展角度而改變。戴在手上的標識器被設計成當用戶在橫向平面內執行腕部背屈和掌屈時具有某種形狀。如果標識器圖像的最小面積表示腕部的自然位置，并且將標識器圖像的面積為最小值時標識器所在的平面視為基準平面(0°位置)，則標識器圖像的最大面積將表示腕部的90°屈曲或伸展。為了區分腕部的伸展或屈曲，可追蹤標識器的中心并將其與腕部處于自然位置時它的初始位置進行比較。在屈曲鍛煉的情形中標識器的中心位置應當與在伸展鍛煉的情形中的所述位置相反。就這一點而言，如本領域的技術人員可容易地理解，標識器的中心位置僅為區分伸展和屈曲的方式的一個實例，同時可采用在手套或其它基準物中的其它位置，只要其可用于此目的即可。圖7是根據本發明的實施例追蹤正在執行鍛煉的用戶的手部/腕部旋轉的方法的流程圖。如圖7所示，提議了一種追蹤正在執行鍛煉的用戶的手部/腕部旋轉的方法70。特別地，此方法70是結合上述戴在手上的標識器使用的，并且包括獲取步驟71、導出步驟72和輸出步驟73。首先，通過攝像機獲取當手部分別處于第一姿勢和第二姿勢時標識器的第一圖像和第二圖像(步驟71)。然后，基于所述第一圖像和第二圖像以及用戶正在執行的鍛煉類型，導出與從第一姿勢到第二姿勢的改變相關聯的手部和/或腕部的角度變化(步驟72)。將要使用的算法是根據用戶正在執行的鍛煉類型來選擇的。例如，當用戶正在執行的鍛煉類型與前臂旋后和旋前有關并且第一圖像和第二圖像是細長的時，通過使用線性擬合算法來導出手部和/或腕部的角度變化。另外，當用戶正在執行的鍛煉類型與腕部背屈和掌屈有關時，通過使用面積角度映射算法來導出手部和/或腕部的角度變化。根據本發明的實施例，當用戶正在執行的鍛煉類型與前臂旋后和旋前有關并且第一圖像和第二圖像均為細長的時，導出步驟包括以下子步驟：-將第一圖像和第二圖像分別擬合成第一線和第二線；以及-計算第一線和第二線之間的角度作為手部和/或腕部的角度變化。此處將省略線性擬合算法的細節，因為上文已結合圖4-5描述了這一點。根據本發明的實施例，當用戶正在執行的鍛煉類型與腕部背屈和掌屈有關時，導出步驟包括以下子步驟：-分別計算第一圖像和第二圖像的第一面積和第二面積；-通過查找預定義表將第一面積映射到第一角度，所述第一角度指示當標識器處于第一姿勢時所述標識器所位于的平面相對于基準平面的角度；-通過查找預定義表將第二面積映射到第二角度，所述第二角度指示當標識器處于第二姿勢時所述標識器所位于的平面相對于基準平面的角度；和-計算第一角度和第二角度之間的角度差作為手部和/或腕部的角度變化。關于如何建立查找表，根據本發明的優選實施例，將其中標識器圖像的面積為最小值處的標識器平面視為基準平面(0°位置)。因此，其中標識器圖像的面積為最小值處的姿勢可被選擇作為鍛煉的初始姿勢。類似于線性擬合的情形，雖然本發明實施例中的第一姿勢可與初始姿勢相同，但所述第一姿勢也可與初始姿勢不同。換句話說，第一姿勢可并非在0°位置處(圖6中間所示的位置)，而是可為圖6所示的任何其它位置。在另一個實施例中，為了區分兩個姿勢，其中在所述兩個姿勢處，標識器圖像的面積相同，并且當手部處于所述兩個姿勢時標識器的平面位于基準平面的兩個側上，一種選項是參照標識器的中心來區分這兩個姿勢并將兩個角度分配給所述兩個姿勢，其中所述兩個角度的量值相同但符號不同。如上文提及，本領域的技術人員可容易地理解，參照標識器的中心位置僅為區分伸展和屈曲的方式的一個實例；可采用在標識器或其它基準物中的其它位置，只要其可用于此目的即可。一旦獲得了手部和/或腕部的角度變化，便可將其輸出給用戶(步驟73)。雖然圖7未示出，但在本發明的實施例中，本發明的方法還可以包括以下步驟：基于角度變化和鍛煉的設置目標來產生指令信息；以及通過視頻和/或音頻將所述指令信息提供給用戶。例如，可以實時方式顯示手部和/或腕部的角度變化，使得用戶正在執行的鍛煉的與設置目標有關的角度變化顯示為基準圖。用這種方法，可將實時反饋以可理解的方式提供給用戶，所述實時反饋基本上是檢測結果的顯示。因此，改善了用戶的體驗。通過參考圖9，可更容易地理解上述觀點。特別地，圖9示出了角度變化在顯示器上的實時反饋中的呈現。每個旋轉鍛煉的設置目標顯示為扇形圖，并且顯示出動作線和旋轉角度(圖9a)。當用戶旋轉他/她的手部和/或腕部時，動作線與扇形的弧對齊移動。并且旋轉角度相應地改變(圖9b和9c)。有時，當屏幕上的旋轉動作過于細微時，用戶可發現難以在視覺上感知到所述旋轉。在這種情況下，可提供放大功能，所述放大功能可放大與旋轉相關的區域，使得用戶可真正看到他鍛煉的好壞程度以及他已旋轉的角度。為了增加用戶對旋轉鍛煉的理解以及在用戶正在進行鍛煉時激發其積極性，可在實時反饋旁邊放置卡通人物介紹，告訴用戶其應當如何準確地執行以及關于當前鍛煉其應當觀察的關鍵點。圖8是根據本發明的實施例用于追蹤正在執行鍛煉的用戶的手部和/或腕部旋轉的設備的方框圖。如根據圖8可見，提議了一種用于追蹤正在執行鍛煉的用戶的手部和/或腕部旋轉的設備80。特別地，此設備80是結合上述的戴在手上的標識器來使用的，并且包括攝像機81、處理器82和界面83。圖8中的攝像機81用于獲取當手部分別處于第一姿勢和第二姿勢時標識器的第一圖像和第二圖像。在已獲取圖像之后，處理器82用于基于所述第一圖像和第二圖像以及用戶正在執行的鍛煉類型，根據從第一姿勢到第二姿勢的改變導出手部和/或腕部的角度變化。界面83被配置用于將手部和/或腕部的角度變化輸出給用戶。在本發明的實施例中，界面83可被配置用于在顯示器上以視覺方式顯示手部和/或腕部的角度變化，或者由揚聲器輸出所述角度變化。用這種方法，所述設備可提供以可理解的方式顯示或提供給用戶的實時反饋，所述實時反饋基本上是檢測結果的顯示或者是語音提示。因此，改善了用戶的體驗。請注意，所述實施例中的反向反射性標識器和紅外線攝像機的描述僅出于示例性目的，且不應被視為限定意義。如上文提及，本發明的實施并不限于“反向反射性標識器和紅外線攝像機”的組合，而是可用于其它基于“標識器+攝像機”的配置中。例如，標識器未必是反向反射性標識器，而是可僅為紅色或可與手部的周圍環境區分的任何其它顏色的任意標識器。在這種情況下，攝像機可為任意攝像機，只要攝像機獲取的標識器圖像可與周圍事物的圖像區分開即可。應該指出的是，上述實施例圖解說明而非限定本發明，并且本領域技術人員將能夠在不背離隨附權利要求的范圍的前提下設計出替代的實施例。在所述權利要求中，置于括號之間的任何元件符號不應視為限定所述權利要求。詞語“包括”并不排除存在權利要求或說明書中未列出的元件或步驟。位于元件前面的詞語“一”或“一個”并不排除存在多個此類元件。在列出幾種單元的系統權利要求中，這些單元中的幾種可由一種軟件和/或硬件且相同的軟件和/或硬件來實施。詞語第一、第二和第三等的使用并不表示任何排序。這些詞語應被理解為名稱。