專利名稱:對用戶的運動進行分析的系統和方法
對用戶的運動進行分析的系統和M本發明涉及一種對用戶的運動進行分析的系統和方法。更特別 地,本發明涉及一種用于對受到例如腦卒中的神經損傷后用戶的運動 功能進行評估的新技術。偏癱,即肢休的單側無力是伴隨腦卒屮發生的最常見障礙之- 。在夷國,每年新發生700.000例腦卒中。這些病例中有20%死亡,腦 卒中引起超過60%的受害者患有障礙。康復措施和勞動力的喪失毎年 造成突國社會S50B的損失。為了在優化成本的同時最大化康復效果,最好是在沒有專家監督 的情況下,患者在家中繼續康復訓練。眾所周知l,適當的反饋可提高 康復的成功。為此,對訓練進行自動評估是必要的。現有技術屮,已知有對運動障礙進行評估的不同技術,例如通過 對書寫訓練進行的計算機化評價、通過力量測量或通過在輸入裝置上 進行訓練。這些己知系統和方法不是為家庭使用而是為專業環境設計 的。其它已知技術基于視頻方法,即利用用戶的視頻圖像數據以評估 用戶的運動能力。美國專利6,816,603 B2提出了一種用于一體化了視 頻處理的遠程醫療監視的方法和設備,其中,生成多個輪廓并組合起 來提供運動人像,從該人像最終計算出運動特征。所述專利中提出的 復雜視頻處理過程包括實質上的預處理和后處理。從而執行非常復雜 的身體分割工作。本發明的目的在于提供一種用于對用戶的運動進行分析的簡單、 魯棒、且低成本的技術,該技術可用于無監督的家庭環境。該目的根據本發明是通過一種對用戶的運動進行分析的方法來實現的,該方法包括以下步驟使用戶執行與指令一致的協調運動; 通過對用戶進行錄像來生成圖像序列形式的視頻圖像數據;使用包括 計算機視覺技術的計算機系統,在該圖像序列中確定在身體左半側和 右半側上光流的同步性程度;以及基于該同步性程度評估用戶的運動 功能。另外,能夠以修正和/或評價形式向用戶提供適當的反饋。本發明的目的還通過一種用于對用戶的運動進行分析的系統來 實現,該系統包括顯示單元和/或音頻接口,其適于使用戶執行與 指令一致的協調運動;攝像機,其適于通過對用戶進行錄像來生成圖 像序列形式的視頻圖像數據;包括計算機視覺技術的計算機系統,所 述計算機系統適于基于視頻圖像數據確定在身體左半側和右半側上 光流的同步性程度;以及分析單元,其適于基于該同步性程度評估用 戶的運動功能。本發明的目的還通過一種用于對用戶的運動進行分析的計算機 程序來實現,該程序包括在該圖像序列中確定在用戶的身體左半側和 右半側上光流的同步性程度的計算機指令,其中,所述圖像序列形式 的視頻圖像數據是通過對用戶進行錄像來生成的;以及在計算機中執 行該計算機程序時,基于該同步性程度評估用戶的運動功能的計算機 指令。根據本發明所必須的技術效果因而能夠在按照本發明的計算機 程序的指令基礎上實現。這樣的計算機程序能夠存儲在諸如CD-ROM的載體中,或者其能夠通過因特網或其它計算機網獲得。在執行之前, 通過例如借助于CD-ROM播放器從載體讀取計算機程序,或從因特 網讀取該計算機程序,并將其存儲在計算機的存儲器中,從而將該計 算機程序裝入計算機。該計算機除了其它的以外包括中央處理單元 (CPU)、總線系統、例如RAM或ROM等的存儲器器件、例如軟盤 或者硬盤單元等的存儲器件、以及輸入/輸出單元。或者,本發明的 方法可以實施為諸如使用一個或多個集成電路的硬件。本發明的核心思想在于基于用戶身體的左半側和右半側中的同 步性程度評估用戶的運動功能。使用在用戶身體的左半側和右半側上 光流的同步性作為測量。換句話說,圖像序列的運動流是以將用戶運 動的同步性用作決定準則的方式來評價的。根據本發明,無論計算機將視頻圖像的某個部分識別為用戶的手還是肘等,對于評估用戶的運 動功能都是無關的。該計算機系統只分析與光流有關的視頻數據。沒 有分割或其它復雜、費時且昂貴的工作是必要的。因此本系統滿足了 在家庭環境中魯棒操作的需求。必須指出的是,在所有使用術語同步性的地方,相應地都可以使 用術語非同歩性。換句話說,在執行根據本發明的方法時,確定同歩 性程度還是非同步性程度,對于本發明并不重要。該目的在于確定例 如用戶上肢的運動是否同步(即同時)和/或其程度是否不同步。使 用本發明,能夠評估不同種類的運動,例如上肢和下肢的運動、或用 戶面部的運動。根據本發明的新方法和系統,其特征在于用戶不必攜帶反光標 記或類似物,照明條件不必已知,用戶的衣服不必已知,并且用戶可 以自由決定其在攝像機操作范圍內的位置。隨之解決了現有技術的主 要問題。另外,這些優點可以借助于簡單、魯棒、低成本、可用于無 監督的家庭環境中的技術來實現。本發明的這些和其它方面將在從屬權利要求中定義的下列實施 例的基礎上進一步詳細說明。根據本發明的優選實施例,借助于顯示單元和/或音頻接口指導 用戶。因而,用戶接收指令以執行某種身體工作,例如上肢的協調移 作。優選地,在顯示單元上向用戶顯示出所要求的工作和/或者經由 音頻接U將所要求的工作傳輸給用戶,例如通過語音合成器講出。此 外顯示單元優選地適于在練習結束時或者練習期間提供視覺反饋,而 音頻接口優選地適于向用戶提供音頻反饋。換句話說,顯示單元和/ 或音頻接口適于將評估的結果提供給用戶。根據本發明,基于在用戶身體的左半側和右半側上的光流來確定 同步性程度。根據本發明的另一優選實施例,為了區別身體的左半側 和右半側,通過追蹤用戶的面部來確定身體的中心線。為此,與可運動攝像機(其配備伺服馬達以允許水平旋轉(pan)和垂直旋轉(tilt)運 動)結合使用追蹤軟件。這允許用戶在運動功能測試期間在攝像機的 操作范圍內自由運動。換句話說,采用計算機視覺技術結合馬達單元來追蹤用戶和定位攝像機,使得用戶身體的垂直中線與圖像的中線重 合,在此能夠通過對諸如面部和身體其它部分的特征使用追蹤軟件來 完成對身體垂直中線的確定。或者,能夠通過追蹤附有物理標記的身 體來完成確定身體垂直中線的工作。為確定同步性程度,借助于計算機視覺技術分配給中心線左側的 視頻圖像數據與用戶身體左半側相關,借助于計算機視覺技術分配給 中心線右側的視頻圖像數據與用戶身體右半側相關。根據本發明的另一優選實施例,將所記錄的視頻圖像分割為靜態 和動態區域。為確定同步性程度,計算用戶身體左半測和右半側的流成分并相互進行比較。為計算流成分,使用三幀3D遞歸搜索運動估 計算法。這種算法通過位移矢量來描述用戶的運動并且允許對用戶的 運動進行容易、直接的分析。在計算出同步性程度之后,執行對用戶運動功能的評估。為此, 根據本發明的另一優選實施例,將同步性程度與閾值進行比較。從而 閾值是任一靜態值,其允許對例如用戶上肢的癱瘓嚴重程度進行確 定。或者,閾值進行動態修改,從而能夠確定例如在數天或數月時期 內用戶的運動康復進展。最后,根據本發明的另一優選實施例,向用戶宣布評估結果,優 選地使用適亍向用戶提供視覺反饋的顯示單元和/或適于向用戶提供 音頻反饋的音頻接口。本發明的這些和其它方面將在下文中通過舉例的方式結合下列 實施例和附圖進行詳細描述;在附圖中-
圖1示出了根據本發明的系統的示意方框圖; 圖2示出了根據本發明的方法的簡化流程圖; 圖3示出了用戶同步運動手臂的示意圖; 圖4示出了說明同步手臂運動的圖;并且 圖5示出了用戶非同步運動手臂的示意圖; 圖6示出了說明非同步手臂運動的圖。系統1包括顯示單元2和音頻接口 3,適于使用戶4執行與指令 一致的協調運動(步驟100)。換句話說,系統1包括用于指導用戶4 執行訓練的器件。要求用戶4執行某個動作,例如同時抬起和放下手 臂。借助于顯示器2以短視頻片斷或動畫的方式、和/或依據經由揚 聲器5的口語指令將指令提供給用戶。顯示器2和音頻接口 3優選地 結合形成接口單元6。使用例如計算機監視器、電視機、手持裝置等 作為接口單元6。接口單元6,尤其是顯示器2適于在訓練期間和/或 測試結束時向用戶4提供視覺反饋。訓練期間給出的反饋能夠包括用 戶是否適當地執行訓練的信息。測試結束時向用戶4給出的反饋能夠包括關于測試結果的信息。系統1還包括攝像機7,其適于通過對用戶4進行錄像來生成圖 像序列形式的視頻圖像數據(步驟UO)。對本發明的目的來說,單 個攝像機7就足夠了。然而,能夠使用兩個或者兩個以上的攝像機7, 以制作更加復雜的視頻圖像處理。能夠使用非常簡單的標準攝像機, 例如Philips ToU Cam作為攝像機7。這種攝像機7允許記錄具有低或 中分辨率的視頻圖像,這對于本發明的目的來說足夠了。攝像機7配 備馬達單元8,所述馬達單元包括伺服馬達以允許攝像機鏡頭進行水 平旋轉和垂直旋轉運動。將攝像機7和馬達單元8結合形成攝像機單 元10。公知的這種攝像機7例如來自Philips Home Dialog System。在本發明的非常簡單實施例中,將電視機用于作為接口單元6并 用作音頻輸入,例如用戶口頭的指令,使用攝像機7的內置麥克風9。 在另一實施例(未示出)中,將顯示器2、音頻接口3和攝像機7、 8 結合形成單個裝置。這使得系統的操作容易,尤其是對于老人來說, 這是因為系統運轉不需要大范圍的布線。系統1還包括計算機系統11,除了其它以外用于實施計算機視 覺技術。計算機系統11,例如標準的個人計算機,適于執行對本發 明的系統1的控制。為此,將計算機系統11連接到攝像機單元10和 接口單元6。將圖像序列從攝像機7傳送到計算機系統11的處理單 元12。此外,計算機系統11適于執行計算和演算視頻圖像數據以及確定和評估結果的所有工作。這根據本發明是在計算機系統11中執行 計算機軟件時,借助于計算機軟件來實現的,其中所述計算機軟件包 括適于執行本發明方法的步驟的計算機指令。計算機系統ll包括功能模塊或單元,其實施為硬件、軟件形式, 或兩者組合的形式。計算機系統11的第一單元,優選實施為軟件單元,適于在用戶命令開始測試之后開始錄像。換句話說,如果用戶4說出預定的"開 始"指令,并且借助于麥克風9錄下該指令,那么借助于攝像機7錄 制所執行的用戶動作。在錄制期間,在顯示器2上顯示示出所要求的 動作的動畫。計算機系統11的第二單元,優選實施為軟件單元,適于控制馬 達單元8,以致攝像機7跟隨用戶的面部13。因此馬達單元8用于追 蹤川戶的面部13和定位攝像機7,使得用戶身體的中心線與圖像的 中心線重合。在捕獲到攝像機圖像時,由于面部追蹤軟件和攝像機7的水平旋 轉/垂直旋轉功能,將圖像居中在用戶的面部中心線(虛擬中心線17) 上。因此,該圖像的左半測和右半側對應于用戶身體的左半測和右半 側14、 15。使用水平旋轉/垂直旋轉功能在訓練錄制開始之前追蹤用 戶4。在錄像期間,關掉該功能,并且假設用戶4站在自己的位置不 動。在對圖像序列進行錄制之后,在計算機系統11的處理單元12中 處理圖像(步驟120)。該處理單元12優選地實施為軟件單元,當然 也能夠實施為硬件單元形式。處理單元12適于計算所錄制的圖像序 列中的光流,即該單元適于基于視頻圖像數據確定在身體左半側14 和身體右半側15的光流的同步性程度,參見圖3。為此,使用特殊 算法來計算所錄制的圖像序列中的流。用于處理圖像的算法為Gerard de Haan等人在發表于"IEEE transactions on circuits and systems of video technology", volume 3, number 5, October 1993, pages 368 et seqq.的"True motion estimation with 3D-recursive search block matching"中所描述的3d遞歸搜索塊匹配算法,本申請明確地引用該算法并且其以引用方式并入本文中。該 算法與其它已知的塊匹配算法相比較非常有效,其原則上允許實時地 對所錄制的圖像進行處理。此外,使用了被稱為"3幀塊匹配"的算法的變量。其名字指的 是將當前的攝像機圖像與其之前的1晶和之后的一幅進行比較,并且 借助于處理單元12在時間方向上向前和向后搜索對應的像素塊的事 實。這不但避免了遮擋問題,而且允許在沒有預先建立背景模型的情 況下分割運動前景19和靜態后景18中的圖像。該事實在這種情況下 非常重要,這是因為由于山于攝像機7的水平旋轉/垂直旋轉功能, 所以在訓練錄制開始之前不能收集有關背景的信息。借助于處理單元12應用上述算法得到的結果為對應于捕獲的圖 像的流場。這意味著對圖像中每個像素塊來說,由處理單元12將相 對于先前圖像的位移存儲為二維矢量f(x, y, t)16,其中x和y為像素 坐標而t為捕獲攝像機圖像的吋間,其中t=0為所錄制的序列的開始, 而t:T為結束時間。換句話說,該算法通過位移矢量16描述了用戶 的運動。在圖3中示出了這種位移矢量的示例。該算法比較了多個視 頻圖像中的像素塊。為此,該算法從先前圖像中檢測一幅圖像中特定 的像素塊(例如3x3像素),這對于該算法而言是已知的。位移矢量 16定義了像素塊的位移,從而定義了光流。然而,該算法并不知道 像素塊示出的是用戶4的手臂還是肘。給定了流場f(x,y,t),借助于處理單元12,通過分別將圖像的左 半側和右半側中的所有像素f(x, y, t)相加,計算出該圖像的左半側和 右半側中的總流FL(t)和FR(t)。 FL(t)禾卩FR(t)是作為輸入的具有在各 自側上總光流的x和y分量的二維矢量。借助于處理單元12,計算在整個運動序列FL咖和FRt。t上圖像的 左半測和右半側中的運動總量。如果這兩個值中任意一個的絕對值低 于預定的閾值,那么由處理單元12判定在各自側沒有發生運動。這 可導致重復整個訓練,或者判定患者在一側上不能進行運動。給定了時間序列FL(t)和FR(t),其中t在O個T之間,對運動的 同步性進行評估。最后,借助于處理單元12計算出時間序列FL(t)和FR(t)的x和y分量的相關系數,這些量被稱為Cx和Cy。通過定 義相關系數Cx和Cy具有-1和1之間的值。在此,值1指同步性, -1指非同步性。如果Cx和Cy為0,那么運動不同步。給定了 A(t)的標準差為SA且B(t)的標準差為Sb,兩個標量A(t) 和B(t)的相關系數CAB定義為CAB=(<AB> — <A><B>)/(SA SB)。這里 括弧代表在時間序列上的平均值。對于在身體兩側的同步運動,期望該運動并因而x方向上的光流 為^M司步的,即期望相關系數Cf 1。對于y方向上的運動,期望 同步運動,艮l]Cy-l。因此,CH _ 1—Cx|+|l—Cyl為同步運動偏差的 標量測量。這里ll表示絕對值。由于預定的閾位或者個性化的閾值,從運動中獲得的值C(相關 系數)可判斷為描述的運動足否根據預期。圖4中示出了說明根據圖3所示的用戶4的對稱手臂運動的圖。 該圖示出了對左側流矢量20的Y分量和右側流矢量21的Y分量在 視頻幀編號上所有運動矢量的總和。兩曲線幾乎是相同的。該示例的 相關系數Cy為0.82,指示用戶4的對稱(同步)手臂運動。相關系 數作為同步性的測量。圖6示出了說明根據圖5所示的用戶4的非對稱手臂運動的圖, 其屮相關系數Cy為0.21,指示用戶4的非對稱(異歩)手臂運動。 如能夠清晰看到的,用戶的右臂不能很好地執行所要求的訓練。用戶 右臂幾乎沒有執行運動。結果,身體右半側15示出了與身體左半側 16不同的運動行為,并且計算出的相關系數16不同于圖4所示的示由于僅僅基于光流來計算相關因子,因此該方法相對于各種的照 明條件、背景和患者衣服來說是魯棒的。該系統在無須要求用戶4佩 戴標記或持有裝置的情況.F檢測運動的同步性。不需要將用戶身體分 割成不同的身體部分。而且用戶身體各部分的位置是不相關的。在計算出同步性程度之后,執行對用戶運動功能的評估(步驟 130)。為此,計算機系統ll的分析單元22 (其再次優選地實施為軟 件單元)適于對所要求的訓練進行評估或對其進行評級,即適于基于同步性程度來對用戶的運動功能進行評估。將該同步性程度(即相關 因子)與閾值進行比較,該閾值存儲在計算機系統ll中。在有來自腦卒中患者組和健康對照組的數據的情況下,定義靜態 閾值用于對運動估計分析的結果進行評估。或者,存儲每次測試的同 步性程度,并且動態地改變該閾值。在這種情況下,同步性程度作為 康復的進展指示。在本實施例屮,特別訓練分析單元來對個人用戶的 表現進行評級。使用記錄的歷史數據通過與先前的表現進行對照來評 估當前的表現。該個性化的算法允許對康復成功進行評級以及對腦卒 中亊件的復發或重現進行可靠的檢測。優選地使用顯示器2和/或音頻接口 3將評估結果向用戶4宣布(步驟140)。如果視頻圖像數據的分析產生無效判定,或者如果沒有確定可行 的結果,例如,因為系統不能執行對用戶面部13的追蹤等,那么從 計算機系統11經由接口單元6向用戶4給出新的指令,例如要求用 戶重復最后的訓練。然而,因為所使用的算法的魯棒性,所以在錄制 視頻圖像期間用戶4的運動,例如用戶的微小轉動等,對總體結果不 產生影響,并且因此能夠在大多數情況下被忽略。本發明可用作家庭腦卒中測試應用的一部分。這種應用優選地適 于作為遠程醫療和電子健康平臺的一部分。與現有技術的系統相比,木發明介紹了對于一種除了攝像機7之 外無需任何附加的傳感器或輸入裝置的情況下用于對偏癱訓練進行 評估的系統的實現。此外,給患者提供視覺反饋。用戶4自由地執行 所要求的訓練,并由攝像機7進行錄制。在對圖像進行處理之后,給 出評估和反饋。由于其魯棒性和僅使用低成本的標準計算機設備,因 此其特別適于在無監督的家庭環境中使用。對于本領域技術人員而言顯而易見的是,本發明不局限于前述說 明性實施例的細節,并且本發明在不脫離其精神或本質屬性的情況下 可以實施為其它特定形式。因此本發明的實施例在各方面應被認為是 說明性的而非限制性的,本發明的范圍是由所附的權利要求書而不是 由前述說明書指示的,并且因此所有落入權利要求書的等價物的意義 和范圍屮的改變都旨在包括在其中。此外,顯而易見的是,詞語"包括"并不排除其它元件或步驟,詞語"一個"并不排除多個,并且單 個元件,例如 --個計算機系統或另--單元可以實現權利要求書中弓I述 的多個器件的功能。權利要求書中的任何附圖標記都不應解釋為對相 關權利要求的限制。附圖標記 1系統2顯示器 3音頻接口 4用戶 5揚聲器 6接口單元 7攝像機 8馬達單元 9麥克風 10攝像機單元 11計算機系統 12處理單元 13用戶面部 14身體左半側 15身體右半側 16位移矢量 17屮心線 18靜態區域 19運動區i或 20左側流矢量 21右側流矢量 22分析單元
權利要求
1、一種對用戶(4)的運動進行分析的方法,包括如下步驟—使所述用戶(4)執行與指令一致的協調運動;—通過對所述用戶(4)進行錄像來生成圖像序列形式的視頻圖像數據;—使用包括計算機視覺技術的計算機系統(11),在所述圖像序列中確定在身體左半側和右半側(14,15)上光流的同步性程度;以及—基于所述同步性程度評估所述用戶的運動功能。
2、 根據權利要求1所述的方法,其特征在于,使所述用戶(4)執 行協調運動的所述步驟包括使用顯示器(2)和/或音頻接口(3)指導所述 用戶(4)的步驟。
3、 根據權利要求l所述的方法,其特征在于,使所述用戶(4)執 行協調運動的所述步驟包括指導所述用戶(4)執行上肢的協調運動的 步驟。
4、 根據權利要求1所述的方法,其特征在于,確定在所述身體 左半側和右半側(14, 15)上光流的同步性程度的所述步驟包括將圖像 分割成靜態和動態區域(18, 19)的步驟。
5、 根據權利要求1所述的方法,其特征在于,確定在所述身體 左半側和右半側(14, 15)上光流的同步性程度的所述步驟包括將所述 用戶身體的所述左半側和右半側(M, 15)的流成分進行比較的步驟。
6、 根據權利要求1所述的方法,其特征在于,確定在所述身體 左半側和右半側(14, 15)上光流的同步性程度的所述步驟包括基于所 述視頻圖像數據確定所述用戶身體的中心線(17)以定義身體左半側和 右半側(14, 15)的步驟。
7、 根據權利要求1所述的方法,其特征在于,確定在所述身體 左半側和右半側(14, 15)上光流的同步性程度的所述步驟包括追蹤所 述用戶面部(13)的步驟。
8、 根據權利要求1所述的方法,其中,所述流成分使用三幀3D 遞歸搜索運動估計算法來計算。
9、 根據權利要求1所述的方法,其特征在于,評估所述用戶運 動功能的所述步驟包括將所述同步性程度與閾值進行比較的步驟。
10、 根據權利要求1所述的方法,其特征在于,評估所述用戶運 動功能的所述步驟包括確定所述用戶的四肢和/或面部,尤其是所述 用戶上肢的癱瘓嚴重程度的步驟。
11、 根據權利要求1所述的方法,其特征在于,評估所述用戶運 動功能的所述步驟包括確定所述用戶的運動康復進展的步驟。
12、 根據權利要求1所述的方法,包括以下另一步驟向所述用 戶(4)宣布所述評估結果,優選使用適于向所述用戶提供視覺反饋的顯 示器(2)和/或向所述用戶(4)提供音頻反饋的音頻接口 (3)。
13、 一種用于對用戶(4)的運動進行分析的系統(1),包括 一顯示器(2)和/或音頻接口(3),其適于使所述用戶(4)執行與指令一致的協調運動;一攝像機(7),其適于通過對所述用戶(4)進行錄像來生成圖像序 列形式的視頻圖像數據;一包括計算機視覺技術的計算機系統(ll),所述計算機系統(ll) 適于基于所述視頻圖像數據確定在所述用戶的身體左半側和右半側 (14, 15)上光流的同步性程度;以及一分析單元(22),其適于基于所述同步性程度評估所述用戶的運 動功能。
14、 根據權利要求13所述的系統(l),還包括顯示器(2),其適于 提供視覺信息;和/或音頻接口(3),其適于向和從所述用戶(4)提供音 頻信息。
15、 一種用于對用戶(4)的運動進行分析的計黨機程序,包括 一用于在所述圖像序列中確定在所述用戶的身體左半側和右半側(14, 15)上光流的同步性程度的計算機指令,其中,所述圖像序列 形式的視頻圖像數據是通過對所述用戶(4)進行錄像來生成的;以及一用于在計算機(ll)中執行所述計算機程序時,基于所述同步性 程度評估所述用戶的運動功能的計算機指令。
全文摘要
本發明涉及一種用于對用戶的運動進行分析的系統和方法。更特別地,本發明涉及一種用于評估用戶運動功能的新技術。本發明的目的在于提供一種用于對用戶的運動進行分析的簡單、魯棒、且低成本的技術,該技術可用于無監督的家庭環境。該目的根據本發明是通過一種對用戶的運動進行分析的方法來實現的,該方法包括以下步驟使用戶執行與指令一致的協調運動;通過對用戶進行錄像來生成圖像序列形式的視頻圖像數據;使用包括計算機視覺技術的計算機系統在該圖像序列中確定在身體左半側和右半側上光流的同步性程度;以及基于該同步性程度評估用戶的運動功能。
文檔編號A61B5/11GK101243471SQ200680030004
公開日2008年8月13日 申請日期2006年8月9日 優先權日2005年8月19日
發明者A·布勞爾斯, G·蘭福曼, R·布拉斯彭寧, R·維爾曼 申請人:皇家飛利浦電子股份有限公司