一種基于特征增強和決策融合的行為識別方法
【專利摘要】一種基于特征增強和決策融合的行為識別方法，對加速度傳感器數據進行預處理；計算預處理后數據的多維特征矢量；使用前向序列選擇算法對多維特征矢量進行選擇得到最佳特征矢量；使用Relief?F算法選擇合適特征值進行特征增強處理；訓練一個基礎分類器和三個弱分類器；將基礎分類器和三個弱分類器的識別結果作為四個參數，同時將上個動作的識別結果作為另一個參數，通過訓練確定這五個參數的權重；使用二層分類對人體行為進行識別，第一層分類使用基礎分類器進行，第二層分類使用加權投票決策融合得到最終識別結果。本發明可有效區分走、上樓、下樓這些難以區分的相似動作，提高人體行為識別率。
【專利說明】
一種基于特征増強和決策融合的行為識別方法
技術領域
[0001 ]本發明涉及三軸加速度傳感器、模式識別等領域，尤其涉及基于三軸加速度數據 的人體行為識別領域。
【背景技術】
[0002] 利用傳感器進行人體行為識別一直是傳感器數據處理、模式識別領域的研究熱 點。通過三軸加速度傳感器來檢測人的日常行為具有便捷、識別率高等特點。但是，加速度 數據往往存在著多種動作數據難以區分的情況，特別是走、上樓、下樓這三個動作非常相 似，即使在高精度采集頻率下數據之間的差異也非常小。一旦數據集變大，這三個動作之間 存在的相互干擾數據就更多，并且由于數據采集平臺并不一定固定在人體上，所以采集的 數據難免有因為抖動產生的誤差，在極端情況下，這三種動作的數據可能存在著不可區分 的情況，這給正確識別這三種人體動作帶來了很大的難度。
【發明內容】
[0003] 為了克服現有動作識別方法由于三軸加速度數據的相似性而導致的動作識別正 確率低，識別誤差大的不足，本發明提出一種基于特征增強和決策融合的行為識別方法，可 有效區分走、上樓、下樓這些難以區分的相似動作，提高人體行為識別率。
[0004] 本發明解決其技術問題所采用的技術方案是：
[0005] -種基于特征增強和決策融合的行為識別方法，包括以下步驟：
[0006] 步驟1，對采集到的加速度傳感器數據進行預處理，包括噪聲處理和數據分割；
[0007] 步驟2,計算預處理后傳感器數據特征值，得到表征該傳感器數據的多維特征矢 量；
[0008] 步驟3,用序列前向特征選擇方法對步驟2得到的特征矢量進行選擇，得到表征傳 感器數據的最佳特征矢量；
[0009] 步驟4，對步驟3得到的最佳特征矢量使用Re 1 ief-F算法選擇特征值進行特征增強 處理，過程如下：
[0010]使用Relief-F算法計算每個特征值的權重，設定閾值k，權重高于該閾值的特征值 進行特征增強，最終選定四個特征值，分別是:三軸加速度傳感器數據在z軸的平方差，三軸 加速度傳感器數據X軸與y軸之間的相關系數，三軸加速度傳感器數據X軸與z軸之間的相關 系數，三軸加速度傳感器數據y軸與z軸之間的相關系數，使用公式（1)進行特征增強處理， 其中Pi為特征值，m為特征增強系數；
[0012] 步驟5,使用步驟4得到的數據訓練四個支持向量機分類器，包括一個基礎分類器 和三個根據AdaBoost算法思想得到的針對走、上樓、下樓三個動作的弱分類器；
[0013] 步驟6,使用步驟5得到的四個分類器分別對當前需要識別的動作進行識別，得到 的四個識別結果作為四個參數，將上一個動作的識別結果作為第五個參數，將這五個參數 分別記為labeli，i = l, 2,3,4,5，通過訓練確定這五個參數的權重wi，i = l，2,3,4,5;
[0014] 步驟7,使用二層分類對人體行為動作進行識別，第一層使用步驟5得到的基礎分 類器識別，如果識別結果是走、上樓、下樓就進行第二層分類，第二層分類對步驟6中描述的 五個參數進行加權投票決策融合，得到最終的識別結果。
[0015] 進一步，所述步驟2中，計算多維特征矢量的過程為:計算三軸加速度傳感器數據 在X軸的平均值，三軸加速度傳感器數據在y軸的平均值，三軸加速度傳感器數據在Z軸的平 均值，三軸加速度傳感器數據在X軸的平方差，三軸加速度傳感器數據在y軸的平方差，三軸 加速度傳感器數據在z軸的平方差，三軸加速度傳感器數據平均值的模，三軸加速度傳感器 數據平方差的模，三軸加速度傳感器數據在X軸的偏度，三軸加速度傳感器數據在y軸的偏 度，三軸加速度傳感器數據在z軸的偏度，三軸加速度傳感器數據在X軸的均方根，三軸加速 度傳感器數據在y軸的均方根，三軸加速度傳感器數據在z軸的均方根，三軸加速度傳感器 數據在X軸的能量，三軸加速度傳感器數據在y軸的能量，三軸加速度傳感器數據在z軸的能 量，三軸加速度傳感器數據在X軸的熵，三軸加速度傳感器數據在y軸的熵，三軸加速度傳感 器數據在z軸的熵，三軸加速度傳感器數據X軸與y軸之間的相關系數，三軸加速度傳感器數 據X軸與z軸之間的相關系數，三軸加速度傳感器數據y軸與z軸之間的相關系數，信號幅度 區域。
[0016] 再進一步，所述步驟6中，權重訓練的過程為:首先設定參數alpha= l/num，num是 走、上樓、下樓三個動作的訓練樣本總數，設定權重的初始值:wi = l，i = l，2,3,4,5,權重訓 練過程中只更新基礎分類器識別結果labeh的權重W1和上個動作識別結果labels的權重 w5，其它三個弱分類器識別結果的權重設定為1不變，即W2 = 1，W3 = 1，W4=1不變;采用步驟7 中的方法對訓練樣本進行識別，設樣本的正確動作是activity，每識別一個樣本就使用公 式(2)對權重進行更新，當樣本識別結果與樣本實際類別一致時n=l，否則n = 8,權重更新 結束后對％做公式（3)處理，PtA.tA表示走、上樓、下樓三個動作不轉移到此三個動作之外其 它動作的概率；
[0018] W5 = W5*(l/PtA.tA) (3)0
[0019] 更進一步，所述步驟7中，加權投票決策融合過程為:對五個參數labeh，i = 1，2， 3,4,5使用公式(4)計算出走、上樓、下樓三個動作的得分，其中activity_n表示當前動作， score_n表示activity_r^/f代表動作的得分，？4^表示上一動作保持不變的概率，？13^^表 示labels所屬的動作轉移到當前動作的概率，最終得分最高的動作類別為識別結果；
[0021]本發明的技術構思為:本發明通過兩個方法來提高相似動作的識別率:一是對由 傳感器數據計算得到的特征矢量進行特征增強，增強有利于識別走、上樓、下樓這三個動作 的特征值。二是采用二層分類和決策融合，第一層分類對容易區分的動作進行區分，將不易 區分的動作進行第二層分類。在第二層分類中將第一層的識別結果作為一個參數，將根據 AdaBoost算法思想訓練出的三個弱分類器得到的識別結果作為三個參數，將上個動作的識 別結果作為另一個參數，通過訓練確定這五個參數的權重，對這五個參數使用加權投票決 策融合得到最終識別結果。該基于特征增強和決策融合的行為識別方法可以有效提高相似 動作的正確識別率。
[0022] 本發明的有益效果主要表現在:對識別相似動作有益的特征值進行特征增強，通 過加權投票決策融合得到最終識別結果，能夠有效區分相似動作，大大提高識別相似動作 的正確識別率。
【附圖說明】
[0023] 圖1為本發明基于特征增強和決策融合的行為識別方法的流程圖。
[0024]圖2為人體行為動作轉換示意圖。
【具體實施方式】
[0025]下面結合附圖和實施例對本發明作進一步說明。
[0026] 圖1是基于特征增強和決策融合的行為識別方法的總流程。
[0027] 本實施例在安卓手機平臺上實施，采用自主采集的傳感器數據做訓練和測試。共 采集了 10個人的走、跑、上樓、下樓、站立五個動作數據，每個動作采集時間為10分鐘，因而 共有500分鐘的數據，采樣頻率為100Hz。
[0028] 采集到的三軸加速度數據在預處理之前需先進行兩方面的處理:一方面是由于三 軸加速度傳感器采集的數據是包括重力的，為了減小重力對加速度數據的影響，需要減去 傳感器數據上的重力分量。另一方面是因為手機所在的坐標系相對于手機是固定的，相對 于大地坐標系卻會隨手機方位的變化而變化，為了讓行為識別系統能夠識別手機處于各種 方位時的行為動作，需要實時地將手機坐標系轉換為大地坐標系。
[0029]數據預處理包括噪聲處理和數據分割，由于采集的數據是一段連續的數據流，為 了方便之后的特征提取和識別模型訓練，預處理需要將數據分割成6秒窗口大小，50%數據 重疊的數據片段。
[0030]數據預處理后，需要計算數據的特征值，主要包括時域和頻域的特征，本發明一共 從6秒50%數據重疊的加速度數據窗口中計算出24個特征值，包括:三軸加速度傳感器數據 在X軸的平均值，三軸加速度傳感器數據在y軸的平均值，三軸加速度傳感器數據在z軸的平 均值，三軸加速度傳感器數據在X軸的平方差，三軸加速度傳感器數據在y軸的平方差，三軸 加速度傳感器數據在z軸的平方差，三軸加速度傳感器數據平均值的模，三軸加速度傳感器 數據平方差的模，三軸加速度傳感器數據在X軸的偏度，三軸加速度傳感器數據在y軸的偏 度，三軸加速度傳感器數據在z軸的偏度，三軸加速度傳感器數據在X軸的均方根，三軸加速 度傳感器數據在y軸的均方根，三軸加速度傳感器數據在z軸的均方根，三軸加速度傳感器 數據在X軸的能量，三軸加速度傳感器數據在y軸的能量，三軸加速度傳感器數據在z軸的能 量，三軸加速度傳感器數據在X軸的熵，三軸加速度傳感器數據在y軸的熵，三軸加速度傳感 器數據在z軸的熵，三軸加速度傳感器數據x軸與y軸之間的相關系數，三軸加速度傳感器數 據X軸與z軸之間的相關系數，三軸加速度傳感器數據y軸與z軸之間的相關系數，信號幅度 區域。
[0031] -些特征值可能包含冗余或者無關的信息，這些信息會影響識別準確性，因此需 要進行特征選擇，這樣不但可以有效提高識別準確性，并且可以降低計算復雜度和簡化訓 練模型。本發明采用了序列前向特征選擇(SFS)算法作為特征子集的選擇算法，最終選擇出 了 11個特征值作為最佳特征子集，這11個特征值包括:三軸加速度傳感器數據在X軸的平均 值，三軸加速度傳感器數據在y軸的平均值，三軸加速度傳感器數據在z軸的平方差，三軸加 速度傳感器數據平均值的模，三軸加速度傳感器數據在y軸的偏度，三軸加速度傳感器數據 在z軸的偏度，三軸加速度傳感器數據在X軸的均方根，三軸加速度傳感器數據在y軸的均方 根，三軸加速度傳感器數據X軸與y軸之間的相關系數，三軸加速度傳感器數據X軸與z軸之 間的相關系數，三軸加速度傳感器數據y軸與z軸之間的相關系數。
[0032]選定特征子集后，因為選定的特征中每個特征值對動作識別的貢獻大小不一，所 以本發明對區分走、上樓、下樓三個動作貢獻較大的特征值進行特征增強處理。使用 Relief-F算法計算每個特征值的權重，設定閾值k = 0.05，權重高于該閾值的特征值進行特 征增強，最終選定四個特征值，分別是:三軸加速度傳感器數據在z軸的平方差，三軸加速度 傳感器數據X軸與y軸之間的相關系數，三軸加速度傳感器數據X軸與z軸之間的相關系數， 三軸加速度傳感器數據y軸與z軸之間的相關系數，使用公式（1)進行特征增強處理，其中pi 為特征值，m為特征增強系數取值為1.6;
[0034]本發明中使用的分類器是支持向量機，一共需要訓練四個分類器，包括一個基礎 分類器和三個根據AdaBoost算法思想得到的弱分類器。基礎分類器完成對走、跑、上樓、下 樓、站立五個動作的識別。三個弱分類器是專門針對走、上樓、下樓三個動作訓練的，每個弱 分類器的作用是保證對某一個動作識別率很高，而不保證對其它動作的識別率。AdaBoost 算法本身是通過改變數據分布來得到一個個弱分類器，以針對"走"這個動作訓練的弱分類 器為例，在弱分類器訓練過程中需要做的就是不斷從原始訓練數據中找出對識別"走"動作 有利的樣本，刪除對"走"動作識別有干擾的樣本，最終得到一個專門為"走"這個動作而規 劃出的訓練樣本。
[0035]圖2是人體行為動作轉換示意圖，這里將除走、上樓、下樓之外的動作并為其它動 作，從圖2中可以看出人的行為動作可以保持不變，也可以轉換為其它動作，且轉換只與上 個行為動作有關而與之前的行為動作無關，因此可以將人體行為動作轉換看作是一個馬爾 可夫過程，可利用行為動作之間存在的關系用上個動作的識別結果來幫助識別當前動作。 本發明設定人體行為動作之間轉換的概率矩陣為
，其中行表 依次表示的狀態是:走、上樓、下樓、其它，列表依次表示的狀態是:走、上樓、下樓、其它，P中 的每一個元素 Pu表示狀態i轉移到狀態j的概率。根據馬爾可夫預測法，本發明將四個分類 器對當前動作的識別結果作為四個參數，將上一個動作的識別結果作為第五個參數，因此 共有五個參數，分別記作1&&6]^4 = 1，2,3,4,5，通過訓練來確定這五個參數的權重^4 = 1，2,3,4,5〇
[0036] 權重訓練方法如下：首先設定參數alpha=l/num，num是走、上樓、下樓三個動作的 訓練樣本總數，設定權重的初始值:《1 = 14 = 1，2,3,4,5，權重訓練過程中只更新基礎分類 器識別結果labeh的權重W1和上個動作識別結果labels的權重w 5，其它三個弱分類器識別 結果的權重設定為1不變，即w2= 1，w3 = 1，《4= 1不變;采用二層分類對人體行為動作進行識 另IJ;設樣本的正確動作是activity，每識別一個樣本就使用公式(2)對權重進行更新，當樣 本識別結果與樣本實際類別一致時n = l，否則n = 8,權重更新結束后對w5做公式(3)處理， PtA.tA表示走、上樓、下樓三個動作不轉移到此三個動作之外其它動作的概率；
[0038] W5 = W5*( Ι/PtA.tA) (3)。
[0039] 最后采用二層分類，第一層對走、跑、上樓、下樓、站立五個動作進行識別，如果識 別結果為跑或站立即為最終識別結果，如果是難以區分的走、上樓、下樓三個動作就進行第 二層分類，第二層采用加權投票決策融合。加權投票決策融合具體過程如下：對五個參數 labeli，i = l，2,3,4,5使用公式(4)計算出走、上樓、下樓三個動作的得分，其中activity_n 表示當前動作，8(30^_11表示3〇1：；^；^7_11所代表動作的得分，？44表示上一動作保持不變的 概率，PlastA. A表示labels所屬的動作轉移到當前動作的概率，最終得分最高的動作類別為識 別結果；
[0041] 表1是未使用特征增強和決策融合方法和本發明方法識別五個動作的正確識別率 比較，可以看出，本發明方法可有效識別相似動作，如走、上樓、下樓，明顯提高了人體行為 識別率。
[0042]
[0043] 表 1
[0044] 顯而易見，在不偏離本發明的真實精神和范圍的前提下，在此描述下的本發明可 以有許多變化。因此，所有對于本領域技術人員來說一些顯而易見的改變，都應包括在本權 利要求書所涵蓋的范圍之內。本發明所要求保護的范圍僅由所述的權利要求書進行限定。
【主權項】
1. 一種基于特征增強和決策融合的行為識別方法，其特征在于:所述行為識別方法包 括以下步驟： 步驟1，對采集到的加速度傳感器數據進行預處理，包括噪聲處理和數據分割； 步驟2,計算預處理后傳感器數據特征值，得到表征該傳感器數據的多維特征矢量； 步驟3,用序列前向特征選擇方法對步驟2得到的特征矢量進行選擇，得到表征傳感器 數據的最佳特征矢量； 步驟4,對步驟3得到的最佳特征矢量使用Relief-F算法選擇特征值進行特征增強處 理，過程如下： 使用Relief-F算法計算每個特征值的權重，設定閾值k，權重高于該閾值的特征值進行 特征增強，最終選定四個特征值，分別是:三軸加速度傳感器數據在z軸的平方差，三軸加速 度傳感器數據X軸與y軸之間的相關系數，三軸加速度傳感器數據X軸與z軸之間的相關系 數，三軸加速度傳感器數據y軸與z軸之間的相關系數，使用公式（1)進行特征增強處理，其 中Pi為特征值，m為特征增強系數；步驟5,使用步驟4得到的數據訓練四個支持向量機分類器，包括一個基礎分類器和三 個根據AdaBoost算法思想得到的針對走、上樓、下樓三個動作的弱分類器； 步驟6,使用步驟5得到的四個分類器分別對當前需要識別的動作進行識別，得到的四 個識別結果作為四個參數，將上一個動作的識別結果作為第五個參數，將這五個參數分別 記為labeli，i = l, 2,3,4,5，通過訓練確定這五個參數的權重wi，i = l，2,3,4,5; 步驟7,使用二層分類對人體行為動作進行識別，第一層使用步驟5得到的基礎分類器 識別，如果識別結果是走、上樓、下樓就進行第二層分類，第二層分類對步驟6中描述的五個 參數進行加權投票決策融合，得到最終的識別結果。2. 如權利要求1所述的一種基于特征增強和決策融合的行為識別方法，其特征在于:所 述步驟2中，計算多維特征矢量的過程為:計算三軸加速度傳感器數據在X軸的平均值，三軸 加速度傳感器數據在y軸的平均值，三軸加速度傳感器數據在z軸的平均值，三軸加速度傳 感器數據在X軸的平方差，三軸加速度傳感器數據在y軸的平方差，三軸加速度傳感器數據 在z軸的平方差，三軸加速度傳感器數據平均值的模，三軸加速度傳感器數據平方差的模， 三軸加速度傳感器數據在X軸的偏度，三軸加速度傳感器數據在y軸的偏度，三軸加速度傳 感器數據在z軸的偏度，三軸加速度傳感器數據在X軸的均方根，三軸加速度傳感器數據在y 軸的均方根，三軸加速度傳感器數據在z軸的均方根，三軸加速度傳感器數據在X軸的能量， 三軸加速度傳感器數據在y軸的能量，三軸加速度傳感器數據在z軸的能量，三軸加速度傳 感器數據在X軸的熵，三軸加速度傳感器數據在y軸的熵，三軸加速度傳感器數據在z軸的 熵，三軸加速度傳感器數據X軸與y軸之間的相關系數，三軸加速度傳感器數據X軸與z軸之 間的相關系數，三軸加速度傳感器數據y軸與z軸之間的相關系數，信號幅度區域。3. 如權利要求1或2所述的一種基于特征增強和決策融合的行為識別方法，其特征在 于:所述步驟6中，權重訓練的過程為：首先設定參數alpha = 1/num，num是走、上樓、下樓三 個動作的訓練樣本總數，設定權重的初始值:wi = l，i = l，2,3,4,5,權重訓練過程中只更新 基礎分類器識別結果labeh的權重W1和上個動作識別結果labels的權重W5,其它三個弱分 類器識別結果的權重設定為1不變，即W2 = 1，W3 = 1，W4=1不變;采用步驟7中的方法對訓練 樣本進行識別，設樣本的正確動作是activity，每識別一個樣本就使用公式(2)對權重進行 更新，當樣本識別結果與樣本實際類別一致時n = l，否則n = 8,權重更新結束后對w5做公式 (3) 處理，PtA.tA表示走、上樓、下樓三個動作不轉移到此三個動作之外其它動作的概率； W5=W5*(l/PtA.tA) (3)。4.如權利要求1或2所述的一種基于特征增強和決策融合的行為識別方法，其特征在 于:所述步驟7中，加權投票決策融合過程為:對五個參數labels i = l，2,3,4,5使用公式 (4) 計算出走、上樓、下樓三個動作的得分，其中8(：1：；^；^7_11表示當前動作，8(30^_11表示 activity_r^/f代表動作的得分，？4^表示上一動作保持不變的概率，？13^^表示]^&615所屬 的動作轉移到當前動作的概率，最終得分最高的動作類別為識別結果；
【文檔編號】G06K9/62GK105868779SQ201610182598
【公開日】2016年8月17日
【申請日】2016年3月28日
【發明人】宦若虹, 陳月, 陶凡, 陶一凡, 楊鵬
【申請人】浙江工業大學