專利名稱：一種基于加速度傳感器的手勢(shì)識(shí)別的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于加速度傳感器的手勢(shì)識(shí)別的方法，尤其涉及一種采用分幀處
理、幀內(nèi)提取時(shí)域與頻域信號(hào)特征來(lái)分析三維加速度數(shù)據(jù)序列，并以多類支持向量機(jī)為模 型進(jìn)行手勢(shì)分類和識(shí)別的方法。
背景技術(shù)：
隨著電器和計(jì)算設(shè)備在日常生活中的應(yīng)用越來(lái)越廣泛，推進(jìn)各種不同模態(tài)的新型 人機(jī)交互方式的發(fā)展成為計(jì)算技術(shù)研究的熱點(diǎn)。其中以用戶的動(dòng)態(tài)手勢(shì)與設(shè)備進(jìn)行交互的 方式具有廣泛的應(yīng)用前景，特別是家用電器控制、手持設(shè)備(如手機(jī))控制等領(lǐng)域。
傳統(tǒng)的手勢(shì)識(shí)別是基于計(jì)算機(jī)視覺(jué)技術(shù)實(shí)現(xiàn)的。該技術(shù)對(duì)周圍環(huán)境的光線和用戶 所處的位置和方向都有強(qiáng)烈的依賴性，顯然不能滿足用戶多變的日常使用的實(shí)際要求。已 有的基于加速度傳感器的手勢(shì)識(shí)別方法多采用手勢(shì)過(guò)程中加速度信號(hào)的時(shí)域信息，如隱馬 爾可夫模型、動(dòng)態(tài)時(shí)間規(guī)整模型等，使得識(shí)別過(guò)程中對(duì)信號(hào)噪點(diǎn)和信號(hào)的變化非常敏感，限 制了手勢(shì)識(shí)別的準(zhǔn)確率。
發(fā)明內(nèi)容
本發(fā)明的目的在于減低已有的手勢(shì)識(shí)別技術(shù)中對(duì)周圍環(huán)境和用戶位置的高依賴
性以及識(shí)別過(guò)程中噪點(diǎn)和信號(hào)變化帶來(lái)的限制，而提供一種基于加速度傳感器的、采用分
幀和同時(shí)利用信號(hào)時(shí)域和頻域特征的手勢(shì)識(shí)別的方法。 —種基于加速度傳感器的手勢(shì)識(shí)別的方法，其步驟如下 (1)利用三維加速度傳感器檢測(cè)手持該三維加速度傳感器的用戶整個(gè)手勢(shì)變化過(guò) 程中相對(duì)于三維加速度傳感器的三維加速度數(shù)據(jù)序列； 通過(guò)裝有三維加速度傳感器的手持設(shè)備(如手機(jī)、游戲機(jī)控制器、遙控器等，三維 加速度傳感器則可以采用現(xiàn)有技術(shù))檢測(cè)用戶某個(gè)獨(dú)立的、包含某種語(yǔ)意或表達(dá)某種意圖 的動(dòng)態(tài)手勢(shì)，并記錄該手勢(shì)從開(kāi)始到完成的整個(gè)過(guò)程中由加速度傳感器檢測(cè)的、相對(duì)于加 速度傳感器前后方向x軸、左右方向y軸、上下方向z軸的三個(gè)正交方向的加速度數(shù)據(jù)列 (稱為三維加速度數(shù)據(jù)序列)； 步驟(1)中的三維加速度數(shù)據(jù)序列G采用下述方法標(biāo)記
G = (ax， av， az)，式1 其中ax、 ay、 az分別表示在前后方向x軸、左右方向y軸、上下方向z軸 的三個(gè)正交方向的加速度數(shù)據(jù)序列，而就某一方向上加速度數(shù)據(jù)序列可以表示為 dr = (0^,4,…，c4—",T = x， y， z，即下標(biāo)T可以表示x、 y或z軸，L為的加速度數(shù)據(jù)
序列長(zhǎng)度，這樣三維加速度數(shù)據(jù)序列T軸上在第i個(gè)加速度數(shù)值可以用a/表示。
(2)三維加速度數(shù)據(jù)序列分幀處理 將步驟(1)中記錄下來(lái)的三維加速度數(shù)據(jù)序列進(jìn)行幀間等長(zhǎng)的分幀處理，得到的 每個(gè)幀稱為三維加速度數(shù)據(jù)子序列；
3
步驟(2)將三維加速度數(shù)據(jù)序列G首先分幀的方法具體為現(xiàn)將為三維加速度數(shù) 據(jù)序列G分為N+l段，其中每?jī)蓚€(gè)相鄰的段組成1幀，共N幀。上述分幀方法的特征為各幀 等長(zhǎng)，相鄰兩幀之間具有50%重疊。其中第k個(gè)三維加速度數(shù)據(jù)子序列Rk采用下述方法描 述 Rk= (rxk，ryk，rzk)，k = 0，…，N-1，式2 rr,fc = (r ,fc, rv、,..., rr"fc2-" , T = x， y， z 式3 r^,fc = c4s'fc+l, i = 0，…，Ls '2-l 式4 其中rT, k表示第k個(gè)三維加速度數(shù)據(jù)子序列T軸上的加速度子序列， Ls = UV(W + l)J表示三維加速度數(shù)據(jù)子序列rT,k的長(zhǎng)度，iYki表示三維加速度數(shù)據(jù)子序 列iYk的第i個(gè)的加速度數(shù)值。由于Rk是G的子序列，lYki的值可從G中獲得，其對(duì)應(yīng)關(guān) 系見(jiàn)式4。 步驟(2)中N為一個(gè)固定的整數(shù)值，取值根據(jù)實(shí)際應(yīng)用以及手勢(shì)完成的時(shí)間長(zhǎng)短 取值， 一般為4至15中任一整數(shù)。
(3)幀內(nèi)特征描述子提取 將步驟(2)中得到N個(gè)三維加速度數(shù)據(jù)子序列分別進(jìn)行幀內(nèi)三維加速度數(shù)據(jù)序列 信號(hào)特征提取，并將該三維x軸、y軸、z軸上的多個(gè)不同信號(hào)特征連接成一個(gè)幀內(nèi)特征描述 子； 步驟(3)中的信號(hào)特征采用信號(hào)理論中的時(shí)域和頻域信號(hào)特征，共5種。
可 以 參 見(jiàn)Ling Bao， Stephen S. Inti 1 le. Activity Recognition fromUser-A翻tated Acceleration Data :PERVASIVE 2004， LNCS 3001， pp. 1_17， 2004 ; 以及Nishkam Ravi， Nikhil Dandekar， Preetham Mysore, Michael L. Littman. Activity Recognition from Accelerometer Data. Proceedings of thel7th conference on Innovative applications of artificial intelligence,2005。 對(duì)于第k個(gè)三維加速度數(shù)據(jù)子序列Rk，特征1采用x軸、y軸、z軸三個(gè)維度上的 加速度時(shí)域上的方差o T,k， T = x， y， z : crr,fc = J2fc02—^r/,fc -尸 ^)2式5 fT,fc = r"式6 其中rT, ki見(jiàn)式4， rT, k表示三維加速度數(shù)據(jù)子序列Rk在T軸的所有加速度值在時(shí) 域上的均值。 對(duì)于第k個(gè)三維加速度數(shù)據(jù)子序列Rk，特征2采用加速度兩兩維度時(shí)域上的的相 關(guān)度>^~72,&'1\， T2 = x， y， z : y W2,fc = / ,-； / ,- 、2式7
J"r廣TKfc-(r7^)2卞r2 r2,fc-(rr2,fc)2丄、Uir _ ,, = gm'式8
43/6頁(yè) (6)基于支持向量機(jī)的手勢(shì)識(shí)別 按步驟(1)檢測(cè)并記錄一個(gè)新的手勢(shì)三維加速度數(shù)據(jù)序列，按步驟(2)_(4)對(duì)該 三維加速度數(shù)據(jù)序列進(jìn)行整體特征描述子的計(jì)算， 利用步驟(5)訓(xùn)練得出的支持向量機(jī)模型的向量空間中不同種類手勢(shì)的分界面 對(duì)新的手勢(shì)數(shù)據(jù)進(jìn)行分類識(shí)別。 本發(fā)明的積極效果在于減低手勢(shì)識(shí)別過(guò)程中環(huán)境和用戶的依賴性，已經(jīng)減低加速 度信號(hào)中噪點(diǎn)和變化得影響，從而提高手勢(shì)識(shí)別的性能。
圖l是本發(fā)明的流程圖； 圖2是本發(fā)明的三維加速度傳感器； 圖3是本發(fā)明的分幀示意具體實(shí)施例方式
本發(fā)明的步驟如圖1所示，(i)利用Nintendo⑧Wiimote檢測(cè)并記錄用戶的手勢(shì) 用戶手持內(nèi)置了三維加速度傳感器的Nintendo⑧Wiimote游戲控制器不同種類
的動(dòng)態(tài)手勢(shì)。加速度數(shù)據(jù)序列中的x軸、y軸、z軸是相對(duì)于加速度傳感器建立的三維坐標(biāo) 系，其中前后方向?yàn)閤軸，左右方向?yàn)閥軸，上下方向?yàn)閦軸，見(jiàn)圖2。數(shù)據(jù)采用率為100Hz。 用戶手勢(shì)的開(kāi)始與結(jié)束通過(guò)按按鈕來(lái)標(biāo)識(shí)。用戶手勢(shì)的三維加速的數(shù)據(jù)序列通過(guò)藍(lán)牙通訊 發(fā)送至計(jì)算機(jī)端。手勢(shì)的三維加速的數(shù)據(jù)序列
G = (ax， ay， az)，式16 以文件形式記錄在計(jì)算機(jī)內(nèi)，其中ttr =(邱,c4, ",T二x，y，z表示T軸
上長(zhǎng)度為L(zhǎng)的加速度數(shù)據(jù)序列。根據(jù)Wiimote內(nèi)置的三維加速度傳感器的物理性能，aT°的 量綱為重力加速的g，取值范圍為[-3， 3]。
(2)三維加速度數(shù)據(jù)序列分幀處理 設(shè)一個(gè)手勢(shì)樣本的三維加速的數(shù)據(jù)序列G的長(zhǎng)度為L(zhǎng)。 L根據(jù)具體的手勢(shì)樣本確 定。參數(shù)N取N = 9，我們將手勢(shì)樣本的三維加速的數(shù)據(jù)序列G為10段，其中每?jī)蓚€(gè)相鄰的 段組成1幀，共9幀，見(jiàn)圖3。根據(jù)上述的方法，每段的長(zhǎng)度應(yīng)為Z^ = uy(iv + l)J ，每幀 的長(zhǎng)度應(yīng)為2" = 2 xUV(W + 1)J。為了方便描述，我們把每個(gè)幀的三維加速度數(shù)據(jù)子序 列形式化地寫成Rk : Rk= (rx,k，ry,k，rz,k)，k = 0， ，N-l，式17 rr,fc = ( frrV…，r,'f—", T = x， y， z 式18<formula>formula see original document page 7</formula>
其中rT, k表示第k個(gè)三維加速度數(shù)據(jù)子序列T軸上的加速度子序列，rT, kn表示序 u的第n個(gè)的加速度數(shù)值。由于Rk是G的子序列，iYkn的值可從G中獲得，其對(duì)應(yīng)
關(guān)系見(jiàn)式4。
(5)基于多類支持向量機(jī)的手勢(shì)數(shù)據(jù)集模型訓(xùn)練 我們要求10位用戶做手持Wiimote做12種不同的手勢(shì)，包括向左、向右、向后、向 前、圓圈、方框、直角、字母C、字母S、字母V、字母W、字母Z。每種手勢(shì)做28次，組成一個(gè)規(guī) 模為10X12X28 = 3360的手勢(shì)數(shù)據(jù)集。按步驟(2)-(4)對(duì)手勢(shì)數(shù)據(jù)集分別進(jìn)行分幀，特 征提取，最后使得每一個(gè)手勢(shì)樣本均被一個(gè)整體特征描述子表示。 多類支持向量機(jī)模型訓(xùn)練算法以手勢(shì)數(shù)據(jù)集中所有樣本的整體特征描述子作為 輸入，以一個(gè)多類支持向量機(jī)模型M作為輸出；采用基于結(jié)構(gòu)化輸出的多類支持向量機(jī)算 法實(shí)現(xiàn)一對(duì)多的多類分類策略(winner-takes-all);核函數(shù)采用一次線性核函數(shù)。
為了檢驗(yàn)?zāi)Ｐ偷挠行?，我們通過(guò)4折交叉確認(rèn)方法來(lái)驗(yàn)證。將手勢(shì)數(shù)據(jù)集中每 個(gè)用戶的數(shù)據(jù)分為4組，每組均包含了 12種不同的手勢(shì)，每種手勢(shì)7個(gè)樣本。每次實(shí)驗(yàn)選 取某一個(gè)用戶4組手勢(shì)中的中3組作為訓(xùn)練數(shù)據(jù)集，另外1組作為測(cè)試數(shù)據(jù)集。因此實(shí)驗(yàn) 總共進(jìn)行IO X C！ == 40次。40次實(shí)驗(yàn)結(jié)果的平均識(shí)別準(zhǔn)確率為95. 21%。
(6)基于支持向量機(jī)的手勢(shì)識(shí)別 按步驟(1)檢測(cè)并記錄一個(gè)新的手勢(shì)三維加速度數(shù)據(jù)序列，按步驟(2)-步驟(4) 對(duì)該三維加速度數(shù)據(jù)序列進(jìn)行整體特征描述子的計(jì)算，最后利用步驟(5)訓(xùn)練得出的支持 向量機(jī)模型M對(duì)新的數(shù)據(jù)樣本分類識(shí)別。
權(quán)利要求
一種基于加速度傳感器的手勢(shì)識(shí)別的方法，其步驟如下(1)利用三維加速度傳感器檢測(cè)手持該三維加速度傳感器的用戶整個(gè)手勢(shì)變化過(guò)程中相對(duì)于三維加速度傳感器的三維加速度數(shù)據(jù)序列；(2)將所述的三維加速度數(shù)據(jù)序列進(jìn)行幀間等長(zhǎng)的分幀處理，得到的每個(gè)幀為三維加速度數(shù)據(jù)子序列；(3)將步驟(2)中得到多個(gè)三維加速度數(shù)據(jù)子序列分別進(jìn)行幀內(nèi)三維加速度數(shù)據(jù)序列的信號(hào)特征提取，并將該三維x軸、y軸、z軸上的多個(gè)不同的信號(hào)特征連接成一個(gè)幀內(nèi)特征描述子；(4)將步驟(3)中得到的一個(gè)手勢(shì)的多個(gè)幀的幀內(nèi)特征描述子連接成一個(gè)整體特征描述子；(5)對(duì)不同種類的手勢(shì)按步驟(1)分別檢測(cè)并記錄其三維加速度數(shù)據(jù)序列，以作模型訓(xùn)練所需的數(shù)據(jù)樣本，并按步驟(2)-(4)得到每個(gè)三維加速度數(shù)據(jù)序列的整體特征描述子，運(yùn)用多類支持向量機(jī)模型對(duì)所有整體特征描述子進(jìn)行建模和參數(shù)訓(xùn)練得到在整體特征描述子張成的向量空間中不同種類手勢(shì)的分界面；(6)按步驟(1)檢測(cè)并記錄一個(gè)新的手勢(shì)三維加速度數(shù)據(jù)序列，按步驟(2)-步驟(4)對(duì)該三維加速度數(shù)據(jù)序列進(jìn)行整體特征描述子的計(jì)算，利用步驟(5)訓(xùn)練得出的支持向量機(jī)模型的向量空間中不同種類手勢(shì)的分界面對(duì)新的手勢(shì)數(shù)據(jù)進(jìn)行分類識(shí)別。
2. 根據(jù)權(quán)利要求1所述的基于加速度傳感器的手勢(shì)識(shí)別的方法，其特征是步驟(2) 中在對(duì)三維加速度數(shù)據(jù)序列進(jìn)行分幀處理時(shí)，不同種類手勢(shì)使用相同分幀數(shù)目。
3. 根據(jù)權(quán)利要求l所述的基于加速度傳感器的手勢(shì)識(shí)別的方法，其特征是步驟(2) 中在對(duì)三維數(shù)據(jù)序列進(jìn)行分幀處理時(shí)，各幀等長(zhǎng)，但幀與幀之間有50%的重疊。
4. 根據(jù)權(quán)利要求1所述的基于加速度傳感器的手勢(shì)識(shí)別的方法，其特征是步驟(3)中對(duì)三維加速度數(shù)據(jù)子序列進(jìn)行信號(hào)特征提取時(shí)，所述的信號(hào)特征為a) x軸、y軸、z軸三個(gè)維度上的加速度時(shí)域上的方差；b) 加速度兩兩維度時(shí)域上的的相關(guān)度；c) x軸、y軸、z軸三個(gè)維度上的加速度頻域上的直流分量；d) x軸、y軸、z軸三個(gè)維度上的加速度頻域上的交流分量的能量均值；e) x軸、y軸、z軸三個(gè)維度上的加速度頻域上的交流分量的信息熵。
全文摘要
本發(fā)明公開(kāi)了一種基于加速度傳感器的手勢(shì)識(shí)別的方法，其步驟如下(1)利用手持設(shè)備檢測(cè)并記錄用戶一個(gè)手勢(shì)的三維加速度數(shù)據(jù)序列；(2)對(duì)三維加速度數(shù)據(jù)序列分幀處理；(3)幀內(nèi)特征描述子提??；(4)整體特征描述子的形成；(5)基于支持向量機(jī)的手勢(shì)數(shù)據(jù)集模型訓(xùn)練；(6)基于支持向量機(jī)的動(dòng)作識(shí)別。本發(fā)明的積極效果在于減低手勢(shì)識(shí)別過(guò)程中環(huán)境和用戶的依賴性，已經(jīng)減低加速度信號(hào)中噪點(diǎn)和變化的影響，從而提高手勢(shì)識(shí)別的性能。
文檔編號(hào)G06K9/00GK101694692SQ200910154018
公開(kāi)日2010年4月14日 申請(qǐng)日期2009年10月22日 優(yōu)先權(quán)日2009年10月22日
發(fā)明者吳嘉慧, 吳朝暉, 張大慶, 李石堅(jiān), 潘綱 申請(qǐng)人:浙江大學(xué);