基于步態(tài)三維輪廓匹配合成的視角大幅可變步態(tài)識別方法

基于步態(tài)三維輪廓匹配合成的視角大幅可變步態(tài)識別方法
【專利摘要】本發(fā)明公開了一種基于步態(tài)三維輪廓匹配合成的視角大幅可變步態(tài)識別方法，對單個深度攝像機采集到的彩色和深度圖像進行基于雙質(zhì)心自適應匹配的運動人體檢測，提取出去除背景的步態(tài)深度圖像，對步態(tài)深度圖像進行基于多曲線擬合和高斯分布信息融合的深度圖像修復；進行步態(tài)點云提??；將一個步態(tài)周期內(nèi)所有三維步態(tài)表面模型進行數(shù)據(jù)融合，生成三維融合步態(tài)能量模型；將兩個訓練視角的融合步態(tài)模型旋轉(zhuǎn)至同一視角，通過三維輪廓匹配完成不同視角三維步態(tài)模型表面對接，并進行多視角步態(tài)模糊輪廓數(shù)據(jù)的提??；通過融合步態(tài)模糊輪廓的步態(tài)子圖像和集成分類器完成視角大幅可變的三維步態(tài)分類識別。本發(fā)明解決了當前的步態(tài)識別方法無法很好地解決視角大幅可變步態(tài)識別問題。
【專利說明】
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及生物特征識別領(lǐng)域，具體是一種基于步態(tài)三維輪廓匹配合成的視角大 幅可變步態(tài)識別方法。 基于步態(tài)三維輪廓匹配合成的視角大幅可變步態(tài)識別方法

【背景技術(shù)】
[0002] 步態(tài)識別作為一種遠距離且無需對象配合的生物特征識別手段，旨在根據(jù)人們行 走的步態(tài)實現(xiàn)對個人身份的識別、鑒定或生理、病理及心理特征的檢測。步態(tài)識別可在較低 圖像質(zhì)量下進行，無需識別對象的配合，識別距離較遠，且難以偽裝和掩藏，與傳統(tǒng)生物特 征識別相比有明顯優(yōu)勢。
[0003] 很多情況下，要求在與被識別對象無任何交互性接觸的同時，實現(xiàn)對個人身份的 識別和監(jiān)控。一些重要的保密場所或公共場合諸如軍事基地、奧運場所、高檔社區(qū)、汽車站、 火車站、飛機場和停車場等，出于管理和安全的需要，必須有效識別進入人員身份，提供不 同人員的進入權(quán)限級別并且快速檢測威脅，所以需要采用特定的方法來檢測。遠距離步態(tài) 識別技術(shù)就可以達到這類要求，它為日益復雜的公共安全問題提供了一種新的防護手段， 在公共安全領(lǐng)域和公安系統(tǒng)案件偵破中有著很大的應用前景。
[0004] 當前步態(tài)識別過程中步態(tài)圖像的采集主要依靠普通攝像頭，得到的為二維步態(tài)圖 像，對二維步態(tài)圖像進行周期檢測和特征提取后，可進行步態(tài)識別。
[0005] 另一種方法采用多個攝像機或立體攝像機進行步態(tài)圖像數(shù)據(jù)采集和三維重建，提 取三維空間下的步態(tài)特征進行步態(tài)識別。
[0006] 采用二維圖像進行步態(tài)識別的技術(shù)，當視角變化較大時，其識別率會大幅下降，嚴 重影響其在反恐、安保方面的實用性。而采用多個攝像機或立體攝像機進行三維重建的方 法，存在計算復雜，設備成本高等問題。
[0007] 總之，二維視頻獲取和處理相對簡單，但對視角大幅可變情況的處理手段有限或 繁瑣；三維視頻的獲取和處理又較為復雜，往往實用性不強。
[0008] 目前視角可變步態(tài)識別研究以多視角二維步態(tài)視頻為基礎(chǔ)，這使得步態(tài)識別的研 究與實際應用受到很大限制。


【發(fā)明內(nèi)容】

[0009] 本發(fā)明所要解決的技術(shù)問題是，針對現(xiàn)有技術(shù)不足，提供一種基于步態(tài)三維輪廓 匹配合成的視角大幅可變步態(tài)識別方法，解決當前的步態(tài)識別方法無法很好地解決視角大 幅可變步態(tài)識別問題。
[0010] 為解決上述技術(shù)問題，本發(fā)明所采用的技術(shù)方案是：一種基于步態(tài)三維輪廓匹配 合成的視角大幅可變步態(tài)識別方法，包括以下步驟：
[0011] 1)對單個深度攝像機采集到的彩色和深度圖像進行基于雙質(zhì)心自適應匹配的運 動人體檢測，提取出去除背景的步態(tài)深度圖像；
[0012] 2)對步態(tài)深度圖像進行基于多曲線擬合和高斯分布信息融合的深度圖像修復；
[0013] 3)利用修復后的步態(tài)深度圖像進行步態(tài)點云提取，完成三維表面建模，得到三維 步態(tài)表面模型；
[0014] 4)將一個步態(tài)周期內(nèi)所有三維步態(tài)表面模型進行數(shù)據(jù)融合，生成一個以頭部特征 為核心的三維融合步態(tài)能量模型；將兩個不同訓練視角的三維融合步態(tài)能量模型旋轉(zhuǎn)至同 一視角，運用三維輪廓匹配方法完成不同視角三維融合步態(tài)能量模型表面對接，將表面對 接后的三維融合步態(tài)能量模型進行三維映射旋轉(zhuǎn)變換，并投影到二維空間，運用分塊掃描 方法完成多視角步態(tài)模糊輪廓圖的提??；
[0015] 5)將提取的步態(tài)模糊輪廓圖作為全局特征，通過典型關(guān)聯(lián)分析方法融入到多視角 步態(tài)子圖局部特征中，構(gòu)成融合的步態(tài)子圖特征空間，并以此作為步態(tài)特征，運用異質(zhì)進化 方法完成集成分類器權(quán)向量的求解，設計出最佳效果的集成分類器，完成視角大幅可變的 三維步態(tài)分類識別。
[0016] 所述步驟1)中，所述出去除背景的步態(tài)深度圖像具體提取過程如下：
[0017] 1)對單個深度攝像機采集到的彩色圖像進行背景建模，利用幀間差異法和背景剪 除法獲得去除背景的RGB人體圖像；
[0018] 2)設定閾值Td，刪除閥值取值范圍之外的深度數(shù)據(jù)，歸一化單個深度攝像機采集 到的深度圖像，得到深度粗提取前景目標圖；所述閾值Td由下式確定：

【權(quán)利要求】
1. 一種基于步態(tài)三維輪廓匹配合成的視角大幅可變步態(tài)識別方法，其特征在于，包括 以下步驟： 1) 對單個深度攝像機采集到的彩色圖像和深度圖像進行基于雙質(zhì)心自適應匹配的運 動人體檢測，提取出去除背景的步態(tài)深度圖像； 2) 對步態(tài)深度圖像進行基于多曲線擬合和高斯分布信息融合的深度圖像修復； 3) 利用修復后的步態(tài)深度圖像進行步態(tài)點云提取，完成三維表面建模，得到三維步態(tài) 表面模型； 4) 將一個步態(tài)周期內(nèi)所有三維步態(tài)表面模型進行數(shù)據(jù)融合，生成一個以頭部特征為核 心的三維融合步態(tài)能量模型；將兩個不同訓練視角的三維融合步態(tài)能量模型旋轉(zhuǎn)至同一視 角，運用三維輪廓匹配方法完成不同視角三維融合步態(tài)能量模型表面對接，將表面對接后 的三維融合步態(tài)能量模型進行三維映射旋轉(zhuǎn)變換，并投影到二維空間，運用分塊掃描方法 完成多視角步態(tài)模糊輪廓圖的提?。? 5) 將提取的步態(tài)模糊輪廓圖作為全局特征，通過典型關(guān)聯(lián)分析方法融入到多視角步態(tài) 子圖局部特征中，構(gòu)成融合的步態(tài)子圖特征空間，并以此作為步態(tài)特征，運用異質(zhì)進化方法 完成集成分類器權(quán)向量的求解，設計出最佳效果的集成分類器，完成視角大幅可變的三維 步態(tài)分類識別。
2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟1)中，所述去除背景的步態(tài)深度 圖像具體提取過程如下： 1) 對單個深度攝像機采集到的彩色圖像進行背景建模，利用幀間差異法和背景剪除法 獲得去除背景的RGB人體圖像； 2) 設定閾值Td，刪除閥值取值范圍之外的深度數(shù)據(jù)，歸一化單個深度攝像機采集到的 深度圖像，得到去除背景的深度粗提取前景目標圖；所述閾值Td由下式確定：
其中，UpyJ為自適應RGB縮放圖中的人體區(qū)域點坐標； 5)利用上述匹配關(guān)系式從深度粗提取前景目標圖中提取出步態(tài)深度圖像。
3. 根據(jù)權(quán)利要求2所述的方法，其特征在于，對步態(tài)深度圖像進行基于多曲線擬合和 高斯分布信息融合的深度圖像修復的具體過程為： 1) 對步態(tài)深度圖像和自適應RGB縮放圖進行異或運算得到待修補區(qū)域； 2) 利用待修補區(qū)域灰度值的連續(xù)性和成正態(tài)分布原理對步態(tài)深度圖像進行融合迭代 修復，得到修復后的步態(tài)深度圖像。
4. 根據(jù)權(quán)利要求3所述的方法，其特征在于，對步態(tài)深度圖像進行融合迭代修復的方 法為：
其中，修復后的步態(tài)深度圖像中（x，y)點的深度值為cbpth(x，y)，（cx，cy)為修復后的 步態(tài)深度圖像的主點，fx，fy分別為深度攝相機在X軸和y軸上的焦距；cx，c y和fx，fy通過 張氏標定法標定得到； 2)根據(jù)上述三維空間的步態(tài)點云坐標（X，Y，Z)構(gòu)建出人體的三維表面模型T :T = {(Xt，Yt，Zt) e R3, t = 1... Μ};其中，Μ為三維表面模型點云數(shù)量。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，三維融合步態(tài)能量模型構(gòu)建過程如下： 1) 令一個步態(tài)周期有Ν幀動態(tài)步態(tài)圖，分別對Ν幀動態(tài)步態(tài)圖進行三維重建，得到步態(tài) 三維模型集P = {p1"，r = 1. . . Ν}, ρ1·表示步態(tài)周期內(nèi)第r個三維重建模型，即步態(tài)模型； 2) 對步態(tài)三維模型集中的每一個步態(tài)模型提取頭部特征數(shù)據(jù)，令提取出對應的頭部特 征模型為Η = {V，r = 1. .. N}，然后計算頭部特征模型的質(zhì)心； 3) 選取步態(tài)三維模型集中的第一個步態(tài)模型作為參考模型，利用頭部質(zhì)心計算所有步 態(tài)模型與參考模型的平移變換矩陣Γ; 4) 利用平移變換矩陣計算出以頭部質(zhì)心為核心的三維融合步態(tài)能量模型S :S = { U (pr+Tr)，r = 1. · · N}。

2) 對Θ視角下的拼接融合模型1^0，以χ-γ平面為參考面進行離散化，然后投影到χ-γ 平面中，得到離散步態(tài)圖像； 3) 對離散步態(tài)圖像按像素dx，dy步進由上到下、由左至右劃分為Η個小塊，然后計算 所有小塊的點云平均密度Dm_ ; 4) 對離散步態(tài)圖像以小塊為基本單位由上而下進行掃描，當小塊內(nèi)的點數(shù) Ν'處\0111_時，刪除小塊內(nèi)所有點，即去除步態(tài)相對靜止區(qū)域數(shù)據(jù)，保留運動特征明顯區(qū) 域的數(shù)據(jù)；對所有保留的點，再按小塊為單位計算位于該小塊內(nèi)所有點的深度平均值，通過 將每個小塊對應成一個像素點，深度平均值對應成像素點的深度值，得到一幅二維輪廓步 態(tài)圖，所述二維輪廓步態(tài)圖大小為（1/dx, Ι/dy);其中，0彡h彡1 ; 5) 將上述二維輪廓步態(tài)圖內(nèi)所有像素點的深度值歸一化至[0 255]，即轉(zhuǎn)換成灰度圖 像，最終得到Θ視角下的步態(tài)模糊輪廓圖； 6) 重復步驟1)?步驟5)，完成對其余角度所有類步態(tài)模糊輪廓圖的提取，所有的步態(tài) 模糊輪廓圖構(gòu)成多視角步態(tài)模糊輪廓全局特征。
9. 根據(jù)權(quán)利要求8所述的方法，其特征在于，多視角步態(tài)子圖局部特征獲取方法為： 1) 利用拼接融合模型進行多視角的映射旋轉(zhuǎn)變換，合成無遮擋的Θ角度的步態(tài)數(shù)據(jù) Ρθ ; 2) 對Θ視角下的拼接融合模型1^0，以Χ-Υ平面為參考面進行離散化，然后投影到χ-γ 平面中，得到離散步態(tài)圖像； 3) 對離散步態(tài)圖像按像素dx，dy步進由上到下、由左至右劃分為Η個小塊；按小塊為 單位計算位于該塊內(nèi)所有點的深度平均值，通過將每個小塊對應成一個像素點，深度平均 值對應成像素點的深度值，得到一幅二維步態(tài)圖，所述二維步態(tài)圖大小為（l/dx，l/dy); 4) 計算二維步態(tài)圖所有點的平均曲率，將平均曲率值歸一化至[0 255]，替換二維步態(tài) 圖所有點原來的深度值，構(gòu)成二維曲率步態(tài)圖； 5) 將二維曲率步態(tài)圖由上至下分割成F個步態(tài)子圖：頭部子圖，上身子圖，臀部子圖， 腿部子圖和腳步子圖；最終得到Θ視角下的各分塊步態(tài)子圖； 6) 重復步驟1)?步驟5)，提取各角度所有類分塊步態(tài)子圖，構(gòu)建多視角步態(tài)子圖局部 特征。
10. 根據(jù)權(quán)利要求9所述的方法，其特征在于，構(gòu)建步態(tài)子圖特征空間的具體步驟如 下： 1)分別對各視角下的步態(tài)模糊輪廓全局特征和步態(tài)子圖局部特征進行典型關(guān)聯(lián)分析， 得到全局特征到子圖局部特征的融合投影矩陣Pn，k;其中，η表示步態(tài)子圖標號，n e [1 5]， k為步態(tài)類別； 2)將步態(tài)模糊輪廓全局特征利用融合投影矩陣融入到步態(tài)子圖局部特征中，構(gòu)成步態(tài) 子圖特征空間。
11.根據(jù)權(quán)利要求10所述的方法，其特征在于，三維步態(tài)分類識別的具體步驟如下： 1) 當識別未知步態(tài)序列X時，計算出該步態(tài)數(shù)據(jù)視角，在數(shù)據(jù)庫中找到最相近視角的 訓練特征集； 2) 對該未知步態(tài)序列X依次進行周期檢測，三維重建，生成三維融合步態(tài)能量模型，并 提取出步態(tài)模糊輪廓全局特征和Q個分塊步態(tài)曲率圖；將提取的步態(tài)模糊輪廓全局特征利 用融合投影矩陣P n，k融入到所述Q個分塊步態(tài)曲率圖xn，k中，從而獲得融合全局特征的相 關(guān)新特征 C n，k = Pn，k*xn，k; 3) 使用最近鄰方法對上述Q個分塊步態(tài)曲率圖χηΛ進行分類，每個分塊步態(tài)曲率圖有 C個分類結(jié)果，C為分類總數(shù)，整個步態(tài)圖像共有QXC個結(jié)果，利用集成分類器集成分類結(jié) 果，定義集成分類器D k為：
【文檔編號】A61B5/11GK104061907SQ201410338499
【公開日】2014年9月24日 申請日期:2014年7月16日 優(yōu)先權(quán)日:2014年7月16日
【發(fā)明者】唐琎, 羅堅, 王富強, 許天水, 郝勇峰, 毛芳 申請人:中南大學