專利名稱：：一種基于熱紅外步態(tài)的夜間行人識(shí)別方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
：本發(fā)明屬于模式識(shí)別應(yīng)用領(lǐng)域，涉及對(duì)步態(tài)的生物特征進(jìn)行數(shù)字圖像處理、計(jì)算機(jī)視覺和模式識(shí)別技術(shù)。
背景技術(shù)：
：步態(tài)意指人的行走方式。廣義來說，步態(tài)既包含有行人運(yùn)動(dòng)過程中的動(dòng)態(tài)信息也含有人體形這一靜態(tài)信息。早期的心理物理學(xué)與醫(yī)學(xué)步態(tài)分析研究結(jié)果證明步態(tài)包含有豐富的個(gè)體特性，同時(shí)相對(duì)個(gè)體而言，具有唯一性，因此它可以被用于身份識(shí)別。美國911恐怖襲擊事件之后，各國政府和民眾對(duì)安全保障有了比以往更為強(qiáng)烈的需求。傳統(tǒng)的人力密集型監(jiān)控系統(tǒng)存在一些局限性①要求工作人員長時(shí)間注意力保持高度集中；②大量實(shí)時(shí)視頻數(shù)據(jù)的監(jiān)測；③對(duì)多個(gè)目標(biāo)同時(shí)監(jiān)控存在一定的困難性；④在全天候工作條件下存在欠妥性；⑤較高的人員工作強(qiáng)度。這些局限性凸現(xiàn)出傳統(tǒng)人力密集型監(jiān)控系統(tǒng)的技術(shù)不足之處。在這種強(qiáng)烈的市場和技術(shù)需求條件下，智能視覺監(jiān)控受到了人們更為廣泛的關(guān)注。智能視覺監(jiān)控是一個(gè)多學(xué)科交叉的應(yīng)用領(lǐng)域，它目前是計(jì)算機(jī)視覺最為活躍的應(yīng)用領(lǐng)域之一，智能視覺監(jiān)控可能的應(yīng)用領(lǐng)域有銀行安保，邊境檢査，安全敏感場合的訪問控制，流量統(tǒng)計(jì)等。目前智能視覺監(jiān)控研究的目標(biāo)是實(shí)現(xiàn)以計(jì)算機(jī)為主體，以人為輔，對(duì)動(dòng)態(tài)場景實(shí)現(xiàn)實(shí)時(shí)監(jiān)控目的，以減輕工作人員的勞動(dòng)強(qiáng)度(注意"輔"意指人只進(jìn)行指導(dǎo)計(jì)算機(jī)如何進(jìn)行有效學(xué)習(xí)規(guī)則)和提高監(jiān)控效率。例如，由美國國防高級(jí)研究項(xiàng)目署DARPA牽頭的VSAM項(xiàng)目瞄準(zhǔn)了智能視覺監(jiān)控在戰(zhàn)場和民用場景中的應(yīng)用。卡內(nèi)基梅隆大學(xué)與Sarnoff公司聯(lián)合進(jìn)行視頻監(jiān)控與監(jiān)測子項(xiàng)目開發(fā)出了利用多個(gè)協(xié)同工作的視頻傳感器來對(duì)復(fù)雜的環(huán)境中的人和車輛進(jìn)行監(jiān)控。MIT視覺監(jiān)控研究組的集群傳感器項(xiàng)目利用大量廉價(jià)攝像頭，開發(fā)出一套監(jiān)控系統(tǒng)，能夠?qū)鼍斑M(jìn)行持續(xù)、全范圍的監(jiān)控與監(jiān)測，此外，此系統(tǒng)還具有自動(dòng)配置和處理的特點(diǎn)。而MIT多媒體實(shí)驗(yàn)室則側(cè)重于視頻圖像中行為的理解，即對(duì)視頻序列進(jìn)行解釋，以告知環(huán)境中正在發(fā)生些什么。從實(shí)際應(yīng)用來考慮，全天候應(yīng)該是一個(gè)魯棒的視覺監(jiān)控系統(tǒng)的必備條件，因此夜間視覺監(jiān)控是視覺監(jiān)控系統(tǒng)的一個(gè)不可缺少的有機(jī)組成部分。當(dāng)前視覺監(jiān)控的研究對(duì)象一般只考慮行人和車輛。另一方面，人運(yùn)動(dòng)視覺分析則為智能視覺監(jiān)控中人的監(jiān)控部分提供了必要的理論基礎(chǔ)。人運(yùn)動(dòng)視覺分析側(cè)重于研究1.人體各組成部分的運(yùn)動(dòng)分析；2.從單目或多目攝像機(jī)中對(duì)行人進(jìn)行跟蹤；3.從圖像序列中識(shí)別人的行為。人運(yùn)動(dòng)分析的廣泛應(yīng)用前景引起了廣大學(xué)術(shù)和工業(yè)界人士的濃厚興趣。由美國國防高級(jí)研究項(xiàng)目署(DARPA)資助的HID(HumanIdentificationataDistance)計(jì)劃的目的則是開發(fā)自動(dòng)生物特征識(shí)別技術(shù)用于在遠(yuǎn)距離條件下對(duì)人進(jìn)行檢測、分類、識(shí)別，以期提高國防和民用設(shè)施對(duì)于恐怖分子、犯罪分子和其它人為攻擊的防御能力。許多世界知名大學(xué)，如麻省理工，卡內(nèi)基梅隆，佐治亞理工，馬里蘭等大學(xué)均參與到這個(gè)計(jì)劃當(dāng)中。HID計(jì)劃擬采用人臉和步態(tài)特征相結(jié)合的策略，對(duì)人進(jìn)行識(shí)別。在近距離時(shí)，可通過跟蹤人臉實(shí)現(xiàn)對(duì)人的識(shí)別；在遠(yuǎn)距離時(shí)，由于臉部特征較難獲取，故利用步態(tài)特征對(duì)人進(jìn)行識(shí)別；在中等距離時(shí)，采用多模態(tài)融合策略，來產(chǎn)生一個(gè)更為快速、準(zhǔn)確、無約束的行人識(shí)別系統(tǒng)。值得注意的是當(dāng)前HID研究工作大都集中于日間或可見光范圍內(nèi)的行人監(jiān)控識(shí)別。這主要是由于夜間的光照條件低，在可見光條件下，一般很難對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行魯棒有效的檢測。早期一些學(xué)者利用普通CCD攝像頭加高強(qiáng)度探照燈的組合，在夜晚通過探照燈對(duì)被監(jiān)控區(qū)域進(jìn)行光照增強(qiáng)，然后再由普通可見光攝像頭對(duì)被監(jiān)控區(qū)域進(jìn)行圖像采集。這種方法存在的一個(gè)問題是探照燈的選擇對(duì)最終監(jiān)控系統(tǒng)性能有著重要影響若探照燈發(fā)生故障，整個(gè)監(jiān)控系統(tǒng)則將不能正常工作；圖像質(zhì)量受光照強(qiáng)度的影響較大。另外，探照燈的高強(qiáng)度對(duì)人眼有較強(qiáng)的刺激作用，如果用在交通監(jiān)控場景，則探照燈的使用會(huì)轉(zhuǎn)移駕駛員的注意力，容易造成交通事故。值得注意的是近年來由于隨著紅外成像設(shè)備成本的下降以及紅外成像技術(shù)的不斷完善進(jìn)步，利用計(jì)算機(jī)視覺算法來對(duì)紅外圖像進(jìn)行智能分析的研究不斷增加，并且為夜間視覺監(jiān)控的研究提供了一種可行的途徑。一些研究者利用紅外成像技術(shù)克服了早期人臉識(shí)別中的光照依賴性，進(jìn)而進(jìn)一步提高人臉系統(tǒng)在光照變化條件下的系統(tǒng)性能。此外，還有一些研究工作在假設(shè)行人體溫比環(huán)境溫度高的條件下來對(duì)紅外圖像中的行人進(jìn)行檢測和跟蹤。紅外成像具有先天的光照無關(guān)性和可見光譜中的陰影免疫特點(diǎn)，使得它成為夜視監(jiān)控中一種頗具吸引力的成像模態(tài)，其最大優(yōu)點(diǎn)是它的夜視能力。此外，步態(tài)作為一種新興的生物特征，具有遠(yuǎn)距離可感知性、非接觸性和非侵犯性的特點(diǎn)。與人臉，虹膜，指紋等生物特征相比，步態(tài)是目前唯一的可遠(yuǎn)距離提取的生物特征技術(shù)。步態(tài)的缺點(diǎn)是它受到行人的情緒、疲勞、健康狀況等條件的影響。綜上，就夜間視覺監(jiān)控而言，基于熱紅外步態(tài)的行人識(shí)別方法具有迫切需求，此外，我們有必要進(jìn)一步提高步態(tài)識(shí)別方法的效率和準(zhǔn)確率。近年來，基于可見光條件下的步態(tài)識(shí)別的研究工作大都集中于步態(tài)特征提取問題上，忽視行人檢測這一重要功能模塊。以下是近年來的可對(duì)比性技術(shù)及本發(fā)明的參考文獻(xiàn)[1]C.BenAbdelkader，R.Culter,H.NandaandL.Davis.EigenGait:motion-basedrecognitionofpeopleusingimageself-similarity,in尸rac.o/Co"/y4w血-W(ieo-6asecPeno"Ji^/zew"'c加'o",pp:284-294，2001.[2]B.BhanuandJ.Han.Kinematic-basedHumanMotionAnalysisinInfraredSequeces.尸rac.f/ze礎(chǔ)恥nb/zo/o"y4p///ca"orao/Cow戶fer版o"，pp:208-212,2002.[3]R.Collins.Silhouette-basedHumanIdentificationfromBodyShapeandGait,/Voc.5AZE￡￡/"ma"owa/Co"/erewce」wto腸"cFace"woGeitwe/ecog""z'ow，pp:351-356，2002.[4]S.Sarkar,RPhilips,Z.Liu,I.Vega,RGrotherandK.Bowyer.TheHumanGaitChallengeProblem:DataSets,PerformanceandAnalysis.7hww(3c"ow爿wa/;AS7'siWac/n.we/"fe///ge"ce，27(2):162-177，2005.[5]C.Staufferand)^.E丄Grimson.AdaptiveBackgroundMixtureModelsforReal-timeTracking./Voc.Co"y^rewceo"Compw&rK/w'ow戶嫌ATiiecog""/ow，pp:246-252,1999.[6]LWang,T.Tan,H.NingandW.Hu,SilhouetteAnalysis-basedGaitRecognitionforHumanIdentification./￡JE￡7a/wo"/o7w尸af/er"朋dMac/'"e/"&〃/ge"ce，25(12):1505-1518，2003.[7]J.K.AggarwalandQ.Cai.HumanMotionAnalysis:AReview.Com/^e/*Fz'w'ow/waget/"der加W"g,73(3),pp:428-440,1999.[8]R.Collinsetal.ASystemforVideoSurveillanceandMonitoring:VSAMFinalReport.7k^w'ca/i印oW:CVl^/-i/-7^-O0-"，CarnegieMellonUniversity,2000.[9]http:〃www.ai.mitedu/projects/vsam/.盡管目前針對(duì)步態(tài)識(shí)別提取這一研究領(lǐng)域，已經(jīng)提出了許多富有希望的研究成果，但是它們大都是針對(duì)可見光模態(tài)下日間行人的身份識(shí)別，并且還有很大空間來進(jìn)一步提升步態(tài)識(shí)別系統(tǒng)的性能。例如，當(dāng)前的步態(tài)識(shí)別算法普遍計(jì)算復(fù)雜度高，計(jì)算效率低，因而對(duì)于實(shí)時(shí)性要求高的場合來說，是不能滿足要求的。
發(fā)明內(nèi)容現(xiàn)有技術(shù)針對(duì)可見光模態(tài)下日間行人的身份識(shí)別，步態(tài)識(shí)別算法計(jì)算復(fù)雜度高，計(jì)算效率低，不能適應(yīng)實(shí)時(shí)性要求高的場合使用，為了解決現(xiàn)有技術(shù)的問題，本發(fā)明的目的是提供步態(tài)識(shí)別算法計(jì)算簡單，計(jì)算效率高，能適應(yīng)實(shí)時(shí)性要求高的場合使用的一種基于熱紅外步態(tài)的夜間行人識(shí)別的方法及系統(tǒng)。為了實(shí)現(xiàn)所述的目的，本發(fā)明的一方面，提出一種基于熱紅外步態(tài)的夜間行人識(shí)別方法，步驟如下訓(xùn)練熱紅外步態(tài)視頻圖像步驟從紅外視頻圖像中檢測分割出行人，獲取熱紅外步態(tài)圖像序列，釆用平均灰度圖來描述熱紅外步態(tài)視頻，進(jìn)而獲取熱紅外步態(tài)特征；識(shí)別熱紅外步態(tài)視頻圖像步驟基于最近鄰分類器，以平均灰度圖為身份屬性描述，對(duì)熱紅外視頻圖像中行人的熱紅外步態(tài)進(jìn)行身份識(shí)別。優(yōu)選地，所述訓(xùn)練熱紅外步態(tài)視頻圖像的步驟如下-Sl:輸入熱紅外步態(tài)視頻圖像；S2:對(duì)熱紅外步態(tài)視頻序列中圖像的每個(gè)像素的灰度分布用自適應(yīng)更新的混合高斯模型近似逼近，實(shí)現(xiàn)對(duì)整個(gè)熱紅外步態(tài)圖像的像素灰度分布建模；S3:利用熱紅外圖像像素分布模型，對(duì)整幅熱紅外步態(tài)視頻圖像中的熱紅外運(yùn)動(dòng)目標(biāo)進(jìn)行粗檢測，獲取熱紅外步態(tài)視頻圖像像素二值分類結(jié)果；S4:對(duì)二值分類結(jié)果進(jìn)行后處理去除無關(guān)噪聲信號(hào)，得到二值化熱紅外行人步態(tài)前景圖像，通過計(jì)算獲取人行走序列中一個(gè)周期的熱紅外步態(tài)剪影；S5:利用熱紅外步態(tài)剪影圖像的時(shí)空運(yùn)動(dòng)特點(diǎn)和人體形信息，判斷當(dāng)前剪影幀是否屬于一個(gè)周期內(nèi)的熱紅外步態(tài)剪影，如果是，則執(zhí)行步驟S6;如果不屬于一個(gè)周期的熱紅外步態(tài)剪影，則執(zhí)行步驟S7;S6:對(duì)熱紅外步態(tài)剪影圖像尺寸進(jìn)行歸一化，累加歸一化的熱紅外步態(tài)視頻序列中有效步態(tài)剪影，返回步驟S2;S7:對(duì)一個(gè)周期的熱紅外步態(tài)剪影人體形信息進(jìn)行平均灰度圖計(jì)算，獲取熱紅外步態(tài)特征；S8:接收熱紅外步態(tài)進(jìn)入訓(xùn)練集步態(tài)庫。優(yōu)選地，所述識(shí)別熱紅外步態(tài)視頻圖像步驟步驟l:對(duì)待識(shí)別熱紅外步態(tài)建立灰度模型、粗檢測、后處理、計(jì)算平均灰度圖；步驟2:將待識(shí)別熱紅外步態(tài)平均灰度圖信息作步態(tài)特征和訓(xùn)練集步態(tài)庫輸入最近鄰分類器，使最近鄰分類器基于步態(tài)信息對(duì)行人身份進(jìn)行識(shí)別。優(yōu)選地，所述基于像素二值分類的熱紅外運(yùn)動(dòng)目標(biāo)粗檢測，釆用貝葉斯原理將熱紅外圖像像素分成前景運(yùn)動(dòng)目標(biāo)和背景目標(biāo)；對(duì)于當(dāng)前灰度值為A的某像素，由貝葉斯原理，它為前景運(yùn)動(dòng)目標(biāo)時(shí)，則認(rèn)為當(dāng)前像素為前景；否則，為背景；其中，尸^為閾值，取值大于0.5;尸(of/;)按如下規(guī)則確定1.對(duì)分量高斯函數(shù)y;按權(quán)值尸,,升序進(jìn)行排序；2.將前*=argmax危P,,S尸個(gè)高斯函數(shù)取為前景分量函數(shù)，即當(dāng)/SA:時(shí)，尸((9|/;)=1;否則，尸((91/;)=0。/Vr取值在(o,i)范圍內(nèi)。優(yōu)選地，所述基于像素二值分類的熱紅外運(yùn)動(dòng)目標(biāo)粗檢測，或采用可信度閾值的像素分類步驟如下選擇卜,-",,|<2.5來評(píng)價(jià)像素值^與分量高斯函數(shù)/的匹配，則像素分類按如下原則進(jìn)行1.當(dāng)A與像素灰度模型中任何一乂均不匹配時(shí)，則認(rèn)為X,對(duì)應(yīng)像素為前景；2.當(dāng);c,與某L匹配時(shí)，則當(dāng)前L權(quán)重化更新為前一時(shí)刻權(quán)重。的10ox(^)。/。加上一個(gè)固定學(xué)習(xí)值a;將"與y^在Xf處函數(shù)值乘積作為y;,M更新參數(shù)^則^的均值更新為前一時(shí)刻均值",,_,與當(dāng)前義,按(1—p)的的概率由豐k卜來確定；當(dāng)尸(0|乇加權(quán)平均，此外，計(jì)算當(dāng)前灰度與/,m的均值之差的平方，將其與力,m前一時(shí)刻方差^,2按P的加權(quán)求和作為L在當(dāng)前時(shí)刻的方差更新；然后，對(duì)先驗(yàn)概率尸,f進(jìn)行規(guī)一化；其次，按eZ降序，對(duì)/進(jìn)行排序；記"argmin^,W，若乂m在前k個(gè)/中，則認(rèn)為A對(duì)應(yīng)像素為背景，否則，為前景。優(yōu)選地，所述利用平均灰度圖來表征紅外步態(tài)步驟如下1)對(duì)檢測出的前景行人灰度圖像進(jìn)行二值化處理，得到行人剪影圖像；2)從得到的行人剪影輪廓圖像計(jì)算包含前景行人的最小矩形框，截取出矩形框內(nèi)的二值行人圖像；3)對(duì)二值行人圖像進(jìn)行規(guī)一化，得到具有相同的分辨率掩碼后的二值圖像，并且行人中心水平坐標(biāo)位于掩碼后的二值圖像的中間位置；4)對(duì)于一個(gè)序列的行人步態(tài)視頻，其步態(tài)被表征為GFTV/=尸"=&(x，:M)nM雖W—其中iV表示有效步態(tài)視頻幀數(shù)，尸";co;力是掩碼后的二值圖像，M(x，y,t)是掩碼圖像，它的取值表明對(duì)/Vxj^)中人體部分的提取，丑為圖像高度，比例系數(shù)c的取值在范圍內(nèi)。優(yōu)選地，所述后處理步驟如下Sa.輸入熱紅外圖像像素粗分類；Sb.對(duì)紅外圖像像素粗分類進(jìn)行連通域分析，得到連通圖像運(yùn)動(dòng)區(qū)域塊；Sc.對(duì)運(yùn)動(dòng)區(qū)域塊進(jìn)行像素二值化，運(yùn)動(dòng)區(qū)域像素的偏差使得運(yùn)動(dòng)區(qū)域塊生成噪聲；Sd.對(duì)分割出的前景運(yùn)動(dòng)區(qū)域塊內(nèi)部一些細(xì)小孔洞的噪聲信號(hào)，采用形態(tài)學(xué)中的腐蝕和膨脹算法進(jìn)行濾波；Se.利用金字塔算法，去掉濾波結(jié)果中的孔洞噪聲信號(hào)，得到一幅二值化的人體前景圖像；Sf.用人體前景圖像區(qū)域面積、長寬比和緊致性大小來判斷它是否對(duì)應(yīng)一個(gè)行人，使人體前景圖像區(qū)域的面積、長寬比和緊致性在一定的閥值范圍內(nèi)，消除無關(guān)區(qū)域，使人體前景圖像區(qū)域?qū)?yīng)為前景運(yùn)動(dòng)物體；Sg.對(duì)人體前景圖像區(qū)域?qū)?yīng)為前景運(yùn)動(dòng)物體；釆用形態(tài)學(xué)中的腐蝕和膨脹算法進(jìn)行濾波；Sh.對(duì)濾波結(jié)果進(jìn)行歸一化處理得到二值化熱紅外步態(tài)前景圖像。為了實(shí)現(xiàn)所述的目的，本發(fā)明的另一方面，實(shí)現(xiàn)一種基于熱紅外步態(tài)的夜間行人識(shí)別系統(tǒng)包括熱紅外視頻圖像獲取模塊，在夜間低光照條件下，用于獲得電磁波譜里紅外光譜段內(nèi)的成像模態(tài)；紅外圖像分析處理模塊，用于建立熱紅外圖像像素灰度模型，對(duì)運(yùn)動(dòng)物體粗檢測，對(duì)粗檢測進(jìn)行后處理；用平均灰度圖表征紅外步態(tài)，對(duì)紅外步態(tài)特征識(shí)別。優(yōu)選地，所述熱紅外圖像分析處理模塊，是在夜間紅外視頻中的行人身份識(shí)別包括熱紅外圖像像素灰度模型單元，用于對(duì)整幅熱紅外步態(tài)圖像的像素分布建模；運(yùn)動(dòng)物體粗檢測單元，用于對(duì)整幅熱紅外步態(tài)視頻圖像中的熱紅外運(yùn)動(dòng)目標(biāo)進(jìn)行粗檢測，生成熱紅外步態(tài)視頻圖像像素二值分類結(jié)果；后處理單元，用于對(duì)二值分類結(jié)果去除噪聲信號(hào)，生成具有二值化熱紅外步態(tài)前景圖像，獲取熱紅外步態(tài)剪影；步態(tài)表征單元，利用平均灰度圖對(duì)熱紅外步態(tài)剪影表征紅外步態(tài)，用于行人身份識(shí)別；步態(tài)特征識(shí)別單元，基于多模板的最近鄰分類器，對(duì)熱紅外步態(tài)視頻圖像中行人的熱紅外步態(tài)進(jìn)行身份識(shí)別。圖1.基于熱紅外步態(tài)的夜間行人身份識(shí)別算法流程，圖la為訓(xùn)練過程，圖lb為識(shí)別過程。圖2.行人檢測后處理算法流程，圖中虛線表示可選取部分，當(dāng)系統(tǒng)硬件配置計(jì)算能力高，加入金子塔算法，否則，可不用金子塔算法。圖3.某行人的熱紅外步態(tài)圖像。圖4.基于紅外圖像像素灰度模型的粗檢測結(jié)果。圖5.對(duì)應(yīng)于0=1的熱紅外行人步態(tài)平均灰度圖。圖6.對(duì)應(yīng)于c=0.769的熱紅外行人步態(tài)平均灰度圖。圖7.—個(gè)周期內(nèi)被檢測出的歸一化的行人步態(tài)剪影。圖8.熱紅外步態(tài)識(shí)別系統(tǒng)方案圖。圖9.熱紅外圖像分析處理模塊流程圖。具體實(shí)施方式下面將結(jié)合附圖對(duì)本發(fā)明加以詳細(xì)說明，應(yīng)指出的是，所描述的實(shí)施例僅旨在便于對(duì)本發(fā)明的理解，而對(duì)其不起任何限定作用。本發(fā)明與人的運(yùn)動(dòng)分析相關(guān)，更確切的說，與以視頻圖像數(shù)據(jù)流中人步態(tài)分析為手段的行人身份識(shí)別相關(guān)，屬于模式識(shí)別應(yīng)用領(lǐng)域。本發(fā)明充分利用了數(shù)字圖像處理、計(jì)算機(jī)視覺和模式識(shí)別等領(lǐng)域的技術(shù)，促進(jìn)了步態(tài)這一生物特征技術(shù)在夜間視覺監(jiān)控中的應(yīng)用。本發(fā)明的主要貢獻(xiàn)和特點(diǎn)在于1)利用自適應(yīng)更新的混合高斯模型來對(duì)紅外圖像像素灰度進(jìn)行統(tǒng)計(jì)建模，它使系統(tǒng)能較魯棒的從復(fù)雜動(dòng)態(tài)變化場景中檢測出運(yùn)動(dòng)物體；2)選取基于行人體形特征的平均灰度圖作為步態(tài)特征；3)基于模板匹配的快速識(shí)別算法；4)較高識(shí)別率；5)克服了步速對(duì)識(shí)別性能的影響；6)能實(shí)時(shí)的對(duì)紅外視頻中的行人進(jìn)行身份識(shí)別；7)本發(fā)明有機(jī)的整合了圖像處理、計(jì)算機(jī)視覺和模式識(shí)別等領(lǐng)域的技術(shù)，盡管它是在假設(shè)行人側(cè)視行走條件下，但在正視和斜視條件下的識(shí)別試驗(yàn)驗(yàn)證了其魯棒性能。就一些實(shí)際限定場合下基于步態(tài)的人身份識(shí)別而言，本發(fā)明具有技術(shù)上的創(chuàng)新和突破。本發(fā)明以夜間視覺監(jiān)控為背景(夜間視覺監(jiān)控?zé)o疑是智能視覺監(jiān)控中一個(gè)重要的有機(jī)組成部分)，以行人為研究對(duì)象，研究基于熱紅外步態(tài)的夜間行人步態(tài)分析與識(shí)別問題，涉及到熱紅外步態(tài)視頻圖像獲取、圖像灰度建模、行人檢測、步態(tài)特征提取、分類器訓(xùn)練和識(shí)別這些子問題。這里我們假設(shè)，行人運(yùn)動(dòng)方向與攝像機(jī)光軸方向近似垂直，并且行人在行走過程中身體始終保持直立姿態(tài)。受到人識(shí)別過程啟發(fā)，我們認(rèn)為體形特征是一種重要的識(shí)別信息。本發(fā)明先從紅外視頻圖像中檢測分割出行人，利用步態(tài)的時(shí)空運(yùn)動(dòng)特點(diǎn)，通過體形信息來對(duì)行人進(jìn)行識(shí)別，進(jìn)而實(shí)現(xiàn)了一種獨(dú)特的基于熱紅外步態(tài)的夜間遠(yuǎn)距離行人身份識(shí)別方法。如圖8所示，本發(fā)明的一種基于熱紅外步態(tài)的夜間行人識(shí)別系統(tǒng)方框圖，其技術(shù)方案主要包括兩大模塊，其中-熱紅外視頻圖像獲取模塊l，利用熱紅外成像儀，通過視頻采集卡連接到計(jì)算機(jī)，在夜間低光照條件下，可獲取電磁波譜里熱紅外光譜段內(nèi)的成像模態(tài)；熱紅外圖像分析處理模塊2，通過計(jì)算機(jī)由軟件算法實(shí)現(xiàn)，用于建立熱紅外圖像像素灰度模型；對(duì)運(yùn)動(dòng)物體粗檢測，對(duì)粗檢測進(jìn)行后處理;用平均灰度圖表征紅外步態(tài)；對(duì)紅外步態(tài)特征識(shí)別。如圖9所示，是本發(fā)明熱紅外圖像分析處理模塊2方框圖，夜間紅外視頻中的行人身份識(shí)別有賴于這五個(gè)功能模塊的協(xié)調(diào)工作來完成。熱紅外圖像分析處理模塊2包括熱紅外圖像像素灰度模型單元21，用于對(duì)整幅熱紅外步態(tài)圖像的象素分布建模；運(yùn)動(dòng)物體粗檢測單元22，用于對(duì)整幅熱紅外步態(tài)視頻圖像中的熱紅外運(yùn)動(dòng)目標(biāo)進(jìn)行粗檢測，生成熱紅外步態(tài)視頻圖像像素二值分類結(jié)果；后處理單元23，用于對(duì)二值分類結(jié)果去除噪聲信號(hào)，生成具有二值化熱紅外步態(tài)前景圖像，獲取熱紅外步態(tài)剪影；步態(tài)表征單元24，利用平均灰度圖表征紅外步態(tài)，用于行人身份識(shí)別；步態(tài)特征識(shí)別單元25，基于多模板的最近鄰分類器，對(duì)熱紅外步態(tài)視頻圖像中行人的熱紅外步態(tài)進(jìn)行身份識(shí)別。本發(fā)明的方法利用紅外成像原理獲取夜間行人的熱紅外步態(tài)視頻圖像；基于多高斯混合模型的背景減除策略檢測出前景行人運(yùn)動(dòng)目標(biāo)；借助形態(tài)學(xué)濾波和金字塔算法去除檢測噪聲；使用人體征信息作為行人身份屬性描述；綜合多模板匹配和最近鄰決策方法，實(shí)現(xiàn)對(duì)行人的身份識(shí)別。本發(fā)明的技術(shù)方案流程圖見附圖1所示，圖la為紅外步態(tài)視頻訓(xùn)練過程步驟如下Sl:輸入熱紅外步態(tài)視頻圖像；S2:對(duì)熱紅外步態(tài)視頻圖像的視頻序列中每個(gè)像素的灰度分布用自適應(yīng)更新的混合高斯模型近似逼近，實(shí)現(xiàn)對(duì)整體熱紅外步態(tài)圖像的像素分布建模；S3:利用熱紅外圖像像素分布模型，對(duì)整幅熱紅外步態(tài)視頻圖像中的熱紅外運(yùn)動(dòng)目標(biāo)進(jìn)行粗檢測，獲取熱紅外步態(tài)視頻圖像像素二值分類結(jié)果；S4:對(duì)二值分類結(jié)果進(jìn)行后處理去除無關(guān)噪聲信號(hào)，得到二值化熱紅外步態(tài)前景圖像，通過計(jì)算獲取人行走序列中一個(gè)周期的熱紅外步態(tài)剪影；S5:利用熱紅外步態(tài)剪影圖像的時(shí)空運(yùn)動(dòng)特點(diǎn)和人體形信息，判斷當(dāng)前剪影幀是否屬于一個(gè)周期內(nèi)的熱紅外步態(tài)剪影，如果是，則執(zhí)行步驟S6;如果不屬于一個(gè)周期的熱紅外步態(tài)剪影，則執(zhí)行步驟S7;S6:對(duì)熱紅外步態(tài)剪影圖像尺寸進(jìn)行歸一化，累加歸一化的熱紅外步態(tài)視頻序列中有效步忽弊影，返回步驟S2;S7:對(duì)一個(gè)周期的熱紅外步態(tài)剪影人體形信息進(jìn)行平均灰度圖計(jì)算，獲取熱紅外步態(tài)；S8:接收熱紅外步態(tài)進(jìn)入訓(xùn)練集步態(tài)庫。圖lb為紅外步態(tài)視頻識(shí)別過程步驟如下步驟l:對(duì)待識(shí)別熱紅外步態(tài)建立灰度模型、粗檢測、后處理、計(jì)算平均灰度圖；步驟2:將待識(shí)別熱紅外步態(tài)平均灰度圖信息作為步態(tài)特征和訓(xùn)練集步態(tài)庫輸入最近鄰分類器，使最近鄰分類器基于步態(tài)信息對(duì)人身份進(jìn)行識(shí)別。大量的實(shí)驗(yàn)結(jié)果驗(yàn)證了我們方法的有效性。下面將對(duì)該發(fā)明技術(shù)方案中所涉及的各個(gè)細(xì)節(jié)問題進(jìn)行詳細(xì)說明1、熱紅外視頻圖像獲取本部分模塊的功能是在夜間低光照條件下，提供一種便捷的方式來獲得電磁波譜里紅外光譜段內(nèi)的成像模態(tài)，提高低光圖像對(duì)比度，為夜間視覺監(jiān)控提供一種夜視能力。它可以通過使用熱紅外攝像頭或紅外熱像儀或其它一些熱紅外成像設(shè)備來實(shí)現(xiàn)上述目的。2、基于混合髙斯模型的紅外圖像灰度分布模型動(dòng)態(tài)場景中行人檢測是一個(gè)步態(tài)識(shí)別系統(tǒng)的基石。目前，在可見光下的目標(biāo)檢測方法主要有背景減除、光流法、幀間差和基于boosting的學(xué)習(xí)方法的目標(biāo)檢測。研究表明基于光流方法的假設(shè)條件，在紅外視頻圖像中一般不直接成立；基于幀間差的方法一般通過利用動(dòng)態(tài)信息來恢復(fù)出目標(biāo)輪廓，但是具有檢測不完整的缺點(diǎn)；基于boosting的行人檢測效率難以滿足實(shí)時(shí)性要求。另一方面，背景減除方法的簡單和直接性促使我們采用基于背景減除的目標(biāo)檢測算法，其核心是背景圖像的構(gòu)建。傳統(tǒng)的背景圖像構(gòu)造由沿時(shí)間軸上的不含運(yùn)動(dòng)物體的圖像序列平均得到，但這種方法受噪音和動(dòng)態(tài)變化影響大，檢測效果不魯棒。另一方面，由于實(shí)際應(yīng)用場合一般是一個(gè)動(dòng)態(tài)場景，故可對(duì)場景紅外圖像中每個(gè)像素的灰度值分布用一個(gè)混合高斯函數(shù)來近似逼近表示小,)。<formula>formulaseeoriginaldocumentpage18</formula>(2)其中式(l)-(2)中各符號(hào)意義如表1所示。表1.像素灰度高斯混合模型中數(shù)學(xué)符號(hào)之意義<table>tableseeoriginaldocumentpage19</column></row><table>一般情況下，混合高斯函數(shù)中的參數(shù)是未知的。傳統(tǒng)的方法是利用期望最大化算法對(duì)這些參數(shù)進(jìn)行基于學(xué)習(xí)樣本的推理估計(jì)。盡管期望最大化算法的學(xué)習(xí)精度較高，但它的高計(jì)算代價(jià)使得算法整體的實(shí)時(shí)性大打折扣。目前，己經(jīng)有許多學(xué)者提出針對(duì)上述問題的參數(shù)學(xué)習(xí)算法。本發(fā)明擬采用Stauffer等人[15]的混合高斯函數(shù)參數(shù)學(xué)習(xí)算法，以犧牲部分計(jì)算精度換取算法的高效率。本發(fā)明采取的高斯混合函數(shù)參數(shù)學(xué)習(xí)公式如式(3)-(7)所示。(4)(6)其中f表示當(dāng)前時(shí)亥U，ot表示學(xué)習(xí)速率，A4.,表示一種winner-take-all的策略。對(duì)一幅熱紅外圖像中的每個(gè)像素灰度值分布采用相同個(gè)數(shù)的多高斯函數(shù)進(jìn)行統(tǒng)計(jì)逼近，進(jìn)而可實(shí)現(xiàn)對(duì)整幅圖像的像素分布建模。為因子。如果Tm是構(gòu)成某病毒行為P的必要條件，滿足這樣條件的必要行為因子共有R個(gè)，則稱Tm對(duì)P的特異性F(Tm)最低，調(diào)定點(diǎn)極限值即為F(Tm)，且F(Tm)=l/n。設(shè)除Tin外的其它行為因子在發(fā)生病毒行為P的所有病毒樣本中出現(xiàn)的頻率為K(T1〉,K(T2),K(T3),，K(Tn),對(duì)它們進(jìn)行拌序，設(shè)K(Ta)排在第r位，a〉-l且a〈-n,則F(Ta)=F(Tm)*(r+R)。例如病毒行為1):一個(gè)程序模塊釋放出一些執(zhí)行體，其中至少有一個(gè)執(zhí)行體冒充系統(tǒng)文件。該病毒行為P^Tl,T2,Th其中Tl,T2,T3就是行為因子。Tl={NtGr幼teFilel(FileHandle—Tl,DesiredAccess=FILE_WRITE_DATA,ObjectAttributes.ObjectN腿e:冒充系統(tǒng)文件名,IoStatusBlock，AllocationSize'FileAttributes,ShareAccess,CreateDisposition:FILE一CREATE，Create(^)tions,EaBuffer,EaLength)}T2={NtWriteFilel(FileHandle=FileHandle_Tl,Event,ApcRoutine,ApcContext,IoStatusBlock,Buffer,Length,ByteOffset.Key)}T3={NtCreateProcessEx|(ProcessH抑dle，DesiredAccess,ObjectAttributes-0bjectN咖e-罾充系統(tǒng)文件名,ParentProcess,InheritObjectTable,SectionHandle,DebugPort，ExceptionPort,Unknown)在病毒行為1〉中，由于T1與T2是構(gòu)成該病毒行為的必要條件，Tl，T2對(duì)該病毒行為的特異性最低，稱為調(diào)定點(diǎn)極限值。T3在該行為中是可選性執(zhí)行指令，T3如果得到執(zhí)行，將使行為P作為一種病毒行為的概率增加，也就是病毒行為的判定特異性增加。假設(shè)13在一定的病毒樣本數(shù)量中出現(xiàn)的頻率是0.訴，但由于非必要^的行為因子只有T3—個(gè)，始終在排序的第一位，F(xiàn)(Tl)=1/3,F(T2)=1/3，F(xiàn)(T3)=1/3*(1+2)=1。1.3通過一個(gè)病毒行為在較大病毒樣本數(shù)中出現(xiàn)的頻率確定該病毒行為在病毒行為集合中的特異性，外部調(diào)定點(diǎn)用于控制整個(gè)病毒行為集合的特異性。設(shè)定一個(gè)外部調(diào)定點(diǎn)極限值。整個(gè)病毒行為集合由若干個(gè)病毒行為組成，病毒行為集合W^P1，P2,P3…Pnl,其中Pl，P2，P3…Pn就是病毒行為。假設(shè)它們?cè)谳^大病毒樣本數(shù)出現(xiàn)的頻率與它們?cè)谳^大正常程序樣本數(shù)出現(xiàn)的頻率之比為K(P1),K(P2),K(P3),…,K(Pn),對(duì)它們進(jìn)行抹序，設(shè)K(Pa)排在第r位，a>=l且a<=n,則Pa的病毒行為特異性F(Pa)=r/n,調(diào)定點(diǎn)極限值為l/n。例如病毒行為1):—個(gè)程序模塊釋放出一些執(zhí)行體，其中至少有一個(gè)執(zhí)行體冒充系統(tǒng)文件，假設(shè)它在較大病毒樣本數(shù)出現(xiàn)的頻率與它在較大正常程序樣本數(shù)出現(xiàn)的頻率之比為為0.75,排序在第9位,則F(P1)=9/18-0.5。為前景;2.當(dāng)A與某L匹配時(shí)，貝憎先對(duì)^按式(3)-(7)進(jìn)行參數(shù)更新；然后，對(duì)先驗(yàn)概率A進(jìn)行規(guī)一化；其次，按C/降序(^乂^乂l^乂)對(duì)力進(jìn)行排序；記"argmini^,r,若/^在前k個(gè)力中，則認(rèn)為X,對(duì)應(yīng)像素為背景，否則，為前景。如圖4所示，本發(fā)明的行人粗檢測結(jié)果。本發(fā)明的紅外圖像像素灰度統(tǒng)計(jì)模型為像素二值分類(前景或背景)提供了理論依據(jù)。在上述像素二值分類結(jié)果基礎(chǔ)上，利用連通域分析方法，進(jìn)一步可以得到一些連通圖像運(yùn)動(dòng)區(qū)域塊。值得注意的是一些像素的二值分類的偏差會(huì)使得這些初步的運(yùn)動(dòng)區(qū)域塊必然含有噪聲，故而我們需要進(jìn)行后續(xù)處理來抑制噪聲塊。4、檢測結(jié)果后處理由于熱紅外圖像的低信噪比特點(diǎn)和分割檢測過程中出現(xiàn)的偏差，一般而言，計(jì)算得到的前景圖像或多或少含有噪聲信號(hào)，如孤立的無實(shí)際意義的物體。對(duì)于這些無意義的區(qū)域，本發(fā)明通過計(jì)算區(qū)域面積s、長寬比R和緊致性C大小來判斷它是否對(duì)應(yīng)一個(gè)行人，只有當(dāng)區(qū)域的S、R和C在一定的閾值范圍內(nèi)，才認(rèn)為此區(qū)域?qū)?yīng)為前景運(yùn)動(dòng)物體。上述策略只能消除離散的虛假檢測物體。另一方面，分割出的前景物體內(nèi)部可能包含有一些細(xì)小的孔洞。對(duì)于這些噪聲信號(hào)，我們采用形態(tài)學(xué)中的腐蝕和膨脹算法加金字塔算法去掉這些孔洞噪聲信號(hào)，以期最終得到一幅較好的二值化的人體前景圖像。如圖2所示，行人檢測后處理流程圖，所述后處理步驟如下Sa.輸入熱紅外圖像像素粗分類；Sb.對(duì)紅外圖像像素粗分類進(jìn)行連通域分析，得到連通圖像運(yùn)動(dòng)區(qū)域塊；Sc.對(duì)運(yùn)動(dòng)區(qū)域塊進(jìn)行像素二值化，運(yùn)動(dòng)區(qū)域像素的偏差使得運(yùn)動(dòng)區(qū)域塊生成噪聲；Sd.對(duì)分割出的前景運(yùn)動(dòng)區(qū)域塊內(nèi)部一些細(xì)小孔洞的噪聲信號(hào)，采用形態(tài)學(xué)中的腐蝕和膨脹算法進(jìn)行濾波；Se.利用金字塔算法，去掉濾波結(jié)果中的孔洞噪聲信號(hào)，得到一幅二值化的人體前景圖像；Sf.用人體前景圖像區(qū)域面積、長寬比和緊致性大小來判斷它是否對(duì)應(yīng)一個(gè)行人，使人體前景圖像區(qū)域的面積、長寬比和緊致性在一定的閾值范圍內(nèi)，消除無關(guān)區(qū)域，使人體前景圖像區(qū)域?qū)?yīng)為前景運(yùn)動(dòng)物體;Sg.對(duì)人體前景圖像區(qū)域?qū)?yīng)為前景運(yùn)動(dòng)物體；釆用形態(tài)學(xué)中的腐蝕和膨脹算法進(jìn)行濾波；Sh.對(duì)濾波結(jié)果進(jìn)行歸一化處理得到二值化熱紅外步態(tài)前景圖像。圖7顯示了按照上述處理算法所得到的某人正常行走序列中一個(gè)周期的熱步態(tài)剪影圖像。5、步態(tài)表征步態(tài)特征的表示方式對(duì)行人的正確識(shí)別起著關(guān)鍵性的作用。目前，學(xué)術(shù)界已經(jīng)提出了各種不同的步態(tài)特征表示方法，用于行人身份識(shí)別目的。但是，這些方法受檢測分割結(jié)果的影響較大。例如，當(dāng)算法不能很準(zhǔn)確的對(duì)行人進(jìn)行檢測和分割時(shí)，很多算法的識(shí)別率急劇下降。由于人行走過程是一個(gè)動(dòng)靜結(jié)合的過程，本發(fā)明通過啟發(fā)式的思想，從體形信息著手，并考慮隨時(shí)間變化的運(yùn)動(dòng)信息，利用平均灰度圖來表征紅外步態(tài)1)假設(shè)/(jc,乂0為檢測出的前景行人灰度圖像，通過對(duì)/(W)進(jìn)行二值化處理，得到行人剪影圖像P(;cj;力.其中，符號(hào)Oc，力表示圖像空間坐標(biāo)，而f表示時(shí)間。2)從得到的行人剪影輪廓圖像P(x,^)計(jì)算包含前景行人的最小矩形框，截取出矩形框內(nèi)的二值行人圖像/V^^)。3)對(duì)尸B(;cj^進(jìn)行規(guī)一化得到尸a^J力，使/Vx,y,t)具有相同的分辨率(2^2K,K為一整數(shù))，并且行人中心水平坐標(biāo)位于尸;v(xju)的中間位置。4)對(duì)于一個(gè)序列的行人步態(tài)視頻，其步態(tài)被表征為GF4(W)=&(W)nAf(W)|0of/iervw'se其中iV表示有效步態(tài)視頻幀數(shù)，PWu力是掩碼后的二值圖像，M(x,y,t)是掩碼圖像，它的取值表明對(duì)/Vw力中人體部分的提取，^為圖像高度，比例系數(shù)C的取值在范圍內(nèi)，其中，下限值「0.769是根據(jù)理想腿長占身高比例(0.231)確定的，此時(shí)的步態(tài)特征稱為HTI;上限值el表示包括行人的整個(gè)身體。c的具體值結(jié)合實(shí)際應(yīng)用場合來決定。從圖5和圖6中可以看出識(shí)別出各種步態(tài)。如圖5對(duì)應(yīng)于C=l的熱紅外步態(tài)平均灰度模板圖所示，其中如圖5a為正常走，如圖5b為背包走，如圖5c為慢走，如圖5d為快走。如圖6對(duì)應(yīng)于CK).769的熱紅外步態(tài)平均灰度模板圖所示，其中如圖6a為正常走，如圖6b為背包走，如圖6c為慢走，如圖6d為快走。6、基于最近鄰分類器的步態(tài)識(shí)別對(duì)于一個(gè)模式識(shí)別系統(tǒng)，特征選取是系統(tǒng)成敗的關(guān)鍵，而分類器設(shè)計(jì)的好壞對(duì)于系統(tǒng)的最后性能同時(shí)具有重要的影響。本發(fā)明采用最近鄰分類器這一最簡單而直接的方法來對(duì)未知步態(tài)特征進(jìn)行識(shí)別。最近鄰方法中的一個(gè)關(guān)鍵問題是距離度量的定義，這里我們利用范數(shù)定義兩幅步態(tài)特征圖像間的距離來進(jìn)一步提高識(shí)別計(jì)算效率/￡>=argmh^D豐,A:)(9)Z)is(i/,A")-min,Z)豐,A;)(10)加([/，尺,)=1:|^/(;^)-(11)其中《表示步態(tài)數(shù)據(jù)庫中某行人目標(biāo)的標(biāo)識(shí)，尺i表示擁有標(biāo)識(shí)A:的行人步態(tài)模板。下面將介紹本發(fā)明的實(shí)驗(yàn)結(jié)果為了驗(yàn)證本發(fā)明的有效性，我們分別在兩個(gè)步態(tài)數(shù)據(jù)庫上驗(yàn)證了本發(fā)明的步態(tài)識(shí)別系統(tǒng)性能在CASIA夜間熱紅外步態(tài)庫上驗(yàn)證其在夜間對(duì)行人的識(shí)別能力；在NLPR步態(tài)數(shù)據(jù)庫上進(jìn)一步驗(yàn)證了我們的步態(tài)特征表達(dá)的有效性。CASIA紅外步態(tài)庫中包含46人的步態(tài)視頻數(shù)據(jù)，考慮了步速(正常步速走、快速走和慢速走)和攜帶條件(攜帶背包與否)兩種步態(tài)變化因素，每位行人被記錄lO個(gè)序列的步態(tài)視頻(正常走4序列，背包2序列，快走2序列，慢走2序列)，共460序列；NLPR步態(tài)庫含有2O人的步態(tài)圖像序列，考慮了3個(gè)視角(正視、側(cè)視和斜視)，對(duì)于每個(gè)角度，每人被記錄4個(gè)步態(tài)圖像序列，總共有24O個(gè)序列。我們將從兩個(gè)層次對(duì)本發(fā)明與現(xiàn)有技術(shù)進(jìn)行比較紅外模態(tài)下的視頻分析比較和步態(tài)表征識(shí)別性能的比較。本發(fā)明與技術(shù)文獻(xiàn)[2]的比較l)研究目的本發(fā)明與文獻(xiàn)[2]都是基于熱紅外圖像的視頻分析工作，但側(cè)重點(diǎn)不同。本發(fā)明以行人的身份識(shí)別為目的，而文獻(xiàn)[2]是以人的簡單行為(如跑，跳，走等)分析為目的。2)方法復(fù)雜性文獻(xiàn)[2]依賴于一個(gè)復(fù)雜的三維人體模型，計(jì)算復(fù)雜度非常之高，難以滿足實(shí)時(shí)性要求。而本發(fā)明是基于二維圖像特征的方法，計(jì)算復(fù)雜度與[2]相比低很多，滿足實(shí)時(shí)性要求。3)實(shí)驗(yàn)數(shù)據(jù)文獻(xiàn)[2]所使用的實(shí)驗(yàn)數(shù)據(jù)所含人數(shù)不超過5人，非常有限。而本發(fā)明是在46人的步態(tài)數(shù)據(jù)上進(jìn)行驗(yàn)證，結(jié)果更具信服力。本發(fā)明與技術(shù)文獻(xiàn)[1,3，4,6]中的方法進(jìn)行了定性的比較1)步態(tài)數(shù)據(jù)庫到目前為止，除了我們的夜間紅外步態(tài)數(shù)據(jù)庫外，世界上還未有其它的夜間紅外步態(tài)數(shù)據(jù)庫。本發(fā)明所用步態(tài)數(shù)據(jù)庫是專門針對(duì)夜間室外真實(shí)場景紅外行人步態(tài)，以期能夠應(yīng)用到夜間視覺監(jiān)控中；而文獻(xiàn)[1,3，4,6]中的算法均針對(duì)日間可見光下的步態(tài)識(shí)別。2)特征表示本發(fā)明利用平均灰度圖來表達(dá)具有時(shí)空特性的步態(tài)特征，只進(jìn)行加減法運(yùn)算，計(jì)算效率高。方法[l]通過建立相鄰幀圖像間的相似度來表達(dá)步態(tài)變化的時(shí)間特性。[3]利用行人行走過程中4個(gè)關(guān)鍵姿態(tài)作為行人步態(tài)的表征。[4]則考慮了步態(tài)序列中行人的每一個(gè)姿態(tài)，它是利用有效像素個(gè)數(shù)來表達(dá)兩幀圖像間的相似度。[6]對(duì)每幅剪影圖像利用一組沿人體形輪廓展開的一維距離信號(hào)來表示原始步態(tài)特性。3)訓(xùn)練過程本發(fā)明未進(jìn)行特征子空間變換，直接進(jìn)行對(duì)原始步態(tài)特征表示的比較。[1,6]利用PCA降維方法對(duì)原始特征表示進(jìn)行降維。4)識(shí)別率在紅外步態(tài)數(shù)據(jù)庫上，正常條件下，我們的方法識(shí)別率可達(dá)90%以上；而在NLPR步態(tài)數(shù)據(jù)庫上，我們的特征表達(dá)方法最高識(shí)別率可達(dá)98%以上，比[1,3，4,6]都更有效。5)計(jì)算效率本發(fā)明只進(jìn)行基于單幅圖像的比較識(shí)別，對(duì)于一段視頻，可進(jìn)行實(shí)時(shí)性的識(shí)別。[3]的計(jì)算復(fù)雜度最高，這是因?yàn)樗腔趦蓛蓭瑘D像間的匹配識(shí)別方法。由[6]知，[6]的效率優(yōu)于[1,3，4]。而本發(fā)明的計(jì)算速度又優(yōu)于[6]，故本發(fā)明具有較高的計(jì)算效率。6)魯棒性[6]對(duì)于檢測效果比較敏感，當(dāng)分割效果較差時(shí)，識(shí)別率會(huì)受影響。我們的方法對(duì)于分割錯(cuò)誤，丟幀等現(xiàn)象比較魯棒?？傊?，我們的算法在特征表征、計(jì)算效率、識(shí)別準(zhǔn)確度、實(shí)時(shí)性和魯棒性方面都有著一定的優(yōu)越性。本發(fā)明技術(shù)實(shí)施包括系統(tǒng)學(xué)習(xí)訓(xùn)練和識(shí)別兩個(gè)階段。在學(xué)習(xí)訓(xùn)練階段，我們首先利用紅外成像設(shè)備對(duì)每個(gè)享有某種訪問特權(quán)的行人記錄多個(gè)序列的步態(tài)視頻，然后按上述方法提取出對(duì)應(yīng)不同序列的多個(gè)步態(tài)序列特征模板。最后，我們將這些具有相同標(biāo)識(shí)的模板歸為一類，作為此類的學(xué)習(xí)樣本。在識(shí)別階段，對(duì)于未知身份的行人步態(tài)視頻，基于同前的視頻處理方法，先提取出此序列中的步態(tài)特征表征，然后進(jìn)行基于模板匹配的最近鄰方法，對(duì)其進(jìn)行分類識(shí)別?？傊眯腥梭w形這一啟發(fā)式特征，本發(fā)明提出了一種簡單有效且實(shí)時(shí)的自動(dòng)夜間紅外步態(tài)識(shí)別算法。首先，利用基于多高斯的圖像灰度值分布模型對(duì)紅外視頻中的行人進(jìn)行粗檢測；然后，對(duì)粗檢測結(jié)果進(jìn)行后處理，以期去掉無關(guān)噪聲區(qū)域；之后，對(duì)于隨時(shí)間變化的步態(tài)運(yùn)動(dòng)信息，用一幅人體體形平均灰度圖進(jìn)行表征；最后，進(jìn)行基于最近鄰分類器的行人身份識(shí)別。在CASIA夜間紅外步態(tài)數(shù)據(jù)庫上的實(shí)驗(yàn)，證明了我們方法的有效性，而在NLPR步態(tài)庫上的實(shí)驗(yàn)進(jìn)一步說明了我們的步態(tài)表征方式具有較強(qiáng)的識(shí)別能力。對(duì)于具有一定約束條件下的基于遠(yuǎn)距離步態(tài)的行人身份識(shí)別應(yīng)用來說，本發(fā)明中的工作具有重要的理論基礎(chǔ)和實(shí)際應(yīng)用價(jià)值。本發(fā)明的方法整合了數(shù)字圖像處理、計(jì)算機(jī)視覺和模式識(shí)別等領(lǐng)域的技術(shù)，促進(jìn)了步態(tài)這一生物特征技術(shù)在夜間視覺監(jiān)控中的應(yīng)用。本發(fā)明的行人檢測提取技術(shù)，采用貝葉斯原理或可信度閾值對(duì)像素進(jìn)行二值分類和后處理去除無關(guān)噪聲信號(hào)，能夠準(zhǔn)確的行人步態(tài)剪影。本發(fā)明的步態(tài)表征技術(shù)提取出行人步態(tài)剪影，利用步態(tài)視頻序列中有效平均步態(tài)剪影來表示行人步態(tài)特征，有效降低了數(shù)據(jù)冗余度。本發(fā)明的基于多模板的最近鄰分類識(shí)別方法，獲得了實(shí)時(shí)并令人滿意的識(shí)別結(jié)果。以上所述，僅為本發(fā)明中的具體實(shí)施方式，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉該技術(shù)的人在本發(fā)明所揭露的技術(shù)范圍內(nèi)，可理解想到的變換或替換，都應(yīng)涵蓋在本發(fā)明的包含范圍之內(nèi)，因此，本發(fā)明的保護(hù)范圍應(yīng)該以權(quán)利要求書的保護(hù)范圍為準(zhǔn)。權(quán)利要求1.一種基于熱紅外步態(tài)的夜間行人識(shí)別方法，其特征在于，步驟如下訓(xùn)練熱紅外步態(tài)視頻圖像步驟從紅外視頻圖像中檢測分割出行人，獲取熱紅外步態(tài)圖像序列，采用平均灰度圖來描述熱紅外步態(tài)視頻，進(jìn)而獲取熱紅外步態(tài)特征；識(shí)別熱紅外步態(tài)視頻圖像步驟基于最近鄰分類器，以平均灰度圖為身份屬性描述，對(duì)熱紅外視頻圖像中行人的熱紅外步態(tài)進(jìn)行身份識(shí)別。2、根據(jù)權(quán)利要求1所述的識(shí)別方法，其特征在于，所述訓(xùn)練熱紅外步態(tài)視頻圖像的步驟如下Sl:輸入熱紅外步態(tài)視頻圖像；S2:對(duì)熱紅外步態(tài)視頻序列中圖像的每個(gè)像素的灰度分布用自適應(yīng)更新的混合高斯模型近似逼近，實(shí)現(xiàn)對(duì)整個(gè)熱紅外步態(tài)圖像的像素灰度分布建模；S3:利用熱紅外圖像像素分布模型，對(duì)整幅熱紅外步態(tài)視頻圖像中的熱紅外運(yùn)動(dòng)目標(biāo)進(jìn)行粗檢測，獲取熱紅外步態(tài)視頻圖像像素二值分類結(jié)果；S4:對(duì)二值分類結(jié)果進(jìn)行后處理去除無關(guān)噪聲信號(hào)，得到二值化熱紅外行人步態(tài)前景圖像，通過計(jì)算獲取人行走序列中一個(gè)周期的熱紅外步態(tài)剪影；S5:利用熱紅外步態(tài)剪影圖像的時(shí)空運(yùn)動(dòng)特點(diǎn)和人體形信息，判斷當(dāng)前剪影幀是否屬于一個(gè)周期內(nèi)的熱紅外步態(tài)剪影，如果是，則執(zhí)行步驟S6;如果不屬于一個(gè)周期的熱紅外步態(tài)剪影，則執(zhí)行步驟S7;S6:對(duì)熱紅外步態(tài)剪影圖像尺寸進(jìn)行歸一化，累加歸一化的熱紅外步態(tài)視頻序列中有效步態(tài)剪影，返回步驟S2;S7:對(duì)一個(gè)周期的熱紅外步態(tài)剪影人體形信息進(jìn)行平均灰度圖計(jì)算，獲取熱紅外步態(tài)特征；S8:接收熱紅外步態(tài)進(jìn)入訓(xùn)練集步態(tài)庫。3、根據(jù)權(quán)利要求1所述的識(shí)別方法，其特征在于，所述識(shí)別熱紅外步態(tài)視頻圖像步驟步驟l:對(duì)待識(shí)別熱紅外步態(tài)建立灰度模型、粗檢測、后處理、計(jì)算平均灰度圖；步驟2:將待識(shí)別熱紅外步態(tài)平均灰度圖信息作步態(tài)特征和訓(xùn)練集步態(tài)庫輸入最近鄰分類器，使最近鄰分類器基于步態(tài)信息對(duì)行人身份進(jìn)行識(shí)別。4、根據(jù)權(quán)利要求2所述的識(shí)別方法，其特征在于，所述基于像素二值分類的熱紅外運(yùn)動(dòng)目標(biāo)粗檢測，釆用貝葉斯原理將熱紅外圖像像素分成前景運(yùn)動(dòng)目標(biāo)和背景目標(biāo)；對(duì)于當(dāng)前灰度值為A的某像素，由貝葉斯原理，它為前景運(yùn)動(dòng)目標(biāo)時(shí)，則認(rèn)為當(dāng)前像素為前景；否則，為背景；其中，P^為閾值，取值A(chǔ)Oj/;)按如下規(guī)則確定1.對(duì)分量高斯函數(shù)乂按權(quán)值A(chǔ),升序進(jìn)行排序；2.將<formula>formulaseeoriginaldocumentpage3</formula>個(gè)高斯函數(shù)取為前景分量函數(shù)，即當(dāng)z'^A:時(shí)，P(01/;)=1;否則，尸(01/;)=0。/V取值在(o,i)范圍內(nèi)。5、根據(jù)權(quán)利要求2所述的識(shí)別方法，其特征在于，所述基于像素二值分類的熱紅外運(yùn)動(dòng)目標(biāo)粗檢測，或采用可信度閾值的像素分類步驟如下選擇卜,-",、,卜2.、來評(píng)價(jià)像素值jc,與分量高斯函數(shù);;的匹配，則像素分類按如下原則進(jìn)行l(wèi).當(dāng)A與像素灰度模型中任何一乂均不匹配時(shí)，則認(rèn)為A對(duì)應(yīng)像素2.當(dāng)A與某L匹配時(shí)，則當(dāng)前力,M權(quán)重/1,更新為前一時(shí)刻權(quán)重；,的H)0x0-a)。/。加上一個(gè)固定學(xué)習(xí)值"；將"與y^在;c,處函數(shù)值乘積作為y^更新參數(shù)P，則乂m的均值更新為前一時(shí)刻均值",.,—,與當(dāng)前A按G-p)的加權(quán)平均，此外，計(jì)算當(dāng)前灰度與力,m的均值之差的平方，將其與前一時(shí)刻方差—卩按P的加權(quán)求和作為力,M在當(dāng)前時(shí)刻的方差更新；然后，對(duì)先驗(yàn)概率C進(jìn)行規(guī)一化；其次，按《;^降序，對(duì),進(jìn)行排序;記"argmh^^r，若,m在前k個(gè)力中，則認(rèn)為X,對(duì)應(yīng)像素為背景，否則，為前景。6、根據(jù)權(quán)利要求1所述的識(shí)別方法，其特征在于，所述利用平均灰度圖來表征紅外步態(tài)步驟如下1)對(duì)檢測出的前景行人灰度圖像進(jìn)行二值化處理，得到行人剪影圖像；2)從得到的行人剪影輪廓圖像計(jì)算包含前景行人的最小矩形框，截取出矩形框內(nèi)的二值行人圖像；3)對(duì)二值行人圖像進(jìn)行規(guī)一化，得到具有相同的分辨率掩碼后的二值圖像，并且行人中心水平坐標(biāo)位于掩碼后的二值圖像的中間位置；4)對(duì)于一個(gè)序列的行人步態(tài)視頻，其步態(tài)被表征為GF<formula>formulaseeoriginaldocumentpage4</formula>其中iv表示有效步態(tài)視頻幀數(shù)，尸M(^y力是掩碼后的二值圖像，為前景;<formula>formulaseeoriginaldocumentpage4</formula>M(x,y,t)是掩碼圖像，它的取值表明對(duì)尸;v(Xy力中人體部分的提取，#為圖像高度，比例系數(shù)C的取值在范圍內(nèi)。7、根據(jù)權(quán)利要求1所述的識(shí)別方法，其特征在于，所述后處理步驟如下Sa.輸入熱紅外圖像像素粗分類；Sb.對(duì)紅外圖像像素粗分類進(jìn)行連通域分析，得到連通圖像運(yùn)動(dòng)區(qū)域塊；Sc.對(duì)運(yùn)動(dòng)區(qū)域塊進(jìn)行像素二值化，運(yùn)動(dòng)區(qū)域像素的偏差使得運(yùn)動(dòng)區(qū)域塊生成噪聲；Sd.對(duì)分割出的前景運(yùn)動(dòng)區(qū)域塊內(nèi)部一些細(xì)小孔洞的噪聲信號(hào)，采用形態(tài)學(xué)中的腐蝕和膨脹算法進(jìn)行濾波；Se.利用金字塔算法，去掉濾波結(jié)果中的孔洞噪聲信號(hào)，得到一幅二值化的人體前景圖像；Sf.用人體前景圖像區(qū)域面積、長寬比和緊致性大小來判斷它是否對(duì)應(yīng)一個(gè)行人，使人體前景圖像區(qū)域的面積、長寬比和緊致性在一定的閾值范圍內(nèi)，消除無關(guān)區(qū)域，使人體前景圖像區(qū)域?qū)?yīng)為前景運(yùn)動(dòng)物體;Sg.對(duì)人體前景圖像區(qū)域?qū)?yīng)為前景運(yùn)動(dòng)物體；釆用形態(tài)學(xué)中的腐蝕和膨脹算法進(jìn)行濾波；Sh.對(duì)濾波結(jié)果進(jìn)行歸一化處理得到二值化熱紅外步態(tài)前景圖像。8、一種基于熱紅外步態(tài)的夜間行人識(shí)別系統(tǒng)，其特征在于熱紅外視頻圖像獲取模塊，在夜間低光照條件下，用于獲得電磁波譜里紅外光譜段內(nèi)的成像模態(tài)；紅外圖像分析處理模塊，用于建立熱紅外圖像像素灰度模型，對(duì)運(yùn)動(dòng)物體粗檢測，對(duì)粗檢測進(jìn)行后處理；用平均灰度圖表征紅外步態(tài)，對(duì)紅外步態(tài)特征識(shí)別。9、根據(jù)權(quán)利要求8所述的夜間行人識(shí)別系統(tǒng)，其特征在于，所述熱紅外圖像分析處理模塊，是在夜間紅外視頻中的行人身份識(shí)別，包括:熱紅外圖像像素灰度模型單元，用于對(duì)整幅熱紅外步態(tài)圖像的像素分布建模；運(yùn)動(dòng)物體粗檢測單元，用于對(duì)整幅熱紅外步態(tài)視頻圖像中的熱紅外運(yùn)動(dòng)目標(biāo)進(jìn)行粗檢測，生成熱紅外步態(tài)視頻圖像像素二值分類結(jié)果；后處理單元，用于對(duì)二值分類結(jié)果去除噪聲信號(hào)，生成具有二值化熱紅外步態(tài)前景圖像，獲取熱紅外步態(tài)剪影；步態(tài)表征單元，利用平均灰度圖對(duì)熱紅外步態(tài)剪影表征紅外步態(tài)，用于行人身份識(shí)別；步態(tài)特征識(shí)別單元，基于多模板的最近鄰分類器，對(duì)熱紅外步態(tài)視頻圖像中行人的熱紅外步態(tài)進(jìn)行身份識(shí)別。全文摘要本發(fā)明公開一種基于熱紅外步態(tài)的夜間行人識(shí)別方法及系統(tǒng)，方法步驟是從紅外視頻圖像中檢測分割出行人，獲取熱紅外步態(tài)圖像序列，采用平均灰度圖來描述熱紅外步態(tài)視頻，進(jìn)而獲取熱紅外步態(tài)特征；基于最近鄰分類器，以平均灰度圖為身份屬性描述，對(duì)熱紅外視頻圖像中行人的熱紅外步態(tài)進(jìn)行身份識(shí)別。系統(tǒng)包括熱紅外視頻圖像獲取模塊，紅外圖像分析處理模塊。在CASIA夜間紅外步態(tài)數(shù)據(jù)庫和在NLPR日間可見光模態(tài)步態(tài)數(shù)據(jù)庫上的實(shí)驗(yàn)證明了本發(fā)明對(duì)于夜間行人身份識(shí)別的有效性和步態(tài)表征方式具有較強(qiáng)的識(shí)別能力。本發(fā)明應(yīng)用到特殊場合的安全監(jiān)控。文檔編號(hào)G06K9/62GK101226597SQ200710062820公開日2008年7月23日申請(qǐng)日期2007年1月18日優(yōu)先權(quán)日2007年1月18日發(fā)明者覃道亮,譚鐵牛,黃凱奇申請(qǐng)人:中國科學(xué)院自動(dòng)化研究所