復雜場景下的人體頭部識別方法

專利名稱：復雜場景下的人體頭部識別方法
技術領域：
本發明涉及一種視頻分析技術，具體的說是一種在有攝像機獲取的復雜場景下的人體頭部識別方法。
在普通視頻監控中，人群的行進多出現相互遮擋、重疊現象，不便于單獨人體的識別與跟蹤。為避免這種現象，提高計數精度，現有基于視頻的客流統計系統往往要求攝像頭垂直向下照射。其缺點是需要獨立安裝攝像頭，適應性差，不兼容于原有監控系統。而且垂直角度攝像頭取得視頻信息量少，達不到監控目的。
普通監控設備一般安裝于高處，與水平成30～70度夾角。在人群監控過程中，發生遮擋和連接現象的主要是身體軀干和四肢部位，而人體的頭、肩部一般會暴露在監控系統中，否則監控就失去了意義。利用這一特點，本方法只采用肩膀以上的有效特征作為判別依據。
圖像或視頻序列中行人的檢測與識別是計算機視覺熱門話題之一。無論是工業界還是學術界都出現了非常多的好方法。有基于頭、軀干、四肢分別匹配然后整合在一起的，有基于人體運動周期性的，有基于特征的等等。下面對一些經典的和相關的方法做簡單論述。
文章Viola，P.，Michael J.，Snow，D.，Detecting Pedestrians Using Patternsof Motion and Appearance，IJCV(63)，No.2，July 2005，pp.153-161.提出著名的由積分圖弱分類器級聯成強分類器識別人臉及人體的方法，可用于檢測小型運動人體。該方法處理速度慢(4幀/秒)，模型學習時間長(十幾個小時)，對被檢測人體的大小要求高，只適應于固定場景下運動人體檢測。
文章Wu，B.，Nevatia，R.，Detection and Tracking of Multiple，PartiallyOccluded Humans by Bayesian Combination of Edgelet based Part Detectors，IJCV(75)，No.2，November 2007，pp.247-266。融合了肢體分割、弱分類器識別以及級聯boosting等多種技術，對多方向、多角度人體識別有較好的適應性。該模型較為復雜，在保持被檢測人體尺度不變的前提下仍只能處理1幀/秒，實用困難。
文章Dalal，N.，Triggs，B.，Histograms of Oriented Gradients for HumanDetection，CVPR05(I886-893).基于美國專利(專利號6,711,293“METHODAND APPARATUS FOR IDENTIFYING SCALE INVARIANT FEATURESIN AN IMAGE AND USE OF SAME FOR LOCATING AN OBJECT IN ANIMAGE”)改進的專門用于識別人體的方法。關鍵在于特征點的收集、篩選與表示。該方法對于光照、姿態、衣著和大小的變化以及遮擋有很好的魯棒性。適用于檢測靜態圖片中的直立人體，攝像機要求與人體基本水平，不能大角度俯視。
中國專利(專利申請號200780001314.1“在攝像機獲取的場景的測試圖像中檢測人物的方法和系統”)是HoG算法和級連訓練分類器Adaboost等多種經典理論的一個結合和改進，其工作主要面向應用層面。仍然具有過程復雜，要求較高計算量的缺點。另外識別率依靠分類器的訓練結果，場景的變化會出現不同的效果，不適于實際應用。
在現實場景中，特別是在人群密集的場合如車站、體育場館、商場等由于遮擋，人體往往不能夠被完整的攝錄下來。這給傳統的基于人體外形特征或運動特征的方法造成很大的障礙。然而，人體的頭和肩膀即使在這種條件下也會部分或全部顯現出來。利用人頭和肩部特征進行人體識別的方法被逐漸提及。
文章《基于組合模板的人體頭部精確定位算法》《中國圖象圖形學報》2007年第12卷第08期作者湯金寬，曹丹華，吳裕斌，顧雯雯提出采用“凸”字形模板匹配再通過水平和垂直模板矯正的方法檢測人體頭部及軀干。只能對室內單體人處理，且攝像機需水平照射，不利于實際應用。
文章《基于人體頭肩部形狀的身份識別》《應用科技》2006年第33卷第12期作者韓新宇，朱齊丹，章慧君提出對采集圖像去噪后進行逐行掃描匹配樣本庫的方式檢測人頭部，前提是只能處理單人，且人體與攝像頭距離為已知。這在一般現實場景中無法滿足。
文章《智能監控中基于頭肩特征的人體檢測方法研究》《浙江大學學報(工學版)》2004年第38卷第04期作者潘鋒，王宣銀，王全強提出通過分割單體直方圖得到頭肩位置信息，再用SVM進行分類的方法。該系統只能處理單個人體或互不遮擋的多人體，且攝像機要求水平照射，與實際應用有較大出入。
文章Zui Zhang，Gunes，Hatice Piccardi，Massimo，“An accuratealgorithm for head detection based on XYZ and HSV hair and skin colormodels”，ICIP 2008，pp1644-1647在位置空間及顏色空間建立高斯混合模型，然后利用橢圓擬合方式定位人頭。雖然能夠對多角度人頭進行有效識別，但前提是畫面必須有較高的分辨率、背景為單色或已經做好人體分割且只處理單個人體。


發明內容
針對現有技術中因現場光照、攝像機角度、人體尺寸以及遮擋等外界因素造成的人體識別準確度低或無法識別的問題，本發明的要解決的技術問題是提供一種復雜場景下的人體頭部識別方法。
為解決上述技術問題，本發明采用的技術方案是 本發明復雜場景下的人體頭部識別方法包括以下步驟 將視頻設備輸入的視頻流分解成單幀視頻序列后分配給由外輪廓識別模塊、特征弧識別模塊和顏色識別模塊三個模塊進行處理； 外輪廓識別模塊對單幀視頻序列進行前背景分離后，進行外輪廓提取，并計算出頭頂頂點權概率分布； 特征弧識別模塊在對單幀視頻序列進行平滑及灰度化處理后的圖像上做邊緣檢測，再經過特征弧匹配后得到特征弧匹配概率分布； 顏色識別模塊將前景圖像與顏色原始模板進行匹配得到色彩權概率分布； 將上述頂點權概率分布、特征弧匹配概率分布以及色彩權概率分布通過簡單boosting加權疊加，得到最終的頭頂概率分布。
所述簡單boosting為通過對頂點權概率分布、特征弧匹配概率分布以及色彩權概率分布三種弱分類器的線性加權疊加得到強分類器結果輸出。
所述外輪廓識別模塊、特征弧識別模塊和顏色識別模塊均在前背景分離后的前景圖像中進行分析處理。
所述計算頂點權概率分布包括以下步驟 確定計算起始點P。，將外輪廓提取結果得到的輪廓鏈鏈首作為起始點； 選取輔助計算點，沿輪廓鏈在起始點兩側分別確定近端輔助點和遠端輔助點； 通過近端輔助點和遠端輔助點計算起始點平均曲率的大小及法線方向； 依據平均曲率大小及法線方向計算起始點頂點權； 如果沒到輪廓鏈鏈尾，則沿輪廓鏈計算下一點頂點權直到該輪廓所有點計算完為止； 對頂點權進行加權距離變換，將權重按值大小向空間散布； 歸一化處理得到頂點權概率分布。
加權距離變換在原有距離變換基礎上增加權重機制，通過種子權重控制其影響范圍，具體為將頂點權權重按值大小向空間散布，加權距離變換考慮種子點權大小，即權重大的種子散布的范圍大于權重小的種子。
所述特征弧匹配概率分布通過以下步驟得到 將視頻設備輸入的視頻流分解成單幀視頻序列進行平滑處理后的灰度圖與得到的前景圖進行掩碼后作為邊緣特征計算的輸入； 在上述輸入數據中抽取邊緣特征及邊緣特征點； 判斷得到的邊緣特征點的邊緣強度是否大于閾值，如大于閾值，則取邊緣特征點所在位置相應匹配模板大小圖像； 將該圖像與預先建立好的原始模板進行匹配并記錄得分； 在與原始模板匹配后，動態調節原始模板大小； 判斷匹配得分是否高于前一次動態調節后的原始模板，如果匹配得分不高于前一次動態調節后的模板，則置特征弧匹配權為前一次動態調節后的模板匹配得分； 判斷所有特征點是否處理完畢，如處理完畢，則進行歸一化處理，得到特征弧匹配概率分布并輸出；如果沒處理完，則返回至抽取邊緣特征點步驟進行下一個點處理； 如果模板匹配得分高于前一次動態調節后的原始模板，則繼續沿原調節方向對模板進行放大或縮小處理直到得分不再增加為止，并將此時分數作為最終模板匹配得分。
所述原始模板只涉及人頭耳部以上區域。
采用跳躍移動窗口方式計算特征弧匹配權；邊緣特征點的查找和匹配通過水平移動原始模板窗口實現，而配合閾值的判斷使其跳躍過邊緣強度小的噪音點。
所述色彩權概率分布通過以下步驟得到 以一幀原始視頻圖像與前景圖進行掩碼的結果作為輸入； 在上述輸入數據中選取有效顏色特征點； 判斷有效特征點對應的特征弧點匹配權是否小于閾值； 如果特征弧點匹配權不小于閾值，則取該有效特征點所在圖像窗口分別與正面模板和負面模板進行匹配，記錄上述匹配的最大匹配得分； 判斷所有邊緣特征點是否處理完畢； 如處理完畢，則進行歸一化處理得到色彩權概率分布并輸出。
采用正面及反面顏色模板進行色彩匹配；正面及反面模板設計均為矩形，長寬比例為1∶1.33。正面模板由上下相連的兩個矩形構成，顏色分別為純黑及純白色，其中黑、白色部分寬度比例1∶3，反面模板為純黑色。
本發明具有以下有益效果及優點 1.本發明提出一種在復雜場景下實時識別多人的人體頭部技術，應用到多角度客流統計，人臉識別的前期定位、人體跟蹤與識別、快球跟蹤、頭像超分辨率等應用當中，有效抑制人體遮擋、攝像機角度、光照變化等客觀環境造成不良影響。
2.本發明利用人體頭部多種特征進行識別，動態調整各特征分類權重，識別最優化設計；視頻圖像利用現有的普通視頻監控錄像，在人群密度大、客流量大場所下，利用監控攝像機一般處于高處，人體肩膀以上的部位不會被整體遮擋的特點完成人的定位和檢測。
3.本發明采用由頂點特征、輪廓特征，對稱特征以及色譜和紋理分析等多方面信息組成，以實現對人體的頭部檢測，識別速度快、精度高，可以利用現有大部分監控系統，單體識別時間小于0.2秒。



圖1為行人在光照和攝像機角度、位置發生變化下的監控示意圖； 圖2為本發明方法人體頭部識別的總體流程圖； 圖3為本發明方法中頂點權計算流程圖； 圖4為本發明方法中特征弧匹配及特征權計算流程圖； 圖5為本發明方法中顏色模板匹配及色彩權計算流程圖； 圖6為本發明方法中輪廓頂點權計算示意圖； 圖7為本發明方法中特征弧模板示意圖； 圖8為本發明方法中顏色模板示意圖。

具體實施例方式 下面結合附圖和具體實施方式
對本發明做進一步詳細描述。
圖1顯示的是一個模擬的現實監控場景。用黑色人體剪影代表大小不同的人體在平面105上模擬客流進出活動。第1、2攝像機103、104表示現實中可能存在的多種安置方式，它們在角度、方向、焦距等有很大變化。同時，現場的第1、2燈光101、102的位置、方向、強弱等變化也給人體識別帶來較大難度。處理器106運行人體識別算法，對由攝像機輸入視頻流進行實時處理。
如圖2所示，本發明復雜場景下的人體頭部識別方法步驟如下 將視頻設備輸入的視頻流分解成單幀視頻序列后分配給由顏色識別模塊、外輪廓識別模塊和特征弧識別模塊三個模塊進行處理(201)； 外輪廓識別模塊對單幀視頻序列進行前背景分離(202)后，進行外輪廓提取(203)，并計算出頂點權概率分布(204)； 顏色識別模塊將前背景分離結果作為圖像掩碼進行處理后得到色彩權概率分布(206、208)； 特征弧識別模塊將前背景分離結果作為圖像掩碼進行處理后得到特征弧匹配概率分布(205、207、209)； 將上述頂點權概率分布、色彩權概率分布以及特征弧匹配概率分布通過簡單boosting進行線性加權疊加，得到最終的頭頂概率分布(210)。
本實施例中運動物體前背影分離可采用簡單幀差、背景建模、光流等方法，其中背景建模又可分為單高斯、高斯混合、Kernel-based、Eigen-Background等。本實施例采用高斯混合模型，定義如下 其中，wj是為j個高斯核權重；K為高斯核個數，一般為3。η(x；μj，∑j)，是中值為μj、方差為∑j的第j個高斯分布。在N時刻，每個像素擁有值xN的概率p(xN)被K個高斯混合所描述。
前背景分離202的結果一方面交給輪廓提取步驟203做外輪廓提取工作，另一方面作為圖像掩碼交給顏色模板匹配步驟206和特征弧匹配步驟207剔除與人體識別不相關區域，減少計算量。輪廓提取203計算得到一個或多個輪廓鏈，交給頂點權計算步驟204(在圖3中詳細介紹)計算頂點權概率分布并輸出。
特征弧匹配步驟207將經過灰度化及高斯平滑步驟205處理過的灰度圖與經過前背景分離步驟202得到的圖像掩碼做“與”操作得到有效識別區域，再經過特征權計算步驟209得到特征弧匹配概率分布。特征弧匹配及特征權計算過程詳見圖4。
顏色識別模塊由顏色模板匹配步驟206和色彩權計算步驟208構成。顏色模板匹配步驟206將原始視頻圖像與前背景分離步驟202得到的圖像掩碼做“與”操作得到有效識別區域，再通過與顏色模板的匹配計算色彩權得到色彩權概率分布，詳細匹配計算過程見圖5。
三個弱分類器已分別根據自己特征計算出頭肩部出現的位置概率hi(x)，現在通過簡單boosting合成強分類器H(x)，輸出最終結果。設權重為αi的弱分類器輸出結果為hi(x)，這里i∈{1，2，3}，得到t時刻強分類器可見，強分類器是弱分類器的線性加權疊加。弱分類器的權重αi體現為單個弱分類器的貢獻大小。權重越大的弱分類器對最終強分類器的影響越大，而權重的更新則通過完成。這里eit-1為t-1時刻的錯誤率，通過

得到(yt-1為t-1時刻分類結果)。可見，前一時刻的分類錯誤會導致下一時刻該分類器貢獻減小。也就是說，假如某一時刻顏色信息不能夠幫助正確區分人體頭部的話，顏色比重在下一時刻整體辨別的時候會逐漸減小，這樣就保證了在任何時刻都有最合適的分類器做出正確的選擇。
(一)計算頂點權概率分布包括以下步驟 確定曲率計算的起始點，將根據外輪廓提取結果得到的輪廓鏈鏈首作為起始點； 選取輔助計算點，沿輪廓鏈在起始點兩側分別確定近端輔助點和遠端輔助點； 通過近端輔助點和遠端輔助點計算起始點平均曲率的大小及起始點的法線方向； 分配曲率權重，根據上述起始點平均曲率的大小及起始點的法線方向計算起始點權重，將起始點平均曲率投影至坐標軸正方向，取投影值作為權重；本實施例中坐標以圖片左下角頂點為原點，規定水平右方向為x軸正方向，豎直上為y軸正方向； 如果沒到輪廓鏈鏈尾，則沿輪廓鏈計算下一點曲率權直到該輪廓所有點計算完為止； 對曲率權進行加權距離變換，將權重按值大小向空間散布； 進行歸一化處理，得到頂點權概率分布。
圖3詳細介紹了頂點權計算過程。步驟301從圖2的步驟203中得到需要處理的輪廓鏈鏈首交給步驟302作為起始點P0，步驟303和步驟304完成輔助計算點選取工作，沿輪廓鏈在P0兩側間隔為r和3r位置分別確定近端輔助點P1、P2和遠端輔助點P3、P4。其中r用來控制曲率計算的局域性防止奇異點干擾。步驟305分別通過計算弧

和弧

的平均曲率再求平均的方式得到P0點的曲率S0，其中，∠P1P2為P1點切線到P2點時轉過的角度，∠P3P4同理。
為簡便計算，P0點法線方向

取與直線P1P2和直線P3P4斜率平均值垂直方向，其斜率為其中，k12與k34分別是直線P1P2和直線P3P4的斜率。
曲率權重分配步驟306根據S0的大小和法線方向

計算P0點權重

根據公式將曲率投影至豎直軸正方向，取投影坐標作為權重，這樣有利于頭頂弧形成，因為一般豎直人體頭頂弧線的曲率往往是向上的。沿輪廓鏈計算下一點曲率權直到該輪廓所有點計算完為止。步驟308對得到的曲率權進行Weighted Distance Transform(加權距離變換)，將權重按值大小向空間散布。加權距離變換與傳統距離變換不同，這里不僅考慮種子點有無(二進制)，而且考慮種子點權大小，也就是說，權重大的種子散布的范圍要大于權重小的種子。這對于在頂點權大的點附近尋找頭頂非常有效。最后經過步驟309歸一化得到人頭部的概率分布。該一系列的過程在圖6中有示例。
如圖6所示，步驟601中黑色封閉曲線為輪廓鏈，計算后的曲率權在步驟602中以不同灰度的像素點表示。顏色越深表明權重越大。可見曲率大并且方向朝上的弧線部分具有較大的權重。放大的一段曲率權在604中表示，為便于顯示，圖中數值已被統一縮放僅表明大小關系。最后DistanceTransform得到的概率分布顯示在步驟603，圖中深色區域為頭頂出現幾率較大的區域。
(二)特征弧匹配概率分布通過以下步驟得到 將視頻設備輸入的視頻流分解成單幀視頻序列進行平滑處理后的灰度圖與得到的前景圖進行掩碼后作為邊緣特征計算的輸入； 在上步驟計算結果中抽取邊緣特征及邊緣特征點； 判斷得到的邊緣特征點的邊緣強度是否大于閾值，如大于閾值，則取邊緣特征點所在位置相應匹配模板大小圖像； 將該圖像與預先建立好的原始模板進行匹配并記錄得分； 在與原始模板匹配后，動態調節原始模板大小，使其適應于不同尺寸人體； 如果匹配得分不高于前一次動態調節后的原始模板，則置特征弧匹配權為前一次動態調節后的模板匹配得分； 判斷所有特征點是事處理完畢，如處理完畢，則進行歸一化處理，得到特征弧匹配概率分布并輸出； 如果所有特征點沒有處理完畢，則返回抽取邊緣特征點步驟； 如果匹配得分高于前一次動態調節后的原始模板，則繼續沿調節方向對模板進行放大或縮小處理，返回取邊緣特征點所在位置相應匹配模板大小圖像步驟； 如果邊緣特征點的邊緣強度不大于閾值，則視為噪音，置特征弧匹配權為零，返回在上步驟計算結果中抽取邊緣特征及邊緣特征點步驟。
上述原始模板是在模型訓練過程對上千張不同場景、不同角度的圖片數據學習所建立，該原始模板的設計經過大量實驗測試，充分考慮人頭頂在不同方向、角度觀測條件下的形態變化，做到受影響最小。模板著重檢測頭頂部弧線，權重最大。而靠近該弧線人頭頂區域下側一般為頭發、額頭或帽邊，顏色一般均勻，紋理不明顯，在模板中用灰色作為負反饋。在頭頂左右兩側同樣設置負反饋區域，有效過濾肩膀、背包等不對稱或存在多余紋理情況。
特征弧匹配及特征權計算過程如圖4。步驟401將圖2中步驟205平滑后的灰度圖與步驟202得到的前景圖進行掩碼，作為步驟402邊緣特征計算的輸入，這樣即減少了計算量也降低了噪音干擾。邊緣特征檢測使用Sobel算子，只對圖像Y方向進行邊緣檢測，有效抑制豎邊干擾，具體形式為 通過步驟403～405，在得到的邊緣特征中提取強度超過預定閾值的點作為原始模板匹配基點q0，其余點視為噪音，置特征弧匹配權為零。步驟406～411完成模板匹配過程。在q0位置取與默認模板大小一致邊緣圖像(23×7像素)，將該圖像與圖7中步驟701所示原始模板進行匹配。設模板(i，j)位置上像素強度為mij，相應匹配圖像像素強度為cij，則該圖像匹配得分ε可由計算得到。模板數值離散化的結果在其右側步驟702中顯示，圖中黑色區域為正反饋區域，對應數值為正，暗灰色區域為負反饋區域，對應數值為負。
在與原始模板匹配后，為適應物體(人頭)大小變化，動態調節模板大小，比例系數為0.9(縮小)和1.1(放大)。將調整后的模板繼續與q0點圖像進行匹配，直到匹配結果不再變好時記錄最好匹配時得分以及當時模板大小(以后顏色匹配時用到)。在步驟411確保所有有效特征點處理完后經步驟412歸一化得到特征弧匹配概率分布。
(三)色彩權概率分布通過以下步驟得到 以一幀原始視頻圖像與前景圖進行掩碼的結果作為輸入； 在上述輸入數據中選取有效特征點，這里的特征點是“特征弧匹配”步驟中特征點的子集(超過閾值部分)； 判斷有效特征點對應的特征弧點匹配權是否小于閾值； 如果特征弧點匹配權不小于閾值，則取該有效特征點所在圖像窗口分別與正面模板和負面模板進行匹配，記錄上述匹配的最大匹配得分； 判斷所有邊緣特征點是否處理完畢； 如處理完畢，則進行歸一化處理得到色彩權概率分布并輸出； 如果所有邊緣特征點沒有處理完畢，則返回在上述輸入數據中選取有效特征點步驟； 如果有效特征點對應的特征弧點匹配權小于閾值，則將該有效特征點的色彩權置為0，返回在上述輸入數據中選取有效特征點步驟。
圖5所示為色彩權的計算過程。步驟501得到原始一幀視頻圖像與前景掩碼的結果作為輸入。步驟502～504選取有效特征點r0，該點與圖4所示過程中滿足步驟404的點集一致，也就是說，只考慮具有一定邊緣強度的點做色彩匹配，而不是對所有點進行處理，這樣極大節省系統開銷。步驟505根據q0匹配時最佳模板大小取r0相應大小圖像。將該圖像分別與色彩正面模板和反面模板進行匹配，兩種模板實例見圖8。圖8中顯示正面及反面顏色模板例子，其中801顯示正面模板，該模板由上部及下部兩種顏色構成，上部顏色可為發色或帽子顏色，下部顏色可為膚色或白色(戴口罩情況)。該模板同時可作為側面模板使用。802顯示人頭反面或頂面模板，模板可為黑色、灰色等單一顏色或通過發色學習得到的任意顏色分布。色彩匹配可由計算。其中，dij2為圖像(i，j)位置上像素點與模板顏色分布在RGB色彩空間上的距離。
步驟508記錄顏色模板匹配的最高得分，在處理完所有特征點后(步驟509)，經步驟510歸一化得到色彩權概率分布。
本發明方法考慮人體頭部的形態特征、顏色特征、輪廓特征以及運動特征，分別建立動態模型，計算概率。這些特征都是獨立的弱分類器，根據自己特點對圖像內容進行獨立分析識別，形成分值，再結合自己的經驗權重進行投票，投票結果作為最終結論統一輸出。也就是由弱分類器構建強分類器最后由強分類器決定輸出結果的過程。每個弱分類器都有屬于自己的權重，通過對所有弱分類器線性疊加得到強分類器。這樣做的好處在于，在現實多變的場景中，所有特征不可能同時都得到很好的體現，顏色明顯的地方輪廓可能不明顯，輪廓清晰的地方可能運動信息不那么強。這就需要特征明顯的弱分類器權重大些，特征不明顯的權重小些，通過實時動態的調節各特征的權重達到最好的檢測效果。
由于這種通過弱分類器合成強分類器并且能夠動態調節弱分類器權重(限于Adaboost訓練)的過程與經典的boosting相似，并且出于實用性考慮，本發明去掉boosting費時的訓練以及大量樣本權重變化，稱之為簡單boosting。
該模型與Viola，P.最早提出的用于人臉檢測的AdaBoost有幾點不同，首先，Viola，P.弱分類器是極小的積分圖，往往只有幾個像素大小，而本方法中的模型是大尺度的宏觀特征像輪廓、顏色等等；其次，Viola模型的學習需要很長時間以及大量樣本，從幾十萬個這樣的積分圖中挑出最合適的弱分類器構成強分類器。相反的，本方法中的模型不需要學習，可以通過識別結果動態調節弱分類器權重及模板大小；Viola模型通過級聯一級級剔除的方式進行識別，本發明則通過投票；最后，為了使弱分類器具有區別正樣本與負樣本的能力，Viola模型的訓練被限制在一定角度、光線及尺度變化范圍內，這樣訓練好的分類器也只適用于一定角度以及光線變化的情況。
在整個監控畫面中尋找人體比在某特定區域尋找要花費更多的計算及更低的準確率。為了節省計算及提高準確率，首先通過前背景分離排除了與人體無關的背景。這里的背景即包括不動背景像道路、建筑、家具等也包括一些運動著的緩慢變化的背景像波動的水、隨風飄動的旗幟、浮動的云、搖曳的樹枝等。在以下各步弱分類器作用過程中，計算只在分離出的前景圖中進行。
第一類弱分類器基于人體運動時的外輪廓特征。介于人體直立行走的特點，人體頭部往往居于人體外輪廓的頂部。同時，頭部與肩部的外輪廓形成方向向上曲線，與頸部及身體其他部位形成的輪廓有鮮明對比。計算前景圖中外輪廓各點曲率及方向，并根據其方向和大小分配不同權重。曲率大及方向向上分配大權重，曲率小或方向偏離向上分配小權重，目的在于突出頭肩部位置，再利用Distance Transform變換發散權重適應偏移誤差，最后歸一化得到頭肩部概率分布。
第一類弱分類器的優點是特征明顯，前景中未與其他前景物交疊的人體都會滿足這一特點，但最大缺點是無法對存在于外輪廓內部的人體頭部進行有效識別。本發明引入第二類弱分類器-頭部邊緣弧。頭部邊緣基于紋理特征，與物體運動無關，而且對人體的旋轉及攝像機照射角度變化都有很強的魯棒性(經測試，人體頭頂邊緣弧形狀及強度在人體360°旋轉和-60°～60°觀測角變化時維持在±5％以內)。本實施例采用Sobel算子抽取前景圖中Y方向物體邊緣，與定義頭頂弧模板進行匹配得到權重。為適應場景中人頭部大小變化，模板尺寸隨匹配得分趨勢動態調整，對前景圖進行移動窗口式搜索，計算頭頂弧權重，得到頭頂概率分布。
第二類弱分類器的優點是可以解決第一類弱分類器無法檢測到的位于前景內部的人體頭部問題，漏檢率低，缺點是誤檢率相對較高。特別遇到包裹外形與人體頭部相似情形，往往會被誤識為頭部。這時可以通過最后一類弱分類器將其剔除，也就是利用物體的顏色特征。為適應各種攝像機在色彩、清晰度、白平衡等參數上的差異，不對膚色和發色進行細致建模，相反的，本發明注重顏色均一性以及分布位置特點，對人頭部正面(包括側面)和背面(包括上面)的顏色分布建立模板，移動窗口式匹配前景，模板尺寸與頭頂弧匹配模板一致，從正面和背面模板匹配結果中取最大值作為顏色分類器分類結果。
最后，將這三類弱分類器的計算結果乘以它們各自的弱分類器權重后累加得到最終識別結果。結果在輸出的同時反饋到各弱分類器動態調節各自權重。也就是說，匹配正確的弱分類器權重增加，錯誤的減少。
權利要求
1.一種復雜場景下的人體頭部識別方法，其特征在于包括以下步驟
將視頻設備輸入的視頻流分解成單幀視頻序列后分配給由外輪廓識別模塊、特征弧識別模塊和顏色識別模塊三個模塊進行處理；
外輪廓識別模塊對單幀視頻序列進行前背景分離后，進行外輪廓提取，并計算出頭頂頂點權概率分布；
特征弧識別模塊在對單幀視頻序列進行平滑及灰度化處理后的圖像上做邊緣檢測，再經過特征弧匹配后得到特征弧匹配概率分布；
顏色識別模塊將前景圖像與顏色原始模板進行匹配得到色彩權概率分布；
將上述頂點權概率分布、特征弧匹配概率分布以及色彩權概率分布通過簡單boosting加權疊加，得到最終的頭頂概率分布。
2.按權利要求1所述的復雜場景下的人體頭部識別方法，其特征在于所述簡單boosting為通過對頂點權概率分布、特征弧匹配概率分布以及色彩權概率分布三種弱分類器的線性加權疊加得到強分類器結果輸出。
3.按權利要求1所述的復雜場景下的人體頭部識別方法，其特征在于所述外輪廓識別模塊、特征弧識別模塊和顏色識別模塊均在前背景分離后的前景圖像中進行分析處理。
4.按權利要求1所述的復雜場景下的人體頭部識別方法，其特征在于所述計算頂點權概率分布包括以下步驟
確定計算起始點P。，將外輪廓提取結果得到的輪廓鏈鏈首作為起始點；
選取輔助計算點，沿輪廓鏈在起始點兩側分別確定近端輔助點和遠端輔助點；
通過近端輔助點和遠端輔助點計算起始點平均曲率的大小及法線方向；
依據平均曲率大小及法線方向計算起始點頂點權；
如果沒到輪廓鏈鏈尾，則沿輪廓鏈計算下一點頂點權直到該輪廓所有點計算完為止；
對頂點權進行加權距離變換，將權重按值大小向空間散布；
歸一化處理得到頂點權概率分布。
5.按權利要求4所述的復雜場景下的人體頭部識別方法，其特征在于加權距離變換在原有距離變換基礎上增加權重機制，通過種子權重控制其影響范圍，具體為將頂點權權重按值大小向空間散布，加權距離變換考慮種子點權大小，即權重大的種子散布的范圍大于權重小的種子。
6.按權利要求1所述的復雜場景下的人體頭部識別方法，其特征在于所述特征弧匹配概率分布通過以下步驟得到
將視頻設備輸入的視頻流分解成單幀視頻序列進行平滑處理后的灰度圖與得到的前景圖進行掩碼后作為邊緣特征計算的輸入；
在上述輸入數據中抽取邊緣特征及邊緣特征點；
判斷得到的邊緣特征點的邊緣強度是否大于閾值，如大于閾值，則取邊緣特征點所在位置相應匹配模板大小圖像；
將該圖像與預先建立好的原始模板進行匹配并記錄得分；
在與原始模板匹配后，動態調節原始模板大小；
判斷匹配得分是否高于前一次動態調節后的原始模板，如果匹配得分不高于前一次動態調節后的模板，則置特征弧匹配權為前一次動態調節后的模板匹配得分；
判斷所有特征點是否處理完畢，如處理完畢，則進行歸一化處理，得到特征弧匹配概率分布并輸出；如果沒處理完，則返回至抽取邊緣特征點步驟進行下一個點處理；
如果模板匹配得分高于前一次動態調節后的原始模板，則繼續沿原調節方向對模板進行放大或縮小處理直到得分不再增加為止，并將此時分數作為最終模板匹配得分。
7.按權利要求6所述的復雜場景下的人體頭部識別方法，其特征在于所述原始模板只涉及人頭耳部以上區域。
8.按權利要求6所述的復雜場景下的人體頭部識別方法，其特征在于采用跳躍移動窗口方式計算特征弧匹配權；邊緣特征點的查找和匹配通過水平移動原始模板窗口實現，而配合閾值的判斷使其跳躍過邊緣強度小的噪音點。
9.按權利要求1所述的復雜場景下的人體頭部識別方法，其特征在于所述色彩權概率分布通過以下步驟得到
以一幀原始視頻圖像與前景圖進行掩碼的結果作為輸入；
在上述輸入數據中選取有效顏色特征點；
判斷有效特征點對應的特征弧點匹配權是否小于閾值；
如果特征弧點匹配權不小于閾值，則取該有效特征點所在圖像窗口分別與正面模板和負面模板進行匹配，記錄上述匹配的最大匹配得分；
判斷所有邊緣特征點是否處理完畢；
如處理完畢，則進行歸一化處理得到色彩權概率分布并輸出。
10.按權利要求9所述的復雜場景下的人體頭部識別方法，其特征在于采用正面及反面顏色模板進行色彩匹配；正面及反面模板設計均為矩形，長寬比例為1∶1.33。正面模板由上下相連的兩個矩形構成，顏色分別為純黑及純白色，其中黑、白色部分寬度比例1∶3，反面模板為純黑色。
全文摘要
本發明涉及一種復雜場景下的人體頭部識別方法，將視頻設備輸入的視頻流分解成單幀視頻序列后分配給由外輪廓識別模塊、特征弧識別模塊和顏色識別模塊進行處理；外輪廓識別模塊對單幀視頻序列進行前背景分離、外輪廓提取，計算頭頂頂點權概率分布；特征弧識別模塊在平滑及灰度化處理后的圖像上做邊緣檢測、特征弧匹配后得到特征弧匹配概率分布；顏色識別模塊將前景圖像與顏色原始模板進行匹配得到色彩權概率分布；將頂點權概率分布、特征弧匹配概率分布以及色彩權概率分布通過加權疊加，得到最終的頭頂概率分布。本發明有效抑制了人體遮擋、攝像機角度、光照變化等客觀環境造成不良影響，實現對人體的頭部檢測，識別速度快、精度高，可以利用現有大部分監控系統。
文檔編號G06K9/00GK101763504SQ200910248919
公開日2010年6月30日 申請日期2009年12月30日 優先權日2009年12月30日
發明者邱懷駿, 姚志瑞 申請人:邱懷駿