專利名稱：實時的從視頻中跟蹤多個人臉的方法
技術領域：
本發明涉及智能視頻監控、人臉識別、與數字娛樂技術領域，特別涉及一種可靠、實時的從視頻中跟蹤多個人臉的方法及。
背景技術：
在日常生活中，人的臉部特征給我們提供了大量豐富的信息。從視頻中檢測多個人臉的技術由于其在身份驗證、檔案管理和可視化通訊等方面的巨大應用前景，備受研究者關注，成為一個非常活躍的研究領域。目前視頻序列中實時魯棒的人臉檢測還是一個相當困難的工作，其中所面臨的問題可以歸結為(參見Yang M-H，Ahuja N，Kriegman D.A survey onfacedetectionmethods.http://vision.ai.uiuc.edu/mhyang/papers/survey.ps.gz.)(1)圖像中是否存在人臉這是人臉檢測不同于其它有關人臉研究工作的地方，即如何判斷圖像中是否存在人臉，如何區別人臉和類似人臉的非人臉圖像。(2)檢測不同表現形式的人臉人臉可能以不同視角出現在圖像中，也可能被某些物體遮擋，造成某些用于檢測而需提取的人臉特征不可見。(3)圖像中存在著噪聲由于成像時亮度、對比度等因素的影響使圖像不清晰，人臉與背景區別不大，給檢測帶來一定的難度。
視頻序列中的人臉跟蹤是另一個非常有意義的研究課題，在智能視頻監控、安全預警、人臉識別和數字娛樂、交互游戲等方面有著廣闊的應用前景。現有的人臉跟蹤技術分為兩大類。第一類基于靜態圖像的人臉檢測(參見K.Toyama，“Prolegomena for Robust Face Tracking”，MSRTechnical Report，MSR-TR-98-65，November 1998；P.Viola and M.Jones，“Rapid Object Detection Using a Boosted Cascade of Simple Features”，InProceedings of the IEEE Conference on Computer Vision and PatternRecognition，Dec.2001；H.A.Rowley，S.Baluja，and T.Kanade，“NeuralNetwork-Based Face Detection”，IEEE Transactions on Pattern Analysis andMachine Intelligence，Volume.20，no.1，pages23-28，Jan.1998；)；在視頻中的每一幀作人臉檢測后，把單幀人臉檢測結果簡單連接起來作為人臉跟蹤結果；其缺點是，當人臉偏向一邊時，人臉跟蹤會由于人臉檢測不到而造成丟失。另一類為運動檢測后判斷運動范圍內是否為人臉(參見Mei Han；Wei Xu；Hai Tao；Yihong Gong，An algorithm for multiple objecttrajectory tracking，Proceedings of Computer Vision and Pattern Recognition，Volume 1，27 June-2 July，2004，Page(s)I-864-I-871)；其缺點是，首先它還有賴于對運動范圍內是否為人臉的判斷，其本質問題仍然是人臉檢測，另外當人臉無運動時，檢測不到運動，從而無法跟蹤人臉。這兩大方法準確度和連貫性都較差。
發明內容
本發明目的在于提供一種可靠、實時快速的從視頻中檢測和跟蹤多個人臉方法。
為了實現上述目的，一種實時的從視頻中跟蹤多個人臉的方法，包括步驟a.采用人臉檢測模塊對當前幀進行掃描以及人臉檢測，確定出所有人臉的位置；b.對當前視頻幀中每一個新檢測到的人臉，將其添加到跟蹤對象列表中，并對其進行跟蹤初始化；c.如果跟蹤對象列表中的人臉在當前幀中被檢測到，則將跟蹤對象列表改人臉的信息用當前幀中的人臉信息進行更新；d.如果跟蹤對象列表中的人臉在當前幀中由于旋轉和遮擋等原因沒有被檢測到，則切換到人臉跟蹤模塊，用跟蹤的方式對其保持定位。
本發明的人臉跟蹤穩定、快速、流暢；即使在某些視頻幀中未能檢測到被跟蹤的人臉、或人臉運動停止、或人臉作非線形運動、或攝像機運動、或人臉左右旋轉90度以上、或人臉被部分遮擋時，本方法所提供的人臉跟蹤仍能快速穩定地進行。
圖1為人臉檢測和跟蹤的基本流程示意圖；圖1為系統在人臉檢測和跟蹤之間自動切換的說明圖；圖3為主動攝像機對人臉進行檢測和跟蹤的效果圖；圖4為在影視片段中對人臉進行檢測和跟蹤的效果圖。
具體實施例方式
本發明采用兩個交互的軟件模塊，第一個模塊負責多姿態人臉檢測，主要采用基于貫續前向搜索(SFS)和貫續后向搜索(SBS)的boosting學習方法提取特征和設計分類器。在該模塊中，先采集一定數量的樣本圖像，包括人臉和非人臉兩大類，每張樣本圖像都有相應的類別標記。針對這些樣本，系統采用離線boosting學習的方法提取最優區分特征，產生一些弱分類器。為了將獲得的弱分類器組合成強分類器，我們采用基于貫續前向搜索(SFS)結合貫續后向搜索(SBS)的方法尋找最優的弱分類器線性組合，得到了性能相當優異的強分類器。系統的第二個模塊負責物體跟蹤，主要采用基于自適應主顏色選取的均值漂移(mean-shift)算法，根據目標對象和模型對象之間的顏色分布的最優匹配來實現當前幀中跟蹤對象的準確定位；這兩個模塊通過一個轉換機制進行切換，何時用哪個模塊的最佳方案是由該轉換機制決定，具體工作原理如下對于當前輸入幀，人臉檢測模塊尋找出所有可能的人臉，用于更新或者初始化跟蹤模塊中的跟蹤器。對于新檢測出的人臉，我們將之存儲到系統跟蹤對象列表中，創建相應的跟蹤器，并計算該人臉圖像區域及其附近背景的顏色分布，以用于初始化跟蹤器。對于系統中已經處于跟蹤中的人臉，當前對應檢測到的人臉將用于更新跟蹤器的模式信息(主要是位置，尺度和顏色分布)。如果已經被跟蹤的人臉在當前幀中由于旋轉和遮擋等原因沒有被檢測到，我們利用存儲的模式信息來對該人臉進行定位跟蹤。在跟蹤的過程中，我們采用主導特征選擇的方法來提高均值漂移跟蹤算法的有效性。主導特征選擇包括兩部分特征空間創建和特征在線特征選取。考慮到攝像機的運動和復雜場景，我們采用RGB顏色空間作為特征空間。為了使目標前景區域和局部背景區域的特征差異盡量大，以提高均值漂移算法的準確性，我們定義出前景/背景主顏色分布特征。具體描述如下先建立RGB直方圖，包括N＝Nr·Ng·Nb個色度級別.設人臉跟蹤對象的原始直方圖為qtqt＝{qt(1)，...，qt(n)}，n＝1，...，N (1)其中Σn=1Nqt(n)=1]]>設當前跟蹤對象局部背景區域的原始直方圖為qbqb＝{qb(1)，...，qb(n)}，n＝1，...，N (2)其中Σn=1Nqb(n)=1]]>則前景對象的主顏色分布特征qdk可以表示為 利用該分布特征，結合傳統的均值漂移算法，可以顯著提高前景跟蹤的魯棒性。
為了防止誤跟蹤的發生，對于一個跟蹤器，如果連續若干幀沒有檢測到人臉，則認為該跟蹤器已經失效，對應的人臉將從系統跟蹤對象列表中刪除。這個發明使得人臉跟蹤即使在其中一個模塊的輸出不可靠或無輸出時，系統仍能快速穩定地進行，以下結合附圖和具體的實施例對本發明作進一步的詳細說明在圖1中，本發明揭示了一較佳實施例，該人臉檢測和跟蹤系統，包括視頻采集步驟101；人臉檢測步驟102；人臉跟蹤步驟106；人臉檢測與人臉跟蹤切換判決步驟103，104，105；跟蹤器創建步驟107；在線特征選取步驟108；系統輸出步驟109；系統利用步驟101采集當前幀圖像數據，步驟102采用基于貫續前向搜索(SFS)結合貫續后向搜索(SBS)的boosting方法訓練出一個強人臉分類器，利用該分類器對當前幀進行從左到右，從上到下的掃描，檢測出所有的人臉區域。人臉檢測窗口的標準大小設置為20×20，為了適應尺度的變化，可以由±20％的浮動。對每一個系統中已經存在的跟蹤器，判決步驟103根據步驟102的判決結果判斷當前跟蹤器是否有檢測到的人臉與之匹配，如果為真，則執行步驟105，否則執行步驟104；步驟104利用均值漂移技術，在跟蹤器所處的局部區域中找到與存儲的人臉顏色分布最接近的一定形狀的區域(矩形或橢圓形)作為跟蹤到的新人臉；特征提取步驟105利用在線學習的方法，提取出人臉區域相對于附近背景的顯著顏色分布特征，更新對應跟蹤器中存儲的人臉模式信息，為后續的基于均值漂移的跟蹤提供優化的特征；步驟106判決當前系統已經存在的跟蹤器是否都被處理，如果為假則執行步驟107，切換到下一個跟蹤器，否則執行步驟108。步驟108對新出現的人臉創建新的跟蹤器，加入到系統跟蹤器列表中。系統輸出步驟109保存和輸出當前人臉檢測和跟蹤的結果，為后續的處理提供數據。
在圖2中，本發明揭示了上述實施例中，系統實現人臉檢測與人臉跟蹤自動切換的機制。該機制具體描述如下步驟201根據已存在的跟蹤器和當前所有檢測到的人臉區域之間的距離關系建立相應的最近鄰矩陣。在對所有跟蹤器進行逐一處理的過程中，步驟202根據當前要處理的跟蹤器的ID號查找最近鄰矩陣，步驟203根據查詢結果進行切換判決，若在當前跟蹤器附近存在檢測到的人臉區域，系統將處于檢測模式，步驟204利用匹配到的人臉區域對當前跟蹤器進行信息更新。若203的判決結果是當前跟蹤器附近沒有檢測到人臉(如人臉存在大角度偏轉或者遮擋等)，步驟205將完成系統由檢測模式向跟蹤模式的切換，在跟蹤模式下步驟206采用基于顏色直方圖的均值漂移跟蹤法在跟蹤器的局部領域內定位出人臉的位置，進而實現跟蹤器的信息更新。總體而言，系統以檢測模式為主模式，在主模式失效的情況下將切換到備用的跟蹤模式，實現連續的人臉檢測與跟蹤。
在圖3中，揭示了本發明的一種應用實施例，即一種實現室內人臉主動跟蹤的系統。
如圖3所示，圖片301顯示當有人進入房間時，其正面的臉被系統檢測到，以綠色的十字框標記；圖片302顯示該人臉在轉過一定角度后，人臉檢測模塊失效，系統自動切換到人臉跟蹤模塊，跟蹤區域以紅色十字框標記；圖片303顯示在人臉轉過90度的情況下，該人臉仍能夠被系統跟蹤住；圖片304和圖片305顯示場景中出現多個人臉時，系統可以同時檢測和跟蹤；圖片306至圖片308顯示系統在非平面，大旋轉角度下保持對人臉跟蹤，直至該人離開場景。
在圖4中，揭示了本發明的另一種應用實施例，即一種實現電影剪輯片段中人臉監測和跟蹤的系統。
圖4中，圖片401至圖片304是在電影《Matrix Revolutions》的片段中檢測和跟蹤人臉效果圖。該片段是室內場景，系統檢測到兩個人臉并對其保持跟蹤，從圖片402開始，場景中黑衣的女子臉開始轉動，一直到圖片404共計轉過了270度，系統可以在檢測和跟蹤模塊之間自動切換，始終保持對該女子面部的跟蹤。圖片405至圖片308是在電影《Sentof a Woman》的片段中檢測和跟蹤人臉的效果圖。該片段是室外場景，被跟蹤的兩個人臉存在尺度上的較大變化，系統對這種變化有較強的自適應性。
權利要求
1.一種實時的從視頻中跟蹤多個人臉的方法，包括步驟a.采用人臉檢測模塊對當前幀進行掃描以及人臉檢測，確定出所有人臉的位置；b.對當前視頻幀中每一個新檢測到的人臉，將其添加到跟蹤對象列表中，并對其進行跟蹤初始化；c.如果跟蹤對象列表中的人臉在當前幀中被檢測到，則將跟蹤對象列表改人臉的信息用當前幀中的人臉信息進行更新；d.如果跟蹤對象列表中的人臉在當前幀中由于旋轉和遮擋等原因沒有被檢測到，則切換到人臉跟蹤模塊，用跟蹤的方式對其保持定位。
2.根據權利要求1所述的方法，其特征在于根據位置、尺度和顏色分布來對該人臉進行定位，保持該跟蹤器對相應人臉的跟蹤。
3.根據權利要求1所述的方法，其特征在于，采用基于Boosting學習的人臉檢測模塊，創建或更新跟蹤對象列表。
4.根據權利要求1所述的方法，其特征在于所述切換包括根據已存在的跟蹤器和當前所有檢測到的人臉區域之間的距離關系建立相應的最近鄰矩陣；根據當前要處理的的跟蹤器的ID號查找最近鄰矩陣；根據查詢結果進行切換判決；如果當前跟蹤器附近沒有檢測到人臉，則由檢測模式向跟蹤模式切換。
5.根據權利要求1所述的方法，其特征在于，對于新創建的人臉跟蹤器，計算對應人臉以及人臉附近背景的顏色分布模型，保存到系統跟蹤對象列表中。
6.根據權利要求5所述的方法，其特征在于對于已存在于系統跟蹤對象列表中的人臉跟蹤器，用當前對應人臉及其附近背景的顏色分布模型更新人臉跟蹤器。
7.根據權利要求2所述的方法，其特征在于，采用RGB顏色空間作為特征空間，對前景顏色分布直方圖進行一次尺度變換。
全文摘要
一種實時的從視頻中跟蹤多個人臉的方法，采用人臉檢測模塊對當前幀進行掃描以及人臉檢測，確定出所有人臉的位置；對當前視頻幀中每一個新檢測到的人臉，將其添加到跟蹤對象列表中，并對其進行跟蹤初始化；如果跟蹤對象列表中的人臉在當前幀中被檢測到，則將跟蹤對象列表改人臉的信息用當前幀中的人臉信息進行更新；如果跟蹤對象列表中的人臉在當前幀中由于旋轉和遮擋等原因沒有被檢測到，則切換到人臉跟蹤模塊，用跟蹤的方式對其保持定位。本發明在某些視頻幀中未能檢測到被跟蹤的人臉、或人臉運動停止、或人臉作非線形運動、或攝像機運動、或人臉左右旋轉90度以上、或人臉被部分遮擋時，本方法所提供的人臉跟蹤仍能快速穩定地進行。
文檔編號G06K9/00GK1959701SQ200510120069
公開日2007年5月9日 申請日期2005年11月3日 優先權日2005年11月3日
發明者李子青, 楊濤 申請人:中國科學院自動化研究所