專利名稱：一種人體智能跟蹤方法
技術領域：
本發明涉及智能跟蹤，特別涉及一種人體智能跟蹤方法。
背景技術：
圖像跟蹤技術是重要技術之一，在采集的圖像中檢測出人體所在位置，控制相應攝像頭的運動，使跟蹤對象始終保持在畫面中間。當前圖像跟蹤方法有紅外探測技術和超聲波探測技術等，其中紅外探測技術采用跟蹤對象佩戴紅外發射裝置，攝像機根據紅外接收裝置接收的紅外信號，決定攝像機的拍攝位置。但紅外跟蹤存在的問題是抗干擾性差，易受環境中的可見光、日光燈等熱光源的影響，而且需輔助裝置，當跟蹤對象轉身時會造成紅外信號的丟失，無法判斷拍攝方向，影響定位的準確性和實時性。超聲波探測技術將多個具有特殊頻率的超聲波發射和超聲波接收裝置安裝在跟蹤對象的附近，根據超聲波接收裝置接收的反射波變化判定跟蹤對象的位置，決定攝像機拍攝的方向。由于超聲波的發射角度比較大，因此拍攝方位的角度不太高，不能360度跟蹤目標。另外，此技術也需要輔助設備， 且長時間的超聲波輻射對人體健康有害。發明人實現本發明的過程中，發現現有技術中至少存在以下缺點和不足紅外探測技術和超聲波探測技術都有跟蹤角度的限制，魯棒性受外界的影響。
發明內容
本發明要解決的技術問題在于提供一種人體智能跟蹤方法，本發明通過運動目標檢測和人體分級檢測，實現了較準確地檢測出人體正面、人體側面及人體背面，在人體轉身和走動時，能準確地定位和全方位的跟蹤，且不受環境光線變化的影響；在多人的情況下， 可選擇不同的策略選定跟蹤對象，結合方向預測調整攝像頭的位置，實現平滑的跟蹤效果， 詳見下文描述一種人體智能跟蹤方法，所述方法包括以下步驟對圖像進行處理獲取跟蹤對象當前幀位置，并預測跟蹤對象運動方向；判斷所述跟蹤對象當前幀位置是否在當前畫面的中心區域，如果是，則不調整攝像頭；如果否，根據所述跟蹤對象運動方向調整攝像頭；根據所述跟蹤對象當前幀位置，設置第三閾值的范圍作為感興趣區域，在所述感興趣區域內對跟蹤對象進行跟蹤。所述對圖像進行處理獲取跟蹤對象當前幀位置，并預測跟蹤對象運動方向具體包括對所述圖像進行處理提取包含人體的候選運動區域；在所述候選運動區域中，獲取人體目標；根據所述人體目標，確定跟蹤對象，獲取并記錄跟蹤對象當前幀位置；根據所述跟蹤對象當前幀位置預測所述跟蹤對象運動方向。所述根據所述跟蹤對象當前幀位置預測所述跟蹤對象運動方向具體包括設跟蹤對象當前幀位置為(xk，yk)，前一幀位置為(Xlri，yn)，如果Xk-Xlri > 0，運動方向為水平正方向；如果Xk-Xk-iSO，運動方向為水平反方向；如果yk-yH >0，運動方向為垂直正方向；如果yk_yH < 0，運動方向為垂直反方向。所述對所述圖像進行處理提取包含人體的候選運動區域具體包括通過所述圖像獲取差分圖像；對所述差分圖像進行處理獲取一個或多個連通區域；對所述連通區域進行分析判斷，舍去小于第二閾值的連通區域，獲取所述候選運動區域。所述在所述候選運動區域中，獲取人體目標具體包括1)對所述候選運動區域進行檢測，判斷是否檢測到人的正臉，如果是，獲取人體目標；如果否，執行步驟2)；2)對所述候選運動區域進行檢測，判斷是否檢測到人的側臉，如果是，獲取人體目標；如果否，執行步驟3)；3)在獲取的所述一個或多個連通區域里進行頭肩輪廓提取，判斷是否提取成功， 如果是，獲取人體目標；如果否，則不存在人體目標。所述根據所述人體目標，確定跟蹤對象具體為1)判斷人體數目是否是一個，如果是，則所述人體目標作為跟蹤對象，如果否，執行步驟2)；2)判斷是否對多個所述人體目標進行策略跟蹤，如果是，執行步驟3)；如果否，執行步驟4)；3)根據設置的策略，選擇跟蹤對象；4)將攝像頭切換到全景畫面，等待一定時間后，重新通過攝像頭獲取圖像。所述設置的策略具體包括如果策略為身高特征，選擇最高或最矮的目標作為跟蹤對象；如果策略為膚色特征，選擇偏黃膚色、黑膚色或偏白膚色的目標作為跟蹤對象。本發明提供的一種人體智能跟蹤方法，與現有技術相比具有如下的優點本發明通過運動目標檢測和人體分級檢測，較準確地檢測出人體正面、人體側面及人體背面，在人體轉身和走動時，能準確地定位和全方位的跟蹤，且不受環境光線變化的影響；在多人的情況下，可選擇不同的策略選定跟蹤對象，結合方向預測調整攝像頭的位置，實現平滑的跟蹤效果，本發明不需要任何輔助定位裝置，不受跟蹤角度的限制，能全方位地跟蹤人體，魯棒性不受外界的影響；本發明實施例不局限于教學錄播，還適用于室內且人體不密集的環境下，比如會議、室內人體跟蹤和室內監控等相關應用。
圖1為本發明提供的一種人體智能跟蹤方法的流程圖；圖2為本發明提供的一種人體智能跟蹤方法的另一流程圖；圖3為本發明提供的獲取候選運動區域的原理圖；圖4為本發明提供的獲取人體目標的原理圖；圖5為本發明提供的獲取跟蹤對象的原理圖；圖6為本發明提供的感興趣區域的設置示意圖。
具體實施方式
為使本發明的目的、技術方案和優點更加清楚，下面將結合附圖對本發明實施方式作進一步地詳細描述。實施例1101 對圖像進行處理獲取跟蹤對象當前幀位置，并預測跟蹤對象運動方向；102 判斷跟蹤對象當前幀位置是否在當前畫面的中心區域，如果是，則不調整攝像頭；如果否，根據跟蹤對象運動方向調整攝像頭；103:根據跟蹤對象當前幀位置，設置第三閾值的范圍作為感興趣區域，在感興趣區域內對跟蹤對象進行跟蹤。其中，步驟101中對圖像進行處理獲取跟蹤對象當前幀位置，并預測跟蹤對象運動方向具體包括對圖像進行處理提取包含人體的候選運動區域；在候選運動區域中，獲取人體目標；根據人體目標，確定跟蹤對象，獲取并記錄跟蹤對象當前幀位置；根據跟蹤對象當前幀位置預測跟蹤對象運動方向。其中，根據跟蹤對象當前幀位置預測跟蹤對象運動方向具體包括設跟蹤對象當前幀位置為(xk，yk)，前一幀位置為(Xlri，Yk^1)，如果Xk-Xlri > 0，運動方向為水平正方向；如果Xk-Xk-iSO，運動方向為水平反方向；如果yk-yH >0，運動方向為垂直正方向；如果yfyH < 0，運動方向為垂直反方向。其中，對圖像進行處理提取包含人體的候選運動區域具體包括通過圖像獲取差分圖像；對差分圖像進行處理獲取一個或多個連通區域；對連通區域進行分析判斷，舍去小于第二閾值的連通區域，獲取候選運動區域。其中，在候選運動區域中，獲取人體目標具體包括1)對候選運動區域進行檢測，判斷是否檢測到人的正臉，如果是，獲取人體目標； 如果否，執行步驟2)；2)對候選運動區域進行檢測，判斷是否檢測到人的側臉，如果是，獲取人體目標； 如果否，執行步驟3)；3)在獲取的一個或多個連通區域里進行頭肩輪廓提取，判斷是否提取成功，如果是，獲取人體目標；如果否，則不存在人體目標。其中，根據人體目標，確定跟蹤對象具體為
1)判斷人體數目是否是一個，如果是，則人體目標作為跟蹤對象，如果否，執行步驟2)；2)判斷是否對多個人體目標進行策略跟蹤，如果是，執行步驟3)；如果否，執行步驟4)；3)根據設置的策略，選擇跟蹤對象；4)將攝像頭切換到全景畫面，等待一定時間后，重新通過攝像頭獲取圖像。其中，設置的策略具體包括如果策略為身高特征，選擇最高或最矮的目標作為跟蹤對象；如果策略為膚色特征，選擇偏黃膚色、黑膚色或偏白膚色的目標作為跟蹤對象。綜上所述，本發明實施例通過運動目標檢測和人體分級檢測，較準確地檢測出人體正面、人體側面及人體背面，在人體轉身和走動時，能準確地定位和全方位的跟蹤，且不受環境光線變化的影響；在多人的情況下，可選擇不同的策略選定跟蹤對象，結合方向預測調整攝像頭的位置，實現平滑的跟蹤效果，本發明實施例不需要任何輔助定位裝置，不受跟蹤角度的限制，能全方位地跟蹤人體，魯棒性不受外界的影響。實施例2下面結合圖2詳細描述人體智能跟蹤方法的過程，通過圖像獲取差分圖像以高斯濾波處理為例、獲取一個或多個連通區域的步驟以二值運算為例進行說明，具體實現時還可以采用其他的處理方法，本發明實施例對此不做限制，詳見下文描述201 通過攝像頭獲取圖像；其中，通過攝像頭獲取到的圖像通常包括人體、講臺和黑板等。202 對圖像進行處理提取包含人體的候選運動區域；其中，參見圖3，該步驟具體為(1)將圖像轉換為灰度圖像；(2)對灰度圖像進行高斯濾波處理，獲取平滑灰度圖像；(3)對相隔N幀的兩個平滑灰度圖像進行差分，獲取差分圖像；令Ik(X，y)為第k幀圖像，Ik+N(x, y)為第(k+N)幀圖像，Dk(x，y)為差分圖像，用以下公式表示Dk(X，y) = |lk+N(x，y)-Ik(x, y) |，其中，N為設置的幀間隔，N的取值根據實際應用中的需要進行設定，通常取值為大于等于1的整數，具體實現時，本發明實施例對此不做限制。(4)根據第一閾值對差分圖像Dk(X，y)進行二值化處理，獲取二值圖像Tk(x，y)；
il, D,(x,y)>T
其中，τ;(χ，>0= ，，^τ，Τ為第一閾值。 [ο, Dk(x,y)<T當差分圖像中的像素灰度值大于第一閾值T，則將該像素劃分為運動目標點，否則，劃分為非運動目標點。為了減少運動目標的丟失，T的取值不應取得太大，具體實現時， 本發明實施例對此不做限制。(5)對二值圖像Tk(X，y)進行腐蝕運算，獲取一個或多個連通區域；其中，通過對二值圖像Tk(X，y)進行腐蝕運算，消除出現的縫隙和空洞，從而得到一個或多個連通區域。(6)對連通區域進行分析判斷，舍去小于第二閾值的連通區域，獲取候選運動區域。其中，第二閾值的取值根據攝像頭距離人體目標的遠近而確定。203 在候選運動區域中，對人體進行檢測，獲取人體目標；其中，參見圖4，該步驟具體為(1)對候選運動區域進行檢測，判斷是否檢測到人的正臉，如果是，則存在人體目標，獲取人體目標；如果否，執行步驟O)；其中，該步驟中可以采用正面人臉分類器對候選運動區域進行檢測或其他任何可行的檢測方法，例如基于haar特征的正面人臉分類器，具體實現時，本發明實施例對此不做限制。(2)對候選運動區域進行檢測，判斷是否檢測到人的側臉，如果是，則存在人體目標，獲取人體目標；如果否，執行步驟(3)；其中，該步驟中可以采用側面人臉分類器對候選運動區域進行檢測或其他任何可行的檢測方法，例如基于haar特征的側面人臉分類器，具體實現時，本發明實施例對此不做限制。(3)在獲取的一個或多個連通區域里進行頭肩輪廓提取，判斷是否提取成功，如果是，則存在人體目標，獲取人體目標；如果否，則當前圖像幀不存在人體目標。其中，在步驟203中如果沒有檢測到人體目標，則等待一定時間t后，重新執行步驟201，進行候選區域的獲取和分級檢測。204 根據獲取到的人體目標，確定跟蹤對象；其中，參見圖5，該步驟具體為(1)根據獲取到的人體目標，判斷人體數目是否是一個，如果是，則該人體目標作為跟蹤對象，如果否，執行步驟O)；(2)判斷是否對多個人體目標進行策略跟蹤，如果是，執行步驟(3)；如果否，執行步驟⑷；(3)根據設置的策略，選擇跟蹤對象；(4)將攝像頭切換到全景畫面，等待一定時間t后，重新執行步驟201。205 獲取并記錄跟蹤對象當前幀位置(xk，yk)；206 根據跟蹤對象當前幀位置(xk，yk)預測跟蹤對象運動方向；將跟蹤對象運動方向作為跟蹤對象下次的移動方向，使攝像頭處于預備狀態，從而在以后的跟蹤時能及時地調整運動方向。207 判斷跟蹤對象當前幀位置Uk，yk)是否在當前畫面的中心區域，如果是，則不調整攝像頭；如果否，根據跟蹤對象運動方向調整攝像頭的位置，直至跟蹤對象位于畫面的中心區域；其中，如果否時，根據跟蹤對象運動方向調整攝像頭的位置以及跟蹤對象當前幀位置與上次位置的變化，調整攝像機朝某個方向運動特定角度，直至跟蹤對象位于畫面的中心區域。208 設置幀間隔N，每隔N幀對圖像進行處理；其中，該步驟考慮到教學錄播的應用環境中，人體多為慢速移動，相鄰兩幀的變化比較小，不需對每一幀都進行處理，可以減少處理時間，避免由于目標人體的微小運動造成跟蹤畫面的抖動。為此，設置了幀間隔N，處理完當前幀后，獲取下一幀，如果滿足幀間隔，即與當前幀相差N個幀時刻，則進行處理。209 根據每幀檢測到的跟蹤對象當前幀位置(xk，yk)位置，設置第三閾值的范圍作為感興趣區域，在感興趣區域內對跟蹤對象進行跟蹤。其中，參見圖6，設置感興趣區域是為了減少檢測的時間，提高實時性。第三閾值的大小可根據實際的應用進行設置，具體實現時，本發明實施例對此不做限制。例如如果以正臉檢測和側臉檢測為主，可以設置比頭部長度稍大的寬度；如果考慮到背面人體，根據檢測到的人體目標位置和人體各部分的比例，設置以人體上半身長度作為矩形寬度。通過提取的頭肩輪廓和人體部分的比例，設置感興趣區域。由于物體遮擋，無法提取整個人體的區域，而只能提取頭肩部分，就要根據人體各部位的比例，增加或減少感興趣區域的大小。
綜上所述，本發明實施例提供了一種人體智能跟蹤方法，本發明實施例通過運動目標檢測和人體分級檢測，較準確地檢測出人體正面、人體側面及人體背面，在人體轉身和走動時，能準確地定位和全方位的跟蹤，且不受環境光線變化的影響；在多人的情況下，可選擇不同的策略選定跟蹤對象，結合方向預測調整攝像頭的位置，實現平滑的跟蹤效果，本發明實施例不需要任何輔助定位裝置，不受跟蹤角度的限制，能全方位地跟蹤人體，魯棒性不受外界的影響，本發明實施例不局限于教學錄播，此方法還適用于室內且人體不密集的環境下，比如會議、室內人體跟蹤和室內監控等相關應用。本領域技術人員可以理解附圖只是一個優選實施例的示意圖，上述本發明實施例序號僅僅為了描述，不代表實施例的優劣。以上所述僅為本發明的較佳實施例，并不用以限制本發明，凡在本發明的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發明的保護范圍之內。
權利要求
1.一種人體智能跟蹤方法，其特征在于，所述方法包括以下步驟對圖像進行處理獲取跟蹤對象當前幀位置，并預測跟蹤對象運動方向；判斷所述跟蹤對象當前幀位置是否在當前畫面的中心區域，如果是，則不調整攝像頭； 如果否，根據所述跟蹤對象運動方向調整攝像頭；根據所述跟蹤對象當前幀位置，設置第三閾值的范圍作為感興趣區域，在所述感興趣區域內對跟蹤對象進行跟蹤。
2.根據權利要求1所述的人體智能跟蹤方法，其特征在于，所述對圖像進行處理獲取跟蹤對象當前幀位置，并預測跟蹤對象運動方向具體包括對所述圖像進行處理提取包含人體的候選運動區域；在所述候選運動區域中，獲取人體目標；根據所述人體目標，確定跟蹤對象，獲取并記錄跟蹤對象當前幀位置；根據所述跟蹤對象當前幀位置預測所述跟蹤對象運動方向。
3.根據權利要求2所述的人體智能跟蹤方法，其特征在于，所述根據所述跟蹤對象當前幀位置預測所述跟蹤對象運動方向具體包括設跟蹤對象當前幀位置為(xk，yk)，前一幀位置為(Xlri，yH)，如果xk-x^x)，運動方向為水平正方向；如果Xk-Xk-iCO，運動方向為水平反方向；如果Y1Tylri >0，運動方向為垂直正方向；如果yk-yH < 0，運動方向為垂直反方向。
4.根據權利要求2所述的人體智能跟蹤方法，其特征在于，所述對所述圖像進行處理提取包含人體的候選運動區域具體包括通過所述圖像獲取差分圖像；對所述差分圖像進行處理獲取一個或多個連通區域；對所述連通區域進行分析判斷，舍去小于第二閾值的連通區域，獲取所述候選運動區域。
5.根據權利要求2所述的人體智能跟蹤方法，其特征在于，所述在所述候選運動區域中，獲取人體目標具體包括1)對所述候選運動區域進行檢測，判斷是否檢測到人的正臉，如果是，獲取人體目標； 如果否，執行步驟2)；2)對所述候選運動區域進行檢測，判斷是否檢測到人的側臉，如果是，獲取人體目標； 如果否，執行步驟3)；3)在獲取的所述一個或多個連通區域里進行頭肩輪廓提取，判斷是否提取成功，如果是，獲取人體目標；如果否，則不存在人體目標。
6.根據權利要求3所述的人體智能跟蹤方法，其特征在于，所述根據所述人體目標，確定跟蹤對象具體為1)判斷人體數目是否是一個，如果是，則所述人體目標作為跟蹤對象，如果否，執行步驟2)；2)判斷是否對多個所述人體目標進行策略跟蹤，如果是，執行步驟3)；如果否，執行步驟4)；3)根據設置的策略，選擇跟蹤對象；4)將攝像頭切換到全景畫面，等待一定時間后，重新通過攝像頭獲取圖像。
7.根據權利要求6所述的人體智能跟蹤方法，其特征在于，所述設置的策略具體包括如果策略為身高特征，選擇最高或最矮的目標作為跟蹤對象；如果策略為膚色特征，選擇偏黃膚色、黑膚色或偏白膚色的目標作為跟蹤對象。
全文摘要
本發明公開了一種人體智能跟蹤方法，對圖像進行處理獲取跟蹤對象當前幀位置，并預測跟蹤對象運動方向；判斷所述跟蹤對象當前幀位置是否在當前畫面的中心區域，如果是，則不調整攝像頭；如果否，根據所述跟蹤對象運動方向調整攝像頭；根據所述跟蹤對象當前幀位置，設置第三閾值的范圍作為感興趣區域，在所述感興趣區域內對跟蹤對象進行跟蹤。本發明不需要任何輔助定位裝置，不受跟蹤角度的限制，能全方位地跟蹤人體，魯棒性不受外界的影響；本發明實施例不局限于教學錄播，還適用于室內且人體不密集的環境下，比如會議、室內人體跟蹤和室內監控等相關應用。
文檔編號H04N5/232GK102360423SQ20111031983
公開日2012年2月22日 申請日期2011年10月19日 優先權日2011年10月19日
發明者丁泉龍, 萬冉, 謝德暄 申請人:丁泉龍