基于目標引導顯著性檢測的對象跟蹤方法
【技術領域】
[0001] 本發明屬于計算機視覺對象跟蹤技術領域，特別涉及計算機圖形圖像處理技術領 域。
【背景技術】
[0002] 視覺對象跟蹤是許多計算機視覺應用的基本和關鍵問題，如視頻分析，智能監控， 人機交互，行為識別等，盡管研宄人員對此做出了大量的工作，但要在復雜的環境中實現實 時穩定的對象跟蹤仍然是極具挑戰性的任務。
[0003] 目前依賴檢測或者學習的對象跟蹤方法（如 TLD, Tracking-Learning-Detection)受到越來越廣泛的關注。這些方法通過學習某種分類 器，如支持向量機、自舉、隨機森林，或者隨機蕨等來發掘未知的數據和信息，進而增強其對 目標及其場景變化的適應能力。在基礎（短時）跟蹤（如KLT、均值漂移、粒子濾波等）失 敗時，這些分類器則被用作檢測器進行目標檢測，以達到恢復跟蹤的目的。為了保證分類器 學習的準確性，同時又能盡可能的適應目標的變化，Babenko等提出了袋學習的思想和OMB 方法（Online-MILBoost)，Kalal 等提出了 P-N(Positive-Negative)正負樣例學習的方法。 然而，這些方法仍然難以處理非剛性運動變化以及遮擋等問題。對此，霍夫森林提供了一種 可能的解決方法。霍夫森林是一種融合霍夫變換的隨機森林，它由多個決策樹組成，每棵樹 將圖像或者視頻中的局部表觀映射到它的葉節點中，而每個葉節點則包含在霍夫空間中的 概率投票。由此，對象的定位或者檢測被看作是尋求在霍夫圖像中的概率極大值點。然而 這樣的檢測過程十分耗時，因此基于霍夫森林的對象跟蹤方法在實時性上遠不及基于隨機 蕨的方法。此外，基于稀疏表示和學習的對象跟蹤方法，由于其較穩定的跟蹤性能受到越來 越多的關注和研宄，然而這些方法十分依賴樣例模板，同樣存在不小的失敗風險，且計算結 構復雜而難以滿足實際實時性的要求。
[0004] 一般情況下，場景越復雜，跟蹤或者檢測就變得越困難，由于計算資源的局限和效 率的要求，對象表觀模型不能過于復雜。實際上，除了目標本身以外，背景信息也是十分有 用且重要的信息。Yang等采用圖像分割融合方法，通過時空分析發掘輔助對象作為跟蹤協 助，其對應實現的CAT跟蹤系統表現出較穩定的跟蹤結果。然而該輔助對象的獲取基于一 定的運動假設，因而難以適應更復雜的跟蹤環境，且計算效率有待進一步的提高。Grabner 等提出通過獲取目標周圍有價值的特征點，借此預測目標的位置，增強了跟蹤的穩定性，然 而檢測和匹配所有這些局部特征點的方法在計算上十分耗時。Thang等通過將PNT作為基 礎跟蹤和同時增加對誤匹配項的跟蹤來改進Grabner等的算法，能夠在一定程度上區分與 目標相似的對象，從而表現出更好的跟蹤性能。Fan等提出學習具有較強區別性的關注區 域用以輔助跟蹤，然而在場景出現劇烈運動時，受這些局部區域的限制，其計算效率依然不 高。Godec等通過對場景進行聚類學習，將背景分類為多個虛擬的類型，取得了較為滿意的 跟蹤效果，但是該方法假設背景只是逐步而細微的改變，這在很多跟蹤場合并不成立，因此 其應用有限。
[0005] 因此，本發明提出一種新的對象跟蹤方法。該方法利用灰度直方圖將目標和場景 的信息融合到顯著性計算中，在短時跟蹤失敗的情況下首先根據這種顯著性計算方法得到 顯著圖，該顯著圖突出了更可能屬于目標的圖像區域，然后通過搜索計算最大目標置信度 值對目標進行定位，并據此更新目標圖像塊及其歸一化灰度直方圖。
【發明內容】
[0006] 本發明的目的是提供一種基于目標引導顯著性檢測的對象跟蹤方法，它能有效地 解決對剛性和非剛性目標對象長時間實時穩定的跟蹤問題。
[0007] 本發明的目的是通過以下技術方案來實現的：具體包括如下步驟：
[0008] (1)目標選取
[0009] 從初始圖像中選擇并確定要跟蹤的目標對象。目標選取過程可以通過運動目標檢 測方法自動提取，也可以通過人機交互方法手動指定。設為'-(i3I5 fl2，···，α?，···，^^^表 示目標圖像塊Zt的歸一化灰度直方圖，其中M A ^勺總量化級數，a k表示A τ中第k個量 化級數對應的直方圖取值。
[0010] (2)圖像輸入
[0011] 在實時處理情況下，提取通過攝像頭采集并保存在存儲區的視頻圖像，作為要進 行跟蹤的輸入圖像；在離線處理情況下，將已采集的視頻文件分解為多個幀組成的圖像序 列，按照時間順序，逐個提取幀圖像作為輸入圖像。如果輸入圖像為空，則跟蹤結束。
[0012] (3)執行短時跟蹤
[0013] 這里，短時跟蹤采用基于歸一化交叉互相關（NCC，Normalized Cross-Correlation)的方法。設候選圖像塊Z。與目標圖像塊Z τ的歸一化交叉互相關值為 VNCC(Zc，Zt)，短時跟蹤過程為：在以上次確定的目標位置為中心的搜索區域內選擇候選圖像 塊并計算其與目標圖像塊的v N。。值，搜索使V Ν。。值最大的位置作為當前預測的目標位置。設 閾值θΕ=〇. 8,如果最大的vNrc>0Nrc，則目標定位成功，當前跟蹤完成，跳轉到⑵；否則， 跳轉到（4)。
[0014] (4)目標引導顯著性檢測
[0015] 設Λ= (4, 4，…，込，…，~s)表示整個圖像的歸一化灰度直方圖，其中魄為 Ab的總量化級數，且MB=MT，bk表示A b中第k個量化級數對應的直方圖取值，則位置為（i，j) 的像素的顯著性值S (i，j)計算為：
[0016]
【主權項】
1. 一種基于目標引導顯著性檢測的對象跟蹤方法，包括如下步驟： (1) 目標選取 從初始圖像中選擇并確定要跟蹤的目標對象，目標選取過程可以通過運動目標檢測方 法自動提取，也可以通過人機交互方法手動指定，設七，…，4表示目 標圖像塊Zt的歸一化灰度直方圖，其中M A #勺總量化級數，a k表示A τ中第k個量化級 數對應的直方圖取值； (2) 圖像輸入 在實時處理情況下，提取通過攝像頭采集并保存在存儲區的視頻圖像，作為要進行跟 蹤的輸入圖像；在離線處理情況下，將已采集的視頻文件分解為多個幀組成的圖像序列，按 照時間順序，逐個提取幀圖像作為輸入圖像。如果輸入圖像為空，則跟蹤結束； (3) 執行短時跟蹤 這里短時跟蹤采用基于歸一化交叉互相關的方法，設候選圖像塊Z。與目標圖像塊Z 4勺 歸一化交叉互相關值為Vicc(Zc^Zt)，短時跟蹤過程為：在以上次確定的目標位置為中心的搜 索區域內選擇候選圖像塊并計算其與目標圖像塊的v N。。值，搜索使vN。。值最大的位置作為 當前預測的目標位置；設閾值Θ 0. 8,如果最大的V Ν。。〉Θ ，則目標定位成功，當前跟 蹤完成，跳轉到（2);否則，跳轉到（4); (4) 目標引導顯著性檢測 設(《，/?，…，/?，…，表不整個圖像的歸一化灰度直方圖，其中魄為八^勺 總量化級數，且MB=MT，bk表示Ab中第k個量化級數對應的直方圖取值，則位置為（i，j)的 像素的顯著性值S(i，j)計算為：
其中，W和H分別表示圖像的寬和高；I(i，j)表示位置為（i，j)的像素的灰度值， I (m，η)表示位置為（m，η)的像素的灰度值；δ (I (i，j))表示灰度值為I (i，j)在灰度直方 圖中對應的級數；C為歸一化因虧
根據以上公式，計算圖像中每個像素的顯著性值，得到顯著圖G，在上面的顯著性計 算公式中，乘積項&6(1(^)是根據目標的歸一化灰度直方圖得到的屬于目標的概率，而 α-buu?)則是根據整個圖像的歸一化灰度直方圖計算得到的屬于目標的概率，因此在 這里的顯著性計算中融合了目標的信息，即目標的信息實際上引導了顯著性的計算； (5) 目標定位 設目標的寬和高分別為WJPHt，則位置為（i，j)對應的目標置信度值p (i，j)計算為：
其中，G(m，η)表示位置為（m，η)對應的顯著性值，設ρ(ΛΓ)表示最大的目標置信度 值，則κ=, 1'將當前目標的位置設置為（λ _r)，從而完成對目標的定 位，并據此更新目標圖像塊及其歸一化灰度直方圖；當前跟蹤完成，跳轉到（2)。
【專利摘要】本發明提供了一種基于目標引導顯著性檢測的對象跟蹤方法，屬于計算機視覺技術領域。它能解決對剛性和非剛性目標對象長時間實時穩定的跟蹤問題。主要步驟為：目標選取，從初始圖像中選擇并確定要跟蹤的目標對象。目標選取過程可以通過運動目標檢測方法自動提取，也可以通過人機交互方法手動指定。圖像輸入：在實時處理情況下，提取通過攝像頭采集并保存在存儲區的視頻圖像，作為要進行跟蹤的輸入圖像。再分別執行執行短時跟蹤：目標引導顯著性檢測和目標定位。該方法利用灰度直方圖將目標和場景的信息融合到顯著性計算中，在短時跟蹤失敗的情況下首先根據這種顯著性計算方法得到顯著圖，然后通過搜索計算最大目標置信度值對目標進行定位。
【IPC分類】G06T7-00, G06T7-20
【公開號】CN104637052
【申請號】CN201510031269
【發明人】權偉, 張衛華, 陳錦雄, 林國松, 何武, 江永全
【申請人】西南交通大學
【公開日】2015年5月20日
【申請日】2015年1月22日