一種基于融合2d檢測的目標跟蹤算法
【專利摘要】本發明涉及一種融合2D檢測方法的實時目標跟蹤算法。所述方法包括：建立目標物體在當前背景下的外觀模型，使用基于LK稀疏光流的方法對目標物體進行連續跟蹤，利用目標物體的外觀模型在畫面中檢測手掌的位置，以及融合跟蹤與檢測步驟的結果，以得到更為可靠、準確的目標物體位置。本發明提出的基于級聯型分類器，半自動的線下訓練方式，以及能夠同時融合跟蹤結果的檢測方法克服了傳統的單純基于分類器的檢測方法較難應付目標物體形變、訓練過程中需要大量的手工標記，以及傳統跟蹤算法的“退化問題”。
【專利說明】一種基于融合2D檢測的目標跟蹤算法
【技術領域】
[0001] 本發明屬于機器視覺相關【技術領域】，更具體的，涉及一種融合2D檢測方法的實時 目標跟蹤算法。
【背景技術】
[0002] 在計算機視覺領域里，實時運動目標的跟蹤是一個核心的研究方向。廣泛應用于 視頻監控，自然人機接口，增強現實，軍事制導等領域。因此，如何實現對運動穩定、準確和 實時的跟蹤，是一個需要重點研究的問題。
[0003] 傳統的運動目標跟蹤算法存在如下一些問題：1)事先需要初始化跟蹤器，即標記 目標在畫面里的位置，而后跟蹤算法才能開始工作；2)目標物體在畫面中消失時，跟蹤器 不能及時感知；3)目標物體在畫面中消失，再出現時，需要重新初始化；4)在跟蹤過程中， 由于誤差是隨時間累積的，因而跟蹤算法極易出現"退化"現象。
[0004] 由于傳統的跟蹤算法存在如上限制，人們提出了通過在線下訓練目標物體外觀統 計模型，從而為跟蹤器提供初始標記的方法。但是線下有監督學習往往需要大量的手工標 記工作，并且魯棒性不強，對光線、背景、目標物體形變等的適應能力較弱，因而很難得到實 際應用。
【發明內容】
[0005] 為解決上述由有監督學習帶來的問題。本發明公開了一種線下半自動訓練級聯型 分類器的方法，解決跟蹤算法需要初始化和"退化"問題。
[0006] 為了達到上述目的，本發明采用如下技術方案：
[0007] S1 :通過線下學習，建立目標物體在當前背景下的外觀模型，得到的模型會在S3 中用于目標物體的檢測。S1中的線下學習，是一種半自動的學習方法，即用戶在提供目標物 體的初始位置后，學習機構會自動提供相關特征對應的label，無需用戶手動干預。
[0008] S2 :使用基于LK稀疏光流的方法對目標物體進行連續跟蹤。目標物體被表示為一 個矩形子圖像（patch)，S2在連續的兩巾貞圖像之間跟蹤該patch。
[0009] 1)首先在當前圖像幀It+1里通過LK光流法尋找上一幀圖像It里定義的特征點 (前向光流）；同樣在I t中尋找前一步在It+1中被前向光流發現的特征點（后向光流）。 [0010] 2)計算前向光流匹配到的特征點對周圍7X7鄰域子圖像的歸一化相關系數。取 得到的歸一化相關系數集合的中位數。歸一化相關系數小于該中位數的點對，被認為是不 可靠的匹配，予以濾除。
[0011] 3)計算后向光流匹配到的特征點對之間的歐幾里得距離，取歐式距離集合的中位 數。相互之間歐式距離大于該中位數的點對，被認為是不可靠的匹配，同樣予以濾除。
[0012] 4)對上述三步得到的It+1中的點集做依據空間位置聚類分析，若這些點可以聚為 一類，則取點集中個點空間橫縱坐標的中位數為新的目標物體的位置，否則跟蹤失敗。
[0013] S3利用在步驟S1中得到的目標物體的外觀模型，掃描被網格劃分的各個patch， 對patch進行分類，以檢測目標物體的位置。在S3種我們用到了一種級聯型的分類方法， 以減少運算量。
[0014] 1)使用高斯混合模型（GMM)，提取前景，對被認為是背景的patch不做后續的處 理。
[0015] 2)使用隨機森林（RF)分類器，對前景patch進行分類。
[0016] 3)使用最近鄰居（NN)分類器，結合LBP特征，對通過RF的patch進行分類。
[0017] 4)對通過NN分類的patch，進行聚類，計算聚類中心作為目標物體的位置。
[0018] S4依據一定的規則，融合S2跟蹤步驟與S3檢測步驟的結果，得到更為可靠、準確 的手掌位置。
【專利附圖】
【附圖說明】
[0019] 圖1基于LK光流的跟蹤方法流程
[0020] 圖2級聯型檢測方法流程
[0021] 圖3LBP特征提取示意圖
[0022] 圖4檢測與跟蹤結果的融合規則
【具體實施方式】
[0023] 下面對本發明的技術方案做進一步的詳細說明：
[0024] S1 :建立目標物體的外觀統計模型。
[0025] Sla :在第一幀畫面中標記出包含目標物體的矩形框。
[0026] Sib :利用滑窗，選擇與標記的目標物體最近的10個patch，作為正例：在與目標物 體patch重合面積小于目標物體patch面積20 %的滑窗集合中隨機選擇100個patch,作 為反例。
[0027] Sic :建立目標物體的統計模型。目標物體統計模型的建立包括兩個部分，建立用 于隨機森林分類器的相關參數，以及建立用于最近鄰居分類器的樣本集合。
[0028] 隨機森林分類器中使用的特征定義如下：
[0029] 我們使用的隨機森林分類器包含10個子分類器，每個子分類器都會維護一個包 含213=8192個項的后驗概率 Pi (y | X)，其中y e {〇, 1}，X是一個13 X 1維二進制值列向量， 該向量的具體含義參考S3b。Pi(y|x)依據下列公式建立：
[0030]
【權利要求】
1. 一種基于融合2D檢測的目標跟蹤算法，其特征在于，所述方法包括： 建立基于隨機森林分類器和最近鄰居分類器的目標物體外觀統計模型； 在當前幀中跟蹤前一幀的目標物體位置； 在當前幀中檢測目標物體位置； 融合跟蹤與檢測的結果。
2. 如權利1所要求的建立目標物體的外觀模型，其特征在于，更新的信息包括用于隨 機森林分類器的一組后驗概率Pi (y I X)以及用于最近鄰居分類器的一組true-positive子 圖像和一組false-positive子圖像。
3. 根據權利2要求，隨機森林分類器包含10組子分類器，每個子分類器維護一個后驗 概率 Pi (y I x)。
4. 根據權利3要求，用于子分類器的后驗概率Pi (y I x)，其含義是一個13維二進制特 征向量是目標物體的概率。
5. 根據權利4要求，13維特征向量的計算方法為：在待分類子圖像中隨機抽取13組點 對，各自比較它們之間灰度的大小，以形成該13維二進制向量。
6. 根據權利2要求，true-positive樣本是指被定義為正例樣本，并且按照最近鄰居分 類器計算出的置信度小于〇. 65的一類patch集合，false_positive樣本是指被定義為正 例樣本，并且按照最近鄰居分類器計算出的置信度大于0. 5的一類patch集合。
7. 如權利1要求，跟蹤目標物體位置，其特征在于，直接提取網格點作為特征點，做前 后向的LK光流跟蹤，以前后向跟蹤前后匹配點周圍7X7鄰域的歸一化相關系數和匹配點 間歐式距離序列的中值為閥值，濾除不可靠的特征點以得到當前幀中目標物體的位置。
8. 根據權利7要求，并當匹配點間的歐式距離中值小于10時，定義為跟蹤失敗。
9. 如權利1要求，檢測目標物體位置，其特征在于，通過基于GMM的前景檢測，隨機森林 分類器和最近鄰居分類器構成的級聯型檢測器檢測目標物體的位置。通過K-mean聚類算 法獲取目標物體的位置。
10. 根據權利9要求，隨機森林分類器的分類邊界為，在10個子分類器中，待分類子圖 像映射成的13維二進制向量為目標物體的概率和是否大于0. 5,大于0. 5則被定義為目標 物體，否則被定義為背景。
11. 根據權利9要求，最近鄰居分類器的分類邊界為，分別計算待分類子圖像與 true-positive和false-positive樣本集中樣本的最大歸一化相關系數ncc_max_tp和 ncc_max_fp,令： conf小于0. 65則認為該子圖像為背景。
【文檔編號】G06K9/62GK104281852SQ201310291434
【公開日】2015年1月14日 申請日期:2013年7月11日 優先權日:2013年7月11日
【發明者】嚴嘉祺, 王亞捷 申請人:上海瀛聯體感智能科技有限公司