專利名稱：一種基于多攝像機信息融合的目標匹配與跟蹤系統及方法
技術領域：
本發明涉及視頻監控中多攝像機信息融合的技術領域，特別涉及一種在從不同角度對同一場景進行監控時，能夠智能地檢測多個運動目標并對運動目標進行跟蹤的系統及方法。
背景技術：
視頻跟蹤是計算機視覺方面要研究的一個重要領域。所謂視頻跟蹤，是指用一定的方法實現對視頻序列中感興趣的目標進行檢測、特征提取、識別和跟蹤，從而獲取目標的運動參數以及運動軌跡，以便后續在此基礎上對運動目標的行為進行分析與理解。實際視頻監控中，需要工作人員干預和處理的事件發生概率很小，這就需要監控人員工作時長時間集中注意力，然而現實中很難做到這一點，注意力的分散可能會極大地影響監控的及時性和有效性。視頻跟蹤技術可以代替視頻監控人員，在此基礎上可實現自動地對目標的行為進行分析和理解，從而判斷是否需要人工干預。因此，視頻跟蹤方面的研究具有重要的現實意義。視頻跟蹤技術可以分為基于單個攝像機的目標跟蹤和基于多個攝像機信息融合的目標跟蹤。但基于單攝像機的目標跟蹤存在監控范圍有限、場景遮擋、跟蹤精度不聞等問題。采用多攝機對目標進行跟蹤可以擴大監視范圍和角度，從而擴展信息采集的區域，有助于解決目標遮擋及景深難題，有效克服單攝像機中存在的盲點問題。多攝像機能提供更為豐富的目標信息，包括目標的多種特征，對這些信息和特征進行有效的融合，可以更好地實現對目標的匹配和跟蹤。多攝像機間目標匹配的方法有很多，代表性的目標匹配方法有基于灰度的或基于特征的匹配方法等。基于灰度匹配方法的基本思想把圖像看成二維信號，然后利用圖像的灰度信息建立目標之間的相似性度量，如差平方和、協方差函數、相關函數、差絕對值等，根據相似性來進行目標之間的匹配。這種方法的缺陷是計算量較大，很難達到實時性要求。基于目標特征的配準方法在檢測目標的基礎上提取目標特征作為匹配依據，這些特征包括紋理特征、顏色特征、形狀特征、空間位置特征等。但由于遮擋、光照、角度變化、形變等因素，這類方法缺乏必要的魯棒性。
發明內容
本發明的目的在于克服現有技術的缺點與不足，提供一種基于多攝像機信息融合的目標匹配與跟蹤系統，以提高多攝像機目標匹配與跟蹤的魯棒性和自適應性。本發明的另一目的在于，提供一種基于多攝像機信息融合的目標匹配與跟蹤方法。為了達到上述第一目的，本發明采用以下技術方案一種基于多攝像機信息融合的運動目標匹配與跟蹤系統，包括單攝像機目標檢測模塊、單攝像機目標跟蹤模塊、單攝像機目標關鍵點特征提取模塊，多攝像機目標匹配模塊以及目標模型在線更新模塊；
所述單攝像機目標檢測模塊提取攝像機采集到的視頻中的運動目標，輸出給目標跟蹤|旲塊；所述單攝像機目標跟蹤模塊提取運動目標的參數，實現在單攝像機內對目標進行跟蹤；所述單攝像機目標關鍵點特征提取模塊檢測目標上具有視覺顯著性的關鍵點，提取關鍵點處的顏色與局部方向直方圖特征，輸出給多攝像機間目標匹配模塊；多攝像機目標匹配模塊比對檢測到的目標特征與已知目標模型，根據其相似度確定目標類別，從而實現攝像機間目標匹配；目標模型在線更新模塊根據與模型匹配的目標特征更新模型，實現對目標的自適應跟蹤。優選的，所述單攝像機目標檢測模塊采用混合高斯模型法對視頻中的運動目標進行檢測。優選的，所述單攝像機目標跟蹤模塊采用均值偏移法對視頻中的運動目標進行跟
I 示。優選的，所述單攝像機目標關鍵點特征提取模塊檢測前景目標上具有視覺顯著性的關鍵點，提取關鍵點局部區域的顏色特征和方向直方圖特征，作為目標刻畫，用于后續目標匹配。為了達到上述第二目的，本發明采用以下技術方案一種基于多攝像機信息融合的運動目標匹配與跟蹤方法，包括下述步驟首先，利用高斯混合模型進行視頻序列中運動目標的檢測，利用均值偏移法對單攝像機內的目標進行跟蹤，然后對檢測到的目標區域進行小波變換，以檢測具有視覺顯著性的關鍵點；其次，在關鍵點局部區域提取顏色特征和局部方向直方圖特征，以刻畫前景目標，并作為目標模型更新的輸入；最后，在融合關鍵點處局部顏色特征和方向直方圖特征的基礎上，實現運動目標與模型間的匹配；同時，與模型匹配的前景目標特征被用于在線更新模型，以實現對目標的自適應跟蹤。優選的，匹配時，先分別基于目標關鍵點顏色特征和局部方向直方圖特征進行相似度計算，然后融合兩種相似度，設第一目標與第二目標基于顏色特征得到的相似度為S1,基于直方圖特征得到的相似度為S2，則融合后的相似度為S = WS1+ (I-w) S2其中w用于調整兩種特征在匹配決策中的比重。優選的，在進行更新時，為每一個運動目標建立一個特征模塊，更新分為兩部分，一部分利用當前幀中的目標特征對已建立的模型進行更新，另一部分是利用與特征模型可靠地匹配的運動目標特征信息來對模型進行更新。優選的，對特征模型的更新公式如下
權利要求
1.一種基于多攝像機信息融合的運動目標匹配與跟蹤系統，其特征在于，包括單攝像機目標檢測模塊、單攝像機目標跟蹤模塊、單攝像機目標關鍵點特征提取模塊，多攝像機目標匹配模塊以及目標模型在線更新模塊； 所述單攝像機目標檢測模塊提取攝像機采集到的視頻中的運動目標，輸出給目標跟蹤模塊； 所述單攝像機目標跟蹤模塊提取運動目標的參數，實現在單攝像機內對目標進行跟蹤; 所述單攝像機目標關鍵點特征提取模塊檢測目標上具有視覺顯著性的關鍵點，提取關鍵點處的顏色與局部方向直方圖特征，輸出給多攝像機目標匹配模塊； 多攝像機目標匹配模塊比對檢測到的目標特征與已知目標模型，根據其相似度確定目標類別，從而實現攝像機間目標匹配； 目標模型在線更新模塊根據與模型匹配的目標特征更新模型，實現對目標的自適應跟I 示。
2.根據權利要求I所述的多攝像機信息融合的運動目標匹配與跟蹤系統，其特征在于，所述單攝像機目標檢測模塊采用混合高斯模型法對視頻中的運動目標進行檢測。
3.根據權利要求I所述的多攝像機信息融合的運動目標匹配與跟蹤系統，其特征在于，所述單攝像機目標跟蹤模塊采用均值偏移法對視頻中的運動目標進行跟蹤。
4.根據權利要求I所述的多攝像機信息融合的運動目標匹配與跟蹤系統，其特征在于，所述單攝像機目標關鍵點特征提取模塊檢測前景目標上具有視覺顯著性的關鍵點，提取關鍵點局部區域的顏色特征和方向直方圖特征，作為目標刻畫，用于后續目標匹配。
5.一種基于多攝像機信息融合的運動目標匹配與跟蹤方法，其特征在于，包括下述步驟 首先，利用高斯混合模型進行視頻序列中運動目標的檢測，利用均值偏移法對單攝像機內的目標進行跟蹤，然后對檢測到的目標區域進行小波變換，以檢測具有視覺顯著性的關鍵點； 其次，在關鍵點局部區域提取顏色特征和局部方向直方圖特征，以刻畫前景目標，并作為目標模型更新的輸入； 最后，在融合關鍵點處局部顏色特征和方向直方圖特征的基礎上，實現運動目標與模型間的匹配；同時，與模型匹配的前景目標特征被用于在線更新模型，以實現對目標的自適應跟蹤。
6.根據權利要求5所述的基于多攝像機信息融合的運動目標匹配與跟蹤方法，其特征在于，匹配時，先分別基于目標關鍵點顏色特征和局部方向直方圖特征進行相似度計算，然后融合兩種相似度，設第一目標與第二目標基于顏色特征得到的相似度為S1，基于直方圖特征得到的相似度為S2，則融合后的相似度為 S = WS1+ (1-W) S2 其中w用于調整兩種特征在匹配決策中的比重。
7.根據權利要求5所述的基于多攝像機信息融合的目標匹配與跟蹤方法，其特征在于，在進行更新時，為每一個運動目標建立一個特征模塊，更新分為兩部分，一部分利用當前幀中的目標特征對已建立的模型進行更新，另一部分是利用與特征模型可靠匹配的運動目標特征信息來對模型進行更新。
8.根據權利要求5所述的基于多攝像機信息融合的目標匹配與跟蹤方法，其特征在于，對特征模型的更新公式如下
全文摘要
本發明公開了一種基于多攝像機信息融合的目標匹配與跟蹤系統及方法，系統包括單攝像機目標檢測模塊、單攝像機目標跟蹤模塊、單攝像機目標關鍵點特征提取模塊，多攝像機目標匹配模塊以及目標模型在線更新模塊；在系統中建立與目標對應的模型，分別基于局部顏色和方向直方圖這兩種特征計算目標與模型的相似度，最后進行決策級的融合，將融合的結果作為目標匹配的依據。匹配上的目標特征用于模型的更新，實現對目標的自適應跟蹤。本發明可提高多攝像機目標匹配對于遮擋、環境、光照、角度等的魯棒性，有利于實現多攝像機視頻監控系統對目標的魯棒協同跟蹤。
文檔編號H04N7/18GK102629385SQ20121004854
公開日2012年8月8日 申請日期2012年2月28日 優先權日2012年2月28日
發明者李俊, 鄭慧誠 申請人:中山大學