專利名稱：基于層級式特征匹配的目標跟蹤裝置及方法
技術領域：
本發明涉及圖像處理和視頻監控，特別涉及目標遮擋情況下基于層級式特征匹配的目標跟蹤裝置及方法。
背景技術：
隨著犯罪水平和威脅的增加，安全已成為世界普遍關注的問題。視頻監控是解決該問題的方法之一。除了公共安全外，視頻監控也能有效地解決一些其他問題，如擁擠城市車流量、人流量的調節。多年來大型監控裝置在諸如機場、銀行、高速公路或城市中心等的主要場所得到了廣泛地應用。由于傳統的視頻監控技術一般為人工監視，存在著易疲勞、易疏忽、反應速度慢、 人工費用高等諸多不足。因此，近年來人們逐漸研究一種數字化、標準化、智能化和IP網絡化的智能視頻監控技術。運動目標檢測、跟蹤是智能視頻監控技術的基礎，其檢測結果、跟蹤結果直接影響著后期事件(諸如入侵、物品遺留、物品被盜、車輛逆向行駛等)檢測的誤警率和虛警率。 因此，運動目標檢測、跟蹤的方法得到了廣泛的關注。公開號為CN 1875379A的中國專利申請公開了一種考慮了各匹配特征的范圍和方差，對視頻圖像中的對象跟蹤的方法和裝置。公開號為CN 101017572A的中國專利申請公開了一種用在幀視頻序列中跟蹤非剛性物體的方法，從視頻中提取包括像素位置和屬性的特征，用這些特征構建一個協方差矩陣，該協方差矩陣以跟蹤為目的作為物體的描述符， 通過基于李代數平均的更新機制來管理物體變形和外表改變。上述目標跟蹤方法能夠跟蹤簡單場景中的單個目標，但是一旦場景中出現目標被遮擋情況時，上述方法會出現目標跟蹤丟失問題。綜上所述，目前迫切需要提出能解決大量噪聲情況下目標交匯遮擋的問題，同時具有較強魯棒性的目標跟蹤裝置及方法。
發明內容
有鑒于此，本發明的主要目的在于解決大量噪聲情況下目標交匯遮擋的問題，提高跟蹤的實用性、連續性和可靠性。為了實現這一目的，按照本發明的第一個方面，提供了一種跟蹤裝置，包括目標檢測模塊，用于將視頻場景中的目標以及目標區域從背景中提取出來；目標跟蹤模塊，用于基于所提取出的目標區域以及檢測區域，記錄目標在每幀內的位置。其中，所述目標跟蹤模塊進一步包括特征提取模塊，用于計算目標區域的位置、直方圖、速度，并將這些計算結果作為特征輸出；目標預測模塊，用于根據上一幀中目標區域的位置、速度，預測當前幀中目標區域的位置；遮擋分離處理模塊，用于根據多個目標區域的位置，判斷多個目標之間是否發生遮擋或分離，將相互發生遮擋的目標編入遮擋組，將分離的目標從遮擋組內剔除；匹配系數計算模塊，用于分別計算每一個目標與每個目標區域的特征匹配系數，把匹配系數記錄到匹配系數矩陣中，以便后期的匹配決策；匹配決策模塊，用于從匹配系數矩陣中選擇出最佳匹配對并輸出；目標信息更新模塊，用于根據所述最佳匹配對，更新目標的信息；跟蹤后處理模塊，用于完成包括目標狀態轉換、丟失目標刪除及新目標生成的處理。按照本發明的第二個方面，還提供了一種目標跟蹤方法，包括將視頻場景中的目標以及目標區域從背景中提取出來；基于所提取出的目標區域以及檢測區域，記錄目標在每幀內的位置。其中，記錄目標在每幀內的位置的步驟包括計算目標區域的位置、直方圖、 速度，并將這些計算結果作為特征輸出；根據上一幀中目標區域的位置、速度，預測當前幀中目標區域的位置；根據多個目標區域的位置，判斷多個目標之間是否發生遮擋或分離，將相互發生遮擋的目標編入遮擋組，將分離的目標從遮擋組內剔除；分別計算每一個目標與每個目標區域的特征匹配系數，把匹配系數記錄到匹配系數矩陣中，以便后期的匹配決策； 從匹配系數矩陣中選擇出最佳匹配對并輸出；根據所述最佳匹配對，更新目標的信息；完成包括目標狀態轉換、丟失目標刪除及新目標生成的處理。
圖1示出了按照本發明的基于層級式特征匹配的目標跟蹤裝置；圖2示出了按照本發明的遮擋分離處理模塊；圖3示出了按照本發明的遮擋、分離、交匯的示意圖；圖4示出了按照本發明的遮擋穩定模塊的時序示意圖；圖5示出了按照本發明的匹配系數計算模塊；圖6示出了按照本發明的兩分離目標匹配系數計算方法；圖7示出了按照本發明的趨勢匹配系數計算的示意圖；圖8示出了按照本發明的匹配決策模塊；圖9示出了按照本發明的目標信息更新模塊；圖10示出了按照本發明的一例遮擋過程的未修正軌跡以及修正后軌跡的示意圖。^X在描述本發明時，全部使用下列定義(包括上面的描述)。T :Tracks/Targets 跟蹤軌跡/跟蹤目標M =Measures檢測區域/前景檢測G Group組檢測檢測到的當前幀的前景團塊，例如通過檢測器檢測到的。檢測區域前景檢測的外接矩形區域。目標連續多幀匹配形成的檢測序列，例如通過跟蹤器連續多幀匹配形成的。目標區域目標的外接矩形區域。目標位置目標質心在圖像中的坐標位置(u，ν)。有趨勢目標當目標生成后，連續跟蹤多幀(例如可以選為8幀)后且沿某一方向移動一定距離(例如可以選為10個像素)的目標。交疊檢測區域與目標區域或目標區域與目標區域二者發生疊壓。即，二者在圖像中面積交集不為空集μ η τ興φ或者τι η Τ2興φ。其中“交”為相互的含義，“疊”為疊
7壓。表征兩個對象間的關系。遮擋判據模塊中的交疊判據用于判斷是否出現1個檢測區域疊壓2個目標的現象。分離判據模塊中的交疊判據用于判斷是否出現2個檢測區域疊壓1個目標的現象。交匯當兩個或多個跟蹤目標移動到某一相對較近的空間位置時，使目標在圖像中表現為被其他目標遮擋的狀態，稱目標間發生交匯。“交”說明二者面積的交疊，“匯”為二者路徑的聚攏。僅表征目標所處的過程狀態。遮擋特指目標間發生的交疊現象。僅表征目標的瞬時狀態。首次遮擋交匯目標首次發生交疊時的狀態。即當兩個或多個跟蹤目標的前景檢測從非交匯狀態變為交匯狀態時刻的瞬時狀態。分離當兩個或多個跟蹤目標的前景檢測從交匯狀態變為非交匯狀態時刻的瞬時狀態。遮擋過程指兩個或多個跟蹤目標從首次遮擋到分離的全部交匯過程，持續狀態。組為遮擋在一起的目標編制一個組，組內可以共享組員(遮擋目標)的信息，如 Id、面積、直方圖等。組集管理幀內的全部遮擋組的集合。分離模型為了處理的簡化，把復雜的分離過程簡化成幾個典型模型。mT-nM 通用的分離模型，η個目標對m個檢測的分離模型的簡寫。2T-2M 最簡單的分離模型，2個目標對2個檢測的分離模型的簡寫。兩目標分離即2T-2M模型，發生分離時，遮擋組內僅存在2個目標。這是目標分離模型中最簡單的模型。任何多目標分離最后都要經過這一模型。匹配T找到自己對應的M的過程。Ti-Mj 一個匹配對的簡寫，表示第i個T和第j個M相互匹配。最佳匹配對在匹配矩陣中，決策風險最小的一對組合Ti-Mj，即得分最高的匹配對。
具體實施例方式為使本發明的目的、技術方案和優點更加清楚明白，下面結合實施例和附圖，對本發明進一步詳細說明。圖1表示圖1示出了按照本發明的基于層級式特征匹配的目標跟蹤裝置。如圖1 所示，按照本發明的基于層級式特征匹配的目標跟蹤裝置可以包括目標檢測模塊10，用于將視頻場景中的檢測從背景中提取出來；目標跟蹤模塊20，用于基于目標檢測模塊10輸出的檢測，通過一系列處理，記錄每幀內的目標位置。其中，所述目標檢測模塊10可以通過我們之前申請的專利申請號為 CN200910077433. 6的“運動目標檢測方法及裝置”實現，也可以通過公開的運動目標檢測算法實現。由于這不是本發明的重點，這里不再詳細描述。所述目標跟蹤模塊20可以進一步包括
特征提取模塊21，用于計算目標的位置、直方圖、速度，并將這些計算結果作為特征輸出；目標預測模塊22，用于根據上一幀目標的位置、速度，預測當前幀目標的位置；遮擋分離處理模塊23，用于根據各個有趨勢的目標的位置，判斷目標之間是否發生遮擋或分離，將遮擋的目標編入遮擋組，將分離的目標從遮擋組內剔除；匹配系數計算模塊M，用于分別計算每一個目標與每個檢測區域的特征匹配系數，把匹配系數記錄到匹配系數矩陣中，以便后期的匹配決策；后面將對此進行詳細介紹， 參見圖5 7和說明書的第12 16頁。匹配決策模塊25，用于從匹配系數矩陣中選擇出最佳匹配對并輸出；后面將對此進行詳細介紹，參見圖8和說明書的第16 17頁。
方圖等
目標信息更新模塊26，用于根據最佳匹配對，更新目標的信息，比如尺寸、面積、直跟蹤后處理模塊27，用于完成包括目標狀態轉換，丟失目標刪除，及新目標生成的
特征提取模塊21還可以進一步用于統計RGB彩色直方圖和計算RGB三通道的-階矩、三階矩。其中，計算一階矩、二階矩、三階矩的公式如下
權利要求
1.一種跟蹤裝置，包括目標檢測模塊，用于將視頻場景中的檢測從背景中提取出來； 目標跟蹤模塊，用于基于所提取出的檢測，記錄目標在每幀內的位置， 其中，所述檢測是指檢測到的當前幀的前景團塊，所述目標指的是連續多幀匹配形成的檢測序列。
2.按照權利要求1所述的跟蹤裝置，其中，所述目標跟蹤模塊進一步包括特征提取模塊，用于計算目標的位置、直方圖、速度，并將這些計算結果作為特征輸出；目標預測模塊，用于根據上一幀中目標的位置、速度，預測當前幀中目標的位置； 遮擋分離處理模塊，用于根據多個目標的位置，判斷多個目標之間是否發生遮擋或分離，將相互發生遮擋的目標編入遮擋組，將分離的目標從遮擋組內剔除；匹配系數計算模塊，用于分別計算每一個目標與每個檢測的特征匹配系數，把匹配系數記錄到匹配系數矩陣中，以便后期的匹配決策；匹配決策模塊，用于從匹配系數矩陣中選擇出最佳匹配對并輸出；目標信息更新模塊，用于根據所述最佳匹配對，更新目標的信息；跟蹤后處理模塊，用于完成包括目標狀態轉換、丟失目標刪除及新目標生成的處理。
3.按照權利要求2所述的裝置，其中，所述遮擋分離處理模塊進一步包括 遮擋判據模塊，用于判斷目標是否處于遮擋狀態；分離判據模塊，用于判斷目標是否處于分離狀態； 交疊判據模塊，用于判斷目標是否發生交疊；面積合理性判據模塊，用于對參與遮擋的檢測的面積和目標的面積進行合理性判斷， 以濾除細小、超大的噪聲目標區域和檢測區域； 組空間整理模塊，用于整理遮擋組空間； 組面積信息統計模塊，用于統計遮擋組面積信息。
4.按照權利要求3所述的裝置，其中，遮擋判據模塊能夠執行以下操作當第i幀目標 T和第i+Ι幀檢測區域M滿足以下全部條件時，則視為遮擋，遮擋后形成組并保存各目標編組前特征，所述條件包括(1)檢測是存在的；( 滿足交疊判據，即1個M與2個T交疊； (3)滿足面積合理性判據；其中，交疊判據由交疊判據模塊實現；面積合理性判據由面積合理性判據模塊實現。
5.按照權利要求3所述的裝置，其中，分離判據模塊能夠執行以下操作當第j幀目標 T和第j+Ι幀檢測區域M滿足以下全部條件時，則視為分離，分離后遮擋組解散，各目標匹配對應，所述條件包括(1)目標是穩定存在的，且具有一定的運動趨勢；( 檢測是存在的； ⑶滿足交疊判據，即2個M與1個T交疊；(4)滿足面積合理性判據；(5)檢測的遮擋組指針與目標的遮擋組指針一致；其中，交疊判據由所述交疊判據模塊實現；面積合理性判據由所述面積合理性判據模塊實現。
6.按照權利要求3所述的裝置，其中，交疊判據模塊能夠執行以下操作計算檢測區域與目標區域的交疊面積同目標區域自身面積的比值R，其計算公式如
7.按照權利要求3所述的裝置，其中，面積合理性判據模塊判斷條件如下遮擋觸發加入R'濾除極小目標的觸發，要求R' >第三預定閾值；加入面積關系限制，要求 Max (Tl. Area, T2. Area) < Μ. Area < Tl. Area+T2. Area ；分離觸發加入R'濾除極小檢測的觸發，要求R' >第三預定閾值；加入遮擋組面積限制，要求 Max (Ml. Area，M2. Area) < G. Area < Ml. Area+M2. Area ；加入遮擋組成員面積限制，要求Min (Tj. samp IeArea) < Mi. Area < Max (Tj. samp Ie Are a)。其中，R'表示目標間的面積比，其公式如下
8.按照權利要求3所述的裝置，其中，遮擋分離處理模塊此外還包括遮擋穩定模塊，用于提高遮擋過程的連續性，該遮擋穩定模塊通過對短暫缺失的遮擋幀進行糾錯來避免遮擋過程的中斷。
9.按照權利要求2所述的裝置，其中，匹配系數計算模塊進一步包括單體目標匹配系數計算模塊，用于計算未發生遮擋的目標與未發生遮擋的前景檢測間的匹配系數；分離目標匹配系數計算模塊，用于計算分離目標和參與分離的前景檢測間的匹配系數。
10.按照權利要求9所述的裝置，其中，所述分離目標匹配系數計算模塊能夠執行以下操作_ i十算目標面禾只比targetsAreaRate、區域面禾只比regionsAreaRate、0禾只變化量deltaAreaRate,其公式如下
11.按照權利要求2所述的裝置，其中，所述匹配決策模塊包括單體目標匹配決策模塊，用于對未遮擋的目標進行匹配置信比較，決策出最佳匹配對；兩分離目標匹配決策模塊，用于對分離組內的目標進行匹配置信比較，決策出最佳匹配對。
12.按照權利要求11所述的裝置，其中，兩分離目標匹配決策模塊能夠執行以下操作 -對匹配矩陣，先橫向檢測每行的最大值，對初始化全0的標號矩陣中其對應位置加1，然后再縱向檢測每列的最大值，對標號矩陣中其對應位置再加1 ；這時標號矩陣每個位置就可能為三種情況的一種0、1和2 ；其中“2”表示M與T互相選擇；“1”表示M與T互相只有1個選擇對方；“0”表示M與T相互沒有選擇；-找到標號矩陣中為“2”的位置，其橫縱所對應的Ti和Mj就是最佳匹配對。
13.按照權利要求2所述的裝置，其中，所述目標信息更新模塊包括單體目標信息更新模塊和遮擋目標信息更新模塊，其中，單體目標信息更新模塊用于按照匹配結果，用檢測區域信息更新單體目標信息； 遮擋目標信息更新模塊用于按照匹配結果，用檢測區域信息更新遮擋目標信息。
14.按照權利要求13所述的裝置，其中，目標信息更新模塊此外還包括遮擋軌跡修正模塊，用于為遮擋過程的軌跡做修正處理。
15.一種目標跟蹤方法，包括將視頻場景中的檢測從背景中提取出來； 基于所提取出的檢測，記錄目標在每幀內的位置；其中，所述檢測是指檢測到的當前幀的前景團塊，所述目標指的是連續多幀匹配形成的檢測序列。
16.按照權利要求15所述的目標跟蹤方法，其中記錄目標在每幀內的位置的步驟包括計算目標的位置、直方圖、速度，并將這些計算結果作為特征輸出； 根據上一幀中目標的位置、速度，預測當前幀中目標的位置；根據多個目標的位置，判斷多個目標之間是否發生遮擋或分離，將相互發生遮擋的目標編入遮擋組，將分離的目標從遮擋組內剔除；分別計算每一個目標與每個檢測的特征匹配系數，把匹配系數記錄到匹配系數矩陣中，以便后期的匹配決策；從匹配系數矩陣中選擇出最佳匹配對并輸出；根據所述最佳匹配對，更新目標的信息；完成包括目標狀態轉換、丟失目標刪除及新目標生成的處理。
全文摘要
本發明提供了一種基于層級式特征匹配的目標跟蹤裝置及方法。該裝置包括目標檢測模塊、特征提取模塊、目標預測模塊、遮擋分離處理模塊、匹配系數計算模塊、匹配決策模塊、目標信息更新模塊、跟蹤后處理模塊。本發明為實現在遮擋事件期間保持對目標的連續跟蹤，采用了對遮擋目標編組處理的思想。通過“交疊判據”和“面積合理性判據”的共同約束，保證了遮擋觸發和分離觸發在含噪聲場景下的魯棒性。通過層級式特征匹配法，有效利用了特征的差異屬性，使匹配結果更為準確。
文檔編號G06T7/20GK102214359SQ20101014281
公開日2011年10月12日 申請日期2010年4月7日 優先權日2010年4月7日
發明者黃建 申請人:北京智安邦科技有限公司