專利名稱：一種對快速運動目標的特征點準確跟蹤的方法
技術領域：
本發明屬于視頻以及圖像處理技術，具體涉及一種對快速運動目標的特征點準確 跟蹤的方法。
背景技術：
在圖像/視頻后期處理軟件中，對運動圖像的像素特征區域進行跟蹤，跟蹤數 據可以用來控制其它物體的運動和穩定運動物體，這有廣泛的需求。使用KLT光流特 征點跟蹤方法可以對特征點進行跟蹤，KLT光流特征點跟蹤算法通常在參考幀中選擇 一組特征點，假設特征點紋理在幀間保持不變，然后通過局部匹配搜索完成跟蹤任務。 Kanade-Lucas-Tomasi (KLT)算法采用圖像灰度差的平方和(SSD)作為特征點的匹配準 則。具體的KLT特征點跟蹤算法可以參閱B_D_Lucasand T_Kanade_Aniterative image registration technique withan application tostereo vision_IJCAI_1981。但是，使用現有的KLT光流特征點跟蹤算法對快速目標進行跟蹤時，很容易由于 亮度變化的不連續，導致特征點跟蹤丟失。因此，有必要對現有的快速運動目標的特征點跟 蹤方法進行改進。
發明內容
本發明的目的在于針對現有技術的缺陷，提供一種對快速運動目標的特征點準確 跟蹤的方法，從而實現對高速運動目標特征點的正確跟蹤。本發明的技術方案如下一種對快速運動目標的特征點準確跟蹤的方法，包括如 下步驟 (l)t-l時刻在跟蹤目標選擇矩形區域中根據特征矩陣
SxS y [^2
V
選擇M
個特征點，矩陣中gx表示圖像在X方向的灰度梯度，gy表示圖像在Y方向的灰度梯度，f f v 表示在跟蹤目標選擇矩形區域離散數據的和。(2)在t時刻對M個特征點使用KLT光流矢量公式迭代求得最優解，得到所有特征 點在當前幀的新位置；(3)如果在步驟(2)中求得了最優解，則轉入步驟(5)；否則，表示有某個特征點丟 失，進入步驟⑷；(4)在跟蹤目標搜索矩形區域內，使用棋盤格對所有特征點進行近似位置估計，得 到新位置；(5)在t+Ι時刻返回步驟(2)，進行循環操作。進一步，如上所述的對快速運動目標的特征點準確跟蹤的方法，其中，特征點的個 數M取40。進一步，如上所述的對快速運動目標的特征點準確跟蹤的方法，其中，步驟(2)中
3所述的KLT光流矢量公式為Zd = e,其中，Z=遼e= J[ [/(χ)- j{x\{x)^{x)dx , _5] ,d=[dx，dy]T，J、I分別表示t_l和t時刻的兩幅圖像的亮度函數，(1)表示特征運動參數，d表示 特征點的位移。進一步，如上所述的對快速運動目標的特征點準確跟蹤的方法，其中，步驟(4)中 使用棋盤格對所有特征點進行近似位置估計的方法如下將跟蹤目標搜索矩形區域進行棋 盤格劃分，每個格與特征點區域大小相同，這樣具有K個圖像區域，求取這K個區域中與t-i 時刻特征點區域圖像灰度差的平方和(SSD)最小的一個區域，以這個區域的中心位置作為 光流矢量公式的迭代初始位置重新進入步驟(2)進行計算。更進一步，如上所述的對快速運動目標的特征點準確跟蹤的方法，如果步驟(4) 中所使用的劃分棋盤格對所有特征點進行近似位置估計的方法仍然沒有找到特征點，則說 明這個特征點不存在，丟棄這個特征點。本發明的有益效果如下本發明所提供的特征點跟蹤方法是現有KLT光流特征點 跟蹤方法的改進，如果特征點存在于當前圖像中，本發明所提供的方法可以先找到近似位 置，再通過光流矢量計算公式求解最佳位置；使用棋盤格劃分搜索區域，既能大大提高節省 搜索時間，又能搜索到與跟蹤目標灰度變化接近的近似位置。該方法不會因為圖像亮度變 化的不連續而出現特征點跟蹤丟失的情況，非常適用于快速運動目標的特征點跟蹤。
圖1為本發明的方法流程圖。
具體實施例方式
下面結合附圖和具體實施例對本發明進行詳細的描述。本發明所提供的對快速運動目標的特征點準確跟蹤的方法涉及兩個區域的確定， 一個為跟蹤目標選擇矩形區域用來確定在圖像的哪個范圍中產生特征點，跟蹤目標選擇矩 形區域是用戶選擇的，比如一個人臉區域；另一個為跟蹤目標搜索矩形區域用來確定在哪 個范圍中預搜索丟失的特征點，跟蹤目標搜索矩形區域一般是整個圖像區域。該方法的具 體流程如圖1所示，包括以下步驟
個特征點。gx表示圖像在X方向的灰度梯度，gy表示圖像在Y方向的灰度梯度。f ,表 示在跟蹤目標選擇矩形區域離散數據的和。根據特征矩陣得出的特征值選出最優的M個特 (l)t-l時刻在跟蹤目標選擇矩形區域中根據特征矩陣
征點(特征值越大越優)，本發明中特征點個數M取40。(2)在t時刻對M個特征點使用KLT光流矢量公式迭代求得最優解，得到所有特征 點在當前幀的新位置。KLT光流矢量公式為Zd = e，其中，Z=遼e= Jl [/(l)- j{x\{x)v{x)dx ,g= — ^-,— ^- ,
_SxV 22 )_d = [dx, dy]T,J、I分別表示t_l和t時刻的兩幅圖像的亮度函數，(！)表示特征運動參數，比如
二維運動是(X，y)，d表示特征點的位移。通過Newton迭代法進行逼近求得最優解。(3)如果在步驟(2)無法求得最優解，表示有某個特征點丟失，如果這個特征點區 域有可能還存在當前圖像中，只是由于物體運動快使灰度梯度不連續了而造成光流矢量公 式無法收斂到最優解，這時候可以嘗試在跟蹤目標搜索矩形區域內搜索跟蹤目標的近似位置。將跟蹤目標搜索矩形區域進行棋盤格劃分，每個格與特征點區域大小相同，這樣 具有K個圖像區域，求取這K個區域中與t-Ι時刻特征點區域圖像灰度差的平方和(SSD) 最小的一個區域，以這個區域的中心位置作為光流矢量公式的迭代初始位置重新進入步驟 (2)進行計算。如此劃分棋盤格，理論在于如果跟蹤特征點存在這個時刻圖像中，我們總能 找到一個區域與t-Ι時刻特征點區域在灰度變化上有相似性，這樣以這個區域進行矢量跟 蹤必定能迭代到最佳匹配位置。用具體的公式表示如下S(x,y) = ( f f JJ(X)-I(X)))(χ, ,yj= min(5Xx, y)), (χ,少)c searchregion上述公式中S表示這個位置的亮度與模板的亮度差，J、I分別表示t-Ι和t時刻 的兩幅圖像的亮度函數。(4)如果仍然沒有找到特征點，說明特征點不存在，就丟棄這個特征點，否則將特 征點在t時刻的新位置記錄下來，返回給用戶。(5)在t+Ι時刻返回步驟(2)，進行循環操作。本發明所述的方法并不限于具體實施方式
中所述的實施例，本領域技術人員根據 本發明的技術方案得出其他的實施方式，同樣屬于本發明的創新范圍。
權利要求
一種對快速運動目標的特征點準確跟蹤的方法，包括如下步驟(1)t 1時刻在跟蹤目標選擇矩形區域中根據特征矩陣選擇M個特征點，矩陣中gx表示圖像在X方向的灰度梯度，gy表示圖像在Y方向的灰度梯度，∫∫w表示在跟蹤目標選擇矩形區域離散數據的和。(2)在t時刻對M個特征點使用KLT光流矢量公式迭代求得最優解，得到所有特征點在當前幀的新位置；(3)如果在步驟(2)中求得了最優解，則轉入步驟(5)；否則，表示有某個特征點丟失，進入步驟(4)；(4)在跟蹤目標搜索矩形區域內，使用棋盤格對所有特征點進行近似位置估計，得到新位置；(5)在t+1時刻返回步驟(2)，進行循環操作。F2009100863274C0000011.tif
2.如權利要求1所述的對快速運動目標的特征點準確跟蹤的方法，其特征在于特征 點的個數M取40。
3.如權利要求1所述的對快速運動目標的特征點準確跟蹤的方法，其特征在于步驟 ⑵中所述的KLT光流矢量公式為Zd = e,其中，Z= \[g{xy [x)v{x)dx,^iiW^-XiM^M^^，dηdf (叫dxI 2 J‘dyI 2 Jd = [dx，dy]T,J、I分別表示t-1和t時刻的兩幅圖像的亮度函數，(！)表示特征運動參數，d表示特 征點的位移。
4.如權利要求1或2或3所述的對快速運動目標的特征點準確跟蹤的方法，其特征在 于步驟(4)中使用棋盤格對所有特征點進行近似位置估計的方法如下將跟蹤目標搜索 矩形區域進行棋盤格劃分，每個格與特征點區域大小相同，這樣具有K個圖像區域，求取這 K個區域中與t-Ι時刻特征點區域圖像灰度差的平方和(SSD)最小的一個區域，以這個區域 的中心位置作為光流矢量公式的迭代初始位置重新進入步驟(2)進行計算。
5.如權利要求4所述的對快速運動目標的特征點準確跟蹤的方法，其特征在于如果 步驟(4)中所使用的劃分棋盤格對所有特征點進行近似位置估計的方法仍然沒有找到特 征點，則說明這個特征點不存在，丟棄這個特征點。
全文摘要
本發明屬于視頻以及圖像處理技術，具體涉及一種對快速運動目標的特征點準確跟蹤的方法。該方法在t-1時刻在跟蹤目標選擇矩形區域中根據特征矩陣選擇M個特征點，在t時刻對M個特征點使用KLT光流矢量公式迭代求得最優解，得到所有特征點在當前幀的新位置；如果無法求得最優解，則在跟蹤目標搜索矩形區域內，使用棋盤格對所有特征點進行近似位置估計，得到新位置。本發明所提供的方法可以先找到近似位置，再通過光流矢量計算公式求解最佳位置；使用棋盤格劃分搜索區域，既能大大提高節省搜索時間，又能搜索到與跟蹤目標灰度變化接近的近似位置。該方法不會出現特征點跟蹤丟失的情況，非常適用于快速運動目標的特征點跟蹤。
文檔編號G06T7/20GK101923717SQ20091008632
公開日2010年12月22日 申請日期2009年6月10日 優先權日2009年6月10日
發明者劉鐵華, 孫季川, 見良, 鄭鵬程 申請人:新奧特(北京)視頻技術有限公司