一種對視頻目標區域進行跟蹤的方法

專利名稱：一種對視頻目標區域進行跟蹤的方法
技術領域：
本發明涉及視頻處理技術領域，尤其是一種對視頻目標區域進行跟蹤的方法。
背景技術：
在大多數的視頻處理軟件中，都包括有跟蹤模塊，但大多跟蹤模塊存在跟蹤時不 能包含所有的跟蹤情況，擴展不方便，操作模式固定等問題。現有軟件中，跟蹤得到的路徑點間一般為孤立或簡單的直線連接，不易實現對區 域完整覆蓋，且路徑點間一般沒有相互的關系，但在大多數視頻中，路徑點一般存在著互連 的特性。在視頻處理中，如果需要對某視頻對象進行編輯，如做馬賽克掩膜、顏色校正、粒 子效果和貼圖等，都需要準確地知道目標區域的路徑，在視頻后期軟件中，一般都是采用在 視頻目標區域的邊界處加上多個跟蹤點，以實現對目標區域的覆蓋。但在視頻后期處理中， 目標區域通常是不規則的視頻對象，而且由于視頻拍攝對象的運動或攝像機的抖動，經常 會出現視頻中目標區域的不穩定。當視頻目標區域為規則的多邊形或穩定區域，且邊界處 不發生太大的變量化時，現有技術可以滿足需求。但在大多數情況下，視頻目標區域為不規 則形狀或不穩定的區域，針對這一問題，現有技術還不能很好的實現對視頻目標區域的跟
S示ο在現有的視頻跟蹤操作中，經常會遇到下列問題1)、目標區域在屏幕中不穩定的處理。在跟蹤視頻中，經常遇到目標區域不穩定、 被其它不同運動方向的物體遮蓋或在屏幕顯示以外的區域。在不穩定的目標區域，由于找 不到很好的跟蹤點而得不到目標區域。2)、任意目標區域跟蹤。在已有跟蹤軟件中，目標區域一般為矩形、橢圓形或直接 利用直線連接路徑點得到目標區域，不能很好地實現對目標區域的覆蓋。3)、模塊接口。在視頻后期處理中，單獨進行跟蹤的功能單一或意義不大，但如果 能與其它視頻插件或特效模塊相結合就能產生很好的效果，所以在跟蹤模塊與插件間的接 口變得十分重要。在已有軟件中，一般是先對視頻跟蹤然后保存路徑點參數，再開啟其它模 塊并導入跟蹤數據，比較煩雜。

發明內容
(一)要解決的技術問題針對上述視頻目標區域區域不規則和不穩定的問題，本發明的主要目的在于提供 一種對視頻目標區域進行跟蹤的方法，以實現對視頻目標區域的準確跟蹤。(二)技術方案為達到上述目的，本發明提供了一種對視頻目標區域進行跟蹤的方法，該方法通 過對視頻目標區域中與路徑點對應的跟蹤點進行跟蹤，得到路徑點的參數信息，然后對得 到的路徑點進行平滑處理，采用平滑曲線連接各路徑點，覆蓋視頻目標區域，實現對視頻目標區域的跟蹤。上述方案中，所述路徑點是視頻目標區域邊界上的位置點，所述跟蹤點是跟蹤過 程中算法跟蹤模塊的位置點，跟蹤點是路徑點的參考點，唯一對應于視頻目標區域中的一 個路徑點。上述方案中，所述對視頻目標區域中與路徑點對應的跟蹤點進行跟蹤時，在跟蹤 點附近選取一跟蹤區域塊作為跟蹤點區域，該跟蹤點區域包含有跟蹤點的信息。上述方案中，所述對視頻目標區域中與路徑點對應的跟蹤點進行跟蹤采用模板跟 蹤的方法，將跟蹤點區域做為參考模板，通過與視頻目標區域中的每塊區域都與參考模版 進行匹配，在下一幀圖像中搜索匹配得到最大相似度的區域做為新的跟蹤點。上述方案中，所述對視頻目標區域中與路徑點對應的跟蹤點進行跟蹤采用角點跟 蹤的方法，通過在下一幀圖像的視頻目標區域中檢測角點，在檢測到角點后在角點所在區 域與跟蹤點區域進行相似度計算，得到最大相似度處作為新的跟蹤點。上述方案中，所述路徑點的參數信息至少包括跟蹤類型、路徑點與跟蹤點、路徑 點與跟蹤點是否分離、路徑點之間的相互關系、跟蹤區域塊與搜索區域塊大小、連接路徑點 的平滑曲線類型和路徑處理。上述方案中，所述對得到的路徑點進行平滑處理，采用平滑曲線連接各路徑點時， 采用的平滑曲線是貝塞爾曲線。上述方案中，所述貝塞爾曲線在每個路徑點處有兩個貝塞爾控制點，通過對貝塞 爾控制點的調節，得以覆蓋視頻目標區域。上述方案中，所述對得到的路徑點進行平滑處理，采用平滑曲線連接各路徑點時， 采用的平滑曲線是B樣條曲線。上述方案中，對于視頻僅發生平移或縮放但沒有形變的情況，該方法進一步根據 路徑點之間的相互關系對視頻目標區域進行跟蹤，選擇某個路徑點與其它路徑點相互之間 的位置不變。(三)有益效果從上述技術方案可以看出，本發明具有以下有益效果1、本發明提供的這種對視頻目標區域進行跟蹤的方法，通過對視頻目標區域中與 路徑點對應的跟蹤點進行跟蹤，得到路徑點的參數信息，然后對得到的路徑點進行平滑處 理，采用平滑曲線連接各路徑點，覆蓋視頻目標區域，實現了對視頻目標區域的準確跟蹤。2、本發明提供的這種對視頻目標區域進行跟蹤的方法，克服現有技術中存在的問 題，利用一個模塊實現大多數的跟蹤功能，通過擴展的接口與其它模塊間進行相互連接，并 增加了路徑點間的相互關系操作，方便用戶操作。3、本發明提供的這種對視頻目標區域進行跟蹤的方法，在一種視頻目標區域的跟 蹤方法中，路徑點間加入了貝塞爾曲線連接、可以設置路徑點間的相互依賴關系和跟蹤路 徑點和跟蹤點分離等功能，使得當跟蹤點由于圖像的變化在某些幀的畫面中被遮擋不可見 時，也可根據該跟蹤點與其他可見跟蹤點之間的相對位置及跟蹤點之間的相互關系得到路 徑點的位置，從而準確的確定跟蹤區域。


圖1為本發明提供的視頻目標區域的跟蹤方法對某幀進行跟蹤的操作示意圖；圖2是本發明一個實施例的視頻目標區域的跟蹤方法流程圖。
具體實施例方式為使本發明的目的、技術方案和優點更加清楚明白，以下結合具體實施例，并參照 附圖，對本發明進一步詳細說明。針對上述視頻目標區域區域不規則和不穩定的問題，本發明提供的這種對視頻目 標區域進行跟蹤的方法，提出了跟蹤點與路徑點分離、利用平滑曲線實現目標區域的覆蓋 和設置路徑點間的相互關系等得到視頻目標區域的跟蹤路徑，實現對視頻目標區域的準確 足艮S宗。1)、跟蹤點與路徑點分離跟蹤點是跟蹤算法運算時的參考點，路徑點是最終輸出的路徑位置。一般的設置 是跟蹤點與路徑點在同一位置，當由于視頻及其對象的不穩定，很多情況下不能實現對目 標區域的跟蹤。比如目標區域部分路徑點被其它物體遮擋或消失，在這種情況下，找到與路 徑點有穩定對應的跟蹤點并設置相連關系，通過對跟蹤點的跟蹤即可得到路徑點的參數。2)、平滑曲線覆蓋目標區域由于跟蹤目標一般為不規則區域，如果采用直線連接，就需要很多的路徑點才能 將其覆蓋，但本方法采用平滑曲線對路徑點進行連接，通過平滑曲線的控制點來得到需要 的區域大小，在節省運算量的同時，也更好地滿足需求。3)、設置路徑點相互關系在視頻跟蹤中，路徑點間一般都有一定的相互關系。在視頻僅發生平移和縮放時， 可以通過設置路徑點間的相互關系可以更準確及在較少的運算下實現跟蹤。本發明提供的這種對視頻目標區域進行跟蹤的方法，通過對視頻目標區域中與路 徑點對應的跟蹤點進行跟蹤，得到路徑點的參數信息，然后對得到的路徑點進行平滑處理， 采用平滑曲線連接各路徑點，覆蓋視頻目標區域，實現對視頻目標區域的準確跟蹤。其中，所述路徑點是視頻目標區域邊界上的位置點，所述跟蹤點是跟蹤過程中算 法跟蹤模塊的位置點，跟蹤點是路徑點的參考點，唯一對應于視頻目標區域中的一個路徑 點。對視頻目標區域中與路徑點對應的跟蹤點進行跟蹤時，在跟蹤點附近選取一跟蹤區域 塊作為跟蹤點區域，該跟蹤點區域包含有跟蹤點的信息。所述路徑點的參數信息至少包括 跟蹤類型、路徑點與跟蹤點、路徑點與跟蹤點是否分離、路徑點之間的相互關系、跟蹤區域 塊與搜索區域塊大小、連接路徑點的平滑曲線類型和路徑處理。對視頻目標區域中與路徑點對應的跟蹤點進行跟蹤采用模板跟蹤的方法，將跟蹤 點區域做為參考模板，通過與視頻目標區域中的每塊區域都與參考模版進行匹配，在下一 幀圖像中搜索匹配得到最大相似度的區域做為新的跟蹤點。或者，對視頻目標區域中與路 徑點對應的跟蹤點進行跟蹤采用角點跟蹤的方法，通過在下一幀圖像的視頻目標區域中檢 測角點，在檢測到角點后在角點所在區域與跟蹤點區域進行相似度計算，得到最大相似度 處作為新的跟蹤點。對得到的路徑點進行平滑處理，采用平滑曲線連接各路徑點時，采用的平滑曲線是貝塞爾曲線。貝塞爾曲線在每個路徑點處有兩個貝塞爾控制點，通過對貝塞爾控制點的 調節，得以覆蓋視頻目標區域。或者，對得到的路徑點進行平滑處理，采用平滑曲線連接各 路徑點時，采用的平滑曲線是B樣條曲線。對于視頻僅發生平移或縮放但沒有形變的情況，該方法進一步根據路徑點之間的 相互關系對視頻目標區域進行跟蹤，選擇某個路徑點與其它路徑點相互之間的位置不變。本發明提供的這種對視頻目標區域進行跟蹤的方法，通過對視頻目標區域跟蹤得 到該區域的路徑參數，用于視頻后期處理，如進行掩膜、2D變換和穩像等功能。路徑參數包 括每幀單個或多個路徑點的位置和每個路徑點的貝塞爾控制點。每幀路徑點通過貝塞爾 曲線相連接，并將目標區域覆蓋。圖1所示，為某幀跟蹤結果，圖中包括4個路徑點及各自 貝塞爾曲線，線上的小方塊代表路徑點的位置，橫線是貝塞爾控制點連接，所有的路徑點和 參數形成一圓形跟蹤區域。通過調整路徑點和貝塞爾控制點，得到貝塞爾曲線，通過貝塞爾 曲線可以圍繞跟蹤區域從而實現對視頻目標區域的跟蹤。本發明提供的對視頻目標區域進行跟蹤的方法中，用到下列術語視頻跟蹤對移動目標的整體或部分區域進行路徑，獲取目標區域的路徑參數。貝塞爾曲線根據2個行值點和2個控制點得到一條通過2個行值點的光滑曲線。路徑點和跟蹤點路徑點是最近得到路徑點的位置，跟蹤點是跟蹤過程中算法跟 蹤模塊的位置。跟蹤點是路徑點的參考點。相似度用來衡量兩個區域的相似成度。模板跟蹤通過與搜索區域每塊都進行模板匹配的方法，得到相似度都大的區域 作為新的跟蹤點。角點跟蹤通過在搜索區域檢測到角點，僅在角點區域與跟蹤模板進行相似度計 算并得到最大相似度處作為新的跟蹤點。本發明提供的這種對視頻目標區域進行跟蹤的方法，固化在跟蹤模塊內，該跟蹤 模塊主要供其它插件或模塊調用。這些插件或模塊需要將視頻目標區域路徑點信息作為參 數，如在掩膜插件中，需要得到進行掩膜的區域；在顏色校正模塊中，需要得到進行校正的 區域等。啟動時需要對跟蹤模塊進行初始的參數設置，如起始路徑點的參數、路徑點數是否 固定、路徑點間的相互關系和貝塞爾曲線信息等。進入跟蹤模塊后就可以進行視頻目標的 跟蹤操作，完成后，將每個路徑點參數和其貝塞爾曲線參數傳遞給插件模塊進行操作。每個路徑點都有自己的參數，比如跟蹤類型、路徑點與跟蹤點分離和是否設為貝 塞爾曲線等。以下為路徑點的參數設置1)、跟蹤類型選擇。跟蹤類型可以選擇模板跟蹤或角點跟蹤。模板跟蹤是將跟蹤點 區域做為參考模板，通過在下一幀圖像中搜索找到最大相似度的區域做為新的跟蹤點。角 點跟蹤是在下一幀圖像中檢測到角點位置，找到角點位置區域與跟蹤區域相似度最大的點 作為新的跟蹤點。模板跟蹤的優點在于匹配精確，但運算量較大，角點跟蹤的優點在于運算 量小、速度快和特征點明確。角點跟蹤的前提是跟蹤點必須處在穩定的角點上，用戶可以通 過顯示視頻中所有角點的操作，逐幀查看檢測出的角點位置。選取穩定出現的角點做為跟 蹤點的位置。2)、跟蹤塊和搜索塊大小。考慮到精確性和運算效率，一般選在跟蹤點附近選取一 跟蹤塊，包含了跟蹤點的信息量，而在下一幀搜索的范圍由搜索塊大小決定。搜索塊越大，即使運動量較大也能檢測得到，但同時會引入更多的誤差信息且運算量較大。一般會根據 跟蹤對象的不同選取合適的跟蹤塊和搜索塊。可以初步地調整跟蹤塊和搜索塊的大小，若 跟蹤點穩定且形變較小，可以選小的跟蹤塊；若區域發生的形變較大，則需要選取較大的跟 蹤塊以包含更多的信息量。3)、路徑點連接類型。在本發明的視頻目標區域的跟蹤方法模塊中一般選取貝塞 爾曲線對路徑點進行連接，通過對每個貝塞爾控制點的調整，達到對目標區域的覆蓋，也可 以選擇直線連接。對目標區域的覆蓋如果選取直線連接一般需要更多的路徑點，進而增加 了運算量和不穩定性。通過對貝塞爾控制點的調整，可以在更少點的情況下對目標區域進 行覆蓋。而且直線連接只能覆蓋棱邊的多邊形，利用貝塞爾曲線則可以實現對平滑邊緣的 區域覆蓋。4)、路徑點間相互關系。可以選擇某個路徑點與其它路徑點相互之間的位置不變， 主要應用于如視頻僅發生平移或縮放但沒有形變的情況，可以減少運算量同時更為精確。 如果視頻跟蹤區域發生扭曲或形變，路徑點和跟蹤點就需要設置在同一點上，以達到更精 確的跟蹤。5)、路徑點與跟蹤點。可以設置路徑點與跟蹤點不在同一位置，應用于路徑點不 穩定或消失的情況下，通過與跟蹤點的相對位置及跟蹤點之間的相互關系得到路徑點的位 置。通過多個跟蹤點的位置變化可以判斷視頻是否發生了平移或縮放，如果平移，則跟蹤點 與路徑點的相對位置不發生變化，如果發生了縮放，則相對位置也需要相應地縮放。6)、路徑處理。得到路徑點之后，可以對每幀的路徑點進行平滑處理，防止抖動或 修正出現的細微錯誤。本發明提供的這種對視頻目標區域進行跟蹤的方法，提出了在現有模塊中加入一 控制按鈕，通過控制按鈕來調用跟蹤模塊，能夠實時和方便地對目標進行跟蹤，而不需要重 新地進行數據的導出和導入。本發明的視頻目標區域的跟蹤方法模塊的接口為路徑點及其 控制點的位置。見圖1所示，圖1是本發明一個實施例的視頻目標區域的跟蹤方法流程圖，包括步驟A)啟動控制按鈕，調用本發明的視頻目標區域的跟蹤模塊。B)設置參數1)設置路徑類型跟蹤類型可以選擇模板跟蹤或角點跟蹤。2)設置跟蹤塊和搜索區域大小。3)設置跟蹤點間連接類型，選取貝塞爾曲線對路徑點進行連接。4)設置路徑點間相互關系，選擇某個路徑點與其它路徑點相互之間的位置不變。5)設置路徑點與跟蹤點的關系。C)啟動本發明的視頻目標區域的跟蹤模塊進行跟蹤。D)路徑處理得到路徑點之后，可以對每幀的路徑點進行平滑處理。E)退出跟蹤模塊，完成。在對運動員的頭像進行跟蹤時，由于運動員的頭像一直在發生變化，且背景也不 同，通過選取運動員頭像的邊緣點做為跟蹤點比較難實現跟蹤。可以通過設置跟蹤點在人 臉區域，路徑點在邊緣區域，跟蹤點與路徑點分離實現頭像的跟蹤。在采用平滑曲線對路徑點進行連接時，平滑曲線可以采用貝塞爾曲線、B樣條曲線
7等方法。比如貝塞爾曲線對路徑點的連接，每個路徑點處有兩個控制點，通過對控制點的調 節，得以覆蓋跟蹤區域。在考慮路徑點的相互關系時，假如視頻的區域僅有平移發生，可以僅跟蹤一點而 得到所有的路徑點位置。在某些跟蹤對象消失的情況下，可以設置該跟蹤點與其它跟蹤點 的關系，通過其它跟蹤點的位置得到該跟蹤點。本發明提供的這種對視頻目標區域進行跟蹤的方法，引入路徑點與跟蹤點分離的 方法可以很好地解決目標區域在屏幕中不穩定的問題，并加入了路徑點的相互關系，即使 在視頻進行縮放時，也能很快地得到路徑點的位置。跟蹤點是路徑點的參考點，通過直接或 間接的相關得到路徑點的位置。例如某視頻中想得到某人頭頂上方的路徑點，由于人頭頂 上方的區域經常發生改變或消失，可以將人的眼睛設為跟蹤點，再設置眼睛與頭頂的相對 關系。在此情況下頭頂上方是路徑點，眼睛是跟蹤點，路徑點與跟蹤點相分離，當然路徑點 與跟蹤點也可以在同一位置。本發明提供的這種對視頻目標區域進行跟蹤的方法，利用貝塞爾曲線對路徑點進 行連接，通過設置路徑點處貝塞爾控制點的參數得到任意平滑的目標區域。以上所述的具體實施例，對本發明的目的、技術方案和有益效果進行了進一步詳 細說明，所應理解的是，以上所述僅為本發明的具體實施例而已，并不用于限制本發明，凡 在本發明的精神和原則之內，所做的任何修改、等同替換、改進等，均應包含在本發明的保 護范圍之內。
權利要求
1.一種對視頻目標區域進行跟蹤的方法，其特征在于，該方法通過對視頻目標區域中 與路徑點對應的跟蹤點進行跟蹤，得到路徑點的參數信息，然后對得到的路徑點進行平滑 處理，采用平滑曲線連接各路徑點，覆蓋視頻目標區域，實現對視頻目標區域的跟蹤。
2.根據權利要求1所述的對視頻目標區域進行跟蹤的方法，其特征在于，所述路徑點 是視頻目標區域邊界上的位置點，所述跟蹤點是跟蹤過程中算法跟蹤模塊的位置點，跟蹤 點是路徑點的參考點，唯一對應于視頻目標區域中的一個路徑點。
3.根據權利要求1所述的對視頻目標區域進行跟蹤的方法，其特征在于，所述對視頻 目標區域中與路徑點對應的跟蹤點進行跟蹤時，在跟蹤點附近選取一跟蹤區域塊作為跟蹤 點區域，該跟蹤點區域包含有跟蹤點的信息。
4.根據權利要求3所述的對視頻目標區域進行跟蹤的方法，其特征在于，所述對視頻 目標區域中與路徑點對應的跟蹤點進行跟蹤采用模板跟蹤的方法，將跟蹤點區域做為參考 模板，通過與視頻目標區域中的每塊區域都與參考模版進行匹配，在下一幀圖像中搜索匹 配得到最大相似度的區域做為新的跟蹤點。
5.根據權利要求3所述的對視頻目標區域進行跟蹤的方法，其特征在于，所述對視頻 目標區域中與路徑點對應的跟蹤點進行跟蹤采用角點跟蹤的方法，通過在下一幀圖像的視 頻目標區域中檢測角點，在檢測到角點后在角點所在區域與跟蹤點區域進行相似度計算， 得到最大相似度處作為新的跟蹤點。
6.根據權利要求1所述的對視頻目標區域進行跟蹤的方法，其特征在于，所述路徑點 的參數信息至少包括跟蹤類型、路徑點與跟蹤點、路徑點與跟蹤點是否分離、路徑點之間的相互關系、跟蹤 區域塊與搜索區域塊大小、連接路徑點的平滑曲線類型和路徑處理。
7.根據權利要求1所述的對視頻目標區域進行跟蹤的方法，其特征在于，所述對得到 的路徑點進行平滑處理，采用平滑曲線連接各路徑點時，采用的平滑曲線是貝塞爾曲線。
8.根據權利要求7所述的對視頻目標區域進行跟蹤的方法，其特征在于，所述貝塞爾 曲線在每個路徑點處有兩個貝塞爾控制點，通過對貝塞爾控制點的調節，得以覆蓋視頻目 標區域。
9.根據權利要求1所述的對視頻目標區域進行跟蹤的方法，其特征在于，所述對得到 的路徑點進行平滑處理，采用平滑曲線連接各路徑點時，采用的平滑曲線是B樣條曲線。
10.根據權利要求1所述的對視頻目標區域進行跟蹤的方法，其特征在于，對于視頻僅 發生平移或縮放但沒有形變的情況，該方法進一步根據路徑點之間的相互關系對視頻目標 區域進行跟蹤，選擇某個路徑點與其它路徑點相互之間的位置不變。
全文摘要
本發明公開了一種對視頻目標區域進行跟蹤的方法，該方法通過對視頻目標區域中與路徑點對應的跟蹤點進行跟蹤，得到路徑點的參數信息，然后對得到的路徑點進行平滑處理，采用平滑曲線連接各路徑點，覆蓋視頻目標區域，實現對視頻目標區域的跟蹤。利用本發明，克服了現有技術中存在的問題，利用一個模塊實現大多數的跟蹤功能，通過擴展的接口與其它模塊間進行相互連接，并增加了路徑點間的相互關系操作，方便用戶操作，實現了對視頻目標區域的準確跟蹤。
文檔編號G06T7/20GK102142146SQ201010108049
公開日2011年8月3日 申請日期2010年1月28日 優先權日2010年1月28日
發明者何磊, 姚威, 谷顯峰, 趙玉華, 邊紅昌 申請人:北京中科大洋科技發展股份有限公司