專利名稱：基于形狀傳遞聯合分割和圖匹配校正的輪廓跟蹤方法
技術領域：
本發明涉及一種數字圖像處理領域的視頻目標輪廓跟蹤方法，具體是一種基于形狀傳遞聯合分割和圖匹配校正的輪廓跟蹤方法。
背景技術：
在計算機視覺領域，視覺跟蹤是一個非常重要且具有挑戰性的問題。基于輪廓的跟蹤不僅僅能夠在視頻中定位到目標物體的位置，同時還要將目標物體從背景中分割出來。輪廓跟蹤算法的目的在于對特定的目標物體在時間上進行連續的分割，用輪廓或者邊界更為準確的描述那些隨著時間形狀有所改變的非剛性物體，同時確保目標物體的輪廓在時間上能保持一致性。經過對現有技術的文獻檢索發現，J.Malcolm, Y.Rathi與A.Tannenbaum,在2007 年的《IEEE International Conference on Computer Vision》會議上發表的“Mult1-object tracking through clutter using graph cuts，，一文中提出了一種利用圖分割的方法，對集群中的多目標進行輪廓跟蹤。其中引入了一個距離懲罰項和一個位置預測，每一個目標物體的速度都用一個自回歸模型來進行建模，從而提供了每一個目標物體在下一個時刻的預測位置。由于這種距離位置的預測被考慮進去了，所以這種連續的分割有了一種空間上的限制，從而使得每一個目標物體在時間上也能保證一定的一致性。為了考慮運動的變化，作者還對每一個目標物體計算了一個參數因子，用來表示目標物體實際位置與預測為止之間的誤差，從而來權重預測所占的權重。L.Ma, J.Liu與J.Wang在2010年的《IEEE Int.Conf.Acoustics, Speech, and Signal Processing》會議上發表的 “Animproved silhouette tracking approach integrating particle filter with graphcuts”一文中提出了一種結合能粒子濾波和3D圖分割模型的輪廓跟蹤方法。這種方法可以在目標物體具有大尺度變化以及遮擋的情況下進行目標物體的輪廓跟蹤。分割模塊提供了目標物體的形狀信息，為基于直方圖信息的粒子濾波模塊提供了空間的信息補償。但是上述兩種方法對于遮擋情形或者物體形狀尺度發生巨大變化時，由于分割目標物體時僅僅基于圖分割的方法，最終會導致分割跟蹤結果的不準確。
發明內容
針對現有技術中的缺陷，本發明的目的是提供一種基于形狀傳遞聯合分割和圖匹配校正的輪廓跟蹤方法，可以有效提高視頻中目標物體輪廓跟蹤的準確率，并可作為一種通用的視頻跟蹤方法。本發明是通過以下技術方案實現的:一種基于形狀傳遞聯合分割和圖匹配校正的輪廓跟蹤方法，包括兩部分:形狀傳遞聯合分割:將形狀預測圖與原始圖像視頻幀相結合，借助位置坐標的重定位，提出新的圖模型構造方法，并構建新的能量優化函數對圖模型進行聯合分割；圖匹配校正:對當前圖像的分割結果與前一幀圖像的分割結果進行圖匹配，當圖匹配的結果不能滿足該限制條件時，調整形狀傳遞聯合分割中的權重參數，校正分割結果的不準確。進一步的，上述方法具體包括如下步驟:步驟一，對輸入視頻流的前兩幀進行待跟蹤目標物體的人工標定，明確需要跟蹤的目標物體的位置和形狀，在之后的輪廓跟蹤過程中，就不需要其他任何的人工干預；步驟二，輸入下一幀視頻圖像，如果視頻結束則終止；否則初始化設定圖分割能量函數中權重參數λ C的值，使得λ。= 2 ;步驟三，將前兩幀圖像的分割結果作為輸入，分別計算得到坐標重定位和形狀預測圖；步驟四，借助坐標重定位數值，結合當前的視頻圖像幀與形狀預測圖得到形狀傳遞的圖模型；步驟五，根據構建的能量函數，進行能量最小化優化，對步驟四中得到的圖模型進行聯合分割； 步驟六，對當前圖像的分割結果與前一幀圖像的分割結果進行圖匹配，如果當前圖像分割結果的圖匹配能量函數值滿足相應的限制條件，則轉到步驟二，繼續下一幀圖像的輪廓跟蹤；否則增加權重參數λ。的值，轉到步驟五，重新進行圖模型聯合分割。優選地，所述的形狀預測圖，具體的生成方法為:將前兩幀圖像的分割結果作為輸入，重復進行膨脹腐蝕操作，從而得到形狀預測圖。優選地，所述的圖模型，具體的構建方法為:借助坐標重定位數值決定形狀預測圖與原始圖像之間相結合的位置坐標，頂點集合包括原始圖像幀中的像素節點和形狀預測圖中的像素節點，邊集合包含原始圖像幀中屬于鄰域像素節點之間的邊，形狀預測圖中屬于鄰域像素節點之間的邊以及連結原始圖像幀中的像素頂點與形狀預測圖中的像素頂點的邊。優選地，所述的能量函數，具體的構建方法為:能量交叉項將形狀預測圖與原始圖像連結，形狀預測圖中的任意一個像素都應該與它在原始圖像中的對應的像素以及它的一個鄰域范圍內的像素保持相同的分割分類，如果違反了這個限制條件，就需要付出懲罰代價。優選地，所述的調整形狀傳遞聯合分割中的權重參數，具體為:當前圖像分割結果的圖匹配能量函數值如果大于前一幀圖像分割結果的圖匹配能量函數值的若干倍，比如1.5倍，則增大形狀傳遞聯合分割中的權重參數λ。值。與現有技術相比，本發明具有如下的有益效果:本發明上述技術方案在形狀傳遞聯合分割部分，改進了圖模型的構造方法。本發明將形狀預測圖與原始圖像視頻幀相結合，并借助位置坐標的重定位，提出了新的圖模型構造方法，充分利用了目標物體的形狀先驗信息，通過提高代價函數，避免那些與目標物體先驗形狀不一致的、遠離預測位置的像素，從而提升了目標物體的分割準確度。在圖匹配校正部分，為了保證分割的正確性，通過圖匹配能量函數的最優化，本發明不僅可以評價目標物體分割結果的局部相似度，還有全局結構相似度，進而可以對分割結果進行補償，應對遮擋情況的發生。因此結合形狀傳遞的聯合分割以及圖匹配校正的跟蹤方法，可以有效加強對視頻目標的分割與跟蹤魯棒性，提高視頻中目標物體輪廓跟蹤的準確率。
通過閱讀參照以下附圖對非限制性實施例所作的詳細描述，本發明的其它特征、目的和優點將會變得更明顯:圖1是本發明方法的輪廓跟蹤流程圖；圖2是本發明方法中形狀傳遞聯合分割的流程圖。
具體實施例方式下面結合具體實施例對本發明進行詳細說明。以下實施例將有助于本領域的技術人員進一步理解本發明，但不以任何形式限制本發明。應當指出的是，對本領域的普通技術人員來說，在不脫離本發明構思的前提下，還可以做出若干變形和改進。這些都屬于本發明的保護范圍。 如圖1所示，一種基于形狀傳遞聯合分割和圖匹配校正的輪廓跟蹤方法，包括基于形狀傳遞聯合分割部分和圖匹配校正部分。如圖2所示，形狀傳遞聯合分割部分主要包括了三個步驟，分別是坐標重定位和形狀預測圖的生成、圖模型的構建以及能量函數的構建與優化。完成了這三個步驟就相當于完成了一次形狀傳遞聯合分割。第一，形狀傳遞聯合分割部分包括形狀預測圖與坐標重定位的生成，圖模型的構建以及能量函數的構建與優化。(I)形狀預測圖和坐標重定位的生成都是基于對先前圖像幀的分割結果。將在圖像幀Ω η和Ω t_2得到的分割結果分別表示為CT1 (χ)和CT2 (χ)。分割結果CT1 (χ)和CT2 (χ)的像素中心，在原來圖像幀ΩΗ和Qt_2中的位置分別標記為πΓ1和πΓ2。t表示時亥Ι1，ΩΗ和Qt_2分別表示t-Ι時刻和t-2時刻的圖像幀。圖像幀的形狀預測圖St(X)的生成:將前兩幀圖像的分割結果Ct-1OO和c"2(x)作為輸入，對目標物體的分割結果重復的進行腐蝕操作，并不斷對剩余的區域設置成一個較小的值。與此同時，對原來的分割結果進行膨脹操作，并對膨脹而得到的新區域設置一個較大的值。經過形態濾波之后，那些接近于目標對象中心區域的像素都具有較小的值，而那些遠離目標對象中心的像素則都具有較大的值。(2)坐標重定位的生成:坐標重定位的值就是基于πΓ1和πΓ2，假設目標物體遵循運動動力學方程，并且在一個極短的時間片段內，具有相同的運動速度，極短的時間片段可以看做是相鄰的兩個圖像幀之間。因此得到的形狀預測圖在當前圖像幀中所對應的位置，也被稱作為坐標重定位，應在位于Hit = 2mt_1-mt_2o(3)圖模型的構建:將形狀預測圖和原始的圖像幀這兩個部分結合起來，就得到了改進的圖模型。其中坐標重定位決定了形狀預測圖與原始圖像之間應該在什么位置進行結合。對于無向圖G= {V, E}的定義，其中包括一系列的頂點V，以及一系列的邊E。在本發明改進的圖模型中，頂點集合V—共包括兩部分:第一個子集是原始圖像幀中的像素節點，將其標記為Vp ;第二個子集是形狀預測圖中的像素節點，將其記為\。邊集合E則包含了三個部分:第一個子集是原始圖像幀中屬于鄰域像素節點之間的所有邊信息，標記為Ep ;與之相應的，第二個子集是形狀預測圖中，所有屬于鄰域像素節點之間的所有邊信息，標記為Eq ;還有第三部分，是連結原始圖像幀中的像素頂點與形狀預測圖中的像素頂點的邊。(4)能量函數的構建:能量函數的第一項是原始圖像幀的數據項ε D，它測量了所有在原始圖像中的像素屬于前景和背景的概率；能量函數的第二項是原始圖像幀的正則項εκ，主要是用來懲罰兩個相鄰的像素點，他們都屬于原始圖像幀卻被標號為不同的種類；第三項能量項是基于形狀預測圖的像素灰度ε SD，如果位于目標對象中心位置附近的像素點被分割為背景時會受到一個很大的懲罰，反之如果遠離目標對象中心的像素點被分割為前景時也會受到一個很大的懲罰；第四項是用來限制形狀預測圖的分割結果的平滑性eSK，如果在形狀預測圖中相鄰的兩個像素點被分割為兩個不同的分類時，那么一個懲罰函數基于他們坐標重定位像素的灰度值差就會生效，從而懲罰這種情況的發生；最后一個能量項是交叉項4，也是 構造的能量函數中最重要的一項。交叉項將形狀預測圖與原始圖像連接了起來。當前幀的目標對象分割結果應該在某種程度上與該目標對象在前幾幀的分割結果具有一定的一致性。所以，形狀預測圖中的任意一個像素都應該與它在原始圖像中的對應的像素以及它的一個鄰域范圍內的像素保持相同的分割分類，如果違反了這個限制條件，就需要付出一定的懲罰代價。最終的能量函數如公式所示，其中λ。是權重參數，用來調整交叉項的作用。
權利要求
1.一種基于形狀傳遞聯合分割和圖匹配校正的輪廓跟蹤方法，其特征在于: 形狀傳遞聯合分割:將形狀預測圖與原始圖像視頻幀相結合，借助位置坐標的重定位，構造新的圖模型，并構建新的能量優化函數對圖模型進行聯合分割； 圖匹配校正:對當前圖像的分割結果與前一幀圖像的分割結果進行圖匹配，當圖匹配的結果不能滿足該限制條件時，調整形狀傳遞聯合分割中的權重參數，校正分割結果的不準確。
2.根據權利要求1所述的基于形狀傳遞聯合分割和圖匹配校正的輪廓跟蹤方法，其特征是，具體包括如下步驟: 步驟一，對輸入視頻流的前兩幀進行待跟蹤目標物體的人工標定，明確需要跟蹤的目標物體的位置和形狀，在之后的輪廓跟蹤過程中，不需要其他任何的人工干預； 步驟二，輸入下一幀視頻圖像，如果視頻結束則終止；否則初始化設定圖分割能量函數中權重參數λ c的值，使得λ。= 2 ; 步驟三，將前兩幀圖像的分割結果作為輸入，分別計算得到坐標重定位和形狀預測圖； 步驟四，借助坐標重定位數值，結合當前的視頻圖像幀與形狀預測圖得到形狀傳遞的圖模型； 步驟五，根據構建的能量函數，進行能量最小化優化，對步驟四中得到的圖模型進行聯合分割； 步驟六，對當前圖像的分割結果與前一幀圖像的分割結果進行圖匹配，如果當前圖像分割結果的圖匹配能量函數值滿足相應的限制條件，則轉到步驟二，繼續下一幀圖像的輪廓跟蹤；否則增加權重參數λ。的值，轉到步驟五，重新進行圖模型聯合分割。
3.根據權利要求1或2所述的基于形狀傳遞聯合分割和圖匹配校正的輪廓跟蹤方法，其特征是，所述的形狀預測圖，具體的生成方法為:將前兩幀圖像的分割結果作為輸入，重復進行膨脹腐蝕操作，從而得到形狀預測圖。
4.根據權利要求1或2所述的基于形狀傳遞聯合分割和圖匹配校正的輪廓跟蹤方法，其特征是，所述的圖模型，具體的構建方法為:借助坐標重定位數值決定形狀預測圖與原始圖像之間相結合的位置坐標，頂點集合包括原始圖像幀中的像素節點和形狀預測圖中的像素節點，邊集合包含原始圖像幀中屬于鄰域像素節點之間的邊，形狀預測圖中屬于鄰域像素節點之間的邊以及連結原始圖像幀中的像素頂點與形狀預測圖中的像素頂點的邊。
5.根據權利要求1或2所述的基于形狀傳遞聯合分割和圖匹配校正的輪廓跟蹤方法，其特征是，所述的能量函數，其公式如下: E(f) = ε D (f) + ε E (f) + ε SD (f) + ε SE (f) + λ C ε C (f) 其中:能量函數的第一項是原始圖像幀的數據項ε D，它測量了所有在原始圖像中的像素屬于前景和背景的概率；能量函數的第二項是原始圖像幀的正則項ε κ，主要是用來懲罰兩個相鄰的像素點，它們都屬于原始圖像幀卻被標號為不同的種類；第三項能量項是基于形狀預測圖的像素灰度ε SD，如果位于目標對象中心位置附近的像素點被分割為背景時會受到一個很大的懲罰，反之如果遠離目標對象中心的像素點被分割為前景時也會受到一個很大的懲罰；第四項是用來限制形狀預測圖的分割結果的平滑性eSR，如果在形狀預測圖中相鄰的兩個像素點被分割為兩個不同的分類時，那么一個懲罰函數基于他們坐標重定位像素的灰度值差就會生效，從而懲罰這種情況的發生；最后一個能量項是交叉項ε c,也是構造的能量函數中最重要的一項，交叉項將形狀預測圖與原始圖像連接了起來。
6.根據權利要求5所述的基于形狀傳遞聯合分割和圖匹配校正的輪廓跟蹤方法，其特征是，所述的能量函數，具體的構建方法為:能量交叉項將形狀預測圖與原始圖像連結，形狀預測圖中的任意一個像素都應該與它在原始圖像中的對應的像素以及它的一個鄰域范圍內的像素保持相同的分割分類，如果違反了這個限制條件，就需要付出懲罰代價。
7.根據權利要求2所述的基于形狀傳遞聯合分割和圖匹配校正的輪廓跟蹤方法，其特征是，所述步驟六，具體方法為:對當前圖像的分割結果與前一幀圖像的分割結果進行圖匹配，分別在當前圖像中 目標物體的分割輪廓以及前一幀中目標物體的分割輪廓上均勻的選取點，分別作為特征點集P和Q，并對特征點集構建局部特征描述子，然后按照能量函數對特征點集P和Q進行圖匹配，其中圖匹配能量函數的模型包括三個部分，分別是局部匹配代價入^alEltrcal(M),結構匹配代價AstaucEstl^(M)以及未匹配懲罰代價Epmal (M)； E (M)=λ localElocal (M) + λ strucEstruc (M) +Epenal (M)。
8.根據權利要求7所述的基于形狀傳遞聯合分割和圖匹配校正的輪廓跟蹤方法，其特征是，所述步驟六，當前圖像分割結果的圖匹配能量函數值必須小于前一幀圖像分割結果的圖匹配能量函數值的倍數，即: Et (M) < W.Et-1 (M) 其中W是一個常數，用來限制圖匹配能量函數的允許范圍，當圖匹配的結果不能滿足該限制條件時，則增大形狀傳遞聯合分割部分中的λ。值，增大形狀信息對目標分割結果的影響，然后對分割得到的結果再次進行圖匹配驗證，直到滿足限制條件，或者達到最大迭代次數的限制。
9.根據權利要求8所述的基于形狀傳遞聯合分割和圖匹配校正的輪廓跟蹤方法，其特征是，所述W設定為1.5，用來限制圖匹配能量函數的允許范圍。
全文摘要
本發明涉及一種基于形狀傳遞聯合分割和圖匹配校正的輪廓跟蹤方法，該方法在形狀傳遞聯合分割部分，將形狀預測圖與原始圖像視頻幀相結合，借助位置坐標的重定位，提出新的圖模型構造方法，并構建新的能量優化函數對圖模型進行聯合分割。圖匹配校正部分，對當前圖像的分割結果與前一幀圖像的分割結果進行圖匹配，當圖匹配的結果不能滿足該限制條件時，調整形狀傳遞聯合分割中能量函數的權重參數，校正分割結果的不準確。本發明可以有效提高視頻中目標物體輪廓跟蹤的準確率。
文檔編號G06T5/00GK103218827SQ201310093489
公開日2013年7月24日 申請日期2013年3月21日 優先權日2013年3月21日
發明者熊紅凱, 朱青祥 申請人:上海交通大學