專利名稱：基于新型十字菱形搜索及五幀背景對齊的動背景視頻對象提取的制作方法
技術領域：
本發明涉及一種視頻分割中的處理方法，特別涉及一種基于新型十字菱形搜索及五幀背景對齊的動背景視頻對象提取。
背景技術：
對于動態視頻序列中運動對象的提取，由于攝像機產生的全局運動使得在靜背景下的分割方法，如幀差或者背景差分等方法不適用于動背景下的分割，即不能夠準確地將運動對象提取出來，因此針對動背景下的分割問題必須首先消除攝像機運動所造成的全局運動的影響，通過全局運動估計和補償技術，將問題轉化成靜背景下的分割問題，進而應用靜背景下廣泛的分割方法實現動背景下的準確、有效分割。全局運動估計是指估計由攝像機運動引起的序列背景區域的運動規律，求解出相應數學運動模型中的多個參數。全局運動補償是在根據運動估計所得到的全局運動參數，在當前幀和前一幀之間作一個相應的背景對齊的映射變換。這樣在準確的補償之后就可以采用幀差或背景差等方法消除背景區域，突出感興趣的具有局部運動的前景區域(參見楊文明.時空融合的視頻對象分割[D].浙江浙江大學，2006)。對于動背景下的運動對象分割問題，目前國際上已有相當多的學者做了大量的研究工作。如利用改進的分水嶺算法將運動補償后的視頻幀分割成不同的灰度區域，通過光流計算得到序列的運動信息，最后，將運動信息和分割的區域按一定的準則綜合得到對象模板，達到對視頻對象的準確定位(參見張慶利.一種基于運動背景的視頻對象分割算法.上海大學學報(自然科學版)，2005，11(2):111-115.)。如建立四參數運動放射模型來描述全局運動，采用塊匹配方法進行參數估計，結合Horn-Schunck算法檢測出運動目標并應用卡爾曼濾波對運動目標的質心位置等信息進行跟蹤，實現了動態場景中運動對象的檢測與跟蹤。(參見施家棟.動態場景中運動目標檢測與跟蹤.北京理工大學學報，2009，29(10) :858-876.)。另一種采用非參數核密度估計的方法，首先采用匹配加權的全局運動估計補償算法消除動態場景下背景運動的影響，然后估計各像素屬于前景與背景的概率密度并結合形態學等算法進行處理，實現了動背景下運動對象的準確、有效分割。(參見馬志強.一種動態場景下運動對象分割新算法.計算機工程與科學，2012，34(4) : 43-46.)。為了解決動背景下的分割問題，本發明方法實現了一種采用宏塊預判斷、塊匹配、攝像機六參數仿射模型、最小二乘法等全局運動估計及補償方法，并通過五幀背景對齊結合邊緣信息等實現動背景分割。實驗證明，該方法實現了動背景視頻序列中視頻對象的提取，并且提取精度得到明顯提高。
發明內容
本發明要解決的技術問題是如何減少塊匹配的運算時間，如何實現動背景下視頻對象的準確提取。本發明解決其技術問題所采用的技術方案是基于新型十字菱形搜索及五幀背景對齊的動背景視頻對象提取，包括以下步驟(I)將第K-2幀、第K-I幀、參考幀K幀、第K+1幀與第K+2幀分別分成8X8宏塊，根據紋理信息對該五幀中所有宏塊進行預判斷、篩選；(2)對上述篩選后的宏塊采用SAD準則、新型十字形菱形搜索策略(NCDS)進行塊匹配，分別以第K-2幀、第K-I幀、第K+1幀與第K+2幀作為當前幀，以第K幀作為參考幀，得到該四幀相對于參考幀K幀的運動矢量場，并通過最小二乘法計算全局運動參數，獲得攝像機六參數模型；(3)對第K-2幀進行運動補償，使第K-2幀與第K幀背景對齊，得到重建幀κ-2’，按照同樣的方法對第K-ι幀、第K+1幀與第K+2幀進行運動補償，使第K-I幀、第K+1幀及 第K+2幀分別與第K幀背景對齊，并得到重建幀K-Γ、重建幀K+Γ及重建幀K+2’ ；(4)對重建幀κ-2’、Κ_Γ、Κ+1’、Κ+2’及參考幀K幀分別采用Prewitt算子提取邊緣信息，并分別計算其相對于參考幀K邊緣的幀差屯、d2、d3、d4，采用最大方差閾值方法進行二值化；(5)分別對連續五幀前兩幀和后兩幀得到的幀差二值化結果進行與運算；對得到的與運算結果采用或運算及形態學、中值濾波等進行后處理，實現動背景下視頻對象的快速有效分割。所述步驟(I)中對于當前第K-2幀、第K-I幀、第K+1幀、第K+2幀與參考幀K幀中分成的8X8宏塊進行預判斷及篩選，具體步驟如下由于在下述步驟中應用最小二乘法計算全局運動參數的時候，很多誤差大的宏塊被直接刪除，如果能夠在最小二乘法運算之前將誤差大的宏塊剔除，將顯著的提高運算速度，并降低運算量。而決定宏塊誤差大小、影響計算準確性的重要因素便是宏塊的紋理信息，也就是梯度信息。本部分提出的宏塊預判斷及篩選的方法正是從宏塊的梯度信息出發，根據設定的閾值對于宏塊進行篩選抑或保留，當宏塊的信息量小于該閾值時，對該宏塊進行篩選，不作為下述步驟中參與塊匹配的宏塊；當信息量大于該閾值時，則對宏塊進行保留，作為有效特征塊參與進行下述的運動估計等運算。其主要步驟如下第一步將每一幀分成8X8子塊，經試驗證明，若采用分成16X16子塊的形式則計算量過大，若分成4X4子塊則塊匹配等方法不夠精確，故采用8X8子塊的形式；第二步采用Sobel算子得到每一幀的梯度圖，將梯度信息作為宏塊剔除的判斷依據；|ν/(χ，7)| = magiVfix, y)) = ^Gv2+C /其中|Y/Xx，)0|表示該點的梯度信息，Gx、Gy分別表示偏導數。第三步計算每一個宏塊的梯度量；以8X8子塊為例，其梯度信息量為|V/(x,v)8x8| = XX|V/(xjO|第四步確定宏塊預斷的閾值，一般保留所有宏塊的40%，根據這個確定的值，對所有宏塊的梯度量進行排序，確定保留40%下宏塊篩選的最佳閾值T ；第五步完成對于宏塊的篩選，若其梯度信息量>T，則對宏塊進行保留，作為有效特征塊參與進行下述的運動估計等運算；若其梯度信息量〈Τ，對該宏塊進行篩選，不作為下述步驟中參與塊匹配的宏塊。所述步驟(2)中的分別以Κ-2巾貞、K-I巾貞、Κ+1巾貞、Κ+2幀作為當前幀，以K幀作為參考幀，對篩選后的宏塊采用SAD準則、NCDS搜索策略進行塊匹配，并將塊匹配求得的運動矢量場利用最小二乘法獲得攝像機六參數模型，其具體步驟如下(i)塊匹配準則SAD本部分采用SAD塊匹配準則，該準則不僅能夠找到最佳匹配點，并且計算量小、耗時短。
SAD(i, /) = ΣΣ|Λ (m，—fk-i (m + ^ +i)|
m=\ n=l其中(i，j)為位移量，fk和&分別為當前幀和上一幀的灰度值，MXN為宏塊的大小，若在某一點處SAD(i，j)達到最小，則該點為要找的最優匹配點。(ii)新型十字形菱形搜索策略(NCDS)該部分的新型十字形菱形運動估計搜索方法分為兩種模式十字模式和菱形模式，如圖2所示，其中十字模式分為大十字模式和小十字模式，菱形模式分為大菱形模式和小菱形模式。本部分的十字形菱形搜索方法的前兩步采用小十字模式，而并非傳統的十字菱形搜索方法中首先使用大十字模式進行搜索，從而使得在靜止塊和準靜止塊中，可以用更少的搜索點便可找到匹配塊。然后搜索大十字模式沒有搜索到的點和準靜止區域中沒有搜索到的點，為下面的菱形搜索找到更精確的搜索方向。圖3為本實施例的一種十字菱形搜索方法，具體步驟如下第一步(小十字模式)在小十字模式的5個搜索點中，應用改進的部分塊失真準貝U，找出最小塊失真(MBD)所在點，如果最小塊失真MBD點在小十字模式的中心，則一步搜索停止，得到最終要求的運動矢量MV(0，O);否則，進入第二步；第二步(小十字模式)以第一步所搜索的最小塊失真MBD點為中心構造新的小十字模式，搜尋3個新的搜索點，應用改進的部分塊失真準則，找出新的最小塊失真MBD點，如果該點在小十字模式的中心，則二步搜索停止，得到最終要求的運動矢量MV(±1，O)或(0，±1);否則，進入第三步；第三步(大十字模式)搜索大十字模式3個還沒有搜索到的點，應用改進的部分塊失真準則，找出新的最小塊失真MBD點，以作為下一步搜索的中心；第四步(大菱形模式)以第三步中的最小塊失真MBD點為中心，構造大菱形搜索模式，應用改進的部分塊失真準則，找出新的最小塊失真MBD點，如果該點在大菱形的中心，進入第五步；否則，繼續第四步；第五步(小菱形模式)以第四步中的最小塊失真MBD點為中心，構造小菱形搜索模式，應用改進的部分塊失真準則，找出新的最小塊失真MBD點。該點所對應的向量即為最終要求的運動矢量。采用改進的部分塊失真準則搜索所述的最小塊失真MBD點，改進的部分塊失真準則具體如下
在塊匹配方法BMA中，改進的部分塊失真準則只使用塊其中的一部分像素就可以對失真度有較好的度量。定義塊的大小為16 X 16，第η幀左上角坐標為(m，η)的塊與第η_1幀左上角坐標為(m+p, n+q)的塊間的失真度量SAD值由下式給出
15 15SAD{n%n,p,q)=Yy\fXm+i,n+j)-f^{m+p+i,n+q+ji
I=Oj=O 其中，fn(m+i, n+j)表示第η幀坐標為(m+i，n+j)像素點的像素值。將失真度量SAD(m, n;p, q)分成16個部分失真度量sadk(m, n;p, q) (k=l, 2，…，16)。第k個部分失真度量的定義如下式所示sadk(/ ,廠，y} = [[|./,；(m + 4i +sk,n + 4;+tk)-fn_x(m + p + 4/ + .v,,n + q + 4/ + Ik )|
=θ /=O其中sk，tk分別為第k個部分失真度量所用左上角像素點相對于塊左上角的水平和垂直偏移。部分失真度量sadk(m, η;P, q) (k=l, 2，…，16)的計算順序如圖4方框內序號所示。第k次累加部分失真度量的定義如下式所示
kSAJ\ (/ ,p, q) = Z Sitdi (m, 〃； /;, q)如果第k次累加部分失真度量滿足16 X SADk (m, η; p, q) >k X min (SAD)其中min(SAD)是搜索過程中當前得到的最小失真，k為自己設定的整數，取值范圍為3 < k < 16，則認為該點不可能為匹配點。否則，繼續計算第k+Ι次累加部分失真度量SADk+1 (m, η; p, q),再進行比較。(iii)最小二乘法獲得攝像機六參數模型選取步驟⑴中獲取到的當前幀K-2幀、K-I幀、K+1幀、K+2幀中兩側子塊作為特征塊，將經過(i) ( )步驟獲得的運動矢量代入攝像機六參數模型(如下式)后，采用最小二乘法估計參數％、m2、n0> Ii1 > n2。6參數仿射變換模型可以對平移、旋轉、縮放運動進行建模，其定義如下
I χ' = / /,. + ηι,χ + m^ V^101 2,
[y =ηη + ηγχ + η2γ其中mQ和nQ分別表示像素點在χ和y方向的平移幅度，Hi1,叫、m2、n2四個參數描述了縮放和旋轉轉動。所述步驟(3)中的通過運動補償分別獲得當前幀K-2幀、K-I幀、K+1幀、K+2幀的重建幀K-2’、K-1’、K+1’、K+2’，其具體內容如下對于當前幀K-2幀、K-I幀、K+1幀、K+2幀中的每一個點根據上述獲取的攝像機模型，計算其分別在參考幀K中的對應位置并對其進行賦值，從而實現對于κ-2幀、K-I幀、K+1幀、K+2幀的全局運動補償，使補償后的重建幀Κ-2’、Κ-Γ、Κ+1’、Κ+2’與參考幀K的背景對齊，從而實現下述結合邊緣信息、自適應最大方差閾值的基于新型十字形菱形運動估計及五幀背景對齊的動背景下視頻分割方法。所述步驟(4)中的采用Prewitt算子提取邊緣信息，并分別與參考幀K邊緣進行差分，并采用最大方差閾值進行二值化，其具體步驟如下(i) Prewitt算子提取邊緣信息，并與參考幀K邊緣進行差分邊緣檢測算子種類很多，這里選擇Prewitt邊緣檢測算子對于重建幀K_2’、Κ_1’、Κ+1’、Κ+2’及參考幀K幀進行邊緣特征提取。Prewitt算子可以用模板卷積來實現fs(x, y) = |f(x, y) XGx| + |f(x, y) XGy
—-I O Il Γ I I I —其中GY=-101 G1 = O O O
—I O IJ [-1 —I —I·應用Prewitt算子對于重建幀K-2’、Κ-Γ、K+1’、K+2’及參考幀K幀分別提取邊緣的結果為fk-2, (x，y)、fVi, (x，y)、fk+i, (χ, y) > fk+2- (χ，y)及 fk(x，y)。對重建幀K-2’、Κ_Γ、Κ+1’、Κ+2’分別與K幀的邊緣進行圖像差分運算，求得幀差屯、d2、d3、d4,其中中貞差(I1=I fk_2，(x, y) -fk (χ, y) | ,中貞差 d2= | fk_r (x, y) -fk (x, y)中貞差d3= I fk+1, (x, y) -fk (x, y) I，中貞差 d4= | fk+2, (x, y) -fk (χ, y)( )采用最大方差閾值進行二值化最大方差閾值是一種自適應的閾值確定方法，它以最佳門限將圖像的直方圖分成兩組，當兩組間的方差為最大時，決定閾值。所以本部分采用這種方法來實現邊緣圖像差分結果的二值化。設一幅圖像的灰度值為(Tm-I級，灰度值i的像素數為Iii，則總的像素點數
m-iH1
i=Q
η.各值的概率為設最佳閾值為T，用閾值T將像素分成兩組Ctl= {(ΓΤ-1}和C1= {Γπι-1}，C0和C1產生的概率及平均值由以下公式得出
T-IC。產生的概率Wd =Z凡= W(F)
I=Q
m—iC1 產生的概率 W1 =Y4P1=I-Wn
i=TC0 的平均值A =Σ—=
=0 hV ；
ιι-μ(Τ)C1 的平均值# = = TTV其中"=XΨ； Φ(Π = f Ρ,
i=Q =0則全部采樣的灰度平均值為μ =Wtl μ Q+Wl μ ι兩組間的方差
權利要求
1.應用于一種基于新型十字菱形搜索及五幀背景對齊的動背景視頻對象提取，其特征在于包括以下步驟 (1)將第K-2幀、第K-I幀、參考幀K幀、第K+1幀與第K+2幀分別分成8X8宏塊，根據紋理信息對該五幀中所有宏塊進行預判斷、篩選； (2)對上述篩選后的宏塊采用SAD準則、新型十字形菱形搜索策略(NCDS)進行塊匹配，分別以第K-2幀、第K-I幀、第K+1幀與第K+2幀作為當前幀，以第K幀作為參考幀，得到該四幀相對于參考幀K幀的運動矢量場，并通過最小二乘法計算全局運動參數，獲得攝像機六參數模型； (3)對第K-2幀進行運動補償，使第K-2幀與第K幀背景對齊，得到重建幀K-2’，按照同樣的方法對第K-I幀、第K+1幀與第K+2幀進行運動補償，使第K-I幀、第K+1幀及第K+2幀分別與第K幀背景對齊，并得到重建幀K-Γ、重建幀K+Γ及重建幀K+2’ ； (4)對重建幀Κ-2’、Κ-Γ、Κ+1’、Κ+2’及參考幀K幀分別采用Prewitt算子提取邊緣信息，并分別計算其相對于參考幀K邊緣的幀差屯、d2、d3、d4，采用最大方差閾值方法進行二值化； (5)分別對連續五幀前兩幀和后兩幀得到的幀差二值化結果進行與運算；對得到的與運算結果采用或運算及形態學、中值濾波等進行后處理，實現動背景下視頻對象的快速有效分割。
2.根據權利要求I所述的方法，其特征在于所述步驟(I)的對于當前第K-2幀、第K-I幀、第K+1幀、第K+2幀與參考幀K幀中分成的8X8宏塊進行預判斷及篩選，具體步驟如下 由于在下述步驟中應用最小二乘法計算全局運動參數的時候，很多誤差大的宏塊被直接刪除，如果能夠在最小二乘法運算之前將誤差大的宏塊剔除，將顯著的提高運算速度，并降低運算量。而決定宏塊誤差大小、影響計算準確性的重要因素便是宏塊的紋理信息，也就是梯度信息。本部分提出的宏塊預判斷及篩選的方法正是從宏塊的梯度信息出發，根據設定的閾值對于宏塊進行篩選抑或保留，當宏塊的信息量小于該閾值時，對該宏塊進行篩選，不作為下述步驟中參與塊匹配的宏塊；當信息量大于該閾值時，則對宏塊進行保留，作為有效特征塊參與進行下述的運動估計等運算。
其主要步驟如下 第一步將每一幀分成8X8子塊，經試驗證明，若采用分成16X 16子塊的形式則計算量過大，若分成4X4子塊則塊匹配等方法不夠精確，故采用8X8子塊的形式； 第二步采用Sobel算子得到每一幀的梯度圖，將梯度信息作為宏塊剔除的判斷依據； IW(U)I = magiVf^y))=機2 +Gy2 其中|V/(U)|表示該點的梯度信息，Gx、Gy分別表示偏導數。
第三步計算每一個宏塊的梯度量；以8X8子塊為例，其梯度信息量為|ν/ ·ν,>),,|=ΣΣΙν/(^ν)|i=\ J=I 第四步確定宏塊預斷的閾值，一般保留所有宏塊的40%，根據這個確定的值，對所有宏塊的梯度量進行排序，確定保留40%下宏塊篩選的最佳閾值T ;第五步完成對于宏塊的篩選，若其梯度信息量〉T，則對宏塊進行保留，作為有效特征塊參與進行下述的運動估計等運算；若其梯度信息量〈Τ，對該宏塊進行篩選，不作為下述步驟中參與塊匹配的宏塊。
3.根據權利要求I所述的方法，其特征在于所述步驟(2)的分別以Κ-2幀、K-I幀、Κ+1幀、Κ+2幀作為當前幀，以K幀作為參考幀，對篩選后的宏塊采用SAD準則、NCDS搜索策略進行塊匹配，并將塊匹配求得的運動矢量場利用最小二乘法獲得攝像機六參數模型，其具體步驟如下 (i)塊匹配準則SAD 本部分采用SAD塊匹配準則，該準則不僅能夠找到最佳匹配點，并且計算量小、耗時短。
4.根據權利要求I所述的方法，其特征在于所述步驟(3)的通過運動補償分別獲得當前幀K-2幀、K-I幀、K+1幀及K+2幀的重建幀Κ-2’、Κ-Γ、K+1’、K+2’，其具體內容如下 對于當前幀Κ-2幀、K-I幀、Κ+1幀及Κ+2幀中的每一個點根據上述獲取的攝像機模型，計算其分別在參考幀K中的對應位置并對其進行賦值，從而實現對于Κ-2幀、K-I幀、Κ+1幀及Κ+2幀的全局運動補償，使補償后的重建幀Κ-2’、Κ-Γ、Κ+1’、Κ+2’與參考幀K的背景對齊，從而實現下述結合邊緣信息、自適應最大方差閾值的基于新型十字形菱形運動估計及五幀背景對齊的動背景下視頻分割方法。
5.根據權利要求I所述的方法，其特征在于所述步驟(4)的采用Prewitt算子提取邊緣信息，并分別與參考幀K邊緣進行差分，采用最大方差閾值進行二值化，其具體步驟如下(i)Prewitt算子提取邊緣信息,并與參考巾貞K邊緣進行差分 邊緣檢測算子種類很多，這里選擇Prewitt邊緣檢測算子對于重建幀K-2’、K-Γ、Κ+1’、Κ+2’及參考幀K幀進行邊緣特征提取。
Prewitt算子可以用模板卷積來實現
6.根據權利要求I所述的方法，其特征在于所述步驟(5)的對連續五幀前兩幀和后兩幀得到的幀差二值化結果分別進行與運算，并經過或運算及濾波等后處理 對上述二值化結果OtusBuf I、OtusBuf2、OtusBuf3、OtusBuf4進行與運算，與運算的結果如下
全文摘要
本發明公開了基于新型十字菱形搜索及五幀背景對齊的動背景視頻對象提取，包括如下步驟首先將K-2幀、K-1幀、參考幀K、K+1幀與K+2幀分成8×8宏塊，并對宏塊進行篩選；對篩選后的宏塊采用新型十字形菱形運動估計方法進行塊匹配，分別得到上述四幀相對于參考幀的運動矢量場，并通過最小二乘法計算全局運動參數；對第K-2幀、K-1幀、K+1幀與K+2幀分別進行運動補償，使該四幀與參考幀背景對齊，并得到四幀的重建幀；對重建幀K-2'、K-1'、K+1'、K+2'及參考幀分別采用Prewitt算子提取邊緣信息，計算相對于參考幀邊緣的幀差，最大方差閾值二值化；分別對連續五幀前兩幀和后兩幀得到的幀差進行與運算；最后進行或運算并做后處理，實現動背景下快速有效分割。
文檔編號G06T7/20GK102917224SQ20121039816
公開日2013年2月6日 申請日期2012年10月18日 優先權日2012年10月18日
發明者祝世平, 郭智超 申請人:北京航空航天大學