一種基于視覺的運動特征提取方法
【專利摘要】本發明涉及一種基于視覺的運動特征提取方法，具體包括以下步驟：步驟S1：基于連續幀提取每個像素點的運動矢量；步驟S2：提取在X、Y、T方向像素值強烈變化的特征點；步驟S3：以特征點為中心，構建基于運動矢量的方向?幅值直方圖的立方本特征向量；步驟S4：通過聚類算法對局部描述子形成編碼向量。該方法所提取的基于運動矢量的時空特征描述可以較好捕捉運動目標的運動信息，聚類重編碼可以形成運動特征的詞典頻率，提高時空中運動目標的檢測和識別結果。
【專利說明】
一種基于視覺的運動特征提取方法
技術領域
[0001]本發明涉及計算機視覺、圖像處理技術領域，特別是一種基于視覺的運動特征提取方法。
【背景技術】
[0002]隨著國家電網數字檔案館深化應用與推廣實施工作的開展，電子檔案得到了規范化管理和高效化使用。基于音視頻智能化處理新技術和新方法等被引入到電子檔案管理中，以解決視頻文件大規模存儲、處理和檢索等難題。智能視頻分析是計算機視覺中非常活躍的一領域，其中基于視頻的運動物體的運動特征提取技術，更是智能視頻分析研究的熱點。智能視頻技術在不需要人為干預的情況下，對視頻數據進行自動分析，提取目標的細節信息，對目標進行辨識或活動狀態進行理解和分析，實現目標的檢測、識別和跟蹤。把基于視頻的智能信息處理引入數字電子檔案館中，可以減少大量人力，增強自動監控能力，同時節約資源，具有深遠的科研意義和廣泛的商業價值。
[0003]對運動目標進行特征點提取是生成動運特征描述的關鍵。傳統的運動特征提取方法通常是先根據目標輪廓、紋理等信息檢測到目標，接著生成運動信息。由于需要對目標進行差分、跟蹤，背景建模等處理，這類方法容易受到光照、噪聲、遮擋、攝像頭運動等因素的影響。從圖像中提取運動目標的時空特征點是目標檢測較好的算法，因為這些點是像素值在時空域內劇烈變化的點，它們包含了豐富的運動信息，同時也具有較強的穩定性，克服了背景建模等步驟帶來的問題。
[0004]時空特征點反映了運動目標發生顯著變化的位置，但他們只是一些孤立的點，還難以通過這些點表示目標的運動信息。通常利用特征點周圍的時空信息對這些點進行描述，即為時空特征點的描述構建過程。以時空特征點為中心的小立方體提取一維向量，一般可包含局部梯度、速度信息。
[0005]基于特征點和特征點描述子的運動特征提取算法可以參見P1tr D.,VincentR.，et al Behav1r Recognit1n via Sparse Spat1-Temporal Features，2005;該文比較了2D特征點與3D特征點的檢測效果，并提出基于時空的特征描述算子。Marcin M., IvanL.,et al Act1n in Context，2007;該文比較了3D-Harris與2D-Harris特征點提取算法，使用了HOF and H0G、Sift特征描述子算法，并引入Bag-of-features的視頻編碼技術。
【發明內容】
[0006]有鑒于此，本發明的目的是提供一種基于視覺的運動特征提取方法，該方法所提取的基于運動矢量的時空特征描述可以較好捕捉運動目標的運動信息，聚類重編碼可以形成運動特征的詞典頻率，提高時空中運動目標的檢測和識別結果。
[0007]本發明采用以下方案實現:一種基于視覺的運動特征提取方法，具體包括以下步驟:
[0008]步驟S1:基于連續幀提取每個像素點的運動矢量；
[0009]步驟S2:提取在X、Y、T方向像素值強烈變化的特征點；
[0010]步驟S3:以特征點為中心，構建基于運動矢量的方向-幅值直方圖的立方本特征向量；
[0011]步驟S4:通過聚類算法對局部描述子形成編碼向量。
[0012]進一步地，所述步驟SI中，基于連續幀提取每個像素點的運動矢量的具體步驟如下:
[0013]步驟Sll:令i= l，獲得第i幀圖像I(x，i);
[0014]步驟S12:獲得第i+1幀圖像I(x，i+1);
[0015]步驟S13:對圖像灰度化與去噪的預處理，得到圖像I’(x，i)和I’(X，i+1);
[0016]步驟S14:根據相鄰兩幀時間間隔很小時，圖像的灰度變化也很小的前提下得到的約束方程I’XVx+1’yVy = O，計算得到運動矢量(Vx，Vy)。
[0017]進一步地，所述步驟S2中，提取在X、Y、T方向像素值強烈變化的特征點的具體步驟如下:
[0018]步驟S21:構建基于立方體的DOG高斯金字塔，DOG公式如下:
[0019]D(x，y，z，kjO) = L(x，y，z，k1)-L(x，y，z，kjO)
[0020]公式中，尺度空間L(x，y，z，ko)=G(x，y，z，ko)*I(x，y，z)，其中為I(x，y，z)輸入體積，G (X，y，z，ko)是尺度為ko的高斯三維濾波器；
[0021 ] 步驟S22:計算DOG局部極值點，即為特征點。
[0022]進一步地，所述步驟S3中，以特征點為中心，構建基于運動矢量的方向-幅值直方圖的立方本特征向量的具體步驟如下:
[0023]步驟S31:計算每個像素點的運動矢量的方向和幅值，為圖像劃分區域，以Cell區域為單位建方向-幅值矢量直方圖；
[0024]步驟S32:以特征點為中心，串聯立方體內的矢量直方圖形成運動描述子。
[0025]進一步地，所述步驟S4中，通過聚類算法對局部描述子形成編碼向量的具體步驟如下:
[0026]步驟S41:使用所述步驟S32得到的描述子進行聚類，得到每類的質心；
[0027]步驟S42:使用歐式距離統計指定區域內每一類的頻數，形成編碼向量。
[0028]與現有技術相比，本發明具有以下突出優點:該方法考慮時空域內劇烈變化的點，不需要對運動目標進行檢測與跟蹤，也不需要進行背景建模。以特征點為中心構建立方體的運動描述子，其中包含了輪廓信息、速度信息等，提供了對著感興趣運動目標的運動的理解與分析的方法;通過聚類過程形成頻率編碼向量，構建了指定區域內運動描述子的統計?目息O
【附圖說明】
[0029]圖1是本發明基于視覺的感興趣目標的運動特征提取流程圖。
[0030]圖2是本發明關于高斯金字塔的構建過程圖。
[0031]圖3是本發明關于高斯空間的關鍵點的示意圖。
[0032]圖4是本發明關于構建速度矢量的特征描述子的流程圖。
【具體實施方式】
[0033]下面結合附圖及實施例對本發明做進一步說明。
[0034]本實施例提供一種基于視覺的運動特征提取方法，如圖1所示，具體包括以下步驟:
[0035]步驟S1:基于連續幀提取每個像素點的運動矢量；
[0036]步驟S2:提取在X、Y、T方向像素值強烈變化的特征點；
[0037]步驟S3:以特征點為中心，構建基于運動矢量的方向-幅值直方圖的立方本特征向量；
[0038]步驟S4:通過聚類算法對局部描述子形成編碼向量。
[0039]在本實施例中，所述步驟SI中，基于連續幀提取每個像素點的運動矢量的具體步驟如下:
[0040]步驟Sll:令i= l，獲得第i幀圖像I(x，i);
[0041]步驟S12:獲得第i+1幀圖像I(x，i+1);
[0042]步驟S13:對圖像灰度化與去噪的預處理，得到圖像I’(x，i)和I’(X，i+1);
[0043]步驟S14:根據相鄰兩幀時間間隔很小時，圖像的灰度變化也很小的前提下得到的約束方程I’xVx+1’yVy = O，計算得到運動矢量(Vx，Vy)。
[0044]在本實施例中，所述步驟S2中，提取在X、Y、T方向像素值強烈變化的特征點的具體步驟如下:
[0045]步驟S21:構建基于立方體的DOG高斯金字塔，DOG公式如下:
[0046]D(x，y，z，kjO) = L(x，y，z，k1)-L(x，y，z，kjO)
[0047]公式中，尺度空間L(x，y，z，ko)=G(x，y，z，ko)*I(x，y，z)，其中為I(x，y，z)輸入體積，G (X，y，z，ko)是尺度為ko的高斯三維濾波器；
[0048]高斯金字塔的構建過程如圖2所示，左側一列是尺度金字塔，分別是由原視頻立方體產生的尺度為的高斯尺度空間。右則的高斯金字塔每一層是由左側的相鄰尺度的高斯空間相減得到的；
[0049]步驟S22:計算DOG局部極值點，即為特征點；
[0050]特征點是DOG空間內的局部最大或最小的點。圖3是得到局部極值點一實例，其中候選關鍵點為于一5*5*5的立方體中心的黑實心點，通過與立方體內的所有相領取點比較，可知中心是否為關鍵點。
[0051]在本實施例中，所述步驟S3中，以特征點為中心，構建基于運動矢量的方向-幅值直方圖的立方本特征向量的具體步驟如下:
[0052]步驟S31:計算每個像素點的運動矢量的方向和幅值，為圖像劃分區域，以Cell區域為單位建方向-幅值矢量直方圖；在指定的小區域(如Cell = 4*4)內按加權投票構建方向-幅值的直方圖，并在區域(如Block = 8*8)做歸一化處理。在一個更大的區域(如Win =16*16)內收集所有的直方圖，得到矢量直方圖運動描述子，其過程如圖4;
[0053]步驟S32:以特征點為中心，串聯立方體內的矢量直方圖形成運動描述子。
[0054]在本實施例中，所述步驟S4中，通過聚類算法對局部描述子形成編碼向量的具體步驟如下:
[0055]步驟S41:使用所述步驟S32得到的描述子進行聚類，得到每類的質心；
[0056]步驟S42:使用歐式距離統計指定區域內每一類的頻數，形成編碼向量。
[0057]以上所述僅為本發明的較佳實施例，凡依本發明申請專利范圍所做的均等變化與修飾，皆應屬本發明的涵蓋范圍。
【主權項】
1.一種基于視覺的運動特征提取方法，其特征在于:具體包括以下步驟: 步驟SI:基于連續幀提取每個像素點的運動矢量； 步驟S2:提取在X、Y、T方向像素值強烈變化的特征點； 步驟S3:以特征點為中心，構建基于運動矢量的方向-幅值直方圖的立方本特征向量； 步驟S4:通過聚類算法對局部描述子形成編碼向量。2.根據權利要求1所述的一種基于視覺的運動特征提取方法，其特征在于:所述步驟SI中，基于連續幀提取每個像素點的運動矢量的具體步驟如下: 步驟SI 1:令i = I，獲得第i幀圖像I (X，i)； 步驟312:獲得第1+1幀圖像1&4+1); 步驟S13:對圖像灰度化與去噪的預處理，得到圖像和I’(x，i+1); 步驟S14:根據相鄰兩幀時間間隔很小時，圖像的灰度變化也很小的前提下得到的約束方程1、\^+1’7\^ = 0，計算得到運動矢量(\^，'\^)。3.根據權利要求1所述的一種基于視覺的運動特征提取方法，其特征在于:所述步驟S2中，提取在X、Y、T方向像素值強烈變化的特征點的具體步驟如下: 步驟S21:構建基于立方體的DOG高斯金字塔，DOG公式如下: D(x，y，z，kjO) = L(x，y，z，k1)-L(x，y，z，kjO) 公式中，尺度空間1^(1，7，2，1^0)=6(1，7，2，1^0)*1(1，7，2)，其中為1(1，7，2)輸入體積，6(X，y，z，ko)是尺度為ko的高斯三維濾波器； 步驟S22:計算DOG局部極值點，即為特征點。4.根據權利要求1所述的一種基于視覺的運動特征提取方法，其特征在于:所述步驟S3中，以特征點為中心，構建基于運動矢量的方向-幅值直方圖的立方本特征向量的具體步驟如下: 步驟S31:計算每個像素點的運動矢量的方向和幅值，為圖像劃分區域，以Cell區域為單位建方向-幅值矢量直方圖； 步驟S32:以特征點為中心，串聯立方體內的矢量直方圖形成運動描述子。5.根據權利要求1所述的一種基于視覺的運動特征提取方法，其特征在于:所述步驟S4中，通過聚類算法對局部描述子形成編碼向量的具體步驟如下: 步驟S41:使用所述步驟S32得到的描述子進行聚類，得到每類的質心； 步驟S42:使用歐式距離統計指定區域內每一類的頻數，形成編碼向量。
【文檔編號】G06T7/20GK105957103SQ201610248526
【公開日】2016年9月21日
【申請日】2016年4月20日
【發明人】李霆, 蔡宇翔, 蔡力軍, 蘇運東, 付婷, 肖琦敏, 曾偉波, 倪時龍, 呂君玉, 許成功
【申請人】國網福建省電力有限公司, 國家電網公司, 國網福建省電力有限公司信息通信分公司, 福建億榕信息技術有限公司, 國網信息通信產業集團有限公司, 國網信通億力科技有限責任公司