專利名稱：一種人群劇烈運動的檢測方法及裝置的制作方法
技術領域：
本發明涉及圖像處理、視頻監控，特別涉及一種人群劇烈運動的檢測方法及裝置。
背景技術：
為了保障社會治安的穩定和人民生活的安定，我國各大中型城市中陸續安裝了視頻監控裝置。這些視頻監控裝置根據應用的場所，需要具備不同的檢測功能。其中，在諸如車站、機場、超市、商業街區、運動場等的重要公共場所中，對人群異常行為的檢測十分重要。 國際專利申請W0 2007/064559A1公開了一種異常人群行為的檢測方法，該方法首先檢測場景中的人群團塊，然后通過計算團塊的熵值來分析人群的行為(如打架斗毆)。然而，對于復雜的實際場景，上述方法并不能準確地檢測出人群的異常行為，因此并不能廣泛地得以推廣應用。 綜上所述，目前迫切需要提出一種能簡單、有效的檢測人群劇烈運動的檢測方法。
發明內容
有鑒于此，本發明的主要目的在于提供一種能夠解決諸如車站、機場、超市、商業街區、運動場等的重要公共場所中人群劇烈運動的檢測方法及裝置。 為達到上述目的，按照本發明的第一個方面，提供了一種人群劇烈運動的檢測方法，該方法包括 第一步驟，獲取視頻幀圖像，并對彩色的幀圖像進行灰度化處理； 第二步驟，采用光流法獲得兩幀圖像的相對運動； 第三步驟，根據光流的相對運動，獲取能量變化的歷史圖； 第四步驟，以能量變化的歷史圖為模板，計算方向變化大的像素點并獲取劇烈運動的歷史圖； 第五步驟，將劇烈運動的歷史圖二值化，判斷其二值化的連通區域是否屬于劇烈運動區域；和 第六步驟，標示劇烈運動的區域并輸出。 按照本發明的另一個方面，提供了一種人群劇烈運動的檢測裝置，該裝置包括
視頻獲取及預處理單元，用于獲取視頻幀圖像，并對彩色的幀圖像進行灰度化處理； 光流的相對運動計算單元，用于采用光流法獲得兩幀圖像的相對運動； 能量變化的歷史圖獲取單元，用于根據光流的相對運動，獲取能量變化的歷史
圖； 劇烈運動的歷史圖獲取單元，用于以能量變化的歷史圖為模板，計算方向變化大的像素點并獲取劇烈運動的歷史圖； 劇烈運動區域獲取單元，用于將劇烈運動的歷史圖二值化，判斷其二值化的連通區域是否屬于劇烈運動區域；禾口 劇烈運動區域標示及輸出單元，用于標示劇烈運動的區域并輸出。
圖1示出了按照本發明的人群劇烈運動的檢測方法的流程圖； 圖2示出了按照本發明的第三步驟的流程圖； 圖3示出了按照本發明的第五步驟的流程圖； 圖4示出了按照本發明的人群劇烈運動的檢測裝置的框架圖； 圖5示出了按照本發明的能量變化的歷史圖獲取單元3的框架圖； 圖6示出了按照本發明的劇烈運動區域獲取單元5的框架圖。
具體實施例方式
為使本發明的目的、技術方案和優點更加清楚明白，下面結合實施例和附圖，對本發明進一步詳細說明。 圖1表示按照本發明的人群劇烈運動的檢測方法的流程圖。如圖1所示，按照本發明的人群劇烈運動的檢測方法可以包括 第一步驟101，獲取視頻幀圖像，并對彩色的幀圖像進行灰度化處理； 第二步驟102，采用光流法獲得兩幀圖像的相對運動； 第三步驟103，根據光流的相對運動，獲取能量變化的歷史圖； 第四步驟104，以能量變化的歷史圖為模板，計算方向變化大的像素點并獲取劇烈
運動的歷史圖； 第五步驟105，將劇烈運動的歷史圖二值化，判斷其二值化的連通區域是否屬于劇烈運動區域；禾口 第六步驟106，標示劇烈運動的區域并輸出。
第一步驟 本步驟首先獲取從現場相機中采集的視頻流，通過解碼轉換為幀圖像；然后對得到的幀圖像進行灰度化處理，將彩色圖像轉換為灰度圖像(如果從現場相機獲取的是灰度圖像就不需要進行灰度化處理)。
第二步驟 本步驟中利用光流方法計算連續兩幀圖像的運動圖像。光流方法計算基于兩種假設，即連續兩幀圖像中，對應像素點的運動很小且灰度變化很小。連續兩幀圖像的光流方向圖的計算公式為(參見B. K. PHorn和B. G. Schunk所著的《Determining optical flow》(Artificiallntelligence，17 :185-203，1981)):<formula>formula see original document page 6</formula>
其中，I表示當前幀圖像，Ix表示當前幀圖像x方向的導數，Iy表示當前幀圖像y方向的導數，It表示當前幀圖像與前一幀圖像的差分圖像，^表示n次迭代時每個像素點周圍四連通的在X方向上的位移的平均值，7表示n次迭代時每個像素點周圍四連通的在y方向上的位移的平均值，un+1表示n+1次迭代后每個像素點在X方向上的位移，vn+1表示n+l次迭代后每個像素點在X方向上的位移，(x，y)表示像素點。n為迭代次數，a為平滑度調節參數。迭代的方法得到相鄰兩幀圖像的光流方向圖(un+1，vn+1)。 (un+1(x，y)， vn+1(x，y))表示像素點(x，y)在n+l次迭代后位移方向的矢量圖)，該光流方向圖即為相鄰兩幀圖像的運動圖像。其中，u、v的初始值為0。)
第三步驟 圖2示出了按照本發明的第三步驟的流程圖。如圖2所示，按照本發明的第三步驟可以進一步包括 步驟201，根據光流的相對運動，獲取能量變化。當前幀圖像像素點(x，y)的能量變化DE^的計算公式如下DE^O,力^和LO,力+《(X力-^/《r(X力+《r(X力 其中，iw(x，y)、v^(x，y)分別表示當前幀運動圖像中像素點(x，y)在X方向、Y方向上的光流方向，iV(x， y) 、 vpCT(x， y)分別表示前一幀運動圖像中像素點(x， y)在X方向、Y方向上的光流方向。 步驟202，根據當前幀的能量變化，獲取相應地歷史圖。如果當前幀圖像中像素點(x，y)的能量變化DE^(x，y) ^第一閾值T1，能量變化歷史圖中像素點(x，y)的像素值為DEJU(x， y) = 255 ;如果當前幀圖像中像素點(x， y)的能量變化DEeur (x， y) <第一閾值Tl，能量變化歷史圖中像素點(x， y)的像素值為DEJU(x， y) = DE。ur(x， y)-ALPHA (若DE_Hcur(x， y) 〈0，則將DEJU(x， y)置為0)。其中，第一閾值Tl可以取值為
，即0. 4《Tl《0. 6，優選為0. 5 ;ALPHA可以取值為[45，55]，即45《ALPHA《55且ALPHA為整數，優選為50。
第四步驟 首先計算光流的方向變化，其計算公式如下 DOcur (x， y) = | ucur (x， y) _uper (x， y) | +1 vcur (x， y) _vper (x， y) |其中，DOcur (x， y)表示當前幀圖像中像素點(x，y)的光流的方向變化。 然后以能量變化的歷史圖為模板，根據光流的方向變化，獲取劇烈運動的歷史圖。如果當前幀圖像中像素點(x，y)的光流的方向變化D(U(x，y) ^第二閾值T2，劇烈運動歷史圖中像素點(x， y)的像素值為DOJU(x， y) = 255 ;如果當前幀圖像中像素點(x， y)的能量變化D(U(x，y)〈第二閾值T2，劇烈運動歷史圖中像素點(x，y)的像素值為DO_H。OT (x，y) = DEcur(x， y)-ALPHA (若DOcur(x， y) < O，則將DOcur(x， y)置為0)。其中第二閾值T2取值為^/3。
第五步驟 圖3示出了按照本發明的第五步驟的流程圖。如圖3所示，圖3示出了按照本發明的第五步驟可以進一步包括 步驟301，獲取劇烈運動的二值圖像。將第四步驟輸出的劇烈運動歷史圖進行閾值分割以得到劇烈運動的二值圖像。可以通過一般的閾值分割方法實現，如梯度閾值法、最大類間方差法、最大熵法。實施例中，采用簡單的一維梯度閾值法設點(x，y)的像素值為4
7y，若fx，y ^第三閾值T3，則將fx,y賦予255 ;否則，將fx,y賦予0。其中，第三閾值T3可以取值為[100， 200]，即100《T3《200且T3為整數。 步驟302，獲取一段時間內劇烈運動二值圖像的歷史圖像。將一段時間內的步驟301獲取的劇烈運動的二值圖像進行累加，將累加的結果進行閾值判斷，以獲取該劇烈運動二值圖像的歷史圖像。統計一段時間內劇烈運動的二值圖像的歷史圖像，可以參見Zhaozheng Yin禾口 Robert Collins的文章《Moving Object Localization inThermalImagery by Forward-backward MHI》(Computer Vision and PatternRecognitionWorkshop, 2006. CVPRW' 06. Conference on， PublicationDate :17-22J騰2006， Pages :133)，劇烈運動二值圖像的歷史圖像中各像素像素值的計算公式如下MHIt(x， y)=MHIt—Jx， y)+D0_Ht(x， y)-P 。其中，D0_Ht(x， y)表示第t幀劇烈運動的二值圖像內點(x，y)的像素值，MHIt—Jx，y)、MHIt(x，y)分別表示第t_l、t幀劇烈運動的二值圖像的歷史圖像內點(x，y)的像素值，MHI。(x，y) = 0， P表示衰減因子。當MHIt(x，y) > 255時，MHIt (x，y) = 255 ;當MHIt(x，y) < 0時，MHIt(x，y) = 0。然后，對每幀劇烈運動的二值圖像的歷史圖像進行閾值判斷處理，當MHIt(x， y) ^第四閾值T4時，將歷史圖像內點(x， y)的像素值賦予l，即MHIt(x， y) = 1 ;否則，將歷史圖像內點(x， y)的像素值賦予0，即ffllt(x， y)=0。其中，第四閾值T4的取值范圍可以是[100，200]，即100《T4《200且T4為整數。
步驟303，獲取二值圖像的歷史圖像的連通區域。以步驟302獲取的二值圖像的歷史圖像中像素值為1的點為目標，對目標點進行連通區域標記。連通區域標記方法可以通過四連通域方法或八連通域方法實現。四連/八連通域的連通標記的方法是首先，對二值圖像的歷史圖像(即步驟302獲取的二值圖像的歷史圖像)施行逐行掃描，找到一個未標記區域的第一目標點，標記該點；檢查該點的四連/八連域點并標記滿足連通性要求的，且尚未被標記的目標點，同時將新增的標記點記錄下來作為"區域增長"的種子點。在后續的標記過程中，不斷地從記錄種子點的數組中取出一個種子，施行上述的操作，如此循環，直到記錄種子點的數組為空，一個連通區域標記結束。接著再標記下一個未標記的區域，直到二值圖像的歷史圖像(即步驟302獲取的二值圖像的歷史圖像)內所有連通區域都被標記。 步驟304，判斷連通區域是否屬于劇烈運動區域。統計每個連通區域內點的個數，若該個數〉第五閾值T5，則認為該連通區域屬于劇烈運動區域；否則認為該連通區域不屬于劇烈運動區域，并將該連通區域內的點的像素值置為0。其中，第五閾值T5的取值范圍可以是[800， 1200]，即800《T5《1200且T5為整數，T5優選為1000。
第六步驟 標記第五步驟獲取的劇烈運動區域并輸出。標記第五步驟獲取的劇烈運動區域可
以通過標記劇烈運動區域的邊緣實現，也可以通過標記劇烈運動區域的矩形框實現。其中，
標記劇烈運動區域的邊緣是指提取出劇烈運動區域的邊緣，可以通過梯度算法、Roberts梯
度算法、Sobel算法、Ca皿y算法、L即lace算法等現有的邊緣提取算法實現。 對應于人群劇烈運動的檢測方法，圖4示出了按照本發明的人群劇烈運動的檢測
裝置的框架圖。如圖4所示，按照本發明的人群劇烈運動的檢測裝置包括 視頻獲取及預處理單元l，用于獲取視頻幀圖像，并對彩色的幀圖像進行灰度化處
理；
光流的相對運動計算單元2，用于采用光流法獲得兩幀圖像的相對運動； 能量變化的歷史圖獲取單元3，用于根據光流的相對運動，獲取能量變化的歷史
圖； 劇烈運動的歷史圖獲取單元4，用于以能量變化的歷史圖為模板，計算方向變化大的像素點并獲取劇烈運動的歷史圖； 劇烈運動區域獲取單元5，用于將劇烈運動的歷史圖二值化，判斷其二值化的連通區域是否屬于劇烈運動區域；禾口 劇烈運動區域標示及輸出單元6，用于標示劇烈運動的區域并輸出。 對應于第三步驟的方法，圖5示出了按照本發明的能量變化的歷史圖獲取單元3
的框架圖。如圖5所示，能量變化的歷史圖獲取單元3包括 能量變化獲取模塊31，用于根據光流的相對運動，獲取能量變化； 能量變化歷史圖獲取模塊32，用于根據當前幀的能量變化，獲取相應地歷史圖。 對應于第五步驟的方法，圖6示出了按照本發明的劇烈運動區域獲取單元5的框
架圖。如圖6所示，劇烈運動區域獲取單元5包括 劇烈運動的二值圖像獲取模塊51，用于獲取劇烈運動的二值圖像； 二值圖像的歷史圖像獲取模塊52，用于獲取一段時間內劇烈運動二值圖像的歷史
圖像； 二值圖像的歷史圖像的連通區域獲取模塊53，用于獲取二值圖像的歷史圖像的連通區域； 劇烈運動區域判斷模塊54，用于判斷連通區域是否屬于劇烈運動區域。 與現有的行為檢測技術相比，按照本發明的人群劇烈運動檢測方法可以有效地檢
測人群的劇烈運動，如打架、斗毆。 以上所述，僅為本發明的較佳實施例而已，并非用于限定本發明的保護范圍，應當理解，本發明并不限于這里所描述的實現方案，這些實現方案描述的目的在于幫助本領域
中的技術人員實踐本發明。任何本領域中的技術人員很容易在不脫離本發明精神和范圍的情況下進行進一步的改進和完善，因此本發明只受到本發明權利要求的內容和范圍的限制，其意圖涵蓋所有包括在由所附權利要求所限定的本發明精神和范圍內的備選方案和等同方案。
權利要求
一種人群劇烈運動的檢測方法，其特征在于，該方法包括第一步驟，獲取視頻幀圖像，并對彩色的幀圖像進行灰度化處理；第二步驟，采用光流法獲得兩幀圖像的相對運動；第三步驟，根據光流的相對運動，獲取能量變化的歷史圖；第四步驟，以能量變化的歷史圖為模板，計算方向變化大的像素點并獲取劇烈運動的歷史圖；第五步驟，將劇烈運動的歷史圖二值化，判斷其二值化的連通區域是否屬于劇烈運動區域；和第六步驟，標示劇烈運動的區域并輸出。
2. 如權利要求1所述的方法，其特征在于，其中第二步驟中利用光流方法計算連續兩幀圖像的運動圖像。光流方法計算基于兩種假設，即連續兩幀圖像中，對應像素點的運動很小且灰度變化很小。連續兩幀圖像的光流方向圖的計算公式為<formula>formula see original document page 2</formula>其中，I表示當前幀圖像，Ix表示當前幀圖像x方向的導數，Iy表示當前幀圖像y方向的導數，It表示當前幀圖像與前一幀圖像的差分圖像，？表示n次迭代時每個像素點周圍四連通的在X方向上的位移的平均值，7表示n次迭代時每個像素點周圍四連通的在y方向上的位移的平均值，un+1表示n+1次迭代后每個像素點在X方向上的位移，vn+1表示n+1次迭代后每個像素點在X方向上的位移，(x，y)表示像素點。n為迭代次數，a為平滑度調節參數。迭代的方法得到相鄰兩幀圖像的光流方向圖(un+1， vn+1)。 (un+1(x， y)， vn+1(x， y))表示像素點(x， y)在n+l次迭代后位移方向的矢量圖)，該光流方向圖即為相鄰兩幀圖像的運動圖像。其中，u、v的初始值為0。)
3.如權利要求1所述的方法，其特征在于，其中第三步驟可以進一步包括步驟a)根據光流的相對運動，獲取能量變化。當前幀圖像像素點(x， y)的能量變化DE。OT的計算公式如下<formula>formula see original document page 2</formula>其中，u^(x，y)、v^(x，y)分別表示當前幀運動圖像中像素點(x， y)在X方向、Y方向上的光流方向，iV(x，y)、v^(x，y)分別表示前一幀運動圖像中像素點(x，y)在X方向、Y方向上的光流方向。步驟b)根據當前幀的能量變化，獲取相應地歷史圖。如果當前幀圖像中像素點(x，y)的能量變化DE^(x，y) ^第一閾值T1，能量變化歷史圖中像素點(x，y)的像素值為DE_H。ur(x，y) = 255;如果當前幀圖像中像素點(x，y)的能量變化DE。ur(x，y)〈第一閾值T1，能量變化歷史圖中像素點(x，y)的像素值為DEJlcur(x，y) = DE。ur (x， y)-ALPHA(若DE_H。ur (x，y) < 0，則將DEJU (x， y)置為0)。
4.如權利要求1所述的方法，其特征在于，其中第四步驟包括步驟c)計算光流的方向變化，其計算公式如下D0cur (x， y) = I ucur (x， y) _uper (x， y) | +1 vcur (x， y) _vper (x， y)其中，D0,(x，y)表示當前幀圖像中像素點(x，y)的光流的方向變化。步驟d)以能量變化的歷史圖為模板，根據光流的方向變化，獲取劇烈運動的歷史圖。如果當前幀圖像中像素點(x，y)的光流的方向變化D(U(x，y) ^第二閾值T2，劇烈運動歷史圖中像素點(x， y)的像素值為D0_Hcur(x， y) = 255 ;如果當前幀圖像中像素點(x， y)的能量變化D(U(x，y)〈第二閾值T2，劇烈運動歷史圖中像素點(x，y)的像素值為D0_H。OT (x，y) = DEcur (x， y) -ALPHA (若D0cur (x， y) < 0，則將D0cur (x， y)置為0)。
5. 如權利要求1所述的方法，其特征在于，其中第五步驟包括步驟e)獲取劇烈運動的二值圖像。將第四步驟輸出的劇烈運動歷史圖進行閾值分割以得到劇烈運動的二值圖像。步驟f)獲取一段時間內劇烈運動二值圖像的歷史圖像。將一段時間內的步驟e)獲取的劇烈運動的二值圖像進行累加，將累加的結果進行閾值判斷，以獲取該劇烈運動二值圖像的歷史圖像。步驟g)獲取二值圖像的歷史圖像的連通區域。以步驟f)獲取的二值圖像的歷史圖像中像素值為1的點為目標，對目標點進行連通區域標記。步驟h)判斷連通區域是否屬于劇烈運動區域。統計每個連通區域內點的個數，若該個數〉第五閾值T5，則認為該連通區域屬于劇烈運動區域；否則認為該連通區域不屬于劇烈運動區域，并將該連通區域內的點的像素值置為0。
6. 如權利要求5所述的方法，其特征在于，其中步驟f)中統計一段時間內劇烈運動的二值圖像的歷史圖像，劇烈運動二值圖像的歷史圖像中各像素點的像素值的計算公式如下MHIt (x， y) = MHIt—! (x， y) +D0_Ht (x， y) - P 。其中，D0_Ht (x， y)表示第t幀劇烈運動的二值圖像內點(x，y)的像素值，腿lH(x，y)、腿It(x，y)分別表示第t-l、t幀劇烈運動的二值圖像的歷史圖像內點(x，y)的像素值，MHI。(x，y) = 0， P表示衰減因子。當MHIt(x，y) >255時，MHIt(x， y) = 255 ;當MHIt (x， y) < 0時，MHIt (x， y) =0。然后，對每幀劇烈運動的二值圖像的歷史圖像進行閾值判斷處理，當MHIt(x， y) ^第四閾值T4時，將歷史圖像內點(x， y)的像素值賦予l，即MHIt(x， y) = 1 ;否則，將歷史圖像內點(x， y)的像素值賦予0，即MHIt(x， y) = 0。
7. 如權利要求3所述的方法，其特征在于，O. 4《Tl《0. 6。
8. 如權利要求3和4所述的方法，其特征在于，45《ALPHA《55且ALPHA為整數。
9. 如權利要求4所述的方法，其特征在于，T2取值為ji/3。
10. 如權利要求5所述的方法，其特征在于，800《T5《1200且T5為整數。
11. 如權利要求6所述的方法，其特征在于，100《T4《200且T4為整數。
12. —種人群劇烈運動檢測的裝置，其特征在于，該裝置包括視頻獲取及預處理單元，用于獲取視頻幀圖像，并對彩色的幀圖像進行灰度化處理；光流的相對運動計算單元，用于采用光流法獲得兩幀圖像的相對運動；能量變化的歷史圖獲取單元，用于根據光流的相對運動，獲取能量變化的歷史圖；劇烈運動的歷史圖獲取單元，用于以能量變化的歷史圖為模板，計算方向變化大的像素點并獲取劇烈運動的歷史圖；劇烈運動區域獲取單元，用于將劇烈運動的歷史圖二值化，判斷其二值化的連通區域是否屬于劇烈運動區域；禾口劇烈運動區域標示及輸出單元，用于標示劇烈運動的區域并輸出。
13. 如權利要求12所述的裝置，其特征在于，能量變化的歷史圖獲取單元包括能量變化獲取模塊，用于根據光流的相對運動，獲取能量變化；能量變化歷史圖獲取模塊，用于根據當前幀的能量變化，獲取相應地歷史圖。
14. 如權利要求12所述的裝置，其特征在于，劇烈運動區域獲取單元包括劇烈運動的二值圖像獲取模塊，用于獲取劇烈運動的二值圖像；二值圖像的歷史圖像獲取模塊，用于獲取一段時間內劇烈運動二值圖像的歷史圖像；二值圖像的歷史圖像的連通區域獲取模塊，用于獲取二值圖像的歷史圖像的連通區域；劇烈運動區域判斷模塊，用于判斷連通區域是否屬于劇烈運動區域。
全文摘要
本發明提供了一種人群劇烈運動的檢測方法，能夠有效地檢測公共場所中的劇烈運動，如打架、斗毆。該方法首先獲取視頻幀圖像，并對彩色的幀圖像進行灰度化處理；采用光流法獲得兩幀圖像的相對運動；然后根據光流的相對運動，獲取能量變化的歷史圖；以能量變化的歷史圖為模板，計算方向變化大的像素點并獲取劇烈運動的歷史圖；將劇烈運動的歷史圖二值化，判斷其二值化的連通區域是否屬于劇烈運動區域；最后標示劇烈運動的區域并輸出。
文檔編號G06T7/20GK101751678SQ20091024255
公開日2010年6月23日 申請日期2009年12月16日 優先權日2009年12月16日
發明者袁雪庚 申請人:北京智安邦科技有限公司