基于計算機視覺分析技術的智能視頻監控方法及系統與流程

本發明涉及視頻監控，具體地，涉及基于計算機視覺分析技術的智能視頻監控方法及系統。

背景技術：

智能視頻監控是計算機視覺技術在安防領域應用的一個分支，是一種基于目標行為的智能監控技術。傳統的視頻監控僅提供原始視頻畫面或僅采用一些初級的視頻分析技術；智能視頻監控系統首先將場景中背景和目標分離，識別出真正的目標，去除背景干擾(如樹葉抖動、水面波浪、燈光變化)，進而分析并追蹤在攝像機場景內出現的目標行為，并在設定的行為發生時自動給出報警信息。對比傳統的視頻監控，智能視頻監控可實現視頻監控的全自動化，從而大大減輕監控人員的勞動強度。

現有的視頻監控系統中，多數不帶有智能視頻分析技術，或僅提供類似于移動偵測等較為初級的視頻分析技術，這種方案具有以下問題：

(1)現有視頻監控系統需要監控人員一直注意監控畫面，容易因監控人員疲勞等原因漏掉一些重要的事件。

(2)雖然部分視頻監控系統已帶有一些自動視頻分析功能，但往往比較初級，誤報率較高，略有風吹草動即會產生報警，基本不具備實用價值。

(3)現有視頻監控系統無法自動記錄視頻中感興趣的事件，事后查找回放很不方便；無法對視頻中的事件進行統計并提供統計報告給決策人員。

技術實現要素：

針對現有技術中的缺陷，本發明的目的是提供一種基于計算機視覺分析技術的智能視頻監控方法及系統。本發明采用計算機視覺技術對監控視頻進行自動分析，進一步能夠提取出視頻中特定的信息，并在發生特定事件時自動產生報警信息并記錄到數據庫，提升視頻監控的智能化程度，并大大減輕監控人員的勞動強度。

根據本發明提供的一種基于計算機視覺分析技術的智能視頻監控方法，包括：

視頻獲取步驟：通過固定機位的攝像機獲取固定場景的監控視頻；

視頻分析步驟：對所述監控視頻進行分析，得到分析結果；

監控管理步驟：將分析結果向人員進行展示或進行報警。

優選地，所述視頻分析步驟包括如下任一個步驟：

客流統計步驟：對所述監控視頻中的每一幀監控畫面，產生前景圖像，僅對監控畫面的前景部分進行處理；在得到前景圖像后，對前景圖像進行掃描，檢測前景圖像中是否包含行人頭肩部位，其中，通過事先采用采集的行人頭肩部位樣本進行離線訓練的分類器分類后得到行人頭肩部位的特征；在檢測到一個可能的行人頭肩部位后，對該可能的行人進行跟蹤；如果該可能的行人的軌跡長度、運動方向屬于設定的長度閾值范圍、運動方向范圍內，則認為該可能的行人是一個有效的行人，并根據有效的行人的運動方向分別統計為進入人數和出去人數，否則則認為該可能的行人不是一個有效的行人；

入侵檢測步驟：在監控視頻畫面中勾勒出預告警機制覆蓋的區域，針對該區域進行入侵檢測；對前景圖像的陰影進行濾除，其中，通過比較前景像素點和對應的背景像素，如果色度分量、亮度分量的差別屬于設定的閾值范圍內，則認為該前景像素點是陰影，否則則認為該前景像素點不是陰影；在陰影濾除后，對得到的前景圖像進行形態學運算，通過腐蝕運算消除孤立的前景像素點；通過膨脹運算連通前景像素點，使得同一個行人的前景像素點連成一個前景團塊；在形態學運算完成后，計算每個前景團塊的最小外接矩形框，其中，對于幾個前景團塊的最小外接矩形框彼此的最小距離小于設定的距離閾值，則認為這幾個前景團塊是同一個行人的不同部位，并得到這幾個前景團塊的最小外接矩形框，將這幾個前景團塊作為一個整體進行處理；將每個最小外接矩形框的尺寸與事先設定的最小值和最大值比較，只有尺寸小于最大值且大于最小值的最小外接矩形框對應的團塊被認為是有效的入侵；

人群密度估計步驟：提取監控視頻圖像的特征，將背景差分后得到的二值圖像轉換為一個固定維數的向量，用以描述該幀監控視頻圖像的特征；通過訓練，對監控視頻中的每幀圖像進行手工標注，統計出圖像中的人數，作為該幀圖像的標簽；在得到了每一幀監控視頻圖像的特征和標簽后，使用支持向量回歸svr得到一個回歸器并將回歸器用于人群密度估計；在回歸器輸出當前視頻圖像中的人群密度后，對輸出結果進行濾波，使得輸出結果平滑。

逆行檢測步驟：計算監控視頻圖像中均勻分布的各個點的光流，然后按照各個點上 光流的方向，計算光流方向直方圖；若光流方向直方圖中存在與設定方向相反且幅值超過一定閾值的光流點，則認為監控視頻圖像中存在逆行目標，否則則認為監控視頻圖像中不存在逆行目標。

優選地，所述人群密度估計步驟包括：

第一特征提取步驟：選定監控視頻圖像中水平的兩行，分別選取身高中心位于這兩行的兩個行人，計算這兩個行人在監控視頻圖像中的高度，根據這兩個行人在監控視頻圖像中的高度，對監控視頻圖像中的這兩行之外的其它行進行線性插值，得到監控視頻圖像中每一行的權重，其中，權重與行人在監控視頻圖像中的高度的平方成反比；將監控視頻圖像與對應的權重相乘得到基于面積的特征；將監控視頻圖像與對應的權重的平方根相乘得到基于邊緣的特征；和/或

第二特征提取步驟：提取監控視頻圖像的團塊特征、邊緣特征或者紋理特征；其中，團塊特征直接從背景差分后的前景二值圖像中提取，團塊特征包括團塊面積、周長、邊緣方向直方圖特征；邊緣特征采用canny算子得到，并只保留前景區域的邊緣，計算邊緣總數與邊緣方向直方圖特征；紋理特征采用灰度共生矩陣glcm進行描述，只保留監控視頻圖像中對應前景的像素，然后將監控視頻圖像中對應前景的像素量化為8個灰度級，并計算灰度共生矩陣；然后，基于灰度共生矩陣來計算得到三種紋理特征：均勻性特征、能量特征以及熵特征。

根據本發明提供的一種基于計算機視覺分析技術的智能視頻監控系統，包括：

視頻獲取裝置：通過固定機位的攝像機獲取固定場景的監控視頻；

視頻分析裝置：對所述監控視頻進行分析，得到分析結果；

監控管理裝置：將分析結果向人員進行展示或進行報警。

優選地，所述視頻分析裝置包括如下任一個裝置：

客流統計裝置：對所述監控視頻中的每一幀監控畫面，產生前景圖像，僅對監控畫面的前景部分進行處理；在得到前景圖像后，對前景圖像進行掃描，檢測前景圖像中是否包含行人頭肩部位，其中，通過事先采用采集的行人頭肩部位樣本進行離線訓練的分類器分類后得到行人頭肩部位的特征；在檢測到一個可能的行人頭肩部位后，對該可能的行人進行跟蹤；如果該可能的行人的軌跡長度、運動方向屬于設定的長度閾值范圍、運動方向范圍內，則認為該可能的行人是一個有效的行人，并根據有效的行人的運動方向分別統計為進入人數和出去人數，否則則認為該可能的行人不是一個有效的行人；

入侵檢測裝置：在監控視頻畫面中勾勒出預告警機制覆蓋的區域，針對該區域進行 入侵檢測；對前景圖像的陰影進行濾除，其中，通過比較前景像素點和對應的背景像素，如果色度分量、亮度分量的差別屬于設定的閾值范圍內，則認為該前景像素點是陰影，否則則認為該前景像素點不是陰影；在陰影濾除后，對得到的前景圖像進行形態學運算，通過腐蝕運算消除孤立的前景像素點；通過膨脹運算連通前景像素點，使得同一個行人的前景像素點連成一個前景團塊；在形態學運算完成后，計算每個前景團塊的最小外接矩形框，其中，對于幾個前景團塊的最小外接矩形框彼此的最小距離小于設定的距離閾值，則認為這幾個前景團塊是同一個行人的不同部位，并得到這幾個前景團塊的最小外接矩形框，將這幾個前景團塊作為一個整體進行處理；將每個最小外接矩形框的尺寸與事先設定的最小值和最大值比較，只有尺寸小于最大值且大于最小值的最小外接矩形框對應的團塊被認為是有效的入侵；

人群密度估計裝置：提取監控視頻圖像的特征，將背景差分后得到的二值圖像轉換為一個固定維數的向量，用以描述該幀監控視頻圖像的特征；通過訓練，對監控視頻中的每幀圖像進行手工標注，統計出圖像中的人數，作為該幀圖像的標簽；在得到了每一幀監控視頻圖像的特征和標簽后，使用支持向量回歸svr得到一個回歸器并將回歸器用于人群密度估計；在回歸器輸出當前視頻圖像中的人群密度后，對輸出結果進行濾波，使得輸出結果平滑。

逆行檢測裝置：計算監控視頻圖像中均勻分布的各個點的光流，然后按照各個點上光流的方向，計算光流方向直方圖；若光流方向直方圖中存在與設定方向相反且幅值超過一定閾值的光流點，則認為監控視頻圖像中存在逆行目標，否則則認為監控視頻圖像中不存在逆行目標。

優選地，所述人群密度估計裝置包括：

第一特征提取裝置：選定監控視頻圖像中水平的兩行，分別選取身高中心位于這兩行的兩個行人，計算這兩個行人在監控視頻圖像中的高度，根據這兩個行人在監控視頻圖像中的高度，對監控視頻圖像中的這兩行之外的其它行進行線性插值，得到監控視頻圖像中每一行的權重，其中，權重與行人在監控視頻圖像中的高度的平方成反比；將監控視頻圖像與對應的權重相乘得到基于面積的特征；將監控視頻圖像與對應的權重的平方根相乘得到基于邊緣的特征；和/或

第二特征提取裝置：提取監控視頻圖像的團塊特征、邊緣特征或者紋理特征；其中，團塊特征直接從背景差分后的前景二值圖像中提取，團塊特征包括團塊面積、周長、邊緣方向直方圖特征；邊緣特征采用canny算子得到，并只保留前景區域的邊緣，計算邊 緣總數與邊緣方向直方圖特征；紋理特征采用灰度共生矩陣glcm進行描述，只保留監控視頻圖像中對應前景的像素，然后將監控視頻圖像中對應前景的像素量化為8個灰度級，并計算灰度共生矩陣；然后，基于灰度共生矩陣來計算得到三種紋理特征：均勻性特征、能量特征以及熵特征。

與現有技術相比，本發明具有如下的有益效果：

本發明實現了視頻監控的自動化，在發生特定事件時自動產生報警信息并記錄到數據庫，大大減輕監控人員的勞動強度。

附圖說明

通過閱讀參照以下附圖對非限制性實施例所作的詳細描述，本發明的其它特征、目的和優點將會變得更明顯：

圖1為本發明的系統架構圖。

圖2為本發明的系統模塊圖。

圖3為本發明的方法流程圖。

具體實施方式

下面結合具體實施例對本發明進行詳細說明。以下實施例將有助于本領域的技術人員進一步理解本發明，但不以任何形式限制本發明。應當指出的是，對本領域的普通技術人員來說，在不脫離本發明構思的前提下，還可以做出若干變化和改進。這些都屬于本發明的保護范圍。

根據本發明提供的一種基于計算機視覺分析技術的智能視頻監控方法，包括：

視頻獲取步驟：通過固定機位的攝像機獲取固定場景的監控視頻；

視頻分析步驟：對所述監控視頻進行分析，得到分析結果；

監控管理步驟：將分析結果向人員進行展示或進行報警。

優選地，所述視頻分析步驟包括如下任一個步驟：

客流統計步驟：對所述監控視頻中的每一幀監控畫面，產生前景圖像，僅對監控畫面的前景部分進行處理；在得到前景圖像后，對前景圖像進行掃描，檢測前景圖像中是否包含行人頭肩部位，其中，通過事先采用采集的行人頭肩部位樣本進行離線訓練的分類器分類后得到行人頭肩部位的特征；在檢測到一個可能的行人頭肩部位后，對該可能的行人進行跟蹤；如果該可能的行人的軌跡長度、運動方向屬于設定的長度閾值范圍、 運動方向范圍內，則認為該可能的行人是一個有效的行人，并根據有效的行人的運動方向分別統計為進入人數和出去人數，否則則認為該可能的行人不是一個有效的行人；

入侵檢測步驟：在監控視頻畫面中勾勒出預告警機制覆蓋的區域，針對該區域進行入侵檢測；對前景圖像的陰影進行濾除，其中，通過比較前景像素點和對應的背景像素，如果色度分量、亮度分量的差別屬于設定的閾值范圍內，則認為該前景像素點是陰影，否則則認為該前景像素點不是陰影；在陰影濾除后，對得到的前景圖像進行形態學運算，通過腐蝕運算消除孤立的前景像素點；通過膨脹運算連通前景像素點，使得同一個行人的前景像素點連成一個前景團塊；在形態學運算完成后，計算每個前景團塊的最小外接矩形框，其中，對于幾個前景團塊的最小外接矩形框彼此的最小距離小于設定的距離閾值，則認為這幾個前景團塊是同一個行人的不同部位，并得到這幾個前景團塊的最小外接矩形框，將這幾個前景團塊作為一個整體進行處理；將每個最小外接矩形框的尺寸與事先設定的最小值和最大值比較，只有尺寸小于最大值且大于最小值的最小外接矩形框對應的團塊被認為是有效的入侵；

人群密度估計步驟：提取監控視頻圖像的特征，將背景差分后得到的二值圖像轉換為一個固定維數的向量，用以描述該幀監控視頻圖像的特征；通過訓練，對監控視頻中的每幀圖像進行手工標注，統計出圖像中的人數，作為該幀圖像的標簽；在得到了每一幀監控視頻圖像的特征和標簽后，使用支持向量回歸svr得到一個回歸器并將回歸器用于人群密度估計；在回歸器輸出當前視頻圖像中的人群密度后，對輸出結果進行濾波，使得輸出結果平滑。

逆行檢測步驟：計算監控視頻圖像中均勻分布的各個點的光流，然后按照各個點上光流的方向，計算光流方向直方圖；若光流方向直方圖中存在與設定方向相反且幅值超過一定閾值的光流點，則認為監控視頻圖像中存在逆行目標，否則則認為監控視頻圖像中不存在逆行目標。

優選地，所述人群密度估計步驟包括：

第一特征提取步驟：選定監控視頻圖像中水平的兩行，分別選取身高中心位于這兩行的兩個行人，計算這兩個行人在監控視頻圖像中的高度，根據這兩個行人在監控視頻圖像中的高度，對監控視頻圖像中的這兩行之外的其它行進行線性插值，得到監控視頻圖像中每一行的權重，其中，權重與行人在監控視頻圖像中的高度的平方成反比；將監控視頻圖像與對應的權重相乘得到基于面積的特征；將監控視頻圖像與對應的權重的平方根相乘得到基于邊緣的特征；和/或

第二特征提取步驟：提取監控視頻圖像的團塊特征、邊緣特征或者紋理特征；其中，團塊特征直接從背景差分后的前景二值圖像中提取，團塊特征包括團塊面積、周長、邊緣方向直方圖特征；邊緣特征采用canny算子得到，并只保留前景區域的邊緣，計算邊緣總數與邊緣方向直方圖特征；紋理特征采用灰度共生矩陣glcm進行描述，只保留監控視頻圖像中對應前景的像素，然后將監控視頻圖像中對應前景的像素量化為8個灰度級，并計算灰度共生矩陣；然后，基于灰度共生矩陣來計算得到三種紋理特征：均勻性特征、能量特征以及熵特征。

根據本發明提供的一種基于計算機視覺分析技術的智能視頻監控系統，包括：

視頻獲取裝置：通過固定機位的攝像機獲取固定場景的監控視頻；

視頻分析裝置：對所述監控視頻進行分析，得到分析結果；

監控管理裝置：將分析結果向人員進行展示或進行報警。

優選地，所述視頻分析裝置包括如下任一個裝置：

客流統計裝置：對所述監控視頻中的每一幀監控畫面，產生前景圖像，僅對監控畫面的前景部分進行處理；在得到前景圖像后，對前景圖像進行掃描，檢測前景圖像中是否包含行人頭肩部位，其中，通過事先采用采集的行人頭肩部位樣本進行離線訓練的分類器分類后得到行人頭肩部位的特征；在檢測到一個可能的行人頭肩部位后，對該可能的行人進行跟蹤；如果該可能的行人的軌跡長度、運動方向屬于設定的長度閾值范圍、運動方向范圍內，則認為該可能的行人是一個有效的行人，并根據有效的行人的運動方向分別統計為進入人數和出去人數，否則則認為該可能的行人不是一個有效的行人；

入侵檢測裝置：在監控視頻畫面中勾勒出預告警機制覆蓋的區域，針對該區域進行入侵檢測；對前景圖像的陰影進行濾除，其中，通過比較前景像素點和對應的背景像素，如果色度分量、亮度分量的差別屬于設定的閾值范圍內，則認為該前景像素點是陰影，否則則認為該前景像素點不是陰影；在陰影濾除后，對得到的前景圖像進行形態學運算，通過腐蝕運算消除孤立的前景像素點；通過膨脹運算連通前景像素點，使得同一個行人的前景像素點連成一個前景團塊；在形態學運算完成后，計算每個前景團塊的最小外接矩形框，其中，對于幾個前景團塊的最小外接矩形框彼此的最小距離小于設定的距離閾值，則認為這幾個前景團塊是同一個行人的不同部位，并得到這幾個前景團塊的最小外接矩形框，將這幾個前景團塊作為一個整體進行處理；將每個最小外接矩形框的尺寸與事先設定的最小值和最大值比較，只有尺寸小于最大值且大于最小值的最小外接矩形框對應的團塊被認為是有效的入侵；

人群密度估計裝置：提取監控視頻圖像的特征，將背景差分后得到的二值圖像轉換為一個固定維數的向量，用以描述該幀監控視頻圖像的特征；通過訓練，對監控視頻中的每幀圖像進行手工標注，統計出圖像中的人數，作為該幀圖像的標簽；在得到了每一幀監控視頻圖像的特征和標簽后，使用支持向量回歸svr得到一個回歸器并將回歸器用于人群密度估計；在回歸器輸出當前視頻圖像中的人群密度后，對輸出結果進行濾波，使得輸出結果平滑。

逆行檢測裝置：計算監控視頻圖像中均勻分布的各個點的光流，然后按照各個點上光流的方向，計算光流方向直方圖；若光流方向直方圖中存在與設定方向相反且幅值超過一定閾值的光流點，則認為監控視頻圖像中存在逆行目標，否則則認為監控視頻圖像中不存在逆行目標。

優選地，所述人群密度估計裝置包括：

第一特征提取裝置：選定監控視頻圖像中水平的兩行，分別選取身高中心位于這兩行的兩個行人，計算這兩個行人在監控視頻圖像中的高度，根據這兩個行人在監控視頻圖像中的高度，對監控視頻圖像中的這兩行之外的其它行進行線性插值，得到監控視頻圖像中每一行的權重，其中，權重與行人在監控視頻圖像中的高度的平方成反比；將監控視頻圖像與對應的權重相乘得到基于面積的特征；將監控視頻圖像與對應的權重的平方根相乘得到基于邊緣的特征；和/或

第二特征提取裝置：提取監控視頻圖像的團塊特征、邊緣特征或者紋理特征；其中，團塊特征直接從背景差分后的前景二值圖像中提取，團塊特征包括團塊面積、周長、邊緣方向直方圖特征；邊緣特征采用canny算子得到，并只保留前景區域的邊緣，計算邊緣總數與邊緣方向直方圖特征；紋理特征采用灰度共生矩陣glcm進行描述，只保留監控視頻圖像中對應前景的像素，然后將監控視頻圖像中對應前景的像素量化為8個灰度級，并計算灰度共生矩陣；然后，基于灰度共生矩陣來計算得到三種紋理特征：均勻性特征、能量特征以及熵特征。

下面對本發明進行更為詳細的描述。

如圖1所示，根據本發明提供的基于計算機視覺分析技術的智能視頻監控系統，包括以下設備：

(1)攝像機

可以采用視頻監控系統的攝像機，可以是標清模擬攝像機，也可以采用網絡數字攝像機。但必須采用固定安裝的槍機，也就是場景必須固定，不能安裝有可以自由轉動的 云臺。如果是標準的rtsp攝像機，則可以直接連接視頻分析服務器。其中，攝像機固定安裝在固定支架上。

(2)錄像機

視頻流一般可以從硬盤錄像機中獲取。如果直接從攝像機獲取視頻，則需要采用網絡數字攝像機或采用編碼器將模擬攝像機的模擬視頻信號轉換成網絡數字信號。

(3)視頻分析服務器

這是基于計算機視覺分析技術的智能視頻監控系統中的核心設備，能夠對前端攝像機傳來的視頻進行智能分析并進行客流統計、入侵檢測、人群密度和逆行檢測的計算分析，同時數據發送到監控管理終端并存儲到數據庫。目前一臺高性能的服務器最多可以支持32路視頻。

(4)監控管理終端

監控管理終端是系統與用戶進行人機交互的終端程序，可以進行視頻監控，可以查詢各種報警信息以及對應的監控錄像，并以各種統計報表的形式展示給用戶，可以在視頻中特定事件發生時自動彈出對應的監控畫面并發出聲音報警。

視頻分析服務器包括以下功能模塊：

(1)客流統計模塊

客流統計又稱為行人計數，用來統計通道口出入人數，并提供人群流動方向等信息，適用于交通樞紐、機場、車站、商場、超市、連鎖店、公園景區、體育場館、娛樂場所等交通業、零售業、旅游娛樂業和安防領域，可以為用戶提供人員數量、滯留人數、人流規律、人數趨勢等信息，為管理者提供科學的決策依據。本客流統計模塊能自動檢測和跟蹤行人，并據此判斷行人進出的方向和數量。將檢測得到的行人信息通過網絡傳輸并存儲到數據庫，以供客戶進行各種查詢統計操作。

客流統計模塊主要使用的技術有基于混合高斯模型的背景差分技術、基于haar小波特征和cascade層疊分類器的行人頭肩檢測技術、基于kalman濾波的行人跟蹤技術等。在監控視頻中，首先對每一幀監控畫面，采用基于混合高斯模型的背景差分算法產生前景圖像，在后續的處理算法中，僅需對圖像的前景部分進行處理，而無需處理背景部分，可以顯著提高行人檢測的速度并降低誤檢率。在得到前景圖像后，采用基于haar小波特征與cascade層疊結構的分類器對前景區域進行掃描，檢測其中是否包含行人的頭肩部位，分類器事先采用大量采集的行人頭肩樣本進行離線訓練的分類器分類后得到。在檢測到一個可能的行人頭肩部位之后，采用kalman濾波器對其進行跟蹤，同時消除檢 測階段的誤檢結果。最后，根據行人的軌跡長度、方向等進行綜合判斷其是否為一個有效的行人，并根據其運動方向分別統計為進入/出去的人數。

(2)入侵檢測

入侵檢測視頻分析功能即針對進入禁入區域的目標進行檢測并按照用戶設置的規則觸發報警。用戶可以通過在視頻畫面中勾勒出預告警機制覆蓋的區域，這個區域既可以是規則區域，也可以是不規則區域，視頻分析只需在這個區域內進行。一旦有入侵者-闖入該區域，即產生入侵報警事件，并在客戶端自動顯示報警的視頻。用戶可以根據該報警信息做出相應的管理措施，避免財物損失或其他意外事件發生。該模塊克服了傳統視頻監控系統中入侵檢測的相關缺陷。可對背景進行自適應建模，克服光照變化、陰影、雨雪天氣、持續的背景運動物體(如隨風飄動的樹葉等)對檢測性能帶來的影響。同時，對于檢測到的前景物體，還要對其進行形狀分析，濾除個別噪聲或其他小物體的影響。最后還要對檢測結果進行跟蹤，分析其運動軌跡，符合入侵行為的最終才判定為非法入侵行為并觸發報警通知。

入侵檢測模塊主要使用的技術有基于混合高斯模型的背景差分技術、基于圖像形態學的前景分析技術和基于kalman濾波的目標跟蹤技術。基于混合高斯模型的背景差分技術以及基于kalman濾波的目標跟蹤技術已在客流統計模塊中描述，本模塊只描述基于圖像形態學的前景分析技術。

在工業生產現場，由于環境惡劣，背景不穩定(比如光線經常會變化、背景有固定來回運動的物體、有較大的震動、有大量的粉塵等)，很難得到一個完美的前景圖像。因此，需要對背景建模后得到的前景圖像進行進一步的分析，濾除可能的背景像素，將破碎的部分填補上，以及消除一些環境噪聲的影響等。本模塊首先對前景圖像的陰影進行濾除，因為陰影的存在將會對后續前景圖像的分析產生較大的影響。通過比較前景像素點和對應的背景像素，如果色度和亮度分量的差別分別在某一范圍內，則該像素被認為是陰影。在陰影消除后，對得到的前景圖像進行形態學運算，通過腐蝕運算消除孤立的前景像素點，因為它一般是噪聲所引起的；通過膨脹運算連通附近的前景像素點，使得同一個人的前景像素連成一個團塊，而不是支離破碎的。

在形態學處理完成后，計算每個前景團塊的最小外接矩形框。若有幾個團塊的最小外接矩形框彼此非常接近，則還是可以認為是同一個人的不同部位。這時，我們用一個更大的矩形框同時包含這幾部分前景團塊，將其作為一個整體進行處理。為了避免將其他變化的背景誤分類為前景像素，同時考慮到攝像機的透視效應，本項目要求在監控視 頻中指定入侵檢測的最小目標和最大目標大小。在得到每個前景團塊的外接矩形框后，將它與事先設定的最小值和最大值比較，只有落在這個區間范圍內的目標矩形框，才認為是入侵的人；反之，若前景團塊的外接矩形框小于最小值或大于最大值，則認為是其他背景物體，不是入侵的人。

(3)人群密度估計

人群密度估計功能是統計計算設定區域內的人群數量，當指定區域內人數超過預設的閾值時將自動產生報警，提示監控管理人員采取針對性的措施。同時系統擁有先進的算法能將背景中的物體和人群區分開來，減少其他因素的干擾，能檢測高密度情況下的人群密度，具有較高的檢測準確度。

人群密度估計模塊主要使用的技術有基于混合高斯模型的背景差分技術、透視校正技術、圖像特征提取技術以及回歸器設計技術。

在一般的監控攝像機拍攝的視頻中，由于相機的安裝位置，使得圖像一般存在透視效應，從而使得不同位置處的行人，在圖像中的大小并不相同。因此，需要將不同位置的行人調整至同一大小，方便后續的特征提取。我們采用對圖像不同位置進行加權的方法來解決透視問題。具體方法為：選定圖像中水平的兩行，分別選取中心位于這兩行的兩個行人，計算其高度，根據這兩個人在圖像中的高度，對圖像中的其它行進行線性插值，得到圖像中每一行的權重，權重與行人高度的平方成反比。對于基于面積的特征(如團塊特征)，直接將圖像與對應的權重相乘；對于基于邊緣的特征，則將圖像與對應的權重的平方根相乘。

特征提取是實現人群密度估計的核心。通過特征提取，將背景差分后得到的二值圖像轉換為一個固定維數的向量，用以描述該幀圖像的特征。本模塊中，我們使用了圖像前景團塊特征、邊緣特征和紋理特征這3種類型的圖像特征。團塊特征直接從背景差分后的前景二值圖像中提取，包括團塊面積、周長、邊緣方向直方圖等特征；邊緣特征采用canny算子得到，并只保留前景區域的邊緣，計算邊緣總數與邊緣方向直方圖等特征；紋理特征采用glcm(灰度共生矩陣)進行描述，只保留圖像中對應前景的像素，然后將它量化為8個灰度級，并計算glcm矩陣。在計算glcm矩陣的時候，我們取d＝1，θ＝{0°，45°，90°，135°}。然后，基于glcm矩陣來計算以下三種紋理特征：均勻性特征、能量特征和熵特征。

經過特征提取的步驟，每幀圖像就被轉化成了一個29維的向量。在訓練階段，需要對視頻中的每幀圖像進行手工標注，統計出圖像中的人數，作為該幀的標簽。在得到了 每一個特征和標簽后，問題就轉化成了一個回歸問題。本模塊使用svr(支持向量回歸)來訓練這個回歸問題，得到一個回歸器并將其用于人群密度估計。在回歸器輸出當前視頻圖像中的人群密度后，對輸出結果進行濾波，使得輸出結果更加平滑。

(4)逆行檢測

逆行檢測分析功能，能準確檢測出單向通道內的逆行目標并觸發報警。應用于公共自動扶梯、車道、機場、火車、地鐵內單向通道或關口的監測與報警。用戶可以通過在視頻畫面中自行設定檢測區域和運動方向，一旦有逆行發生，客戶端自動顯示并記錄報警的視頻。

逆行檢測模塊主要使用的技術有基于光流的運動分析技術。為了提高計算效率，本模塊不選擇在圖像特征點處計算光流，而是在一個均勻分布的網格上計算各個點的光流，然后按照各個網格點上光流的方向，計算光流方向直方圖。若直方圖中存在與設定方向相反且幅值超過一定閾值的光流點，則認為視頻中存在逆行的目標。對檢測出的逆行目標再進行跟蹤以確認是真正的逆行目標還是誤報。

(5)監控管理

監控管理終端是一款集視頻實時播放、視頻回放、實時報警、報警視頻重組、報警查詢等多項功能為一體的終端系統軟件，該系統可以實時將收到的報警信號和相應的視頻顯示出來，一旦有報警發生，不但發出聲音警報，還會實時彈出畫面顯示發生報警視頻的最近歷史回放和實時視頻，便于監控人員快速的確認報警來源，為最短時間發現報警行為提供有力的保障。所有的報警信息都會被存儲到數據庫，并能通過該軟件方便的檢索到，同時還可以快速定位到發生報警的視頻并進行回放。監控管理軟件提供了客流統計數據的圖表統計功能，通過時間和視頻場景門道分類，可以查詢進入、出去、以及滯留人數，并以折線圖的形式呈現給用戶。

在優選的具體實施方式中：采用主流視頻監控廠商的錄像機與攝像機產品，與本發明系統的視頻分析服務器和監控管理終端位于同一內網中。調整攝像機對焦，使得監控畫面清晰，行人輪廓清晰可辨。按照本發明的要求，在視頻分析服務器和監控管理終端上分別安裝本發明系統相應部分的裝置，并進行相應的配置。

實施例1：公共場所客流統計。

硬件需求：攝像機正對通道或門口安裝，攝像機水平方向與地面成30度左右夾角，視野中盡量不出現除行人外的其他比較明顯的移動物體(如車輛等)。

在系統軟硬件配置完成后，打開分析服務配置程序，選擇要進行客流統計的視頻通 道，使用繪制區域功能在其中繪制一個四邊形的區域作為客流統計的行人檢測區域；使用區域方向功能在區域中繪制一個箭頭，行人沿著該箭頭方向行走視為進入該區域，逆著該箭頭方向行走視為離開該區域；使用繪制遠近人體框功能在視頻中繪制一個和遠處(小)行人類似大小的矩形框，以及一個和近處(大)行人類似大小的矩形框；最后為該區域選擇打開客流統計功能即可。

在系統運行了一段時間后，可以通過監控管理終端來查看客流統計結果。在監控管理終端設備上打開監控管理程序，點擊“客流統計”按鈕，選擇指定的日期時間、門道、類型(進入人數/出去人數/滯留人數)信息后，即可按照折線圖的方式查看感興趣的客流統計信息。

實施例2：工業場所防入侵監控

硬件需求：攝像機正對不允許隨意進入的場所，視野中盡量不出現除行人外的其他比較明顯的移動物體(如車輛等)，如果攝像機安裝于有燈光的場合，需盡量避免燈光的頻繁變化。

在系統軟硬件配置完成后，打開分析服務配置程序，選擇要進行入侵檢測的視頻通道，使用繪制區域功能在其中繪制一個或多個多邊形區域作為入侵檢測區域；使用繪制遠近人體框功能在視頻中繪制一個和遠處(小)行人類似大小的矩形框，以及一個和近處(大)行人類似大小的矩形框；最后為該區域選擇打開入侵檢測功能即可。

入侵檢測功能打開后，一旦設定的區域有人進入，將在監控管理程序中自動彈出入侵發生時刻的視頻信息，方便監控人員及時查看，同時產生聲音報警。也可通過主界面上的“歷史報警”功能查看以往的入侵檢測結果，并自動調出當時事件發生時的錄像。

實施例3：軌道交通站臺人群密度估計

硬件需求：攝像機正對軌道交通站臺安裝，視野覆蓋要進行人群密度估計的區域。

訓練階段：由于人群密度估計算法的特殊性，需要對每個攝像機進行一次訓練后才可使用(每個攝像機在位置不變的情況下只需訓練一次，不訓練也可以，但估計的準確率會變差)。在訓練階段，系統軟硬件配置完成后，打開分析服務配置程序，選擇要進行人群密度訓練的視頻通道，使用繪制區域功能在其中繪制一個多邊形區域作為人群密度估計區域；之后在“算法設置”對話框的“人群密度”標簽頁里，選擇所需的人群密度類型(需要估計區域中的人數或是密度等級)再為該區域選擇打開人群密度估計功能。然后在菜單中選擇“人群密度訓練分類器”功能，同時觀察區域中目前的人數(或密度等級)，將其填入人數框內(或選擇適當的密度等級)并點擊“采集當前樣本”按鈕。 之后重復該過程，在人數較少/中等/較多的場景各采集一些樣本，可以得到更好的效果。在采集了幾百到幾千幀圖像樣本后，點擊開始訓練即可。

訓練完成后，系統會自動使用訓練好的回歸器，可以在視頻分析配置程序里各個通道視頻的左下角看到當前區域的估計的人數(或密度等級)。在“算法設置”對話框的“人群密度”標簽頁中，可以設定人數或密度等級的上限，達到或超過該上限即自動產生報警。同樣可通過主界面上的“歷史報警”功能查看以往的入侵檢測結果，并自動調出當時事件發生時的錄像。

本領域技術人員知道，除了以純計算機可讀程序代碼方式實現本發明提供的系統及其各個裝置以外，完全可以通過將方法步驟進行邏輯編程來使得本發明提供的系統及其各個裝置以邏輯門、開關、專用集成電路、可編程邏輯控制器以及嵌入式微控制器等的形式來實現相同功能。所以，本發明提供的系統及其各項裝置可以被認為是一種硬件部件，而對其內包括的用于實現各種功能的裝置也可以視為硬件部件內的結構；也可以將用于實現各種功能的裝置視為既可以是實現方法的軟件模塊又可以是硬件部件內的結構。

以上對本發明的具體實施例進行了描述。需要理解的是，本發明并不局限于上述特定實施方式，本領域技術人員可以在權利要求的范圍內做出各種變化或修改，這并不影響本發明的實質內容。在不沖突的情況下，本申請的實施例和實施例中的特征可以任意相互組合。