一種用于在視頻監視期間對移動對象進行分類的系統和方法

專利名稱：一種用于在視頻監視期間對移動對象進行分類的系統和方法
技術領域：
本發明涉及用于視頻監視的系統和方法。更具體地，本發明涉及用于在視頻監視期間對移動對象進行分類的系統和方法。
背景技術：
在敏感區域晝夜不停地進行人工監視是很費力的。即使在安全性至關重要的大部分地點安裝了攝像機，視頻所產生的數據量非常大，以至于它可能要求大得驚人的數據存儲需求。對于有效視頻監視存在著不斷增加的需求。術語監視可應用于借助于諸如CCTV 相機的電子裝備從遠方進行的觀察。監視有益于私人和政府安全性機構以維持社會控制、 辨別和監控威脅、以及阻止/研究非法侵入和犯罪活動。差不多到處都在使用視頻監視，包括在敏感區域中以及如機場、核電站、實驗室、銀行。它還用于交通信號、街道、門戶，等等。 負責執行這種監視的組織一般部署多個傳感器(例如，閉路電視視頻(CCTV)和紅外線相機、雷達等)以確保安全性和廣域的認知。在現有技術中，在視頻監視期間將移動對象分類至像人類、動物(牲畜)和車輛的預定義類別是由不同過程來進行的。嘗試解決在監視中進行移動對象分類的一些發明有授權給Harma等的美國專利7639840，其教導了一種用于視頻監視的方法和裝置。 接收代表視場的景物影像序列。在此景物影像序列內識別一個或更多個移動對象，隨后根據一個或更多個提取出的空-時特征通過使用運動檢測掩模對其進行分類。然后可將該分類應用于確定移動對象和/或其行為是否符合一個或更多個導致警報的已知事件或行為。在現有技術中，描述移動對象的空-時簽名和特征向量用于對該移動對象進行分類。包含移動對象的所有幀被存儲并分析以得出關于該移動對象的分類的結論。該系統需要很大的存儲器存儲和繁重的計算用于計算移動對象和背景的空-時簽名和特征向量。Robust Real-Time Periodic Motion Detection，Analysis and Applications (穩健的實時周期性運動檢測、分析和應用)，作者:Ross Cutler和Larry S. Davis，來源:IEEE Transactions on Pattern Analysis and Machine Intelligence archive (電氣與電子工程師協會模式分析與機器智能檔案匯刊)，第22卷第8期(2000年 8月)目錄，第781-796頁，發行年份2000年，其教導了一種用于移動對象分類的方法。該方法對人類、狗及其他(車輛)進行了分類。在該文描述的方法中，計算了對象隨著時間而演化的自相似性。自相似性是周期性的，而時-頻分析用于檢測和表征周期性運動。并且， 相似性矩陣(絕對相關性)的固有的2D柵格結構用于移動周期性的表征。周期性模式用于在這三種感興趣的類別之間進行區分。Algorithms for Cooperative Multi Sensor Surveillance (用于協作式多傳感器監視的算法)，該論文發表于Proceedings of the IEEE (電氣與電子工程師協會會報)， 發行日2001年10月，卷號89，期號10，1456-1477頁，作者Robert Τ. Collins，其教導7 Carnegie Mellon University (卡內基美隆大學CMU)的視頻監視和監控(VSAM)組已開發了端到端、多相機監視系統，它允許單個人工操作員使用主動式視頻傳感器的分布式網絡來監控雜亂環境中的活動。它自動地收集并散布實時信息以改善安全性提供商和決策制定者的事態認知。在該現有技術中，對象檢測是通過分層適應性背景減法來實現的，而分類是通過計算成本也很高的神經網絡分類器來實現的。現有技術中使用的用于將移動對象分類到預定類別的各個技術(諸如時間差分、 背景減法、光流、運動檢測掩模的使用、周期性運動和圖像相關性匹配)計算成本很高且需要更多的存儲器空間用于存儲并分析包含感興趣對象的視頻中的幀序列。以上討論的現有技術參考文獻中沒有任何一篇提出使用計算成本低的更為經濟的方法、使用簡單邏輯用于在視頻監視期間區別對象、利用較少的存儲器存儲空間來避免幀存儲并在計算區別特征時利用較少的存儲器存儲空間來在視頻監視中將移動對象分類到預定類別的系統和方法。因此，很顯然需要如下的用于在視頻監視中將移動對象分類到預定類別的系統和方法，其 計算成本低·使用簡單邏輯用于在視頻監視期間區別對象 利用較少存儲器存儲空間來避免存儲包含感興趣對象的幀。 在分析幀以區別視頻中的對象時利用較少的存儲器存儲空間。發明目的本發明的主要目的是提出一種能在視頻監視期間將任何移動對象分類到預定義類別的系統和方法。本發明的另一重要目的是使用較簡單的邏輯和計算成本節約的方法在視頻監視期間對移動對象進行分類。本發明的另一目的是僅存儲從幀序列計算出的一組重心以用于方差計算，由此需要較少存儲器空間。本發明的又一目的是提供一種計算成本低廉的、用于在視頻監視中對移動對象進行分類的系統和方法。

發明內容
在對本發明的方法、系統和硬件實現進行描述前，應該理解到本發明不局限于所描述的特定系統和方法，因為本發明可有多個沒有在本公開中明確說明的可能的實施例。 還應理解到，本說明書中所使用的術語僅是為了描述特定版本或實施例的目的，而不旨在限定僅將由所附權利要求書限定的本發明的范圍。本發明提供了一種用于在基于視頻的監視期間對移動對象進行分類的系統，包括a)至少一個視頻捕獲裝置，配置為捕獲落在該視頻捕獲裝置的工作范圍內的移動對象的側影圖像；b)用于存儲程序指令的裝置，這些程序指令配置為使處理器
i)調整所捕獲的側影圖像的大小，其中側影圖像的大小調整比例因子是通過使用所捕獲的側影圖像的上半部分的尺寸來計算的；ii)計算大小已調整的側影圖像中的對象的平均高寬比和重心，其中重心是通過僅使用該對象的上半部分來計算的；iii)將所捕獲的圖像的下半部分以穿過重心的垂直線劃分為兩部分，并且分析該下半部分之一并計算重心的方差；iv)將該對象的平均高度與平均寬度進行比較，并進一步將重心的方差與預定的閾值進行比較；ν)將所捕獲的側影中的對象分類到預定類別，其中該分類是在所計算出的平均高度、平均寬度和重心的方差的值的基礎上進行的。


以上發明內容、以及優選實施例的以下詳細描述將在結合附圖閱讀時更好地得到理解。為了本發明的說明目的，在圖中示出本發明的示例性構造；但本發明不局限于所公開的特定方法和系統。在附圖中圖1示出攝像機的布局及其工作范圍。圖2示出捕獲的側影圖像的左下半部分。圖3示出用于在視頻監視期間將移動對象分類為人類、牲畜和車輛的系統和方法。圖4示出分析視頻監視范圍中移動的人類的過程。圖5示出分析視頻監視范圍中移動的二輪車的過程。圖6示出分析視頻監視范圍中移動的汽車的過程。
具體實施例方式現在將詳細討論本發明的一些實施例，這些實施例說明本發明的所有特征。術語“由...組成”、“具有”、“包含”以及“包括”、以及它們的其他形式意圖是含義上等效的并且是開放式的，跟隨在這些術語之中任一術語后的一個或多個事項不旨在成為此類一個或多個事項的窮盡性列舉或被僅限定于所列舉的一個或多個事項。還必須注意到，如本文以及所附權利要求書中所使用地，單數形式的“一”、“某”以及“該”包括復數引用，除非上下文明確地指出相反情況。盡管描述了優選系統和方法，然而在本發明的實施例的實踐或測試中可使用與所描述的系統和方法相類似或等效的任何系統和方法。所公開的實施例僅僅是本發明的示例，其可具體化為各種形式。側影是對象或景物的側視圖，其包括被取側影的對象的輪廓和無特征的內部。重心在圖像處理的上下中感興趣的區域或所考慮的二進制圖像的平均坐標。監視是對(通常而言人的)行為、活動或者其他變化的信息的監控，常以秘密方式進行。它最通常地指由政府組織對個人或團體所作的觀察，而例如疾病監視是對社區中疾病的發展的監控。視頻捕獲裝置是用于捕獲視頻的裝置。它可以是攝像機、閉路電視(CCTV)相機或IP相機。處理系統是根據本發明的系統，其中每個相機具有其相關聯的處理系統用于分析捕獲的圖像并對進入視頻監視的工作范圍的移動對象進行分類。本發明提供了一種用于在基于視頻的監視期間對移動對象進行分類的系統，包括c)至少一個視頻捕獲裝置，配置為捕獲落在該視頻捕獲裝置的工作范圍內的移動對象的側影圖像；d)用于存儲程序指令的裝置，這些程序指令配置為使處理器i)調整所捕獲的側影圖像的大小，其中側影圖像的大小調整比例因子是通過使用所捕獲的側影圖像的上半部分的尺寸來計算的；ii)計算大小已調整的側影圖像中的對象的平均高寬比和重心，其中重心是通過僅使用該對象的上半部分來計算的。iii)將所捕獲的圖像的下半部分以穿過重心的垂直線劃分為兩部分，并且分析下半部分之一并計算重心的方差；iv)將該對象的平均高度與平均寬度進行比較，并進一步將重心的方差與預定的閾值進行比較；ν)將所捕獲的側影中的對象分類到預定類別，其中該分類是在所計算出的平均高度、平均寬度和重心的方差的值的基礎上進行的。根據示例性實施例，如圖1所示在要被覆蓋的區域外圍放置至少四個以下稱作相機的視頻捕獲裝置以保證這四個相機的至少之一捕獲移動對象的側影。處理系統(未示出)附連至每個相機，從而使得每個相機能分析所捕獲的側影圖像并對落入圖1中所示的視頻監視的工作范圍中的移動對象進行分類，其中每個相機能獨立處理所捕獲的幀并輔助作出關于將移動對象分類至預定的類別(諸如，人類、牲畜和車輛)的最終決策。此外，該系統可選地當感興趣的對象(其為人、車輛或牲畜)進入監視現場時發出警報。該處理系統可以是特定目的的計算機，其中用于存儲程序指令的裝置配置為使得處理器執行如下任務，例如 調整所捕獲的圖像的大小， 計算大小已調整的圖像中對象的平均高寬比以及重心 將該對象的平均高度與平均寬度進行比較，并進一步將重心的方差與預定的閾值進行比較 將所捕獲的側影中的對象分類到預定類別一般而言，在視頻監視系統中需要很大的存儲器存儲空間。如果對存儲器存儲空間需求沒有限制，則可存儲處于監視下的特定區域的完整視頻記錄。但是，在需要分析視頻序列的上下文(例如，調查犯罪)中，徹底審查(分析)整個記錄以檢索感興趣的對象被捕獲到的有關幀是困難的。本文所展示的發明可在這類情景中使用以從所存儲的視頻流提取包含感興趣目標的那些幀。本文所提出的系統和方法旨在對視頻流中正在被追蹤的移動對象進行分類。根據圖3，進入視頻監視系統的工作范圍的移動對象被追蹤。可使用本領域已知的
7任一方法來實現對移動對象的追蹤。監視系統中的每個相機將試圖捕獲移動對象的側影圖像。因為一個處理系統被連接至四個相機的每一個，這四個不同的相機將提取工作范圍中移動對象的相同參數集合。對于沒能捕獲到移動對象的側影圖像的相機，與該特定相機關聯的處理系統將自動地從決策過程中退出。如果人或牛進入了視場，在這種情形中，基于側影的處理系統將參與到決策過程中。如果車輛進入了視場，基于側影的處理系統和非基于側影的處理系統兩者均將參與到決策過程中。由至少一個相機捕獲的移動對象的側影圖像被劃分為兩個部分，S卩，上半部分和下半部分。調整所捕獲的側影圖像的大小，其中所捕獲的側影圖像的大小調整比例因子是通過使用所捕獲的側影圖像的上半部分的尺寸來計算的。這是為了保證下半部分所反映出的移動不影響大小調整比例。整個圖像是基于該比例因子而被調整大小的。在對所捕獲的側影圖像調整大小之后，計算大小已調整的側影圖像中對象的平均高寬比。進一步，計算大小已調整的側影圖像中對象的重心，其中重心是通過僅使用該對象的上半部分來計算的。 穿過重心的垂直線將所捕獲的圖像的下半部分劃分為兩部分，即，左下半部分和右下半部分。該處理系統還分析下半部分之一并計算重心的方差，其中重心的方差意味著在圖像的這一下半部分中的對象部分相對于該對象的重心的位置變化。本文中使用的區別信息是基于對象在左下半部分(LLH)中的重心的振蕩這一特性的。一般以一幀每秒的速率來考慮幀是足夠的。為特定數目的連續幀計算對象在LLH中的重心(CG)。CG的平均值和方差被計算。由于人步行的特性所展現的腿部擺動，重心方差將非常大。但是，對于車輛，重心方差是不顯著的，因為車輪的旋轉不影響重心的位置。牲畜的腿部移動的特性導致比車輛大很多的重心方差。在視頻監視中對對象進行分類是由以下邏輯實現的將對象的平均高寬比(H/W) 與數值“1”比較，并將重心的方差與預定的閾值比較。在作出關于對側影圖像中捕獲的對象的分類的決策時所使用的邏輯如下所述決策邏輯1.如果H/W > 1且CG方差> 閾值決策-人類“側影”2.如果H/W < 1且CG方差> 閾值決策-牲畜“側影”3.如果H/W < 1且CG方差< 閾值決策-車輛(“側影”或“非側影”)4.如果H/W > 1且CG方差< 閾值三種可能入菜 -非側影牲畜 -非側影車輛 -非側影基于該特定相機的系統從決策過程中退出。其中
H/W=平均高寬比CG方差=重心的方差根據圖3，在如步驟104中所示計算平均高寬比之后，將該平均高寬比與數值“1” 相比較，如步驟106所示。在步驟108和110中將重心的方差與預定閾值相比較。如果該平均高寬比大于1，換而言之如果對象的平均高度大于平均寬度，并且重心的方差大于預定閾值，則該對象被分類到人類類別下，如步驟112所示。類似地，如果平均高度小于平均寬度并且重心的方差大于預定閾值，則如步驟116所示該對象被分類為牲畜，如果平均高度小于平均寬度并且重心的方差小于預定閾值，則如步驟118所示，該對象被分類為車輛。如果平均高度大于平均寬度并且重心的方差小于預定閾值，則用于在基于視頻的監視時將移動對象分類的系統從對該移動對象分類的決策過程中退出，如步驟114所示。本發明的工作方式為了對本發明進行測試，使用了 MPEG2視頻。MPEG2視頻的每第三十幀被饋送用于計算。本文所指的第η幀實際上是原始MPEG2視頻的第30η幀。本發明已對各種移動對象的重心方差(C.G.方差)的計算進行了測試，如下所述示例1 人類(步行)如圖4所示，測試了用于在基于視頻的監視期間對移動對象進行分類的系統。允許一個人步行穿過視頻監視的工作范圍。經由視頻捕獲裝置捕獲具有背景的原始幀。從所捕獲的幀中對對象進行分割和提取。所提取出的對象被劃分為兩個部分，即，上半部分和下半部分。考慮圖像的上半部分來計算重心(C. G.)，穿過C. G.的垂直線將下半部分劃分為兩部分，即，左下半部分和右下半部分。考慮所提取出的對象的左下半部分，計算該對象的駐留在從穿過C. G.的垂直線起的左下半部分的那部分的方差。類似地，16個連續的幀被分析以用于計算重心的方差。在該特定示例中，針對連續的16個幀的C. G.方差計算為16. 4000。示例2 移動的二輪車(車輛)如圖5所示分析視頻監視范圍中移動的二輪車(車輛)時，遵循第一個示例中所解釋的相同規程，16個連續幀被分析。在該特定情形中，針對連續的16個幀的C. G.方差計算為 1. 6100。示例3 移動的汽車(車輛)如圖6所示分析視頻監視范圍中移動的汽車時，遵循第一個示例中所解釋的相同規程，16個連續幀被分析。在該特定情形中，針對連續的16個幀的C. G.方差計算為 0.2400。發明優點1)本發明提供了一種用于在基于視頻的監視期間對移動的對象進行分類的系統， 其中只有從幀序列中計算出的重心集合必須被存儲用于方差計算。無需存儲來自幀序列的對象圖像。由此節省了視頻監視系統的存儲器空間。2)本發明使用較少復雜邏輯用于在視頻監視期間對移動對象進行分類。3)本發明的計算成本低。
權利要求
1.一種用于在基于視頻的監視期間將移動對象分類的系統，包括a)至少一個視頻捕獲裝置，配置為捕獲落在視頻捕獲裝置的工作范圍內的移動對象的側影圖像；b)用于存儲程序指令的裝置，所述程序指令配置為使處理器i)調整所捕獲的側影圖像的大小，其中所述側影圖像的大小調整比例因子是通過使用所捕獲的側影圖像的上半部分的尺寸來計算的； )計算大小已調整的側影圖像中的所述對象的平均高寬比和重心，其中重心是通過僅使用所述對象的上半部分來計算的；iii)將所捕獲的圖像的下半部分以穿過所述重心的垂直線劃分為兩部分，并且分析所述下半部分之一并計算重心的方差；iv)將所述對象的平均高度與平均寬度進行比較，并進一步將重心的方差與預定的閾值進行比較；ν)將所捕獲的側影中的所述對象分類到預定類別，其中所述分類是在所計算出的平均高度、平均寬度和重心的方差的值的基礎上進行的。
2.如權利要求1所述的用于在基于視頻的監視期間將移動對象分類的系統，其特征在于，視頻捕獲裝置能夠是攝像機、閉路電視(CCTV)相機或IP相機。
3.如權利要求1所述的用于在基于視頻的監視期間將移動對象分類的系統，其特征在于，每個視頻捕獲裝置各自具有用于在基于視頻的監視時將移動對象分類的系統。
4.如權利要求1所述的用于在基于視頻的監視期間將移動對象分類的系統，其特征在于，每個視頻捕獲裝置能作出關于將在側影圖像中捕獲的移動對象分類的決策。
5.如權利要求1所述的用于在基于視頻的監視期間將移動對象分類的系統，其特征在于，如果所述平均高度大于平均寬度并且重心的方差大于預定的閾值，則所述對象分類為人類，如果所述平均高度小于平均寬度并且重心的方差大于預定的閾值，則所述對象分類為牲畜，并且如果所述平均高度小于平均寬度并且重心的方差小于預定的閾值，則所述對象分類為車輛。
6.如權利要求1所述的用于在基于視頻的監視期間將移動對象分類的系統，其特征在于，未捕獲到所述移動對象的側影圖像的一個或更多個視頻捕獲裝置將從所述移動對象的分類過程中退出。
7.如權利要求1所述的用于在基于視頻的監視期間將移動對象分類的系統，其特征在于，如果平均高度大于平均寬度并且重心的方差小于預定閾值，則用于在基于視頻的監視時將移動對象分類的系統從對所述移動對象分類的決策過程中退出。
8.如權利要求1所述的用于在基于視頻的監視期間將移動對象分類的系統，其特征在于，還能在所述視頻捕獲裝置的工作范圍中檢測到感興趣的對象時自動地發出警報。
9.一種用于在基于視頻的監視期間將移動對象分類的方法，包括以下步驟a)使用至少一個視頻捕獲裝置捕獲視頻監視的工作范圍中的移動對象的側影圖像；b)調整所捕獲的側影圖像的大小，其中所述側影圖像的比例因子是通過使用所捕獲的側影圖像的上半部分的尺寸來計算的；c)計算大小已調整的側影圖像中的所述對象的平均高寬比和重心，其中重心是使用所述對象的上半部分計算的，其中穿過重心的垂直線用于將所捕獲的圖像的下半部分劃分為左下半部分和右下半部分兩部分；d)分析所述下半部分之一并計算重心的方差；e)將所述對象的平均高度與平均寬度進行比較，并進一步將重心的方差與預定的閾值進行比較；以及f)將所捕獲的側影中的所述對象分類到預定類別，其中，所述分類是在所計算出的平均高度、平均寬度和重心的方差的值的基礎上進行的。
10.如權利要求9所述的用于在基于視頻的監視期間將移動對象分類的方法，其特征在于，視頻捕獲裝置能夠是攝像機、閉路電視(CCTV)相機或IP相機。
11.如權利要求9所述的用于在基于視頻的監視期間將移動對象分類的方法，其特征在于，每個視頻捕獲裝置各自具有用于在基于視頻的監視時將移動對象分類的系統。
12.如權利要求9所述的用于在基于視頻的監視期間將移動對象分類的方法，其特征在于，每個視頻捕獲裝置能作出關于將在側影圖像中捕獲的移動對象分類的決策。
13.如權利要求9所述的用于在基于視頻的監視期間將移動對象分類的方法，其特征在于，如果所述平均高度大于平均寬度并且重心的方差大于預定的閾值，則所述對象分類為人類，如果所述平均高度小于平均寬度并且重心的方差大于預定的閾值，則所述對象分類為牲畜，并且如果所述平均高度小于平均寬度并且重心的方差小于預定的閾值，則所述對象分類為車輛。
14.如權利要求9所述的用于在基于視頻的監視期間將移動對象分類的方法，其特征在于，未捕獲到所述移動對象的側影圖像的視頻捕獲裝置將從所述移動對象的分類過程中退出。
15.如權利要求9所述的用于在基于視頻的監視期間將移動對象分類的方法，其特征在于，如果平均高度大于平均寬度并且重心的方差小于預定閾值，則用于在基于視頻的監視時將移動對象分類的系統從對所述移動對象分類的決策過程中退出。
16.如權利要求9所述的用于在基于視頻的監視期間將移動對象分類的方法，其特征在于，還能夠在所述視頻捕獲裝置的工作范圍中檢測到感興趣的對象時自動地發出警報。
全文摘要
一種用于在基于視頻的監視期間將移動對象分類的系統，包括以下步驟捕獲移動對象的側影圖像，調整所捕獲的圖像的大小，計算大小已調整圖像中的對象的平均高寬比以及重心，劃分大小已調整的圖像，將對象的平均高度與平均寬度進行比較并進一步將重心的方差與預定的閾值相比較以將所捕獲的側影中的對象分類到預定類別。
文檔編號G06K9/62GK102346855SQ201110184660
公開日2012年2月8日 申請日期2011年6月21日 優先權日2010年7月29日
發明者B·塞斯納, M·約翰, P·帕拉尼潘, S·加納帕蒂 申請人:塔塔咨詢服務有限公司, 安那大學