采用視頻基元的視頻監視系統的制作方法
【技術領域】
[0001]本發明涉及一種采用視頻基元的自動視頻監視系統。
[0002]參考文獻
[0003]為了方便讀者，下面列出在此引用的參考文獻。在說明書中，括號內的數字表示各個參考文獻。將所列的參考文獻合并在此以作參考。
[0004]下面的參考文獻描述了運動目標檢測:
[0005]{1}A.Lipton，H.Fujiyoshi 和 R.S.Patil， " Moving Target Detect1n andClassificat1n from Real-Time Video，" Proceedings of IEEE ffACV/ 98.Princeton，NJ，1998，pp.8-14.
[0006]{2}ff.E.L.Grimson? et al.，" Using Adaptive Tracking to Classify andMonitor Activities in a Site"，CVPR.pp.22-29，June 1998.
[0007]{3}AJ.Lipton?H.Fujiyoshi?R.S.Patil? !r Moving Target Classificat1n andTracking from Real-time Vide0." IUff.pp.129-136，1998.
[0008]{4} TJ.0lson 和 F.Z.Brill， " Moving Object Detect1n and EventRecognit1n Algorithm for Smart Cameras，" IUff.pp.159-175，Mayl997.
[0009]下面的參考文獻描述了檢測和人物跟蹤:
[0010]{5}A.J.Lipton，" Local Applicat1n of Optical Flow to Analyze RigidVersus Non-Rigid Mot1n， " Internat1nal Conference on Computer Vis1n.Corfu?Greece，September 1999.
[0011]{6}F.Bartolini，V.Cappellini，和 A.Mecocci，" Counting people getting inand out of a bus by real-time image-sequence processing，" IVC.12 (1):36_41，January 1994.
[0012]{7}M.Rossi 和 A.Bozzoli，" Tracking and counting moving people，" ICIP94.pp.212-216，1994:
[0013]{8}CR.Wren，A.Azarbayejani，T.Darrell，和 A.Pentland，" Pfinder:Real_timetracking of the human body，" Vismod.1995.
[0014]{9} L.Khoudour，L.Duvieubourg，J.P.Deparis， " Real-Time PedestrianCounting by Active Linear Cameras，" JEI，5(4):452_459，October 1996.
[0015]{10}S.1offe， D.A.Forsyth， " Probabilistic Methods for FindingPeople，" ITCV.43(1):45_68，June 2001.
[0016]{11}M.1sard 和 J.MacCormick， " BraMBLe:A Bayesian Multiple-BlobTracker，" ICCV.2001.The following references describe blob analysis:
[0017]下面的參考文獻描述了團跡(blob)分析:
[0018]{12} D.M.Gavrila， " The Visual Analysis of Human Movement:ASurvey, " CVIU.73(1):82-98，January 1999.
[0019]{13}Niels Haering 和 Niels da Vitoria Lobo， " Visual EventDetect1n，" Video Computing Series, Editor Mubarak Shah,2001.
[0020]下面的參考文獻描述了針對卡車、汽車和人物的團跡分析:
[0021]{14}Collins， Lipton, Kanade， Fujiyoshi, Duggins， Tsin， Tolliver, Enomoto，和 Hasegawa， " A System for Video Surveillance and Monitoring:V SAM FinalReport， " Technical Report CMU-R1-TR-00-12，Robotics Institute，Carnegie MellonUniversity, May 2000.
[0022]{15}Lipton, Fujiyoshi,和 Patil， " Moving Target Classificat1n andTracking from Real-time Video, " 98 Darpa IUff.Nov.20-23，1998.
[0023]下面的參考文獻描述了對單人的團跡及其輪廓的分析:
[0024]{16}CR.Wren，A.Azarbayejani, T.Darrell,和 A.P.Pentland." Pf [1ta]nder:Real-Time Tracking of the Human Body, " PAM1.vol 19，pp.780-784，1997.
[0025]下面的參考文獻描述了團跡的內部運動，包括任何基于運動的分割:
[0026]{17}M.Allmen和C.Dyer，" Long-Range Spat1temporal Mot1n UnderstandingUsing Spat1temporal Flow Curves, " Proc.1EEE CVPR.Lahaina, Maui, Hawaii,pp.303-309，1991.
[0027]{18}L.ffixson, " Detecting Salient Mot1n by Accumulating Direct1nallyConsistent Flow"，IEEE Trans.Pattern Anal.Mach.1ntell., vol.22, pp.774-781, Aug,2000.
【背景技術】
[0028]公共場所的視頻監視變得非常普遍，并被普通大眾所接受。遺憾的是，傳統的視頻監視系統產生非常大量的數據，從而在視頻監視數據的分析中造成難以處理的問題。
[0029]需要減少視頻監視數據量，以便可以進行視頻監視數據的分析。
[0030]需要過濾視頻監視數據，以便識別出視頻監視數據中需要的部分。
【發明內容】
[0031]本發明的目的是減少視頻監視數據量，以便可以進行視頻監視數據的分析。
[0032]本發明的目的是過濾視頻監視數據，以便識別出視頻監視數據中需要的部分。
[0033]本發明的目的是根據視頻監視數據，基于對事件的自動檢測，產生實時警報。
[0034]本發明的目的是整合來自監視傳感器的數據而不是視頻，以提高搜索能力。
[0035]本發明的目的是整合來自監視傳感器的數據而不是視頻，以提高事件檢測能力。
[0036]本發明包括用于視頻監視的制造產品、方法、系統和設備。
[0037]本發明的制造產品包括計算機可讀介質，計算機可讀介質包括用于視頻監視系統的軟件，并包括用于基于視頻基元來操作視頻監視系統的代碼段。
[0038]本發明的制造產品包括計算機可讀介質，計算機可讀介質包括用于視頻監視系統的軟件，并包括用于訪問存檔的視頻基元的代碼段以及用于從所訪問的存檔視頻基元中提取事件發生的代碼段。
[0039]本發明的系統包括計算機系統，計算機系統包括計算機可讀介質，計算機可讀介質具有軟件，用于根據本發明來操作計算機。
[0040]本發明的設備包括計算機，計算機包括計算機可讀介質，計算機可讀介質具有軟件，用于根據本發明來操作計算機。
[0041]本發明的制造產品包括計算機可讀介質，計算機可讀介質具有軟件，用于根據本發明來操作計算機。
[0042]此外，本發明的上述目的和優點是本發明可實現的目的和優點的示例，而不是窮盡列舉的。因此，根據這里的說明，這里所體現的以及考慮到對于本領域技術人員而言顯而易見的任意改變而做出的修改的本發明的這些和其它目的和優點將是顯然的。
[0043]定義
[0044]“視頻”是指以模擬和/或數字形式呈現的運動圖像。視頻的示例包括:電視、電影、來自攝像機或其它觀察器的圖像序列以及計算機產生的圖像序列。
[0045]“幀”是指視頻內的特定圖像或其它離散單元。
[0046]“對象”是指視頻中感興趣的項目。對象的示例包括:人、車輛、動物和物理對象。
[0047]“活動”是指一個或多個對象的一個或多個動作和/或一個或多個動作的一個或多個合成。活動的示例包括:進入、退出、停止、移動、上升、下降、膨脹和收縮。
[0048]“位置”是指活動可能發生的空間。例如，位置可以是基于場景的或基于圖像的。基于場景的位置的示例包括:公共空間、商店、零售商店、辦公室、倉庫、酒店房間、酒店大廳、建筑物大廳、娛樂場、公共汽車站、火車站、飛機場、港口、公共汽車、火車、飛機以及輪船。基于圖像的位置的示例包括:視頻圖像；視頻圖像中的行；視頻圖像中的區域；視頻圖像的矩形部分；視頻圖像的多邊形部分。
[0049]“事件”是指活動所涉及的一個或多個對象。可以相對于位置和/或時間而提及事件。
[0050]“計算機”是指能夠接受結構化輸入、根據預定規則來處理結構化輸入、并產生處理結果作為輸出的任意設備。計算機的示例包括:計算機、通用計算機、超型計算機、大型機、超小型計算機、小型計算機、工作站、微型計算機、服務器、交互式電視、計算機和交互式電視的混合組合、以及對計算機和/或軟件進行仿真的專用硬件。計算機可具有單個處理器或多個處理器，這些處理器可并行操作也可不并行操作。計算機還指通過網絡連接在一起、用于在計算機之間發送或接收信息的兩個或多個計算機。這種計算機的示例包括分布式計算機系統，用于經由通過網絡鏈接的計算機來處理信息。
[0051 ] “計算機可讀介質”是指用于存儲可由計算機訪問的數據的任何存儲設備。計算機可讀介質的示例包括:磁硬盤、軟盤、例如CD-ROM和DVD的光盤、磁帶、存儲芯片、以及用于載有計算機可讀電信號的載波，例如用在發送和接收電子郵件或訪問網絡中的載波。
[0052]“軟件”是指操作計算機的預定規則。軟件的示例包括:軟件、代碼段、指令、計算機程序和可編程邏輯。
[0053]“計算機系統”是指具有計算機的系統，其中計算機包括包含有操作計算機的軟件的計算機可讀介質。
[0054]“網絡”是指通過通信設施連接的多個計算機和相關的設備。網絡包括例如電纜的永久性連接和例如通過電話或其它通信鏈路而進行的暫時性連接。網絡的示例包括:例如因特網的互聯網、內聯網、局域網(LAN)、廣域網(WAN)以及例如互聯網和內聯網等網絡的組合。
【附圖說明】
[0055]通過附圖來更加詳細地解釋本發明的實施例，附圖中相同的附圖標記指代相同的特征。
[0056]圖1示出了本發明的視頻監視系統的平面圖。
[0057]圖2示出了本發明的視頻監視系統的流程圖。
[0058]圖3示出了用于給視頻監視系統分派任務的流程圖。
[0059]圖4示出了用于操作視頻監視系統的流程圖。
[0060]圖5示出了用于提取視頻監視系統的視頻基元的流程圖。
[0061]圖6示出了對視頻監視系統采取行動的流程圖。
[0062]圖7示出了視頻監視系統的半自動校準的流程圖。
[0063]圖8示出了視頻監視系統的自動校準的流程圖。
[0064]圖9示出了本發明的視頻監視系統的附加流程圖。
[0065]圖10-15示出了本發明的視頻監視系統用于監視雜貨商店的示例。
[0066]圖16a示出了根據本發明實施例的視頻分析子系統的流程圖。
[0067]圖16b示出了根據本發明實施例的事件發生檢測和響應子系統的流程圖。
[0068]圖17示出了示范性的數據庫查詢。
[0069]圖18示出了根據本發明多個實施例的三個示范性活動檢測器:檢測橫穿姅網(圖18a)、閑逛(圖18b)和偷竊(圖18c)。
[0070]圖19示出了根據本發明實施例的活動檢測器查詢。
[0071]圖20示出了根據本發明實施例的使用活動檢測器以及具有修飾符的布爾算子的示范性查詢。
[0072]圖21a和21b示出了使用多級組合算符(combinator)、活動檢測器以及屬性查詢的示范性查詢。
[0073]圖22示出了根據本發明實施例的視頻監視系統的示范性配置。