一種交通視頻行為分析與報警服務器的制作方法

專利名稱：一種交通視頻行為分析與報警服務器的制作方法
技術領域：
本發明屬于交通監控和智能視頻分析領域，具體涉及一種交通視頻行為分析與報 警服務器，依據交通視頻流實時地進行各種交通行為分析與報警。
背景技術：
智能視頻分析是指通過實用計算機技術從視頻信號中提取有用的信息，并對視頻 內容進行實時智能分析。其本質是計算機對視頻中“有用內容”的提取和理解的過程，這一 過程的關鍵是計算機對視頻場景中發生的特定事件或目標的特定行為進行分析、理解、識 別并采取某些措施。隨著公共交通安全意識的增加，交通監控系統已取得了長足的發展，并得到了廣 泛的應用。但是目前絕大多數視頻監控系統還不具備智能分析視頻內容的能力，所有的監 控視頻必須依靠人力處理。然而，依靠人力監測眾多的攝像頭拍攝的視頻具有很大的局限 性一是人的精力有限，不可能隨時關注視頻信息；二是視頻信息量巨大，同一時間顯示在 電視墻的鏡頭有限，往往會漏掉一些值得關注的信息；三是視頻信息難以得到綜合分析，容 易造成對事態的錯誤估計。因此大量的視頻事實上只是起到了“事后查詢”的作用，沒有發 揮信息化處理的最大效用。在交通監控系統中通過使用智能視頻分析技術，能夠有效地過濾掉90%以上的正 常視頻。當預先定義的特定事件發生時，系統的自動報警功能提醒視頻監控人員關注該事 件并確認是否采取某種措施，因而無須監控人員隨時盯著監視器觀看，大大解放監控人員 勞動量的同時，提高了監控人員的工作效率。智能視頻分析技術提高了對特定事件的實時 監測與報警能力，大大縮短了對事件做出反應和采取相應策略的時間。由于視頻內容分析 算法通常比較復雜，與天氣條件和光線變化密切相關，而且沒有有效的方法可以提高其并 行度，所以目前的智能交通監控系統往往是針對特定的應用場景和特定的事件，難以做到 多路并行分析。因此，開發能夠同時處理多路視頻、多個場景下的多種行為分析的智能交通 監控設備是十分有必要的。

發明內容
本發明的目的在于彌補現有交通監控系統的不足，提供一種交通視頻行為分析與 報警服務器，實時處理多路視頻、多個場景下的各種交通行為分析。一種交通視頻行為分析與報警服務器，包括視頻源輸入單元、中央處理單元、報警 單元、顯示單元和存儲單元，視頻源輸入單元向中央處理單元提供一路以上的交通視頻數 據流，中央處理單元同時對各路視頻數據流進行不同交通行為違規分析，依據違規分析結 果觸發報警單元，報警單元以設定方式進行報警，顯示單元實時顯示各路交通視頻和交通 行為違規分析過程及結果，存儲單元存儲包含車輛違規全過程的交通視頻流和違規分析結果。進一步的，所述中央處理單元包括
目標識別模塊，用于在各路交通視頻數據流中識別出車輛和行人；交通行為分析模塊，用于跟蹤車輛和行人，對其運動行為進行違規分析；車牌識別模塊，用于控制攝像頭捕獲有違規行為的車輛車牌號；中央處理模塊，用于協調控制上述模塊執行相應功能。進一步的，所述交通行為違規分析包含對車輛越線、逆行、違停、事故、闖紅燈、車 流量的分析。進一步的，所述報警方式有(a)將違規分析結果傳送給現有交通監控系統；(b) 通過電子郵件或手機短信將違規分析結果通知相關人員；(c)激活聲光設備報警。進一步的，所述交通行為分析模塊采用粒子濾波算法跟蹤車輛和行人。本發明的技術效果體現在交通視頻行為分析與報警服務器能夠同時且獨立地對多路交通視頻流中多種交 通行為(包括越線、逆行、違停、交通事故、車流量統計)并行進行實時分析，能夠實時的發 現各路視頻流中車輛的違規行為，并在很短時間內做出報警處理。當分析發現有車輛違規 行為時，自動控制PTZ攝像頭獲取車牌的近景視頻流以提高車牌識別的準確率。本發明除 了能對交通車輛的各種違規行為進行綜合檢測外，還能實時對交通路況進行統計分析(包 括車輛計數和車速計算)以判定當前道路的擁堵等級，便于交通管理人員調控車流走向減 少道路擁堵情況的發生。交通視頻行為分析與報警服務器在進行各種分析的同時，將監控 畫面實時的顯示在監視器上，以便監控人員直觀的查看當前監控路段的具體情況和交通行 為違規分析的過程和結果。交通視頻行為分析與報警服務器不僅能處理實時的視頻流，還 能對多種格式(包含H. 264，avi等)的交通監控視頻錄像進行各種交通行為違規分析。交通視頻行為分析與報警服務器支持對交通違規行為做必要的存儲記錄，作為證 據以便日后能查詢。包括觸發帶預錄的錄像存儲以記錄車輛違規的完整過程，可供需要時 查看車輛的違規錄像；將違規車輛違規的地點、時間、違規行為類型以及車牌號寫入數據庫 以便查詢和統計。交通視頻行為分析與報警服務器支持針對交通違規行為做相應的報警處理。包括 激活聲光設備報警以提醒監控人員有車輛違規行為發生，監控人員可根據提示做出相應的 處理；給相關人員發送E-mail描述道路交通情況和車輛違規行為，可供相關人員隨時隨地 查看任何路段的交通擁堵情況和車輛違規情況；給現有的交通視頻監控系統發送報警信息 以便現有的監控系統對車輛違規行為做同步處理，這樣就能與現有的交通視頻監控系統完 美的兼容。


圖1為本發明整體結構圖。圖2為中央處理單元結構示意圖。圖3為本發明應用實例示意圖。
具體實施例方式本發明交通視頻行為分析與報警服務器既能獨立的組成一個交通監控系統，又能 與現有的交通監控系統結合，在不改變現有交通監控系統架構的基礎上方便地擴展現有的交通監控系統。交通視頻行為分析與報警服務器能大大減少監控人員的工作量，提高公共 交通的監控力度。下面以本發明與現有交通監控系統結合應用為例詳細說明。本實施例硬件平臺為處理器(四核)Jntel(R) core (TM) i5 cpu 750 @2. 67GHz ；顯示卡NVIDIAGeForce 9800GT ；端口 prolific USB—to—Serial Comm Port ；網絡適配器；海康威視DS-4008HC音視頻壓縮卡；其中，四核處理器用于支持多線程并行分析AVI格式的八路視頻流；顯卡用于支 持高清視頻圖像的顯示和分析算法的加速以實現同時且獨立對八路視頻流進行實時分析; 端口用于支持PTZ攝像頭控制；網絡適配器用于支持報警信息傳輸；海康威視DS-4008HC 音視頻壓縮卡用于支持同時對八路視頻流進行實時的采集和壓縮編碼。本實施例整體結構如圖1所示，包括視頻源輸入單元、中央處理單元、報警單元、 顯示單元和存儲單元。(1)視頻源輸入單元通過視頻采集卡同時對八路交通視頻流進行采集、編碼，并進行解碼和轉碼為AVI 格式的交通視頻數據流。(2)中央處理單元中央處理單元包括目標識別模塊、車輛越線檢測模塊、車輛逆行檢測模塊、車輛違 停檢測模塊、車輛事故檢測模塊、紅綠燈路口車輛違規行為檢測模塊，交通流量統計模塊、 車牌識別模塊和中央處理模塊。各模塊間的關系如圖2。目標識別模塊，根據高斯背景建模方法檢測出當前視頻流中的運動物體，并根據 一些特征(包括大小、長寬比例、直方圖信息等)識別出車輛和行人，過濾掉其他物體的干 擾。車輛越線檢測模塊，根據粒子濾波技術跟蹤目標識別模塊識別的車輛，當車輛運 動軌跡穿過雙向道路中間的黃線時，判斷其為越線。車輛逆行檢測模塊，根據粒子濾波技術跟蹤目標識別模塊識別的車輛，當車輛運 動軌跡方向與車輛所在道路的指定行駛方向相反時，判斷其為逆行。車輛違停檢測模塊，根據粒子濾波技術跟蹤目標識別模塊識別的車輛，當車輛在 預先劃定的不允許停車的區域內停車的時間達到一定時間(如2分鐘)時，判斷其為違停。車輛事故檢測模塊，根據粒子濾波技術跟蹤目標識別模塊檢測到的運動物體(車 輛和行人)，當有兩個或兩個以上物體的運動軌跡出現交叉并突然停止時，判斷為交通事 故。紅綠燈路口車輛違規行為檢測模塊，自動識別紅綠燈路口交通燈的當前狀態，當 有車輛在紅燈時通過當前路口時，判斷其為闖紅燈。交通流量統計模塊，對目標識別模塊識別的車輛數目和車輛的運動速度進行統 計，判斷當前路段的交通擁堵程度。車牌識別模塊，當以上各模塊發現有車輛違規行為時，自動控制PTZ攝像頭捕獲近景車牌視頻流并識別車牌。本模塊除了支持這種單攝像頭的車牌識別方法，還支持雙攝 像頭的車牌識別方法，即一個攝像頭捕獲監控場景的全景信息以供以上各模塊分析，另一 個攝像頭捕獲監控場景中車輛必經的子區域，當車輛發生違規行為并進入這一子區域時自 動捕獲近景車牌視頻流并識別車牌。中央處理模塊，協調控制中央處理單元其它模塊執行相應功能，若發現有違規行 為，即向報警單元發送報警信息。報警信息包括違規車輛的車牌號、違規類型(包括越線、 逆行、違停、事故、闖紅燈)、違規起止時間、違規路段。(3)報警單元報警單元包括報警接收模塊、同步報警模塊、E-mail報警模塊、聲光報警模塊；報警接收模塊，接收中央處理單元的報警信息；同步報警模塊，將報警信息通過網絡傳送給現有的交通監控系統，以便現有的交 通監控系統根據報警信息自動采取相應的處理措施；傳訊報警模塊，報警信息傳通過電子郵件形式或手機短信傳給相關人員；聲光報警模塊，當中央處理單元發現有交通違規行為時，激活聲光設備報警，提醒 監控人員注意并作出相應的處理；(4)顯示單元實時顯示視頻源輸入單元采集到的視頻，以及中央處理單元作交通行為違規分析 時的運動物體跟蹤過程和違規分析結果。(5)存儲單元負責對視頻源輸入單元采集到的視頻流進行存儲管理和車輛違規日志的記錄管 理，包括日志記錄模塊和錄像存儲模塊。日志記錄模塊，當中央處理單元發現有交通違規行為時，記錄車輛的具體違規信 息(包括違規車輛車牌號碼、違規類型、違規時間、違規路段等)，方便日后查詢和統計車輛 違規信息。錄像存儲模塊，當中央處理單元發現有交通違規行為時，記錄下當前路段當前時 間段內車輛違規過程的完整錄像，作為車輛違規的證據。本發明目標跟蹤選用粒子濾波算法，為了以更快速度的對多路交通視頻流并行進 行多種交通行為違規分析，可對該算法作局部改進，改進處具體為1.標定道路的具體位 置，使跟蹤算法只對道路范圍內的車輛進行有針對性的跟蹤，從而減少了跟蹤算法處理的 數據量，提高運算速度；2.對車道以往的車輛歷史運動軌跡進行學習，為跟蹤算法提供指 導信息，從而減少了跟蹤運動車輛所需的粒子數目。可以看出，改進之處減少了計算量，在 保證跟蹤效果的前提下，減少了跟蹤算法的復雜度，提高運算速度。本實例具體實施步驟如下1.接入視頻流為了不干擾現有的交通監控系統的架構，前端攝像頭采集的視頻流傳回監控中心 后，通過視頻分頻器新分出一路視頻流，原來的視頻流依舊按照原來的方式接入原交通監 控系統，新分出的視頻流接入交通視頻行為分析與報警服務器。2.連接攝像頭控制線為了在交通視頻行為分析與報警服務器發現交通違規行為時，能自動控制PTZ攝像頭獲取車輛的近景視頻流提高車牌識別的準確率，需要連接控制攝像頭的控制線。本實 施例設備支持的控制協議是派爾高pelco P/D等RS485/RS422協議，以前部署的監控系統 使用的攝像頭支持的協議可能是AD/AB曼碼協議，可以通過協議轉換器在不更換前端攝像 頭的情況下直接兼容。3.接入交通監控系統所在的網絡隨著公共交通安全意識的增強，道路監控攝像頭的數量在不斷增長，大大加重了 監控中心監控人員的工作負擔，監控人員已無法對所有的監控畫面同時進行監視。為了克 服隨著監控攝像頭不斷增加而人力難以面面俱到的監視的困難，交通視頻行為分析與報警 服務器將作為現有視頻監控系統的“眼睛”，自動分析視頻中車輛的各種違規行為，并在發 現車輛的違規行為時通過網絡向原交通監控系統發送報警信息。4.監控場景配置調控八個攝像頭分別到適合的監控位置，并根據當前八個攝像頭監控場景道路的 具體情況對八路視頻分別進行道路配置。包括畫車道線，畫禁止停車的違停區域，畫車道方 向以及子監控區域(子監控區域對應第二攝像頭的監控范圍)。5.分析配置根據八個攝像頭監控場景的具體情況，可以對八路視頻分別進行車輛行為違規分 析配置，各路可以同時進行所有的違規行為分析或者只進行某些違規行為分析。這些違規 行為分析包括車輛的越線檢測、車輛的逆行檢測、車輛的違停檢測、車輛的事故檢測、車牌 識別、以及交通流量統計。6.報警配置當交通視頻行為分析與報警服務器發現交通違規行為后，會自動記錄車輛違規日 志、觸發帶預錄的錄像存儲。還可以根據需要設置相應的報警處理并為這些處理指定相關 的參數。可選擇通過網絡向原有的交通監控系統發送同步報警信息(交通監控系統的IP)、 通過網絡給相關人員發送E-mail報警(輸入相關人員的E-mail地址)、以及聲光報警。經過以上步驟后，本實例開始對八路視頻流同時且獨立的按照設置的道路信息進 行選擇的多種行為分析。本實例對某路視頻進行分析時的某幀運行效果如圖3。其中，當前幀最左邊和最右邊的線條表示當前監控場景中預先標定的車道位置，本實例 只對這兩條線區域之間的運動物體做行為分析。當前幀中間的直線表示根據當前監控場景預先標定的雙向道路的黃線，是判斷車 輛越線的標準。當前幀中的箭頭方向表示根據當前監控場景預先標定的各車道規定的車輛行駛 方向，是判斷車輛逆行的標準。當前幀中的四邊形區域表示根據當前監控場景預先標定的禁止停車的違停區域， 當車輛在這一區域停止運動達到一定的時間(時間可設)，則認為其違停。當前幀中車輛上的矩形框表示本實例檢測識別到的車輛，并對其跟蹤做各種行為 分析。綜上所述，本發明設備能以簡單的方式與現有的交通視頻監控系統兼容，可以同 時且獨立對多路視頻流進行多種車輛行為分析，在車輛發生違規行為時給監控中心發送報 警信息，且本發明服務器設備在車輛發生違規行為時會有針對性的自動錄像記錄車輛違規的全過程及車輛違規日志，使得在日后需要查看相應車輛違規錄像的時候，能通過違規車 輛車牌號查詢車輛違規日志“一鍵”再現車輛違規的全過程，通過車輛違規日志也能方便的 查詢各個監控路口、各個時間段、各種違規類型的車輛違規行為的統計信息。
權利要求
1.一種交通視頻行為分析與報警服務器，包括視頻源輸入單元、中央處理單元、報警 單元、顯示單元和存儲單元，視頻源輸入單元向中央處理單元提供一路以上的交通視頻數 據流，中央處理單元同時對各路視頻數據流進行不同交通行為違規分析，依據違規分析結 果觸發報警單元，報警單元以設定方式進行報警，顯示單元實時顯示各路交通視頻和交通 行為違規分析過程及結果，存儲單元存儲包含車輛違規全過程的交通視頻流和違規分析結果。
2.根據權利要求1所述的交通視頻行為分析與報警服務器，其特征在于，所述中央處 理單元包括目標識別模塊，用于在各路交通視頻數據流中識別出車輛和行人； 交通行為分析模塊，用于跟蹤車輛和行人，對其運動行為進行違規分析； 車牌識別模塊，用于控制攝像頭捕獲有違規行為的車輛車牌號； 中央處理模塊，用于協調控制上述模塊執行相應功能。
3.根據權利要求1所述的交通視頻行為分析與報警服務器，其特征在于，所述交通行 為違規分析包含對車輛越線、逆行、違停、事故、闖紅燈、車流量的分析。
4.根據權利要求1所述的交通視頻行為分析與報警服務器，其特征在于，所述報警方 式有(a)將違規分析結果傳送給現有交通監控系統；(b)通過電子郵件或手機短信將違規 分析結果通知相關人員；(c)激活聲光設備報警。
5.根據權利要求1所述的交通視頻行為分析與報警服務器，其特征在于，所述交通行 為分析模塊采用粒子濾波算法跟蹤車輛和行人。
全文摘要
一種交通視頻行為分析與報警服務器，包括視頻源輸入單元、中央處理單元、報警單元、顯示單元和存儲單元，視頻源輸入單元向中央處理單元提供多路交通視頻數據流，中央處理單元同時對各路視頻數據流進行各種交通行為違規分析，依據違規分析結果觸發報警單元，報警單元以設定方式進行報警，顯示單元實時顯示交通視頻和交通行為違規分析過程及結果，存儲單元存儲包含車輛違規全過程的交通視頻流和違規分析結果的記錄。本發明同時且獨立地對多路交通視頻流中多種交通行為(包括越線、逆行、違停、交通事故、車流量統計)并行進行實時分析，能夠實時的發現各路視頻流中車輛的違規行為，并在很短時間內做出報警處理。
文檔編號H04N7/18GK102081844SQ20111002671
公開日2011年6月1日 申請日期2011年1月25日 優先權日2011年1月25日
發明者余勝生, 葉思, 孫偉平, 廖紅虹, 李曉振, 李榕, 裴仁旺, 陳小平, 魏卓 申請人:華中科技大學