基于深度卷積神經網絡的車輛違停逆行檢測方法與流程
本發明屬于深度特征的視頻檢測技術領域，涉及路面事件的檢測，基于Deep-CNN路面反向識別模型進行車輛違停或逆行檢測，以及對檢測結果的數據分析與數據挖掘，為一種基于深度卷積神經網絡(Deep-CNN)的車輛違停逆行檢測方法。
背景技術：
道路事故，交通擁堵，環境污染是當今公路交通發展面臨的普遍性難題。道路交通安全狀況令人堪憂，道路信息化與智能交通系統(Intelligent Transportation System，ITS)是提升道路設施利用效率，緩解交通堵塞，降低交通事故發生率的有效手段。通過計算機視覺技術實時感知道路車速、流量等交通流參數，提供實時路況，并結合歷史數據對路網通行狀態和出行時間進行預測，以自動視頻分析代替人工監看，從海量視頻中檢測道路異常事件，包括路面遺留物檢測、高速公路違法停檢測等高危事件，對提高公路信息化水平和公眾服務能力都具有非常重要的意義。
技術實現要素：
本發明要解決的問題是：隨著道路監控視頻數量大幅攀升，僅依靠人工無法實現既有視頻資源有效管理。通過計算機視頻分析自動分析交通監控視頻，提取交通參數，自動發現并主動上報異常事件，可大幅減少交通管理的人力成本，提高管理水平與事件應急響應能力。
本發明的技術方案為：基于深度卷積神經網絡的車輛違停逆行檢測方法，基于深度卷積神經網絡Deep-CNN網絡模型，Deep-CNN網絡模型將路面感興趣區域劃分為多個網絡，構建路面—非路面識別模型，通過非路面網格反向識別高速公路路面非法停車、逆行等目標，包括以下步驟：
Step1：路面模型訓練，采集道路攝像頭的視頻圖像，將視頻窗口中路面的感興趣區域ROI路面網格化分割成多個小塊，標準化后作為Deep-CNN網絡模型的訓練集，訓練時首先采用無監督方法訓練獲取圖像特征，聚類后再設置標簽，人工方式標記路面類型，區分路面與非路面，得到路面—非路面識別模型；
Step2：非路面前景模型訓練，將被分為非路面的網格圖片按連通區域組合成候選目標加入訓練庫，再次采用Deep-CNN網絡模型進行訓練，分級訓練路面目標，所述路面目標包括車輛、路面遺留物和行人，得到前景識別模型；
Step3：前景目標檢測，在step1及step2的識別模型基礎上，對實時視頻圖像使用Deep-CNN網絡模型和SVM分類器實現前景目標的檢測與分類，先識別路面非路面，再識別出前景目標的類型；
Step4：行為分析，在前景目標分類識別基礎上，根據前景目標在視頻圖像序列中的上下文信息，進行道路事件車輛違停逆行檢測識別，設與分別為T0與T0+t時刻的第k個前景候選目標的位置，計算前景候選目標在圖像區域位移的歐氏距離獲取第k個前景候選目標運動狀態與方向，進一步確定目標是否存在停止或逆行狀態。
所述的車輛違停或逆行檢測具體為：
Step1.1：對實時視頻圖像中的路面設置禁止區域ROI禁，視頻窗口圖像網格化后，根據路面—非路面識別模型進行分類；
Step1.2：連通ROI禁區域內非路面網格圖片Ii,j，生成候選目標Ok；
Step1.3：對候選目標Ok分類識別，如果為車，則鎖定為車輛目標；
Step1.4：計算初始時刻T0與t時刻后T0+t之間車輛目標位移距離與方向，和正常道路車輛方向進行對比；
Step1.5：判定車輛違停或逆行行為。
進一步的，Step1和Step2具體為：
1)設置感興趣區域ROI路面：采集道路或街景監控器的視頻圖像，獲得道路或街景視頻幀圖像，根據實際的道路或街景狀況，在當前幀圖像上提取關注區域的邊界對角4個點，對所提取的點進行直線擬合計算，形成叉形結構，叉形結構內作為檢測的興趣域ROI路面，也就是有效檢測區域；
2)非檢測區域漫水填充：非ROI路面為非監測區域，進行漫水填充處理，填充后，落在ROI路面區域外的網格圖片像素均值為0，直接濾除不再進行后續處理；
3)檢測區域ROI路面網格化分塊，網格圖片經Deep-CNN分類結果為路面或非路面，將ROI路面的分塊中非路面的網格圖片連起來，記為Ip,q，即路面，Ip,q組成候選目標，送入分類器，分類為車輛、行人或路面遺留物。
本發明充分利用現有視頻監控設施和海量視頻數據，可最大限度節省硬件投入，獲得更豐富直觀的交通數據，滿足交通管理與公眾服務的數據/信息需求。
本發明建立了基于Deep-CNN的反向路面識別模型，利用Deep-CNN路面模型解決移動攝像機與圖像目標檢測，應用于車輛違停檢測、逆行檢測等任務。與地感線圈、雷達等傳統技術相比，監控視頻含有路面、車輛、路面遺留物等圖像信息，通過CNN神經網絡提取上述特征并基于Deep-CNN檢測路面車輛違停、逆行等異常事件信息，識別道路事故并及時發送圖文報警，提供比傳統車檢設備更豐富的道路事件信息。
本發明在監測區域大范圍部署移動終端，形成移動終端檢測點，通過移動通信設備或道路監控進行交互式標定，確定攝像頭參數后，使用攝像頭采集圖像，利用CNN神經網絡對采集的圖像作進一步分析，獲得當前每個圖像的ROI數據，將路面ROI區域劃分為多個網絡，構建路面—非路面識別模型，通過非路面網格反向識別非法停車、逆向行駛等目標。
本發明移動終端檢測點為道路攝像頭，自身價格低廉，充分利用移動互聯網優勢，不需要昂貴的監測儀器設備，只需道路上現成的攝像頭，可大范圍部署，現場檢測路面信息通過移動互聯網傳輸至服務器。充分利用移動互聯網的特點與優勢，以低成本實現區域高覆蓋率路面事件檢測。
附圖說明
圖1為本發明基于Deep-CNN反向識別路面事件檢測流程圖
圖2為本發明使用的Deep-CNN模型原理。(a)Softplus與ReLU激活函數(b)Deep-CNN網絡結構。
圖3為本發明Deep-CNN路面識別模型檢測圖。(a)ROI檢測區域劃分(b)漫水法填充清除非ROI區域像素(c)網格化Deep-CNN輸入及目標檢測。
圖4為本發明移動終端單幀照片路面檢測訓練圖。(a)手持移動終端照片(b)車道ROI區域路面檢測效果。
圖5為本發明實施的選取江蘇省寧連高速公路場景進行基于Deep-CNN路面反向識別模型禁區違停、逆行檢測效果圖(a)路面ROI(b)違停檢測(c)逆行檢測(d)逆行檢測。
具體實施方式
本發明將深度學習引入路面事件識別并加以改進，可顯著提高道路事件識別準確度。考慮到車輛為靜態目標，而傳統背景建模方法不適用于靜態目標檢測，以及路面遺留物難以使用先驗模型構造訓練集，使得同樣作為靜態目標的路面遺留物會與違停車輛混淆的情況。本發明建立了基于深度卷積神經網絡Deep-CNN的路面反向識別模型，移動終端檢測點為道路攝像頭，移動終端檢測點通過攝像頭獲取圖像信息，利用CNN神經網絡對獲取的圖像進行分析，將路面ROI區域劃分為多個網絡，構建路面—非路面識別模型，通過非路面網格反向識別非法停車和逆向行駛。
本發明構建了基于Deep-CNN網絡的分層道路事件識別框架：
其基本思想是分層識別，通過路面—非路面識別，進而反向識別路面目標物，路面反向識別過程為：
首先進行路面模型訓練，將視頻窗口的感興趣區域(Region of Interest,ROI)網格化分割成多個小塊，標準化后作為Deep-CNN網絡的訓練集，考慮到路面模型由路面瀝青、路面車道、護欄等組成，圖像外觀差異較大，強制標注為單獨一類容易引起過擬合，故而采用無監督方法訓練獲取圖像特征，聚類后再以多類標簽人工方式標記路面，保證準確區分路面與非路面。
然后進行非路面前景模型訓練，將被分為非路面的網格圖片塊按連通區域組合成候選目標加入訓練庫，再次Deep-CNN網絡訓練，分級訓練路面目標，包括車輛、路面遺留物、行人等。
對道路進行實時檢測時，首先進行前景目標檢測，在之前的路面識別模型基礎上實現運動與靜態前景目標檢測與分類。
最后進行行為分析，在前景目標檢測基礎上，根據目標在視頻圖像序列中的上下文信息，進行車輛違停檢測、車輛逆行檢測。
所述的車輛違停檢測和逆行檢測具體實現于以下步驟：
Step1.1：對實時視頻圖像中的路面設置禁止區域ROI禁，視頻窗口圖像網格化后，根據路面—非路面識別模型進行分類；
Step1.2：連通ROI禁區域內非路面網格圖片Ii,j，生成候選目標Ok；
Step1.3：對候選目標Ok分類識別，如果為車，則鎖定為車輛目標；
Step1.4：計算初始時刻T0與t時刻后T0+t之間車輛目標位移距離與方向，和正常道路車輛方向進行對比；
Step1.5：判定車輛違停或逆行行為。
下面通過具體實施例進一步說明本發明的實施。
本發明的流程示意圖如圖1所示，通過移動終端道路攝像機獲取視頻圖片，進行CNN處理訓練分類進行路面事件檢測：
Step1：路面模型訓練，將視頻窗口的感興趣區域(Region of Interest,ROI)分割成多個小塊，標準化后作為Deep-CNN網絡的訓練集，考慮到路面模型由路面瀝青、路面車道、護欄等組成，圖像外觀差異較大，強制標注為單獨一類容易引起過擬合，故而采用無監督方法訓練獲取圖像特征，聚類后再以多類標簽人工方式標記路面，保證準確區分路面與非路面；
Step2：非路面前景模型訓練，將被分為非路面的分割小塊按連通區域組合成候選目標加入訓練庫，再次Deep-CNN網絡訓練，分級訓練路面目標，包括車輛、路面遺留物、行人等；
Step3：前景目標檢測，在step1、step2路面識別模型基礎上實現運動與靜態前景目標檢測與分類；
Step4：行為分析，在前景目標分類識別基礎上，根據上下文信息，進行道路事件識別，包括車輛違停檢測、車輛逆行檢測。
深度卷積神經網絡Deep-CNN的網絡模型原理如圖2所示，包括：
1)類生物神經激活函數：
神經科學家認為人腦信號接收過程實質上是神經觸突對外界輸入信號的激活響應，神經元結點興奮可以看作一次函數激活，對外界刺激做出反映結點值為1，否則為0。對腦電波受輸入刺激的能量測量實驗發現，外界刺激與神經元結點響應的模式是稀疏的，即大量刺激信號下只有一部分神經元結點是激活的，接收到外界信息同一時間只有約1％～4％的神經元處于活躍狀態。2001年，神經科學家Dayan和Abott從生物學角度，提出模擬出了腦神經元信號接受與激活響應模型。為了便于計算，Glorot等人提出了適應于機器學習多層神經網絡的校正非線性激活函數Softplus，近似替代神經元模型。
Softplus函數定義為：
SortPlus(x)＝log(1+exp(x)) (1)
校正線性激活函數(Rectified Linear Units，ReLU)是Softplus的線性簡化版本，定義為：
ReLU(x)＝max(0，x) (2)
ReLU函數求導非常簡單，當x>0時導數為1，否則為0，求導公式為可表示為：
Softplus與ReLU激活函數的曲線分布如圖2(a)
2)網絡結構
圖2(b)為多層CNN網絡結構包含輸入層、隱含層和輸出層等基本層次，隱含層由多個卷積—池化子層疊加而成，上一層的輸出作為下一層的輸入。每次卷積計算后使用ReLU函數激活結點，由于ReLU函數的求導特征，初始值經過ReLU梯度計算后部分結點的權值被置為0，這被分0值權重的部分結點不被激活，使得網絡結構具有稀疏性。稀疏性網絡結構符合生物神經的本質，在數學計算中也具有實際優勢，如減少參數復雜度，提高運算效率，并可以有效防止過擬合現象發生。
整個過程包括以下具體操作：
基于Caffe實現提出的Deep-CNN路面識別模型，以路面模型反向提取候選目標，分類后實現違停檢測和逆行檢測等功能。
假設輸入圖像尺寸為w×h，使用步長s將圖像網格化為(w/s)×(h/s)個小塊，表示成矩陣序列Aij(i＝1,2,3…w/s；j＝1,2,3…h/s)，步長s的像素寬度約為車道的1/4寬度。
檢測興趣區域ROI路面為點{x1，y1；x2，y2；x3，y3；x4.y4；x1，y1}圍成的封閉檢測區域，則AROI∈ROI路面為檢測區域內矩陣網格。
將路面模型的AROI圖像塊送入Deep-CNN訓練，使用無監督方法，提取路面模塊特征后進行聚類，將路面聚類為瀝青表面、車道線標記、護欄等子類型，標記為“路面1”～“路面n”(n<4)。為提高路面模型樣本覆蓋，網格化圖像過程采用向下、向右偏移部分像素采樣方法，共得到3×(w/s)×(h/s)個路面樣本。
輸入圖像網格化后，構造對應分類矩陣，位于路面非檢測區域的網格圖片直接使用漫水法將像素置為0，非覆沒區網格矩陣初始化為-1，檢測區域網格圖像塊由Deep-CNN路面模型分類后，輸出分類結果矩陣
由于難以使用先驗知識構建路面遺留物經驗模型，本發明采用路面—非路識別，反向實現前景檢測與分類。提取前景由CROI＝1的連通矩陣子塊構成候選目標，使用Deep-CNN目標網絡將前景聚類為車輛、行人、其他目標(可能為路面遺留物)。
圖3演示了Deep-CNN路面模型實現過程，圖3(a)中標注了興趣域，即檢測區域，使用4個頂點生成封閉的ROI檢測區，圖3(b)為非檢測區漫水填充，漫水法填充后，網格圖片塊Ii,j落在ROI區域外的網格圖片像素均值為0，可在送入Deep-CNN前直接過濾。檢測區ROI圖片塊經Deep-CNN分類結果為路面或非路面。將ROI路面的分塊中非路面的網格圖片連起來，記為Ip,q，即路面，如圖3(c)加粗標記區域所示，Ip,q組成候選目標，送入分類器，分類為車輛、行人或其他不明確目標(即路面遺留物)。
設與分別為T0與T0+t時刻的第k個前景候選目標的位置，計算前景候選目標在圖像區域位移的歐氏距離獲取第k個前景候選目標運動狀態與方向，進一步確定目標是否存在停止或逆行狀態。
圖4演示了手持終端移動照片路面檢測情況，圖4(a)為原始照片，使用車道線直線檢測提取ROI檢測區域，并將非ROI區域使用漫水法填充為黑色，以減輕分類器負擔，如圖4(b)所示，路面下水井蓋，立錐路障，減速帶都被檢測成非路面。對常規路面設施，如井蓋、路障等，可提取前景圖像至訓練樣本集中直接訓練檢測模型。
基于上述模型，圖5(b)、(c)、(d)分別實現了禁區違停檢測、車輛逆行檢測、車輛逆行檢測。
高速公路匝道出口停車或逆行、應急車道停車等行為易造成安全隱患，圖5演示了Deep-CNN禁區停車檢測模型實現。在路面中劃出禁區ROI禁，如出口匝道分道口前端魚骨斑馬線與應急車道等區域，將檢測區域圖像網格AROI送入Deep-CNN路面模型訓練，生成禁區路面模板，如圖5(a)所示。將檢出的前景目標區域再次由Deep-CNN前景分類器識別出車輛。以車輛目標跨越網格矩陣行數Mrow為位移閾值，假設目標在間隔時間t內運動跟蹤小于設定閾值，則判定為停車，否則計算車移動距離與方向，如運動方向dirctv與行車方向dirctflow相反，則判定為逆行，圖5(b)～(d)分別為停車與逆行檢測。其中違停閾值為t>20S(500幀)，Mrow<3，逆行閾值Mrow>＝3，運動方向為dirctv＝-dirctflow。
- 還沒有人留言評論。精彩留言會獲得點贊！