一種基于似物性模型的路口違章行為智能檢測方法及系統的制作方法
【專利摘要】本發明涉及一種基于似物性模型的路口違章行為智能檢測方法及系統，該方法應用在城市交通中基于視頻的路口行人闖紅燈事件檢測領域，其特征是利用似物性模型快速檢測行人，并利用軌跡過濾的方法提高檢測準確率，結合信號燈狀態檢測最終完成行人闖紅燈事件的判斷。本方法首先采集交叉口過街行人圖像，并人工標定其坐標位置，在給定數據集上訓練得到行人似物性模型；然后，利用似物性模型快速的檢測視頻圖像中的行人，并對檢測得到的行人，根據距離和角度關系，建立行人的運動軌跡；最后，結合信號燈狀態和行人的軌跡特征，判斷行人闖紅燈事件，并抓拍和語音提示。
【專利說明】一種基于似物性模型的路口違章行為智能檢測方法及系統
【技術領域】
[0001] 本發明涉及智能交通和模式識別領域，尤其涉及一種檢測行人闖紅燈的技術領 域。
【背景技術】
[0002] 目前各大城市交叉口行人闖紅燈事件較為嚴重，給交通安全帶來很大的隱患。基 于視頻處理的行人檢測是智能交通系統中的一項關鍵技術，相對于光柵等傳統檢測方法， 視頻檢測安裝成本低、可擴展性較好。在實際應用中，由于場景的復雜性、視角與尺度的變 化、人體姿態與著裝的多樣性以及部分遮擋等因素，使得行人檢測具有較大的困難。
[0003] 而傳統的圖像中搜尋物體的方法叫做滑動窗口法，即不斷在圖像上遍歷窮舉不同 區域，然后再判斷這個區域的具體內容，該方法效率很低。現有的各種基于視頻的行人闖紅 燈檢測方法，在實時性和準確率方面尚存在一些不足，因此還不能滿足真實交通場景下交 叉口的行人闖紅燈事件檢測。
[0004] 為解決上述問題，本發明首次將似物性模型應用于智能交通領域，用于交通路口 的行人檢測，似物性模型是用來度量圖像中某個區域的目標顯著性水平，其刻劃了前景目 標區別于背景的模式，用來快速的發現潛在目標的位置。似物性模型更接近人對客觀世界 目標的識別過程，人能很快地知道什么位置有個東西，然后進一步看清具體是什么。似物性 模型并不直接解決行人檢測的問題，僅用來快速的發現潛在的可能存在行人的區域，然后 再借助其他方法進一步確定是否是行人。
[0005] 本發明還利用軌跡過濾的方法提高檢測準確率，結合信號燈狀態檢測最終完成行 人闖紅燈事件的判斷。該發明的優點在于上述方法由于采用似物性模型，其計算速度快于 同類方法，另外采用將行人抽象為點并根據軌跡過濾噪聲，其檢測準確率得到提高。
[0006] 本發明的行人闖紅燈事件檢測方法及系統，基于計算機視覺技術、視頻處理和模 式識別技術，具有安裝成本低、檢測準確率高、抓拍準確等優點，在智能交通領域具有廣泛 的應用前景。
[0007]
【發明內容】
本發明目的在于建立一種不需人工干預的智能行人闖紅燈事件檢測方法及系統，通過 分析交叉口監控視頻，結合信號燈狀態檢測實現對行人的定位、識別和跟蹤，進一步完成行 人闖紅燈事件的檢測與圖像的抓拍。為了實現所述目的，采取如下具體技術方案： 該智能檢測方法依次包括如下步驟：（1)采集交通場景下道路交叉口行人過街圖像， 并人工標注行人位置，作為訓練數據集；提取行人區域正樣本和行人區域負樣本的8*8圖 像梯度特征，所述行人區域正樣本為路口圖像中包含了行人的圖像區域，行人區域負樣本 為路口圖像中不包含行人及包含不完整行人的圖像區域；并將所述圖像梯度特征輸入到支 持向量機中訓練，得到行人似物性模型；采用如下似物性度量方法以訓練行人似物性模型： Si =< $叛 >,式中，w為64維向量，是在數據集上訓練得到的行人似物性模型； &表示待判 斷的圖像區域L的64維梯度特征；<>表示支持向量機的向量內積運算；^表示似物性度 量值，其反映圖像區域L中目標可能是行人的程度；（2)對交叉口信號燈圖像進行采集，并 根據圖像顏色分布情況自動識別信號燈狀態；（3)在紅燈時間內，利用所述行人似物性模 型檢測過街行人，首先根據步驟（1)所得到的行人似物性模型，找出潛在的可能存在行人的 區域；然后計算區域圖像中行人的長寬比A=W/L，根據A的取值范圍（0.3, 0.5)，過濾所有不 符合條件的行人；（4)對于所檢測到的行人計算其重心坐標位置，并加入候選行人集合S; 在S中，利用行人的位置關系，生成n條行人軌跡；（5)當行人軌跡中的行人位置個數大于 閾值m時候，抓拍當前行人圖像并存儲，并給予過街行人語音和圖像警報。
[0008] 優選地，在步驟（2)中所述自動識別信號燈狀態的方法為：定位信號燈區域，并將 其劃分為2*5的小方格；在這2*5個格子內分別計算其亮度值，得到一個10維向量；統計路 口紅燈圖像時該向量的取值分布的最大值和最小值，得到紅燈模型；利用訓練得到的紅燈 模型檢測路口的信號燈狀態。
[0009] 優選地，在步驟（4)中的候選行人集合S中包括所有滿足行人似物性模型的行人， 結合運動特征，進一步過濾噪聲，得到真正的闖紅燈行人，具體步驟為：1)在視頻幀f?中檢 測到行人個數P，將每個行人抽象為一個點，計算其重心位置坐標；2)將p個行人加入到 n條軌跡中，其中每條軌跡是一個包含若干坐標點的隊列；3)循環遍歷p個行人，如果它 和n條軌跡中的任意一個距離都大于閾值d或者角度差值都大于閾值a則該行人不屬于 任何現有軌跡，則新生成一條軌跡，該行人作為起點，軌跡個數加1 ;如果該行人和現有某 條軌跡距離小于閾值并且其角度差值小于a，則該行人加入所對應的軌跡中；4)檢測所 維護的n條軌跡，如果軌跡i超過15幀沒有變化則清除該軌跡，軌跡個數n減1 ;如果軌跡 i中的行人坐標個數超過m，則表示該行人形成了穩定軌跡，記錄該行人并作后續處理，同 時軌跡清空。
[0010] 優選地，在步驟（5)中，抓拍行人的條件為該行人形成了超過m個點的穩定軌跡， 此時存儲該行人的圖像并對該行人進行語音提示。
[0011] 采用如上所述智能檢測方法的智能檢測系統，其包括：行人似物性模型生成模塊， 其根據人工標注好位置的路口行人圖像數據集，提取行人區域正樣本和行人區域負樣本的 8*8圖像梯度特征，并將所述圖像梯度特征輸入到支持向量機中訓練，得到行人似物性模 型；信號燈狀態檢測模塊，其根據信號燈的圖像特征判斷信號燈是否為紅燈；運動軌跡過 濾模塊，其根據區域中行人的運動軌跡判斷真正的違章過街行人；輸出模塊，該模塊結合信 號燈和行人檢測的結果，對闖紅燈的行人進行抓拍和語音提示；控制模塊，該模塊與其他各 模塊相連，用于加載行人似物性模型生成模塊和信號燈狀態檢測模塊輸入的模型，并控制 運動軌跡過濾模塊進行計算及輸出模塊的運行。
[0012] 本發明具有如下有益效果： (1)本發明首次將似物性模型應用于智能交通領域，以檢測交通路口的違章行人，在給 定數據集上所訓練得到的行人似物性模型行人的輪廓特征，可以快速的檢測行人，形成候 選行人列表。
[0013] (2)根據運動軌跡的特征，過濾掉大部分檢測噪聲提高了行人檢測的準確率。
[0014] (3)本發明可以在交通智能監控領域實現穩定可靠地行人闖紅燈事件檢測，并對 闖紅燈行人進行自動抓拍和語音提示。
【專利附圖】
【附圖說明】
[0015] 圖1是本發明的行人闖紅燈事件檢測整體流程圖。
[0016] 圖2是似物性模型的原理示意圖。
[0017] 圖3是似物性模型的生成過程圖。
[0018] 圖4是信號燈狀態檢測方法示意圖。
[0019] 圖5是新檢測行人加入軌跡的過程圖。
【具體實施方式】
[0020] 下面結合附圖詳細說明本發明技術方案中所涉及的各個細節問題。應指出的是， 所描述的實施例僅旨在便于對本發明的理解，而對其不起任何限定作用。
[0021] 如圖1所示，本發明的檢測方法在處理流程上主要包括五個模塊。第一模塊為行 人似物性模型生成模塊，根據人工標注好位置的路口行人圖像數據集訓練得到；第二模塊 為信號燈狀態檢測模塊，根據信號燈的圖像特征判斷信號燈是否為紅燈；第三模塊為運動 軌跡過濾模塊，系統維護n條軌跡，通過將新檢測得到的行人加入n條軌跡，并根據軌跡中 行人的個數判斷真正的行人；第四模塊為輸出模塊，該模塊結合信號燈和行人檢測的結果， 對闖紅燈的行人進行抓拍和語音提示；第五個模塊為控制模塊，該模塊與其他各模塊相連， 用于加載行人似物性模型生成模塊和信號燈狀態檢測模塊輸入的模型，并控制運動軌跡過 濾模塊進行計算及輸出模塊的運行。根據上述流程，具體的實施方式如下所示： 1、似物性模型生成模塊 對斑馬線上的過路行人采集視頻圖像集合，并人工標注其中行人的位置。似物性模型 用來度量圖像中某個區域的目標顯著性水平，如圖2中框1區域的顯著性要大于框2的顯 著性，即框1圖像區域更大程度上確定了一個完整的前景目標。這種原理類似于人在識別 物體上，首先要確定哪個位置可能是個目標，然后再確定這個目標具體是什么物體。傳統的 圖像中搜尋物體的方法叫做滑動窗口法，即不斷在圖像上遍歷窮舉不同區域，然后再判斷 這個區域的具體內容。滑動窗口法效率很低，而似物性模型更接近人對客觀世界目標的識 別過程，人能很快地知道什么位置有個東西，然后進一步看清具體是什么。似物性模型并不 直接解決行人檢測的問題，僅用來快速的發現潛在的可能存在行人的區域，然后再借助其 他方法進一步確定是否是行人。本發明似物性模型的生成過程如圖3所示。
[0022] 其中行人區域正樣本指的是路口圖像中包含了行人的圖像區域，如圖2中的框1、 框3、框4和框5。行人區域負樣本指的是路口圖像中不包含行人或者不包含完整行人的圖 像區域，如框2和框6。然后，分別提取正負樣本的8*8圖像梯度特征，并輸入到支持向量機 中訓練，得到似物性模型。該物性模型刻劃了前景目標區別于背景的模式，用來快速的發現 潛在目標的位置。
[0023] 該模型的物理意義表達了路口行人在8*8灰度圖像上的模式，用來快速的定位潛 在行人位置。采用如下似物性度量方法以訓練行人似物性模型:& =< >,式中，w為64 維向量，是在數據集上訓練得到的行人似物性模型；I表示待判斷的圖像區域L的64維梯 度特征；<>表示支持向量機的向量內積運算；&表示似物性度量值，其反映圖像區域L中 目標可能是行人的程度。
[0024] 根據步驟所得到的行人似物性模型，找出潛在的可能存在行人的區域；然后計算 區域圖像中行人的長寬比A=W/L，根據A的取值范圍（0. 3, 0. 5)，過濾所有不符合條件的行 人。
[0025] 2、信號燈狀態檢測模塊 將信號燈圖像區域分離出來，并將之分割為2*5的小方格，如圖4所示，分別計算各個 塊內的亮度值；將信號燈亮度表達為一個10維的向量，分別統計紅燈的平均值R和綠燈的 平均值G，其中R和G都是10維向量；根據路口的信號燈表達為相同的形式與R和G比較， 根據近鄰原則判斷是否為紅燈。
[0026] 3、運動軌跡過濾模塊 定義隊列數據結構，每個隊列存放同一個行人的運動軌跡，每個軌跡包括多個檢測到 的行人重心坐標點。每個新檢測到的行人開辟一個新的隊列。隊列中的每個元素為一個結 構體，存放在圖像中檢測到的行人重心坐標。如圖5所示，中間圓形代表新檢測的行人坐 標位置，由于它和左右兩個行人軌跡最后一個元素的坐標距離都大于給定閾值d，并且該圓 形與左右兩個軌跡的所形成角度差值大于給定閾值a，從而該圓形無法加入原先的兩條軌 跡，從而作為新的軌跡起點生成新軌跡；加入符合d和a閾值的要求，則新檢測的行人加入 原先軌跡中。其中d和a的確定由實際視頻速率和分辨率人工確定。具體步驟為： 1)在視頻幀f?中檢測到行人個數P，將每個行人抽象為一個點，計算其重心位置坐標； 2)將P個行人加入到n條軌跡中，其中每條軌跡是一個包含若干坐標點的隊列；3)循環 遍歷P個行人，如果它和n條軌跡中的任意一個距離都大于閾值d或者角度差值都大于閾 值a則該行人不屬于任何現有軌跡，則新生成一條軌跡，該行人作為起點，軌跡個數加1 ; 如果該行人和現有某條軌跡距離小于閾值并且其角度差值小于a，則該行人加入所對應的 軌跡中；4)檢測所維護的n條軌跡，如果軌跡i超過15幀沒有變化則清除該軌跡，軌跡個 數n減1 ;如果軌跡i中的行人坐標個數超過m，則表示該行人形成了穩定軌跡，記錄該行人 并作后續處理，同時軌跡清空。
[0027] 4、輸出模塊 抓拍行人的條件為該行人形成了超過m個點的穩定軌跡，此時存儲該行人的圖像并對 該行人進行語音提示。當隊列中的內容連續15幀不發生變化，在對其進行如下處理：如果 隊列中的元素數量超過3個，則表示該隊列形成了一條穩定的行人運動軌跡，從而抓拍該 行人并且給予語音提示；反之，則表示該隊列所對應的行人運動軌跡可能為噪聲，不做處 理；最后，隊列內容清除，表示行人已經離開檢測區域。
[0028] 5、控制模塊 控制模塊，該模塊與其他各模塊相連，用于加載行人似物性模型生成模塊和信號燈狀 態檢測模塊輸入的模型，并控制運動軌跡過濾模塊進行計算及輸出模塊的運行。
[0029] 在上述【具體實施方式】中所描述的各個具體技術特征，在不矛盾的情況下，可以通 過任何合適的方式進行組合。為了避免不必要的重復，本發明對各種可能的組合方式不再 另行說明。此外，本發明的各種不同的實施方式之間也可以進行任意組合，只要其不違背本 發明的思想，其同樣應當視為本發明所公開的內容。
【權利要求】
1. 一種基于似物性模型的路口違章行為智能檢測方法，其特征在于，所述檢測方法依 次進行如下步驟： (1) 采集交通場景下道路交叉口行人過街圖像，并人工標注行人位置，作為訓練數據 集；提取行人區域正樣本和行人區域負樣本的8*8圖像梯度特征，所述行人區域正樣本為 路口圖像中包含了行人的圖像區域，行人區域負樣本為路口圖像中不包含行人及包含不完 整行人的圖像區域；并將所述圖像梯度特征輸入到支持向量機中訓練，得到行人似物性模 型；采用如下似物性度量方法以訓練行人似物性模型： =< 11 .愈 > 式中，W為64維向量，是在數據集上訓練得到的行人似物性模型；&表示待判斷的圖像 區域L的64維梯度特征；<>表示支持向量機的向量內積運算表示似物性度量值，其反 映圖像區域L中目標可能是行人的程度； (2) 對交叉口信號燈圖像進行采集，并根據圖像顏色分布情況自動識別信號燈狀態； (3) 在紅燈時間內，利用所述行人似物性模型檢測過街行人，首先根據步驟（1)所得到 的行人似物性模型，找出潛在的可能存在行人的區域；然后計算區域圖像中行人的長寬比 A=W/L，根據A的取值范圍（0. 3, 0. 5)，過濾所有不符合條件的行人； (4) 對于所檢測到的行人計算其重心坐標位置，并加入候選行人集合S;在S中，利用行 人的位置關系，生成η條行人軌跡； (5) 當行人軌跡中的行人位置個數大于閾值m時候，抓拍當前行人圖像并存儲，并給予 過街行人語音和圖像警報。
2. 根據如權利要求1所述的基于似物性模型的路口違章行為智能檢測方法，其特征在 于，在步驟（2)中所述自動識別信號燈狀態的方法為： 定位信號燈區域，并將其劃分為2*5的小方格；在這2*5個格子內分別計算其亮度值， 得到一個10維向量；統計路口紅燈圖像時該向量的取值分布的最大值和最小值，得到紅燈 模型；利用訓練得到的紅燈模型檢測路口的信號燈狀態。
3. 根據如前述權利要求中所述的基于似物性模型的路口違章行為智能檢測方法，其特 征在于，步驟（4)中的候選行人集合S中包括所有滿足行人似物性模型的行人，結合運動特 征，進一步過濾噪聲，得到真正的闖紅燈行人，具體步驟為： 1) 在視頻幀f中檢測到行人個數P，將每個行人抽象為一個點，計算其重心位置坐標； 2) 將p個行人加入到η條軌跡中，其中每條軌跡是一個包含若干坐標點的隊列； 3) 循環遍歷ρ個行人，如果它和η條軌跡中的任意一個距離都大于閾值d或者角度差 值都大于閾值α則該行人不屬于任何現有軌跡，則新生成一條軌跡，該行人作為起點，軌 跡個數加1 ;如果該行人和現有某條軌跡距離小于閾值并且其角度差值小于α，則該行人 加入所對應的軌跡中； 4) 檢測所維護的η條軌跡，如果軌跡i超過15幀沒有變化則清除該軌跡，軌跡個數η 減1 ;如果軌跡i中的行人坐標個數超過m，則表示該行人形成了穩定軌跡，記錄該行人并作 后續處理，同時軌跡清空。
4. 根據如前述權利要求中所述的基于似物性模型的路口違章行為智能檢測方法，其特 征在于，在步驟（5)中，抓拍行人的條件為該行人形成了超過m個點的穩定軌跡，此時存儲 該行人的圖像并對該行人進行語音提示。
5. -種采用如前述權利要求所述智能檢測方法的智能檢測系統，其特征在于，其包 括： 行人似物性模型生成模塊，其根據人工標注好位置的路口行人圖像數據集，提取行人 區域正樣本和行人區域負樣本的8*8圖像梯度特征，并將所述圖像梯度特征輸入到支持向 量機中訓練，得到行人似物性模型； 信號燈狀態檢測模塊，其根據信號燈的圖像特征判斷信號燈是否為紅燈； 運動軌跡過濾模塊，其根據區域中行人的運動軌跡判斷真正的違章過街行人； 輸出模塊，該模塊結合信號燈和行人檢測的結果，對闖紅燈的行人進行抓拍和語音提 示； 控制模塊，該模塊與其他各模塊相連，用于加載行人似物性模型生成模塊和信號燈狀 態檢測模塊輸入的模型，并控制運動軌跡過濾模塊進行計算及輸出模塊的運行。
【文檔編號】G08G1/005GK104318760SQ201410469748
【公開日】2015年1月28日 申請日期:2014年9月16日 優先權日:2014年9月16日
【發明者】張師林 申請人:北方工業大學