基于車輛前照燈和霧燈關聯配對的濃霧天車輛檢測方法與流程

本發明涉及車輛檢測技術，尤其涉及一種基于車輛前照燈和霧燈關聯配對的濃霧天車輛檢測方法。

背景技術：

霧天環境下，由于能見度較低，駕駛員看不清周圍的交通標志、路面設施和行人等，從而極易導致交通事故的發生。同時，在霧天行車的過程中，車速一般較慢，在上下班高峰期間，車流量較大，易造成車輛堵塞。因此，在霧天環境下對車輛進行檢測跟蹤，提取相應的交通參數，對相關部門及時制定交通誘導政策、進行交通流控制和實施安全救援具有非常重大的意義。

在濃霧情況下，運動目標與背景之間的灰度值相差很小，車輛的多種特征如外形輪廓、顏色、紋理等很難完整地呈現在視頻幀里，背景建模復雜，參照物少，背景差分法不再可行。而濃霧情況下行車速度緩慢，利用幀間差分法進行車輛的檢測不能檢測出車輛的完整輪廓甚至不能檢測出車輛。因此，在目前的車輛檢測技術中，急需構造一種能在濃霧天這種惡劣天氣情況下的車輛檢測方法。

技術實現要素：

本發明要解決的技術問題在于針對現有技術中的缺陷，提供一種基于車輛前照燈和霧燈關聯配對的濃霧天車輛檢測方法。

本發明解決其技術問題所采用的技術方案是：一種基于車輛前照燈和霧燈關聯配對的濃霧天車輛檢測方法，包括以下步驟：

1)通過原始的濃霧天交通監控視頻獲取圖像序列，根據濃霧天強退化圖像的特點進行圖像預處理，提取效果最好的g分量圖，所述圖像預處理包括提取圖像的r、g、b三種通道圖像，并對比各通道圖像的清晰度、噪聲大小等指標，選取效果最好的通道圖像進行后續的處理；所述濃霧天為能見度小于0.1公里的天氣狀況；

2)在圖像g分量圖下根據車燈的亮度特征來進行自適應的閾值計算，強化車燈區域的特征并將其分割出來，接著對分割出的車燈區域進行形態學的處理，之后再進行外接矩形框的提取；

3)在提取的車燈區域外接矩形框下通過車燈之間的關系進行篩選配對，所述車燈包括前照燈與霧燈；然后通過配對前照燈與配對霧燈之間的關聯完成兩組車燈對之間的配對，完成車輛的檢測；

4)利用反射光的鄰域特征進行反射光的剔除，消除其對車輛檢測的干擾。

按上述方案，所述步驟(2)包括：

2.1)首先遍歷圖像的灰度直方圖，并對其中的所有波谷進行標注，然后根據濃霧天車燈的高亮特性，選取灰度值最大的波谷作為車燈分割的閾值，得到分割出的前景圖像；

2.2)對前景圖像進行形態學處理時，首先采用3*3的結構對圖像進行一次開運算，消除二值化圖像中的噪聲點，再選取相同的結構元素進行一次閉運算，填充車燈部分的空洞；

2.3)使用區域生長法來提取車燈的外接矩形框，同時記錄車燈的位置信息及長寬比。

按上述方案，所述步驟2.3)中記錄車燈的位置信息及長寬比具體如下：

建立一個車燈鏈表list1，分別存儲外接矩形框ci的左下角和右上角坐標(xld,i,yld,i)，(xru,i,yru,i)，及其長寬比為cki，并將該連通區域進行編號，將各區域的車燈數量設置為1，其中cki滿足下式，

式中：cki為車燈長寬比；(xld,i,yld,i)為矩形框ci的左下角坐標；(xru,i,yru,i)為矩形框ci的右上角坐標；

最小外接矩形框的中心點坐標(hi,wi)滿足下式：

hi＝(xld,i+xru,i)/2,wi＝(yld,i+yru,i)/2

式中：hi為最小外接矩形框ci中心點橫坐標；wi為最小外接矩形框ci中心點縱坐標；(xld,i,yld,i)為矩形框ci的左下角坐標；(xru,i,yru,i)為矩形框ci的右上角坐標。

按上述方案，所述步驟3)中車輛的檢測的具體方法如下：

3.1)車燈配對的匹配率的計算：

式中：e為車燈匹配率；α為車燈對稱性的權重；eangle為兩車燈在水平方向上的傾斜程度；β為車燈間距的權重；edist為車燈間距的匹配率；γ為車燈相似性的權重；earea為兩車燈面積的歸一化差值；

每個車燈有且僅有另一個車燈與之匹配，匹配度最高的兩車燈即配對成功；

3.2)匹配成功后，建立一個車燈配對鏈表list2，存儲配對成功的車燈編號及其坐標信息，并將該車燈對中的車燈數量更新為2。若車燈ci與cj配對成功，且根據list1中存儲的信息可知，ci的左下角坐標為(xld,i,yld,i)，車燈cj的右上角坐標為(xru,j,yru,j)，則建立一個新的矩形框m，并在list2中存放其左下角和右上角坐標(xld,i,yld,i)，(xru,j,yru,j)，m代表一個車燈對；

3.3)車前照燈組與霧燈組的關聯匹配。

按上述方案，所述步驟3.1)中車燈配對的特征計算如下：

兩車燈在水平方向上的傾斜程度eangle則應滿足下式：

式中：eangle為兩車燈在水平方向上的傾斜程度；(h1,w1)為待匹配車燈1的中心點坐標；(h2,w2)為待匹配車燈2的中心點坐標；

設dth為設定的車燈間距離，則車燈間距離的匹配率edist滿足下式：

式中：edist為車燈間距離的匹配率；dth為設定的車燈間距離；

設a1、a2分別為兩車燈的面積，earea為兩車燈面積的歸一化差值，則兩車燈大小的相似度如下式所示：

式中：earea為兩車燈面積的歸一化差值；a1為待匹配車燈1的面積；a2為待匹配車燈2的面積。

按上述方案，所述步驟3.3)車前照燈組與霧燈組的關聯匹配具體如下：

將兩組車燈對的質心位置、縱向距離及最小外接矩陣框的面積大小作為關聯配對的標準，其過程如下：

根據各車燈對的外接矩形框的坐標位置計算其質心位置，設車燈對mi的左下角坐標為(xld,i,yld,i)，右上角坐標為(xru,i,yru,i)，則其質心位置(xc,i,yc,i)滿足下式：

式中：(xc,i,yc,i)為第i組車燈質心位置坐標；(xld,i,yld,i)為車燈對mi的左下角坐標；(xru,i,yru,i)為車燈對mi的右上角坐標；mi為在上述步驟3.2)中定義的車燈對，此時代表第i個車燈對；

首先比較兩矩形框的面積大小，當兩矩形框的面積相似時，再設置一定的的閾值，比較其質心位置的橫坐標與縱坐標的差值，當該差值的絕對值在閾值范圍內時，即認為該兩組車燈對屬于同一車輛。具體見下式：

式中：s(i,j)為判斷結果，即第i組車燈對和第j組車燈對是否屬于同一車輛；tx為兩個矩形框質心位置橫坐標差值；ty為兩個矩形框質心位置縱坐標差值；(xc,i,yc,i)為第i組車燈質心位置坐標；(xc,j,yc,j)為第j組車燈質心位置坐標；

通過實驗，選取合適的tx，ty值，來獲得較高的關聯配對精度。對于關聯配對成功的車燈對mi，mj，提取其最小外接矩形框，并以此矩形框來表征一輛車，以此來獲取車輛檢測結果，同時建立一個車輛鏈表list3，存放各車燈的編號及車輛的外接矩形框坐標，并將車燈的數量更新為3。設矩形框左下角和右上角的坐標分別為(xld,k，yld,k)、(xru,k，yru,k)。

根據先驗知識可知，在圖像中左側霧燈總在前照燈右下方，右側霧燈則在前照燈的左下方，從配對鏈表list2中獲取mi，mj的左上角和右上角坐標位置(xld,i，yld,i)、(xld,j，yld,j)、(xru,i，yru,i)、(xru,j，yru,j)，則車輛鏈表中各車輛的坐標滿足下式：

式中：(xld,k，yld,k)為代表車輛矩形框的左下角坐標；(xru,k，yru,k)為代表車輛矩形框的右上角坐標(xld,i,yld,i)為車燈對mi的左下角坐標；(xru,i,yru,i)為車燈對mi的右上角坐標；mi為在上述步驟(3.2)中定義的車燈對，此時代表第i個車燈對。

按上述方案，所述步驟4)中根據區域生長法搜索二值化圖像中的前景目標，當該目標下方距離較近處存在著另一前景目標時，則該目標與下方目標均為車燈；反之，若該車燈獨立存在時，則為反射光，并將反射光區域的像素值置為0，實現反射光的剔除。

本發明產生的有益效果是：

本發明可以在濃霧天惡劣環境下，當車輛在行進過程中不按照車道線行駛時，通過基于車燈的對稱性等特征進行車燈的配對以及前照燈和霧燈的關聯配對，完整地檢測出濃霧天視頻圖像中的車輛。在濃霧天環境下實現對車輛的完整檢測，交管部門能夠從中提取出相應的交通流等交通參數，進而對相應的交通參數進行分析，該分析結果能為交管部門進行后續交通安全和交通監控管理帶來理論支持，同時還能為相關部門及時制定交通誘導政策、進行交通流控制和實施安全救援提供一定性的數據支撐。

附圖說明

下面將結合附圖及實施例對本發明作進一步說明，附圖中：

圖1是本發明實施例基于車輛前照燈和霧燈關聯配對的濃霧天車輛檢測方法流程圖。

圖2是本發明實施例中對前景圖像進行形態學處理以及連通區域的標定的流程圖。

圖3是本發明實施例中對車燈的配對以及車前燈與霧燈的關聯匹配的流程圖。

圖4是本發明實施例完整流程實驗結果圖。

圖4中：(a)濃霧天源圖像；(b)源圖像g分量圖；(c)閾值分割圖；(d)形態學處理效果圖；(e)車燈最小外接矩形框提取效果圖；(f)車燈配對效果圖；(g)前照燈與霧燈關聯配對效果圖；(h)基于鄰域的反射光剔除效果圖。

具體實施方式

為了使本發明的目的、技術方案及優點更加清楚明白，以下結合實施例，對本發明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅用以解釋本發明，并不用于限定本發明。

如圖1所示，基于車輛前照燈和霧燈關聯配對的濃霧天車輛檢測方法包括以下步驟：

步驟s100、輸入濃霧天環境下拍攝的視頻圖像序列，該視頻圖像可從交管部門發布的濃霧天氣城市交通路口的道路運行情況視頻中截取相應的圖像幀序列。

步驟s200、對原始的濃霧天交通監控視頻進行顏色空間轉換的過程中，分別提取該視頻圖像序列中的r、g、b通道圖像，對比各通道圖像的清晰度、噪聲大小等，通過對比各通道圖像的清晰度、噪聲大小等因素，最終選擇對圖像的g分量圖進行進一步的處理。

步驟s300、遍歷圖像的灰度直方圖，并對其中的所有波谷進行標注，然后根據濃霧天車燈的高亮特性，選取灰度值最大的波谷作為車燈分割的閾值，得到分割出的前景圖像。

步驟s400、主要包括對經過步驟s300處理過后的前景圖像進行形態學處理以及連通區域的標定，如圖2所示，具體包括以下兩個步驟：

步驟s401、對步驟s300處理過后的前景圖像進行形態學處理。采用3*3的結構對圖像進行一次開運算，消除二值化圖像中的噪聲點，再選取相同的結構元素進行一次閉運算，填充車燈部分的空洞。

步驟s402、對步驟s401處理過的圖像進行連通區域標定。使用區域生長法來提取車燈的外接矩形框，同時記錄車燈的位置信息及長寬比，具體做法為：

建立一個車燈鏈表list1，分別存儲矩形框ci的左下角和右上角坐標(xld,i,yld,i)，(xru,i,yru,i)，及其長寬比為cki，并將該連通區域進行編號，將各區域的車燈數量設置為1，其中cki滿足下式。

式中：cki—車燈長寬比；(xld,i,yld,i)—矩形框ci的左下角坐標；(xru,i,yru,i)—矩形框ci的右上角坐標；

最小外接矩形框的中心點坐標(hi,wi)滿足下式：

hi＝(xld,i+xru,i)/2,wi＝(yld,i+yru,i)/2

式中：hi—最小外接矩形框ci中心點橫坐標；wi—最小外接矩形框ci中心點縱坐標；(xld,i,yld,i)—矩形框ci的左下角坐標；(xru,i,yru,i)—矩形框ci的右上角坐標。

步驟s500、車燈的配對以及車前燈與霧燈的關聯匹配。如圖3所示，主要包括以下兩個步驟：

步驟s501、基于多特征的車燈配對，多特征主要指以下幾個方面：

a)對稱性。由于攝像機在拍攝時是沿水平方向的，因此同一車輛的兩車燈中心點近似處于同一水平線。兩車燈中心點的坐標(h1,w1)，(h2,w2)，兩車燈在水平方向上的傾斜程度eangle則應滿足下式：

式中：eangle—兩車燈在水平方向上的傾斜程度；(h1,w1)—車燈1的中心點坐標；(h2,w2)—車燈2的中心點坐標；

當eangle值越小時，兩車燈的位置越接近同一水平線，配對成功的可能性越大。當兩車燈處于同一水平線位置時，具有最大的優先匹配權。

b)車燈間距離的大小。不同型號的車輛兩前照燈之間的距離不同，但距離值在一定區間范圍內，設dth為設定的車燈間距離，則車燈間距離的匹配率edist滿足下式：

式中：edist—車燈間距離的匹配率；dth—設定的車燈間距離；

edist越小，則兩車燈間的距離匹配率越高，edist決定了同一水平線上的兩車燈的第二優先匹配。

c)相似性。同一對車燈的面積大小近似相同，設a1、a2分別為兩車燈的面積，earea為兩車燈面積的歸一化差值，則兩車燈大小的相似度如下式所示：

式中：earea—兩車燈面積的歸一化差值；a1—車燈1的面積；a2—車燈2的面積；dth—設定的車燈間距離；

當earea越小，車燈面積的相似性越高，earea決定了面積大小最接近的兩車燈具有第三配對優先權。

d)唯一性。每個車燈有且僅有另一個車燈與之匹配，匹配度最高的兩車燈即配對成功。

綜合車燈配對時的四個性質，賦予不同的權值來進行綜合配對，匹配率e的計算方法如下式所示：

式中：e—車燈匹配率；α—對稱性的權重；eangle—兩車燈在水平方向上的傾斜程度；β—車間距的權重；edist—車燈間距離的匹配率；γ—相似性的權重；earea—兩車燈面積的歸一化差值；

e值越小，匹配成功的概率越大。通過實驗，選取最佳的特征值權重，從而得到更高的匹配精度；

匹配成功后，建立一個車燈配對鏈表list2，存儲配對成功的車燈編號及其坐標信息，并將該車燈對中的車燈數量更新為2。若車燈ci與cj配對成功，且根據list1中存儲的信息可知，ci的左下角坐標為(xld,i,yld,i)，車燈cj的右上角坐標為(xru,j,yru,j)，則建立一個新的矩形框m，并在list2中存放其左下角和右上角坐標(xld,i,yld,i)，(xru,j,yru,j)，m代表一個車燈對。

步驟s502、車前照燈組與霧燈組的關聯匹配。主要將兩組車燈對的質心位置、縱向距離及最小外接矩陣框的面積大小作為關聯配對的標準，其過程如下：

根據各車燈對的外接矩形框的坐標位置計算其質心位置，設車燈對mi的左下角坐標為(xld,i,yld,i)，右上角坐標為(xru,i,yru,i)，則其質心位置(xc,i,yc,i)滿足下式：

式中：(xc,i,yc,i)—第i組車燈質心位置坐標；(xld,i,yld,i)—車燈對mi的左下角坐標；(xru,i,yru,i)—車燈對mi的右上角坐標；mi—在上述(3-1)中定義的車燈對，此時代表第i個車燈對；

首先比較兩矩形框的面積大小，當兩矩形框的面積相似時，再設置一定的的閾值，比較其質心位置的橫坐標與縱坐標的差值，當該差值的絕對值在閾值范圍內時，即認為該兩組車燈對屬于同一車輛。具體見下式：

式中：s(i,j)—判斷結果，即第i組車燈對和第j組車燈對是否屬于同一車輛；tx—兩個矩形框質心位置橫坐標差值；ty—兩個矩形框質心位置縱坐標差值；(xc,i,yc,i)—第i組車燈質心位置坐標；(xc,j,yc,j)—第j組車燈質心位置坐標；

通過實驗，選取合適的tx，ty值，來獲得較高的關聯配對精度。經過實驗的，得出了一組值，當tx，ty分別取5和15時，關聯配對精度最高。對于關聯配對成功的車燈對mi，mj，提取其最小外接矩形框，并以此矩形框來表征一輛車，以此來獲取車輛檢測結果。同時建立一個車輛鏈表list3，存放各車燈的編號及車輛的外接矩形框坐標，并將車燈的數量更新為3。設矩形框左下角和右上角的坐標分別為(xld,k，yld,k)、(xru,k，yru,k)。

根據先驗知識可知，在圖像中左側霧燈總在前照燈右下方，右側霧燈則在前照燈的左下方。從配對鏈表list2中獲取mi，mj的左上角和右上角坐標位置(xld,i，yld,i)、(xld,j，yld,j)、(xru,i，yru,i)、(xru,j，yru,j)，則車輛鏈表中各車輛的坐標滿足下式：

式中：(xld,k，yld,k)—代表車輛矩形框的左下角坐標；(xru,k，yru,k)—代表車輛矩形框的右上角坐標(xld,i,yld,i)—車燈對mi的左下角坐標；(xru,i,yru,i)—車燈對mi的右上角坐標；mi—在上述(3-1)中定義的車燈對，此時代表第i個車燈對。

步驟s600、利用反射光的鄰域特征進行反射光的剔除，消除其對車輛檢測的干擾。其具體做法為：根據區域生長法搜索二值化圖像中的前景目標，當該目標下方距離較近處存在著另一前景目標時，則該目標與下方目標均為車燈；反之，若該車燈獨立存在時，則為反射光，并將反射光區域的像素值置為0，實現反射光的剔除。

上述過程即為基于車輛前照燈和霧燈關聯配對的濃霧天車輛檢測方法整個技術方案，隨后進行實驗測試，圖4(a)為濃霧天源圖像，從該圖可以看出在濃霧天環境下，車輛信息顯得很模糊，不易檢測。圖4(b)為源圖像的g分量圖，從該圖可以看出，g分量圖在弱化背景圖像時，也突出了車燈區域。圖4(c)為經過步驟s300處理過后得到的閾值分割圖，從該圖可以看出車前燈與霧燈均能被獨立檢測出來，且反射光的面積較小。圖4(d)為經過步驟s401處理過后得到的圖像，從該圖可以看出車輛前照燈與霧燈能良好地分割開來。圖4(e)為經過步驟s402處理過后得到的圖像，從該圖可以看出使用該方法能夠較好的提取出車燈最小外接矩形框。圖4(f)為經過步驟s501處理過后得到的圖像，從該圖中可以看出對于車輛前照燈以及霧燈都能較好的配對成功，且同時還配對了由于反射光所形成的矩形區域框。圖4(g)為經過步驟s502處理過后得到的車輛前照燈與霧燈關聯配對效果圖，從該圖中可以看出車輛前照燈與霧燈進行了良好的配對，且由于反射光形成的矩形框沒有與車輛前照燈和霧燈進行配對。圖4(h)為經過步驟s600處理過后得到的反射光剔除車輛前照燈與霧燈配對效果圖，從該圖中可以看出，其不僅充分保留了車輛前照燈和霧燈配對信息，同時還能夠很好地剔除反射光。

應當理解的是，對本領域普通技術人員來說，可以根據上述說明加以改進或變換，而所有這些改進和變換都應屬于本發明所附權利要求的保護范圍。