專利名稱：一種基于可變形部件模型的車牌及駕駛員人臉定位方法
技術領域：
本發明屬于物體檢測技術領域，特別涉及車牌定位技術與人臉檢測技術的組合應用。
背景技術：
隨著社會的不斷發展，現代交通的管理也日趨復雜、繁重。為了準確高效地監控交通狀況和節約成本，很多的智能交通監控技術已經得到了廣泛的應用。其中，車牌自動識別系統是目前比較成熟的技術，適用于各種交通場景。車牌識別系統分為車牌定位，字符分割與字符識別三部分。其中的車牌定位技術目前已經可以獲得較高的準確率，但是也已經到達了一個瓶頸。如果不能利用場景中的其他信息，車牌定位的準確率基本無法得到進一步 的提聞。隨著成像技術的發展，高清攝像機已經得到了廣泛的應用。高清攝像機能夠獲得行駛中的車輛和駕駛員的清晰圖像。目前對應此類場景下的人臉定位的研究還不多，而且由于駕駛員人臉一般是在前擋風玻璃的后面，容易受到光線和視角的影響，目前還無法得到較好的定位結果。因此，如果能將駕駛員的人臉信息與車輛的車牌信息有效地結合起來，則可以進一步的提高車牌定位的準確率。同時由于車牌和駕駛員人臉的相對位置比較固定，也可以通過車牌的定位結果來改善駕駛員人臉的定位結果。此外還可以通過車牌與駕駛員人臉的相對位置來進行車型的識別。
發明內容
本發明的目的是克服現有技術的不足，在高清攝像機獲得的圖像中進行駕駛員人臉定位和車牌定位，進而進行車型識別，為后續的交通監控任務提供更加有效的信息。本發明的目的是通過下述技術方案實現的。一種基于可變形部件模型的車牌與駕駛員人臉定位方法，具體實施步驟如下步驟一建立正面車輛的可變形部件模型將車牌和駕駛員人臉作為部件，建立正面車輛的可變形部件模型，通過訓練數據，得到車牌與駕駛員人臉之間的位置關系，作為模型參數；正面視圖中的車輛的可變形部件模型M定義如下M={partplate, partface, posplate；facJ⑴其中，partplate表示模型中的車牌部件，Partface表示模型中的人臉部件，posplate,face (Pplate, face，dpi ate,face}表示車牌與駕駛員人臉之間的位置關系。其中Pplat^表示車牌與駕駛員人臉的空間位置關系。對于不同國家和地區，由于駕駛員所在的位置不同，此位置關系也不同。對于大陸地區，需滿足plate. x<face. x, plate. y<face. y，其中plate, x, face.X表示車牌和人臉的X坐標,plate, y, face, y表示車牌和人臉的y坐標,既車牌在人臉的左下方。
dplate；face表示車牌與人臉之間的距離，且dplate,face e Ni ( μ i, δ )，i e {big, middle, samll}(2)Ν(μ，δ)表示均值為μ，方差為δ的高斯模型。通過統計標注的車牌與人臉之間的距離，得到每一類型的車輛所對應的高斯模型的均指和方差，既得到了車輛的可變形部件模型。步驟二 進行車牌的粗定位，得到車牌的候選區域和對應的可信度。目前有多種車牌定位的方法可以得到車牌的候選區域和對應的可信度，本發明采用基于成對形態學算子的車牌定位方法獲得車牌的候選區域和對應的可信度。設Smxn是大小為mXn的結構元且所有值為1，某個像素點的局部鄰域由Smxn決 定。I表示灰度圖像，@和Θ分別表示數學形態學中的腐蝕和膨脹操作，以下定義所用到的形態學操作閉運算:iu s, xj s ,x 開運算IO = (/ S_)十 Snix,,高帽運算1Δ Smxn=I-(I · Smxn)黑帽運算/Wwx =(/c^ x )-/高帽運算(top-hat)通過源圖像和開運算圖像做差，能夠提取局部較亮的區域；黑帽變換(bot-hat)通過閉運算圖像和源圖像做差能夠提取出局部較暗的區域。由于車牌背景亮度和字符亮度之間對比顯著，利用這兩個操作能夠分離出車牌的字符和背景區域，并抑制背景，消除不均勻光照。而大陸車牌具有亮底暗字和暗底亮字兩種類型，僅使用單一形態學操作(高帽變換或黑帽變換)無法同時成功提取出字符區域進行車牌定位。我們通過成對的形態學操作，將字符信息和車牌背景信息進行顯式結合，能夠在統一的框架下檢測兩種類型的車牌。以暗底亮字車牌為例，為了提取出字符區域，可對其進行高帽操作并二值化，如圖2所示。現考慮暗底亮字車牌的背景區域，若選取水平方向的線形結構元Sixn，可將車牌背景劃分為三部分，分別為字符間背景部分(紅色)，字符內部背景部分(綠色)和其它背景部分(藍色)，如圖3(b)所示。在Sixn作用下，藍色區域是局部非顯著變化區域(像素點所在線形結構元鄰域內的像素集亮度一致)，紅色區域和綠色區域是局部顯著變化的。若對暗底亮字車牌進行黑帽變換并二值化，則藍色區域對應的背景被濾除而綠色區域和紅色區域對應的背景被保留，如圖3(c)所示。將不同區域進行背景歸類(圖3(d))，并僅考慮字符間部分背景(圖3(e))，可以發現，字符間部分的背景區域滿足車牌字符高度一致，均勻分布的特點。我們稱字符間背景對應的區域為偽字符區域。對暗底亮字車牌進行成對的形態學操作能夠分別提取出實際字符和偽字符，它們都滿足車牌字符高度一致，分布均勻的特點，如圖3(e)所示。因此可將它們的并集用來進行車牌定位。同樣對于亮底暗字的車牌進行成對的形態學操作能夠分別提取出偽字符和實際字符。成對的形態學算子方法有效解決了單個形態學算子方法的限制一需要預先知道車牌前景-背景搭配。成對算子分別用于提取實際字符區域和偽字符區域，將車牌前景信息和車牌背景信息有效結合共同表示車牌，能夠將兩種類型車牌統一進行處理。字符區域提取流程如下I)分別對灰度圖像I進行如下形態學操作，I1 =IASb^I1=IVS她2)使用大津法對I1和I2分別進行二值化，得到對應二值圖I3和I4 ;3)對I3和I4分別進行連通成分標記，得到兩個連通成分集合Ctop和Cbtrt ；4)將真字符和偽字符合并，并通過車牌的先驗大小利用面積對字符進行濾除，得到最終的字符集合c = Ctop U Cbot得到字符集合后，可以進一步得到每個字符的中心點。根據車牌上的字符分布在一條直線上的特點，我們通過判斷這些中心點是否位于同一條直線上來定位車牌。通常車牌大小的變化范圍在場景中是已知的，根據此先驗知識，我們將檢測窗口設置為最大車牌寬高的2倍。在圖像中移動檢測窗口進行車牌定位，在X方向上每次移動的步長為檢測窗 口寬度的二分之一，在y方向上每次移動的步長為檢測窗口高度的二分之一。這樣可確保車牌將至少出現在一個窗口檢測器中，并且可以顯著減少候選區域的數目。在每個檢測窗口中判斷所得到的字符的中心點是否位于同一條直線上，如果位于同一條直線上的中心點的數目大于給定閾值，則認為這些中心點對應的區域為候選車牌區域。同時可計算該候選區域的置信度為confidenceplate= | num_c-num_thres |(3)其中num_c為所得到的字符數目，num_threS為設定的閾值。步驟三進行駕駛員人臉的粗定位，得到人臉的候選區域和對應的可信度。目前有多種人臉監測的方法可以得到駕駛員人臉的候選區域和對應的可信度，本發明采用基于AdaBoost的人臉檢測方法獲得駕駛員人臉的候選區域和對應的可信度。基于AdaBoost的人臉檢測方法以矩形特征為依據來構造弱分類器，再用AdaBoost方法挑選出少量關鍵特征，對相應的弱分類器進行加權求和從而構建出強分類器，并將其作為最終分類器用于人臉檢測。其中，每個矩形特征由2-3個矩形組成，如圖4所示，其值為白色矩形內的像素值之和減去黑色矩形內的像素值之和。每個弱分類器由一個矩形特征組成，強分類器的的訓練流程如下(I)給定訓練數據(X1, Y1), ... (xn，yn)，其中Yi=O表示負樣本，Yi=I表示正樣本，η為訓練樣本的個數。
II(2)初始化權值，Yi=O時Μ! =-~ , Yi=I時Vl1 = — ,m, I分別是負
2/7721樣本和正樣本的個數。(3)對應 t=l，· · ·，T :
WtJA.歸一化權值'^ ^ 1"
Zji=I tJB.對與每一個特征j，訓練弱分類器h」，此若分類器的誤差為ε J=EiWiIhj-(Xi)-YiC.選擇具有最小誤差的分類器htD.更新權值w丄,其中erO如果Xi被正確分類，否則ei=l，戽(4)則最終的強分類器為
權利要求
1.一種基于可變形部件模型的車牌及駕駛員人臉定位方法，其特征在于，一種基于可變形部件模型的車牌及駕駛員人臉定位方法，具體實現步驟如下 步驟一建立正面車輛的可變形部件模型 將車牌和駕駛員人臉作為部件，建立正面車輛的可變形部件模型，通過訓練數據，得到車牌與駕駛員人臉之間的位置關系，作為模型參數； 正面視圖中的車輛的可變形部件模型M定義如下 M= {partplate, partf ace，POSplate，face }(I) 其中，Partplate表示模型中的車牌部件，partf·表示模型中的人臉部件，posplat6jface (Pplate，face，dplate，face }表示車牌與駕駛員人臉之間的位置關系；其中Pplat^表示車牌與駕駛員人臉的空間位置關系；對于不同國家和地區，由于駕駛員所在的位置不同，此位置關系也不同；對于大陸地區，需滿足 plate. x<face. x, plate. y<face. y，其中 plate, x, face, x表示車牌和人臉的X坐標，Plate, y, face, y表示車牌和人臉的y坐標，既車牌在人臉的左下方表示車牌與人臉之間的距離，且 dpiate.face G Ni ( μ i, δ )，i G {big, middle, samll}(2)Ν(μ, δ )表示均值為μ，方差為δ的高斯模型； 通過統計標注的車牌與人臉之間的距離，得到每一類型的車輛所對應的高斯模型的均指和方差，既得到了車輛的可變形部件模型； 步驟二 采用基于成對形態學算子的車牌定位方法進行車牌的粗定位，得到車牌的候選區域和對應的可信度 步驟三采用基于AdaBoost的人臉檢測方法進行駕駛員人臉的粗定位，得到人臉的候選區域和對應的可信度 步驟四基于步驟一建立的正面車輛的可變形部件模型、步驟二得到的車牌候選區域和可信度以及步驟三得到的人臉候選區域和可信度進行車牌及駕駛員人臉的精細定位； 設L={lplate，lfacJ為模型M在圖像中的一個實現；其中Iplate表示車牌在圖像中的位置，If■表示人臉在車牌中的位置；Sm(lplate)表示車牌位置在Iplate的可信度，m(lfaJ表示人臉位置在Ifare的可信度；m(lplate，Iface)表示車牌與人臉之間的位置關系與模型的符合度，且
2.根據權利要求I所述的一種基于可變形部件模型的車牌及駕駛員人臉定位方法，其特征在于，采用基于成對形態學算子的車牌定位方法進行車牌的粗定位。
全文摘要
本發明為涉及一種基于可變形部件模型的車牌及駕駛員人臉定位方法，屬于物體檢測領域。該方法通過可變形部件模型對正面視圖中的車輛進行建模，將車牌和駕駛員人臉作為模型中的部件，通過訓練得到模型中的參數；基于所建立的模型進行精確的車牌定位和駕駛員人臉定位，并基于車牌與駕駛員人臉的相對位置關系進行車型識別。本發明可以充分的利用車牌和駕駛員人臉之間的位置信息，可以準確的定位車牌和駕駛員人臉，并得到車型信息。
文檔編號G06K9/00GK102880863SQ201210352669
公開日2013年1月16日 申請日期2012年9月20日 優先權日2012年9月20日
發明者裴明濤, 郭志強, 楊敏, 王永杰, 董震 申請人:北京理工大學