一種基于車牌識別的多車道車間距識別方法及裝置的制造方法
【專利摘要】本發明提供了一種基于車牌識別的多車道車間距識別方法及裝置，用于智能輔助駕駛/車載信息檢測領域。通過雙目攝像機實時采集前方多車道圖像信息，根據左右兩張圖像豎直拼接線上的像素點RGB信息近似一致的特性，默認使用裝置安裝后預設坐標點的方式進行圖像拼接獲取多車道全景圖像。圖像識別過程中采用以HOUGH變換為主的多種經典數字圖像處理算法標定車道線與車牌，針對全景圖像中不同車牌的位置和像素大小，根據相似性原理和數字成像原理自動計算多車道橫縱向車距并將結果按照用戶設置顯示在屏幕上。可應用于輔助安全換道、主動避撞、ACC自適應巡航等智能交通領域。
【專利說明】
一種基于車牌識別的多車道車間距識別方法及裝置
技術領域
[0001] 本發明涉及智能輔助駕駛/車載信息檢測領域，具體涉及一種通過雙目攝像頭實 時獲取多車道圖像并由圖像信息識別橫縱向車間距的方法與裝置。
【背景技術】
[0002] 隨著人們對行車安全日益重視和配套硬件成本的降低，越來越多的車身傳感器被 安裝在汽車上，采集各類數據以提供輔助駕駛或主動安全服務，其中對車輛周圍環境的感 知能力是重中之重，憑借對行車環境更全面的認知，可以有效降低因駕駛員注意力不集中 或視覺盲區而導致的事故。而在車輛行駛中，駕駛員對行車間距的預估十分關鍵，但很難保 證在任何情況下駕駛員都能做出準確的判斷，在跟車或換道時如不能準確判斷安全距離， 極易發生事故，因此對道路中的行車間距判斷在汽車輔助駕駛系統中尤為重要。
[0003] 應用于無人車駕駛中的激光雷達技術能夠整體感知周圍環境，對周圍道路信息建 立模型，自動尋找合適的路線行駛并保持與周圍車輛的距離，但高昂的設備成本使其短時 間內無法在家用汽車上使用，而傳統測距技術則無法獲取較全面的路況信息，尤其是在高 速行駛中難以及時對可能的行為危險進行預警，且難以對橫向車間距進行判斷。
[0004] 由于數字圖像處理技術的不斷成熟，借助先進的視覺傳感器和計算設備，多種基 于圖像處理的技術手段應運而生，在工業自動化中發揮著巨大的作用。車牌作為交通信息 的重要組成部分，以車牌識別為代表的視頻檢測技術自上世紀90年代興起以來，便一直是 圖像處理領域的熱點研究內容，尤其是針對車牌字符的識別，在視頻監控中應用非常廣泛， 但是受限于實際道路中復雜的環境以及陰影、遮擋等問題，車牌字符識別系統的精度大大 受限。但是，如果僅僅對圖像中的車牌進行定位，則技術難度和設備成本會大大降低，當前 的數字信號處理器已經具備了實時圖像處理能力，借助相關算法將道路中諸如車牌和車道 線位置提取出來，模擬人的雙眼，對視線內的車輛進行定位識別。
[0005] 相關技術 1車牌識別技術 車牌識別技術(Vehicle License Plate Recognition，VLPR)是計算機視頻圖像識別 技術在車輛牌照識別中的一種應用，能夠將運動中的汽車牌照從復雜背景中提取并識別出 來，通過車牌提取、圖像預處理、特征提取、車牌字符識別等技術，識別車牌位置、車輛牌號、 顏色等信息。通過一些后續處理手段可以實現停車場收費管理，交通流量控制指標測量，車 輛定位，汽車防盜，高速公路超速自動化監管、闖紅燈電子警察、公路收費站等等功能。
[0006] 2車距識別技術 車距識別技術通過安裝在車身上的特定裝置來獲取車距信息，在汽車啟動后提供指定 方向上與周圍障礙物間的距離數據，以供駕駛員或行車輔助系統更全面準確的了解行駛環 境，降低汽車行駛中事故發生的可能性或輔助進行倒車、停車等細致的操作。
[0007] 3車載影像輔助系統 車載影像輔助系統以車機為載體，在傳統導航娛樂功能的基礎上，增加輔助駕駛的功 能。如利用安裝在車身的高清攝像頭獲取車輛周圍指定方向的實時影像，坐在車中即可直 觀地看到車輛所處的位置以及車輛周圍的障礙物，消除視覺盲區，方便駕駛員及時了解周 圍環境信息，從容駕駛。
[0008] 現有技術的不足 1對于車牌識別技術，目前大多數情況下用于固定點的視頻檢測，通過安裝在路口上 獲得較大視場以對整個路口進行檢測。用于車載式車牌識別技術較少，主要原因在于是專 業監控攝像機造價過高，難以用于車輛輔助系統中，而普通單目攝像頭圖像視角受限，視場 過窄，難以兼顧多車道，還需要配備專用的圖像處理器才能完成車牌信息識別提取的復雜 功能。
[0009] 2對于車距識別技術，目前主流的手段主要有兩種方式，一是以加裝超聲波、雷達 等傳感器直接獲取距離信息，二是通過視覺傳感器和配套圖像處理系統間接計算距離信 息。前者精度更高，不易誤判但檢測范圍較小，目前多用在停車輔助系統中，后者則由于目 前市面上的此類產品成本較高且不易安裝較少在民用車上使用。
[0010] 3對于車在影像輔助系統，目前在汽車上使用的多為倒車影像系統，只在車身后 側安裝一個攝像頭，為駕駛員提供后方影響以便倒車，而對于正常行車的情況，如對前方環 境加以判斷的方案設計則幾乎沒有。另一方面，在汽車上所使用的視覺傳感器普遍只為駕 駛員提供實時圖像，不做基于圖像的處理，主要原因在于高性能的數字圖像處理系統受限 于成本和體積難以在車上使用，而一些簡單的基于微處理器的數字圖像處理系統運算能力 難以滿足實時性的要求，不能及時反饋有效的信息。
【發明內容】
[0011] 針對以上三個相關技術的不足，本發明提供了一種基于車牌識別的多車道車間距 識別方法及裝置，利用雙目攝像機實時采集前方多車道圖像信息，根據拼接后車道圖像中 的車牌位置，自動計算多車道橫縱向車距并結果顯示在屏幕上。本發明具體采用了如下技 術方案:多車道車間距識別方法包括如下步驟： (1)采用左側攝像頭和右側攝像頭分別獲取車前左右兩側圖像，其中，左側攝像頭和右 側攝像頭分別設置在車前端左右兩側，并且在水平方向上保持一致； (2 )將得到的左右兩側圖像進行拼接，在兩個圖像的水平方向上重疊區域的中心處做 垂直平分線，記該垂直平分線為分割線，分割線與水平線的交點記為原點，截取左側圖像中 位于水平軸負半軸的部分和右側圖像中位于水平軸正半軸的部分，將截取的兩部分合成拼 接； (3) 圖像拼接后通過灰度化處理，利用中值濾波來消除圖像中的噪聲； (4) 多車道車道線識別，根據處理后的圖像中結構化路面左、右兩側道路標識線的灰 度、連通性及道路邊緣灰度階躍變化，采用HOUGH變換尋找全景圖像中的連續斜線，并根據 車道線特征和預設模板進行匹配，識別出車道線； (5) 多車道車牌照識別，以標準車牌尺寸為參照物，使用邊緣檢測算子對圖像進行水平 和垂直方向邊緣檢測，再利用HOUGH變換進行共線檢測，將在水平和豎直位置上共線的線段 連接在一起，在圖像中形成了一系列直線段，識別出車牌的兩條水平邊界和兩條豎直邊界； (6) 基于車牌識別進行多車道車間距計算， 縱向車間距Lc計算如下：
其中，s為車牌的成像面積，S為實際車牌面積，X為拼接前單個圖像的寬度，Y為拼接前 單個圖像的長度，Θ為視覺傳感器的水平視場角，β為視覺傳感器的垂直視場角，§為鏡頭安 裝位置到車最前端的距離； 橫向車間距D。計算如下：
其中，ε為焦點到車牌靠近中心一側端點的偏移角度;Ds為車身寬度。
[0012] 優選地，步驟(2)中圖像拼接流程為： (i) 圖像拼接開始前分別計算分割線在左右兩側圖像中的位置，并分別記錄其在左右 兩側圖像中的坐標； (ii) 圖像拼接處理開始后，提取記錄的坐標信息，比較左右兩側圖像中分割線的像素 信息是否相似;若相似，則進行圖像分割和拼接，并等待進入下一次拼接流程;若不相似，則 進入步驟(iii); (iii) 判斷像素信息差別是否較大，如果較大，則檢查設備是否有故障或存在遮擋，并 進入步驟(vi);如果較小，則進入步驟(iv); (iv) 在原坐標周圍進行動態調整，重新計算并更新坐標信息;再次比較左右兩側圖像 中分割線的像素信息是否相似;若相似，則進行圖像分割和拼接，并等待進入下一次拼接流 程;若不相似，則進入步驟(v); (v) 進行補光調整，再次比較左右兩側圖像中分割線的像素信息是否相似;若相似，則 進行圖像分割和拼接，并等待進入下一次拼接流程;若不相似，則進入步驟(vi ); (vi) 判斷是否超過預設的最大拼接失敗次數，若沒超過，則返回步驟(ii);若超過，則 報錯并提醒車主。
[0013] 應用多車道車間距識別方法的裝置包括左側攝像頭和右側攝像頭，分別位于車前 風擋玻璃兩側;攝像頭補光模塊，安裝于左側攝像頭和右側攝像頭附近，用于調節靈敏度使 光線環境較暗時能夠自動補光，保證圖像質量;嵌入式數字圖像處理模塊，安裝于車身內 部，其連接攝像頭的數據線，并由車載蓄電池供電;ECU電控模塊，其與嵌入式數字圖像處理 模塊相連，駕駛員通過所述ECU電控模塊啟動裝置;車載顯示屏，其安裝于車內中控臺，實時 顯示前方道路影像，在啟動裝置后，自動識別車牌照，計算前方各車道橫縱向間距，駕駛員 可通過屏幕上的設置選項選擇需要顯示的信息或開啟的功能。
[0014] 本發明具有如下有益效果： (1)利用雙目攝像頭圖像拼接以獲取更寬視野的全景圖像，加入了補光系統與動態調 整算法以應對實際行駛中復雜的路面和光線環境。
[0015] (2)基于全景圖像的支持，利用以HOUGH變換為主的經典圖像處理算法，能夠識別 出前方道路上多車道的車牌與車道線，并定位。
[0016] (3)通過提取全景圖像中車牌位置和大小信息，并依據成像原理計算出前方多車 道上的橫縱向車間距。
【附圖說明】
[0017] 圖1為雙目攝像頭圖像拼接原理圖。
[0018] 圖2為雙目攝像頭圖像拼接流程圖。
[0019]圖3為縱向車距計算原理示意圖。
[0020] 圖4為實際視場與生成圖像的車牌偏移角度示意圖。
[0021] 圖5為橫向車距計算原理示意圖。
[0022] 圖6為本發明裝置結構組成圖。
[0023]圖7為本發明方法流程圖。
【具體實施方式】
[0024] -、基于動態圖像拼接的全景攝像方法： 1)使用雙目攝像頭獲取全景圖像 由于單目攝像頭識別能力有限，為了擴大識別范圍，用于識別多車道，本發明采用雙目 攝像頭圖像拼接。
[0025] 2)雙目攝像頭拼接原理 由于雙目攝像頭在水平方向上保持一致，故其生成的兩張圖像在豎直方向沒有位置 差，在水平方向上存在一定重疊區域，如圖1所示，在重疊區域中取任一垂直于X軸的分割線 均可將兩張圖像拼接成一張。本發明以最居中的一條垂線做分割，記為中心垂直分割線，與 X軸交點記為〇點，截取左側圖像中位于X軸負半軸的部分和右側圖像中位于X軸正半軸的部 分并合成即完成拼接。
[0026]基于中心垂直分割線上左右兩張圖像的像素點RGB信息近似一致的特性，本發明 通過對豎直方向上像素點信息逐點做差尋找符合要求的中心垂直分割線，即在兩張圖像中 尋找一對豎線(X軸坐標），滿足對應Y軸坐標上的像素點一一近似，并能使得分割后的左右 圖像寬度相等。
[0027] 3)使用動態調整策略和補光系統增強容錯性 在絕大多數情況下，雙目攝像頭安裝好后的中心垂直分割線相對于左右兩張圖像的位 置是固定的。為了節省圖像處理器運算資源，本發明只在第一次安裝后計算中心垂直分割 線位置，并記錄為其對于左右兩張圖像的預設位置坐標，圖像處理時先調用此坐標，在判斷 其依然滿足對應像素點相似條件后直接進入后續處理。考慮到實際中由于車身顛簸或電路 噪聲等因素，中心垂直分割線的位置可能再極小的范圍內存在偏移，故方案中設計允許圖 像處理系統在連續多次判斷預設坐標生成的分割線不滿足相似條件時，在原坐標周圍動態 調整，重新計算并更改預設坐標，由于偏移幅度不會很大，圖像處理系統可以在很短時間內 重新找到分割線位置。
[0028] 另一方面，由于兩個攝像頭所處位置的光線環境可能存在一定的差異，為了解決 這一問題方案中加了補光系統，當分割線上的像素點普遍存在一定亮度差異或整體光線環 境過暗時，使用補光燈加以調整。
[0029] 本發明在不影響正常功能的情況下拼接過程中出現失敗的可能，但當連續拼接失 敗次數或拼接失敗率達到一定指標，報錯并提醒車主。拼接流程如圖2所示。
[0030] 二、基于全景圖像識別的多車道車道線與車牌識別方法： 1)簡單圖像處理 圖像拼接后通過灰度化處理，中值濾波用來消除圖像中的噪聲，平滑圖像且降低圖像 處理運算量。
[0031] 通過邊緣檢測增強圖像的道路邊緣信息，正常光照條件下的車道線與路面背景部 分的對比度差異較為明顯，用于識別車道線信息。
[0032] 2)多車道車道線識別 一般情況下，車道線以一定斜率的連續斜線出現在圖像中的兩側，具有明顯的特征信 息，結合結構化路面中左、右兩側道路標識線的灰度、連通性及道路邊緣灰度階躍變化等這 些特征信息，采用HOUGH變換尋找全景圖像中的連續連續，并根據車道線特征和預設模板進 行匹配，基于路寬和車道線斜率設置的經驗，可以排除掉識別過程中可能出現的誤判斷。 [0033]考慮到道路中不一定有正規且清晰的車道線，本發明不強制系統識別車道線，只 做輔助功能，當圖像中存在車道線時，可以分別車道線內設立感興趣區域搜索帶，減少車牌 識別的圖像處理工作量。
[0034] 3)多車道車牌照識別 車牌檢測標準:現行的九二式機動車號牌國標尺寸藍牌和黑牌是440X140,大車牌(黃 牌)前牌尺寸同，后牌為440X220,以此作為車牌識別依據，拋棄尺寸比例和大小不合格的 成功識別區域。
[0035]由于車牌區域具有明顯的邊緣特征，因而使用邊緣檢測算子對圖像進行水平和垂 直方向邊緣檢測后，車牌的邊界線就可以檢測出來。
[0036]對圖像進行邊緣檢測后，再利用HOUGH變換進行共線檢測，將在水平和豎直位置上 共線的線段連接在一起，這樣就在圖像中形成了一系列直線段，汽車牌照是標準的矩形框， 車牌的邊界就是兩條水平直線段和兩條豎直直線段。
[0037] 拋棄掉不符合尺寸大小要求的識別區域后，用矩形標出車牌區域。
[0038] 在合適的范圍內，不考慮遮擋的因素，車牌不會憑空出現或消失，因此在車牌識別 中會參考過往一段時間內的識別結果，防止誤判的發生。
[0039]三、基于車牌識別的多車道車間距計算方法 1)縱向車間距算法： 本發明所采用的根據牌照大小測距算法是根據在成像過程中的三角形相似原理提出的。 [0040]以Y軸圖像處理為例，在圖3中，L為目標車牌與視覺傳感器間的距離;Η為目標車牌 高度;β為視覺傳感器的垂直視場角;Υ為生成圖像(拼接前）的長度;h為目標車牌在圖像中 的高度;He為半個垂直視場。
[0041]由三角形相似的原理，可得：
由（1-1)和（1-2)可得：
式（1-3)中，L為待測距離，Y、h由視覺傳感器獲得，β為視覺傳感器參數常量，故只需要 根據實際車牌大小與成像車牌大小的縮放關系即可求得目標車牌與視覺傳感器間的距離 L〇
[0042] 若對X軸進行處理，記Θ為視覺傳感器的水平視場角，同理可得：
其中，W為目標車牌寬度;X為生成圖像(拼接前)的寬度;w為目標車牌在圖像中的高度。 事實上，單獨使用式(1-3)或（1-4)均可達到求得距離L的要求，但考慮到車牌定位算法 中定位的車牌區域(成像大小)存在一定的誤差，為提高精度，本發明綜合采用兩式，即通過 成像大小的面積和實際車牌面積的比例關系推算距離L，得到式(1-5)，其中s為成像面積：
式(1-6)中，4為鏡頭安裝位置到車最前端的距離，總即為真實縱向車距。 .·：
[0043] 2)橫向車間距算法 在圖4中，上方為車輛前方所見視野，斗、#為前方兩個車牌與視野中心的偏移角度， 下方為拼接后的全景圖像，##為圖像中兩個車牌與中心垂直分割線的偏差角度。在數 字成像過程中，不考慮鏡頭的畸變和圖像的拉伸因素下，有《 = #、/=#，因此在知道縱向 車距L的前提下，通過三角函數即可求出橫向距離D。
[0044]在圖5中，L為求得的縱向距離，D為視場中心距離車牌靠近中心一側端點的橫向距 離，ε為焦點到車牌靠近中心一側端點的偏移角度，易知該值等于生成圖像中車牌距整張畫 面中心的偏移角度，可直接算出。根據三角函數原理和成像原理，有 D = Ltane (1-7) 由于本發明采用雙目攝像頭拼接技術，視場的中心位于車身正中，故在計算偏移角度ε 時以畫面分割線為Υ軸，記為0偏移角度，算法原理不受影響，因為此方法計算出的距離是本 車中心到前車中心的橫向距離，故而在求得距離D的基礎上應該減去一個車身寬度D s，即可 求得真實橫向車間距D。。
故基于本方法，不僅可以計算同車道內車輛的縱向車間距，進一步可以計算旁側車道 內車輛的縱，橫向車間距，可以用于主動避撞，輔助換道等二次產品開發。
[0046] 四、基于車牌識別的多車道車間距識別裝置 本發明裝置核心由集成DSP處理器的高速處理單元組成，通過兩路視頻接口與兩路攝 像頭連接，攝像頭集成補光光源，用于調整光線強度，通過LCD屏顯示信息和人機交互，整套 裝置使用車載蓄電池12V供電。
[0047] 本發明安裝方法為攝像頭安裝于前擋風玻璃兩側，位于車體內部;LCD安裝于駕駛 員操作臺，電控電源位于車體內部，供電采用自帶車載蓄電池即可。
[0048]步驟1:安裝雙目攝像頭，位于車前風擋玻璃兩側，調節焦距和角度，使兩個攝像頭 的視場保持在合適的范圍內，能夠得到比較清晰的前方道路影像。
[0049] 步驟2:安裝攝像頭補光系統，靠近兩側攝像頭，調節靈敏度使光線環境較暗使能 夠自動補光，保證圖像質量。
[0050] 步驟3:安裝嵌入式數字圖像處理裝置，在車身內部，接入攝像頭的數據線，使用車 載蓄電池供電，上電測試調用系統自檢程序查看是否正常工作，有何問題。
[0051] 步驟4:將圖像處理裝置與ECU電控系統相連，在駕駛員開啟功能通過ECU電控系統 啟動裝置。
[0052]步驟5:安裝車載顯示屏，位于車內中控臺，實時顯示前方道路影像，在開啟裝置功 能后，自動識別牌照，計算前方各車道橫縱向間距。駕駛員可通過屏幕上的設置選項選擇需 要在IXD上顯示哪些信息或開啟哪些功能。
【主權項】
1. 一種多車道車間距識別方法，特別是一種基于車牌識別的多車道車間距識別方法， 其特征在于，包括如下步驟： (1) 采用左側攝像頭和右側攝像頭分別獲取車前左右兩側圖像，其中，左側攝像頭和右 側攝像頭分別設置在車前端左右兩側，并且在水平方向上保持一致； (2) 將得到的左右兩側圖像進行拼接，在兩個圖像的水平方向上重疊區域的中心處做 垂直平分線，記該垂直平分線為分割線，分割線與水平線的交點記為原點，截取左側圖像中 位于水平軸負半軸的部分和右側圖像中位于水平軸正半軸的部分，將截取的兩部分合成拼 接； (3) 圖像拼接后通過灰度化處理，利用中值濾波來消除圖像中的噪聲； (4) 多車道車道線識別，根據處理后的圖像中結構化路面左、右兩側道路標識線的灰 度、連通性及道路邊緣灰度階躍變化，采用HOUGH變換尋找全景圖像中的連續斜線，并根據 車道線特征和預設模板進行匹配，識別出車道線； (5) 多車道車牌照識別，以標準車牌尺寸為參照物，使用邊緣檢測算子對圖像進行水平 和垂直方向邊緣檢測，再利用HOUGH變換進行共線檢測，將在水平和豎直位置上共線的線段 連接在一起，在圖像中形成了一系列直線段，識別出車牌的兩條水平邊界和兩條豎直邊界； (6) 基于車牌識別進行多車道車間距計算， 縱向車間距Lc計算如下：其中，s為車牌的成像面積，S為實際車牌面積，X為拼接前單個圖像的寬度，Y為拼接前 單個圖像的長度，Θ為視覺傳感器的水平視場角，β為視覺傳感器的垂直視場角，:4為鏡頭安 裝位置到車最前端的距離； 橫向車間距D。計算如下： Β；ε = (:L' 其中，ε為焦點到車牌靠近中心一側端點的偏移角度;Ds為車身寬度。2. 如權利要求1所述的多車道車間距識別方法，其特征在于，步驟(2)中圖像拼接流程 為： (i) 圖像拼接開始前分別計算分割線在左右兩側圖像中的位置，并分別記錄其在左右 兩側圖像中的坐標； (ii) 圖像拼接處理開始后，提取記錄的坐標信息，比較左右兩側圖像中分割線的像素 信息是否相似;若相似，則進行圖像分割和拼接，并等待進入下一次拼接流程;若不相似，則 進入步驟(iii); (iii) 判斷像素信息差別是否較大，如果較大，則檢查設備是否有故障或存在遮擋，并 進入步驟(vi);如果較小，則進入步驟(iv); (iv) 在原坐標周圍進行動態調整，重新計算并更新坐標信息；再次比較左右兩側圖像 中分割線的像素信息是否相似;若相似，則進行圖像分割和拼接，并等待進入下一次拼接流 程;若不相似，則進入步驟(v); (v) 進行補光調整，再次比較左右兩側圖像中分割線的像素信息是否相似;若相似，則 進行圖像分割和拼接，并等待進入下一次拼接流程;若不相似，則進入步驟(Vi ); (Vi)判斷是否超過預設的最大拼接失敗次數，若沒超過，則返回步驟（ii);若超過，則 報錯并提醒車主。3.-種應用如權利要求1和2所述的多車道車間距識別方法的裝置，其特征在于，包括 左側攝像頭和右側攝像頭，分別位于車前風擋玻璃兩側； 攝像頭補光模塊，安裝于左側攝像頭和右側攝像頭附近，用于調節靈敏度使光線環境 較暗時能夠自動補光，保證圖像質量； 嵌入式數字圖像處理模塊，安裝于車身內部，其連接攝像頭的數據線，并由車載蓄電池 供電； ECU電控模塊，其與嵌入式數字圖像處理模塊相連，駕駛員通過所述ECU電控模塊啟動 裝置； 車載顯示屏，其安裝于車內中控臺，實時顯示前方道路影像，在啟動裝置后，自動識別 車牌照，計算前方各車道橫縱向間距，駕駛員可通過屏幕上的設置選項選擇需要顯示的信 息或開啟的功能。
【文檔編號】B60R1/00GK106064587SQ201610530758
【公開日】2016年11月2日
【申請日】2016年7月6日
【發明人】王龐偉, 于洪斌, 王力, 譚墍元, 姜傳
【申請人】北方工業大學