一種融合車標與車頭圖像特征的車輛型號識別方法及系統與流程

本發明涉及模式識別和智能交通信息技術領域，尤其是涉及基于交通監控視頻的一種融合車標與車頭圖像特征的車輛型號識別方法及系統。

背景技術：

近年來，隨著社會的不斷進步，智能交通系統得到快速發展，同時，計算機視覺和模式識別技術的發展，為智能交通系統更有效的應用提供了契機。計算機視覺是利用計算機來模擬人的視覺功能，從客觀事物的圖像中提取信息，進行處理并加以理解，最終用于實際檢測、測量和識別。

在智能交通系統的應用中，車輛型號識別是道路監控的重要組成部分。車輛型號識別是根據不同品牌不同系列車輛的車頭圖像的唯一性進行車輛型號識別。車輛型號識別在城市交通監控、車輛追蹤、打擊涉車犯罪等領域有著廣泛的應用前景。

現有的車輛型號識別方案中，主要分為三大類，一是提取整輛車的圖像特征并輸入分類器進行識別，二是只利用車輛車頭的圖像特征進行識別，三是分別提取車輛各重要組件的圖像特征，將整合后的圖像特征送入分類器進行識別。

第一種方法提取的是整車圖像的特征，雖然包含和車輛各個方面的特征，但是由于車輛往往以各種不同的角度出現在交通監控視頻中，這會造成獲取的車輛圖像變化較大，引入較多的干擾圖像，因此同一類車型難以得到穩定的圖像特征。

第二種方法提取的是車頭圖像，單純提取車頭的圖像特征進行識別，這種方法只提取車頭圖像，避免引入過多的干擾信息，但是難以區分那些不同品牌 有相似車頭圖像的車型。

第三種方法提取的是車輛各個組件的圖像和幾何特征，例如車標、車燈、雨刮器等形狀和相互位置關系，這種方法獲取的車輛特征辨識度不夠高，而且車輛組件難以定位。

技術實現要素：

有鑒于此，本發明目的在于提供一種融合車標與車頭圖像特征的車輛型號識別方法及系統，用于在智能交通系統中對車輛型號進行快速、準確、高效的識別。

具體地，本發明是通過如下技術方案實現的：

基于本發明實施例提供一種融合車標與車頭圖像特征的車輛型號識別方法，所述方法包括：

獲取經過監控卡口的車輛監控視頻；

從所述車輛監控視頻中檢測車輛，獲取包含有車輛的監控畫面，從監控畫面截取車輛圖片；

從獲取的車輛圖片中截取車頭圖像，在車頭圖像中搜索車標，并截取車標圖像；

使用圖像特征提取算子分別從車標圖像和車頭圖像中提取車標與車頭的圖像特征數據；

將車標和車頭的圖像特征數據進行融合處理，生成車標與車頭融合特征數據；

對車標與車頭融合特征數據進行分類判別，根據訓練好的車輛型號分類器的輸出結果得到車輛型號識別結果。

進一步地，所述從所述車輛監控視頻中檢測車輛，獲取包含有車輛的監控畫面，從監控畫面截取車輛圖片，具體為：使用三幀差法對車輛監控視頻中運動目標進行檢測；截取運動目標并歸一化尺寸后輸入車輛判別分類器，通過車輛判別分類器判別運動目標是否為車輛；當通過車輛判別分類器判定運動目標 為車輛時，獲取包含車輛的監控畫面；根據監控畫面中車輛的位置信息和尺寸信息截取車輛圖片。

進一步地，所述從獲取的車輛圖片中截取車頭圖像，在車頭圖像中搜索車標，并截取車標圖像，具體為：在車輛圖片中定位車牌，獲取車輛的車牌中心坐標和車牌寬度；以車牌的中心位置為參考點，車牌寬度為參考寬度，從車牌中心位置向上下左右分別延伸預設倍數的車牌寬度的距離構成一個矩形，截取矩形范圍內的圖像作為車頭圖像；在車頭圖像中定位車標，使用車標判別分類器在車牌的上方搜索車標，并用預設寬高比的矩形框截取車標圖像；將截取到的車標與車頭圖像分別縮放到統一尺寸。

進一步地，所述將車標和車頭的圖像特征數據進行融合處理，生成車標與車頭融合特征數據，具體為：合并車標與車頭的圖像特征數據；將合并后的車標與車頭的圖像特征數據輸入到訓練好的特征融合器，通過所述特征融合器對車標與車頭的圖像特征數據進行特征融合后獲得車標與車頭融合特征數據；所述車輛型號分類器的每一種輸出結果對應一種車輛型號。

進一步地，所述的特征融合器為基于反向傳播BP神經網絡構建的特征融合器，將BP神經網絡的輸入層和隱藏層作為所述特征融合器。

基于本發明實施例，還提供一種融合車標與車頭圖像特征的車輛型號識別系統，該系統包括：

道路卡口監控視頻獲取模塊，用于獲取經過監控卡口的車輛監控視頻；

車輛檢測模塊，用于從所述車輛監控視頻中檢測車輛，獲取包含有車輛的監控畫面，從監控畫面截取車輛圖片；

車標與車頭分割模塊，用于從獲取的車輛圖片中截取車頭圖像，在車頭圖像中搜索車標，并截取車標圖像；

圖像特征提取模塊，用于使用圖像特征提取算子分別從車標圖像和車頭圖像中提取車標與車頭的圖像特征數據；

特征融合模塊，用于將車標和車頭的圖像特征數據進行融合處理，生成車 標與車頭融合特征數據；

車輛型號識別模塊，用于對車標與車頭融合特征數據進行分類判別，根據訓練好的車輛型號分類器的輸出結果得到車輛型號識別結果。

進一步地，所述車輛檢測模塊進一步包括：

運動目標檢測模塊，用于使用三幀差法對車輛監控視頻中運動目標進行檢測；

車輛判別模塊，用于截取運動目標并歸一化尺寸后輸入車輛判別分類器，通過車輛判別分類器判別運動目標是否為車輛；

車輛圖片截取模塊，用于當通過車輛判別分類器判定運動目標為車輛時，獲取包含車輛的監控畫面，根據監控畫面中車輛的位置信息和尺寸信息截取車輛圖片。

進一步地，所述車標與車頭分割模塊進一步包括：車牌定位模塊、車頭圖像截取模塊及車標圖像截取模塊；

車牌定位模塊，用于在車輛圖片中定位車牌，獲取車輛的車牌中心坐標和車牌寬度；

車頭圖像截取模塊，用于以車牌的中心位置為參考點，車牌寬度為參考寬度，從車牌中心位置向上下左右分別延伸預設倍數的車牌寬度的距離構成一個矩形，截取矩形范圍內的圖像作為車頭圖像；

車標圖像截取模塊，用于在車頭圖像中定位車標，使用車標判別分類器在車頭圖像車牌的上方區域搜索車標，并用預設寬高比的矩形框截取車標圖像；

所述圖像特征提取模塊還用于將截取到的車標與車頭圖像分別縮放到統一尺寸。

進一步地，所述特征融合模塊包括：

合并子模塊，用于合并車標與車頭的圖像特征數據；

融合子模塊，用于將合并后的車標與車頭的圖像特征數據輸入到訓練好的特征融合器，通過所述特征融合器對車標與車頭的圖像特征數據進行特征融合后獲得車標與車頭融合特征數據；

所述車輛型號分類器的每一種輸出結果對應一種車輛型號。

進一步地，所述的特征融合器為基于反向傳播BP神經網絡構建的特征融合器，將BP神經網絡的輸入層和隱藏層作為所述特征融合器。

本發明提出一種融合車標與車頭圖像特征的車輛型號識別方法及系統，能從交通監控視頻中獲取過往車輛的車標圖像與車頭圖像，通過融合車標與車頭的圖像特征識別出過往車輛所屬的車輛型號，車輛型號信息包括車輛的品牌與系列。整個系統包括道路卡口監控視頻獲取模塊、車輛檢測模塊、車標與車頭分割模塊、圖像特征提取模塊、特征融合模塊、車輛型號識別模塊，其中，圖像特征提取模塊使用獨立的特征提取算子分別獲取車標與車頭的圖像特征，特征融合模塊使用BP神經網絡融合車標與車頭圖像特征。相比現有技術，本發明同時兼顧車標與車頭的圖像特征，具有適用范圍廣、識別準確度高的優點，適用于智能交通系統，尤其適用于車輛追蹤、生成交通視頻的文本摘要、打擊套牌車等應用。

附圖說明

圖1為本發明實施例提供的一種融合車標與車頭圖像特征的車輛型號識別系統結構示意圖；

圖2為本發明實施例提供的一種融合車標與車頭圖像特征的車輛型號識別方法的步驟流程圖。

具體實施方式

為使本申請的目的、技術方案及優點更加清楚明白，以下參照附圖對本申請所述方案作進一步地詳細說明。下面的描述涉及附圖時，除非另有表示，不同附圖中的相同數字表示相同或相似的要素。以下示例性實施例中所描述的實施方式并不代表與本申請相一致的所有實施方式。相反，它們僅是與如所附權利要求書中所詳述的、本申請的一些方面相一致的裝置和方法的例子。

在本申請使用的術語是僅僅出于描述特定實施例的目的，而非旨在限制本申請。在本申請和所附權利要求書中所使用的單數形式的“一種”、“所述”和“該”也旨在包括多數形式，除非上下文清楚地表示其他含義。還應當理解，本文中使用的術語“和/或”是指并包含一個或多個相關聯的列出項目的任何或所有可能組合。

圖1為本發明實施例提供的一種融合車標與車頭圖像特征的車輛型號識別系統的結構示意圖，該系統100包括道路卡口監控視頻獲取模塊101，車輛檢測模塊102，車標與車頭分割模塊103，圖像特征提取模塊104，特征融合模塊105，車輛型號識別模塊106。圖2為本發明基于本發明實施例提供的車輛型號識別系統100，提出的一種融合車標與車頭圖像特征的車輛型號識別方法，通過所述方法與系統的配合實現融合車標與車頭圖像特征的車輛型號識別功能，該方法包括：

步驟201、獲取經過監控卡口的車輛監控視頻；

該步驟由道路卡口監控視頻獲取模塊101完成，該模塊可以由一個或多個安裝在交通道路卡口的攝像頭組成，用于獲取經過交通監控卡口的車輛視頻，同時通過交通監控網絡將車輛監控視頻回傳至后端的服務器或電腦主機。

本發明實施例利用交通監控網的道路卡口監控視頻作為車輛型號識別系統的輸入，能夠減少設備投入，有效降低成本，而且現有的交通卡口監控網絡覆蓋面廣，能夠獲取大范圍的車輛監控視頻。

步驟202、從所述車輛監控視頻中檢測車輛，獲取包含有車輛的監控畫面，從監控畫面截取車輛圖片；

該步驟由位于后端的服務器或電腦主機上的車輛檢測模塊102完成，所述車輛檢測模塊進一步包括：運動目標檢測模塊、車輛判別模塊、車輛圖片截取模塊。

本發明一實施例中，運動目標檢測模塊首先使用三幀差法對車輛監控視頻中連續的三幀視頻圖像進行相減，相減后圖像中的非零像素塊就是運動目標，車輛判別模塊截取運動目標并歸一化尺寸后輸入車輛判別分類器，通過車輛判 別分類器判別運動目標是否為車輛，其中，車輛判別分類器由梯度方向直方圖算子與支持向量機構成。當通過車輛判別分類器判定運動目標為車輛時，車輛圖片截取模塊獲取包含車輛的監控畫面即包含有車輛的監控視頻幀，然后根據監控畫面中車輛的位置信息和尺寸信息截取車輛圖片。該實施例中，采用三幀差法檢測車輛運動目標，利用了道路上的大部分車輛都處于行駛狀態這一特點，能夠快速從監控視頻中提取出運動目標；使用車輛識別分類器識別運動目標，能夠排除行人、車輛陰影等非車輛運動目標的干擾，提高車輛檢測的準確率。

車輛檢測模塊102從道路卡口監控視頻中首先提取車輛圖像，然后從車輛圖像中提取車標與車頭圖像，能夠縮小車標檢測與車頭的搜索范圍，提高車標定位與車頭截取的準確率。

步驟203、從獲取的車輛圖片中截取車頭圖像，并在車頭圖像中搜索車標，并截取車標圖像；

該步驟包含車頭圖像分割和車標圖像分割兩個步驟，由位于后端服務器或電腦主機的車標與車頭分割模塊103完成，所述車標與車頭分割模塊進一步包括：車牌定位模塊、車頭圖像截取模塊、車標圖像截取模塊。

車頭圖像分割步驟包括：車牌定位模塊使用車牌定位方法定位車輛圖片中的車牌，并獲取車牌中心點坐標與車牌寬度；車頭圖像截取模塊以車牌的中心位置為參考點，車牌寬度為參考寬度，從車牌中心位置向上下左右分別延伸預設倍數(例如兩倍)的車牌寬度的距離，從而構成一個矩形，截取矩形范圍內的圖像以此作為獲取的車頭圖像。

本發明一實施例中，所述的車牌定位方法具體包括：將采集到的車輛圖像由彩色圖轉換為灰度圖，并對車輛圖像進行二值化和圖像腐蝕處理；將處理得到的圖像做邊緣檢測得到車輛輪廓圖，對車輛輪廓圖像進行逐行水平掃描，并記錄每一行的像素值跳變次數，當跳變次數屬于預定的范圍內時，則判定該行屬于車牌圖像，由此獲得車牌的上下邊；然后，再對輪廓圖像進行逐列垂直掃描，并記錄每一列的像素值跳變次數，當跳變次數屬于預定的范圍內時，則判定該列屬于車牌圖像，由此獲得車牌的左右邊，從而定位到車輛圖片中的車牌。

車標圖像分割步驟包括：車標圖像截取模塊使用車標定位方法定位車頭圖像中的車標，并用預設寬高比(例如1:1)的矩形框截取車標圖像。

本發明一實施例中，所述的車標定位方法具體包括：根據車牌定位的結果，確定車牌上方的圖像區域，在該區域使用滑動窗的方式，在車牌上方區域獲取一系列的車標候選圖像，然后使用模板匹配法把車標候選圖像逐一與車標模板進行比對判別，最后，記錄被判別為車標圖像的區域坐標，由此定位得到車標圖像。

本發明具體實施例中，車標與車頭分割模塊103從車頭圖像中搜索車標圖像，利用車標都位于車牌正上方區域的特點，使用車標判別分類器在車頭圖像中車牌正上方區域搜索車標，例如以滑動窗口的方式將車頭圖像的車牌正上方的圖像塊逐一輸入車標判別分類器，搜索到車標后，用預設寬高比(例如1:1)的矩形框截取車標圖像。從車牌正上方區域搜索車標能夠減少搜索范圍，提高車標搜索效率和檢測的正確率。

本發明具體實施例中，根據車牌紋理特征與顏色特征較為獨特和穩定的特點，能夠準確定位車牌；使用車牌寬度作為參考長度進行車頭截取，利用了不同車輛的車牌寬度都相同的特點，能夠在不同場景下準確截取到相同尺寸的車頭圖像。

步驟204、使用圖像特征提取算子分別從車標圖像和車頭圖像中提取車標與車頭的圖像特征信息；

該步驟由位于后端服務器或電腦主機的圖像特征提取模塊204完成，優選地，在提取車標和車頭圖像特征信息之前，首先需要由該模塊分別對車標與車頭圖像的圖像尺寸進行統一，例如將截取的車標圖像與車頭圖像分別縮放到統一尺寸，使得車標的圖像尺寸為40*40，車頭圖像尺寸為128*128。

在完成車標和車頭圖像的尺寸處理后，圖像特征提取模塊204使用梯度方向直方圖算子分別從車標圖像和車頭圖像中提取車標圖像與車頭圖像的圖像特征數據，分別得到一維的車標特征數據與一維的車頭特征數據。

優選地，該模塊使用相互獨立的特征提取算子分別提取車標與車頭圖像的 圖像特征。使用獨立的特征提取算子能夠根據車標圖像與車頭圖像的不同特性的實際情況，提取更為有效的圖像特征。

步驟205、將車標和車頭的圖像特征數據進行融合處理，生成車標與車頭融合特征數據；

該步驟由位于后臺服務器的特征融合模塊205完成，特征融合模塊205進一步包括：合并子模塊、融合子模塊；

該步驟進一步分解為以下幾個子步驟：

子步驟A1、合并子模塊合并車標與車頭的圖像特征數據；

在本發明一實施例中，該模塊使用級聯的方式合并車標與車頭特征數據，即在車標的特征數據末端添加車頭的特征數據，組成一維的既包含車標特征又包含車頭特征的“車輛聯合特征數據”。

子步驟A2、融合子模塊將合并后的車標與車頭的圖像特征數據輸入到訓練好的基于反向傳播BP神經網絡構建的特征融合器，通過所述特征融合器對車標與車頭的圖像特征數據進行特征融合后獲得車標與車頭融合特征數據。

本發明中，在通過特征融合器對車標與車頭的圖像特征數據進行特征融合之前，首先要對特征融合器進行訓練，以使訓練好的特征融合器能夠根據當前輸入的車輛聯合特征數據準確的輸出與實際的車輛型號對應的車標與車頭融合特征數據。對特征融合器進行訓練需要以車輛實際對應的型號作為樣本標簽，通過執行步驟201至步驟204以及子步驟A1，針對已知的每一車輛型號的車標與車頭的樣本圖像，獲取該車輛型號的大量的合并后的車標與車頭的圖像特征數據樣本，然后使用所獲得的大量的合并后的車標與車頭的圖像特征數據樣本對特征融合器進行訓練。

具體地，本發明一具體實施例中，構建具有1個輸入層、1個隱藏層、1個輸出層的3層BP(Back Propagation，反向傳播)神經網絡，使用步驟201至步驟204以及子步驟A1獲取的大量訓練樣本訓練該BP神經網絡。BP神經網絡訓練完成后，將BP神經網絡的輸入層和隱藏層作為子步驟A2中所述的特征融合器，從特征融合器輸出的數據就是車標與車頭特征融合后的“車標與車頭融合 特征數據”。

本發明將車標特征信息與車頭特征信息合并，并輸入預先訓練好的特征融合器進行融合，輸出融合后的數據作為車輛型號分類器的輸入，這樣可以利用車標與車頭圖像的獨特性，兼顧車標與車頭圖像的特征，能夠獲取更豐富的車輛圖像信息，提高識別準確率。

步驟206、對車標與車頭融合特征數據進行分類判別，根據訓練好的車輛型號分類器的輸出結果得到車輛型號識別結果。

該步驟由位于后臺服務器的車輛型號識別模塊206完成，該模塊將特征融合模塊輸出的數據送入車輛型號分類器，車輛型號分類器的每一種輸出結果都對應了一種車輛型號，進而實現車輛型號的識別。

在執行本步驟之前，需要首先以車輛實際對應的型號作為樣本標簽，使用大量的已知車輛型號的車標與車頭融合特征數據樣本對車輛型號分類器進行訓練，使得訓練好的車輛型號分類器能夠根據當前輸入的車標與車頭融合特征數據準確的輸出與實際的車輛信號對應的車輛信號分類結果。本發明一具體實施例中，所述車輛信號分類器由支持向量機構成。

綜上所述，本發明提供的技術方案具有如下技術效果：由于車標與車頭具有較為扁平的特點，因此從不同角度獲取的車標與車頭圖像差別較少，本發明利用該特點，同時提取車標與車頭的圖像特征，從而盡可能的減少拍攝的車輛圖像中因車身角度變化而引入的干擾。對車標與車頭的圖像特征進行融合，能夠獲取更為豐富的特征信息，由于不同品牌不同系列的車標和車頭圖像都不相同，因此，兼顧車標特征與車頭特征能夠提高對不同品牌不同系列車輛型號的辨識能力。車輛型號識別模塊將融合車標與車頭的圖像特征信息輸入分類器進行識別，利用不同品牌不同系列車輛的車標和車頭圖像特征信息的唯一性進行識別，進而識別出車輛的型號。

以上所述僅為本發明的較佳實施例而已，并不用以限制本發明，凡在本發明的精神和原則之內，所做的任何修改、等同替換、改進等，均應包含在本發明保護的范圍之內。