基于視頻的車輛檢測跟蹤方法和系統(tǒng)與流程

本發(fā)明涉及智能交通監(jiān)控技術(shù)領(lǐng)域，更為具體地，涉及一種基于視頻的車輛檢測跟蹤方法和系統(tǒng)。

背景技術(shù)：
隨著計算機技術(shù)和圖像處理技術(shù)的不斷發(fā)展，基于視頻技術(shù)的車輛檢測與跟蹤方法已成為智能交通系統(tǒng)的核心內(nèi)容和關(guān)鍵技術(shù)，基于視頻技術(shù)的檢測與跟蹤方法處理速度快、安裝維護便捷且費用較低，并且監(jiān)視范圍廣，可獲取更多種類的交通參數(shù)。但是，目前基于視頻的車輛跟蹤技術(shù)仍存在以下問題：1)遮擋問題。交叉路口的行人與車輛或車輛之間經(jīng)常發(fā)生的遮擋問題是影響車輛跟蹤算法準(zhǔn)確率的最大問題；2)形變問題。車輛在行駛的過程中視頻通常會發(fā)生尺寸變化，同時轉(zhuǎn)彎也會導(dǎo)致車輛的形態(tài)變化，從而影響跟蹤的穩(wěn)定性。2011年，KalalZ、MikolajczykK和MatasJ三人在IEEETransactionsonPatternAnalysisandMachineIntelligence(IEEE模式分析與機器智能匯刊，2011)上發(fā)表了一篇Tracking-Learning-Detection(跟蹤-學(xué)習(xí)-檢測)論文，在該論文中提出了一種車輛跟蹤技術(shù)。圖7為Tracking-Learning-Detection論文中給出的車輛跟蹤流程圖。如圖1所示，該車輛跟蹤技術(shù)采用傳統(tǒng)的隨機森林分類器檢測和Median-Flow(平均流量)跟蹤相結(jié)合的策略，同時通過在線學(xué)習(xí)完善跟蹤，最終的車輛定位由檢測和跟蹤協(xié)同決定，達到較佳的跟蹤狀態(tài)。這種跟蹤方法解決了部分物體遮擋、車輛形態(tài)變化、尺度變化及運動變化等問題。但在實際情況下，交叉路口的車輛被遮擋后再次出現(xiàn)時，可能已經(jīng)經(jīng)過了較長的時間，此時車輛已經(jīng)發(fā)生了左或右轉(zhuǎn)彎，車輛的形態(tài)較遮擋前已經(jīng)發(fā)生了很大程度的改變，很容易導(dǎo)致車輛再檢測的失敗。因此，如何有效地解決跟蹤過程中車輛的形變以及其它物體的遮擋問題，成為目前視頻的車輛跟蹤技術(shù)中亟需解決的一個難題。

技術(shù)實現(xiàn)要素：
鑒于上述問題，本發(fā)明的目的是提供一種基于視頻的車輛檢測跟蹤方法和系統(tǒng)，以解決跟蹤過程中車輛的形變和其它物體的遮擋問題。本發(fā)明提供的基于視頻的車輛檢測跟蹤方法，包括：輸入包含車輛的視頻；對視頻中的車輛利用檢測器進行檢測，獲得車輛檢測結(jié)果，并根據(jù)車輛首次檢測結(jié)果建立車輛的在線模型；車輛的在線模型包括在線正樣本集和在線負樣本集，在線正樣本集包括真實樣本集、左轉(zhuǎn)虛擬樣本集、右轉(zhuǎn)虛擬樣本集；對視頻中的所述車輛進行跟蹤，用LK光流法對車輛光流估計，獲得車輛跟蹤結(jié)果；利用車輛的在線模型分別對同一幀的跟蹤結(jié)果和檢測結(jié)果進行置信度計算，通過置信度計算結(jié)果及跟蹤結(jié)果和檢測結(jié)果相互融合，獲得最終的檢測跟蹤結(jié)果；利用最終的檢測跟蹤結(jié)果更新車輛的在線模型及檢測器。此外，優(yōu)選方案是，在線負樣本集由在線負樣本構(gòu)成，在線負樣本為遠離車輛區(qū)域的誤識別樣本；真實樣本集由真實樣本構(gòu)成，真實樣本為檢測跟蹤融合結(jié)果的樣本；左轉(zhuǎn)虛擬樣本集由左轉(zhuǎn)虛擬樣本構(gòu)成，左轉(zhuǎn)虛擬樣本為真實樣本經(jīng)虛擬左旋轉(zhuǎn)獲得；右轉(zhuǎn)虛擬樣本集由右轉(zhuǎn)虛擬樣本構(gòu)成，右轉(zhuǎn)虛擬樣本為真實樣本經(jīng)虛擬右旋轉(zhuǎn)獲得。此外，優(yōu)選方案是，在利用車輛的在線模型分別對跟蹤結(jié)果和檢測結(jié)果進行置信度計算的過程中，樣本置信度計算公式如下：dP，dN分別表示待評估樣本與在線模型中正負樣本集的相似度最大值，樣本相似程度采用歸一化互相關(guān)(NCC)系數(shù)度量；其中，conf(xi)值越大，樣本越像車輛，反之就越接近背景。此外，優(yōu)選方案是，在置信度計算結(jié)果及跟蹤結(jié)果和檢測結(jié)果相互融合的過程中，如果conf(xT)＞Tthr，則當(dāng)前跟蹤成功，否則當(dāng)前跟蹤失?。蝗绻鹀onf(xD)＞Dthr，則當(dāng)前檢測結(jié)果有效，否則當(dāng)前檢測結(jié)果無效；其中，公式中Tthr和Dthr分別表示跟蹤置信度的閾值和檢測置信度的閾值。此外，優(yōu)選方案是，如果當(dāng)前跟蹤失敗，當(dāng)前檢測有效，則輸出當(dāng)前檢測結(jié)果為當(dāng)前圖像幀融合結(jié)果，并更新下一幀的跟蹤初始框；如果當(dāng)前跟蹤失敗，當(dāng)前檢測無效，則視為車輛在當(dāng)前圖像幀中不可見；如果當(dāng)前跟蹤成功，當(dāng)前檢測無效，則輸出跟蹤結(jié)果為當(dāng)前圖像幀的融合結(jié)果，同時啟動在線學(xué)習(xí)；如果當(dāng)前跟蹤成功，當(dāng)前檢測有效，則輸出檢測和跟蹤樣本置信度最高的結(jié)果為當(dāng)前圖像幀的融合結(jié)果，同時啟動在線學(xué)習(xí)。此外，優(yōu)選方案是，車輛跟蹤過程包括：對待跟蹤車輛區(qū)域進行初始化，以當(dāng)前圖像幀作為N幀圖像分配其中的特征點；利用LK光流跟蹤法在第N+1幀圖像中進行光流估計；利用F-BError(Forward-BackwardError，簡稱向前向后誤差)對光流估計的結(jié)果進行初次過濾；利用聚類策略對初次過濾結(jié)果進行二次過濾，以消除光流估計的結(jié)果中的孤立點；根據(jù)二次過濾的結(jié)果確定待跟蹤車輛區(qū)域的偏移量與縮放量；根據(jù)偏移量和縮放量確定跟蹤結(jié)果。此外，優(yōu)選方案是，檢測器采用onlineBoosting檢測器，根據(jù)onlineBoosting檢測器檢測結(jié)果對車輛進行檢測器的在線訓(xùn)練，在線訓(xùn)練基于Haar-like特征的在線boosting流程對車輛進行訓(xùn)練；以及，選擇訓(xùn)練正樣本集和訓(xùn)練負樣本集作為在線訓(xùn)練的訓(xùn)練樣本集；其中，訓(xùn)練正樣本集由訓(xùn)練正樣本構(gòu)成，訓(xùn)練正樣本為所述當(dāng)前圖像幀檢測器識別為正確的結(jié)果中與當(dāng)前圖像幀融合結(jié)果重疊度較大的樣本；訓(xùn)練負樣本集由訓(xùn)練負樣本構(gòu)成，訓(xùn)練負樣本為所述當(dāng)前圖像幀檢測器識別為正確的結(jié)果中與所述當(dāng)前圖像幀融合結(jié)果重疊度較小的樣本。此外，優(yōu)選方案是，在對車輛進行檢測的過程中，檢測器采用Haar-like特征，并且通過在線學(xué)習(xí)車輛的新特征，對檢測器進行在線模型的更新；其中，利用onlineBoosting檢測器對車輛檢測區(qū)域內(nèi)所有適合車輛尺寸的子窗口的視頻輸入進行分類，以確定車輛檢測區(qū)域內(nèi)的初始檢測結(jié)果，并對當(dāng)前圖像幀中的車輛區(qū)域附近產(chǎn)生的多個初始檢測結(jié)果進行聚類分析，確定車輛檢測區(qū)域內(nèi)的優(yōu)化檢測結(jié)果。另一方面，本發(fā)明還提供的基于視頻的車輛檢測跟蹤系統(tǒng)，包括：視頻輸入單元，用于輸入包含車輛的視頻；檢測單元，包括窗口遍歷單元和后處理單元，其中，所述窗口遍歷單元利用onlineBoosting檢測器基于Haar-like特征對車輛檢測區(qū)域內(nèi)所有適合車輛尺寸的子窗口的視頻輸入進行分類，以確定車輛檢測區(qū)域內(nèi)的初始檢測結(jié)果；所述后處理單元對車輛檢測區(qū)域附近產(chǎn)生的多個初始檢測結(jié)果進行聚類分析，確定車輛檢測區(qū)域內(nèi)的優(yōu)化檢測結(jié)果，并根據(jù)車輛優(yōu)化檢測結(jié)果建立車輛的在線模型單元；車輛的在線模型單元包括在線正樣本集和在線負樣本集，在線正樣本集包括真實樣本集、左轉(zhuǎn)虛擬樣本集、右轉(zhuǎn)虛擬樣本集；跟蹤單元，用于利用LK光流法對車輛進行光流估計，并對光流估計結(jié)果進行初次過濾，利用聚類策略對初次過濾結(jié)果進行二次過濾，以消除光流估計的結(jié)果中的孤立點，確定跟蹤結(jié)果；檢測跟蹤融合單元，用于利用車輛的在線模型單元分別對跟蹤結(jié)果和檢測結(jié)果進行置信度計算，通過置信度計算結(jié)果及跟蹤結(jié)果和檢測結(jié)果相互融合，確定最終的檢測跟蹤結(jié)果，將最終的檢測跟蹤結(jié)果輸入到跟蹤結(jié)果輸出單元；在線學(xué)習(xí)單元，包括在檢測器的在線訓(xùn)練單元和在線模型單元，用于根據(jù)最終的檢測跟蹤結(jié)果對車輛進行檢測器的在線訓(xùn)練單元和在線模型單元的更新。從上面的技術(shù)方案可知，本發(fā)明提供的基于視頻的車輛檢測跟蹤方法和系統(tǒng)，能取得如下有益效果：1)通過采用跟蹤和OnlineBoosting檢測相結(jié)合的機制，能夠有效地解決跟蹤過程中車輛的形變以及其它物體的遮擋問題；2)通過跟蹤過程中的在線學(xué)習(xí)獲取車輛最新的外觀特征，從而能夠及時完善跟蹤結(jié)果，達到最佳的跟蹤狀態(tài)；3)特征點聚類方法能夠提高跟蹤過程中跟蹤結(jié)果的準(zhǔn)確性和有效性；4)在線模型中增加虛擬旋轉(zhuǎn)樣本，能夠提高車輛遮擋消失后再找回的準(zhǔn)確率。為了實現(xiàn)上述以及相關(guān)目的，本發(fā)明的一個或多個方面包括后面將詳細說明并在權(quán)利要求中特別指出的特征。下面的說明以及附圖詳細說明了本發(fā)明的某些示例性方面。然而，這些方面指示的僅僅是可使用本發(fā)明的原理的各種方式中的一些方式。此外，本發(fā)明旨在包括所有這些方面以及它們的等同物。附圖說明通過參考以下結(jié)合附圖的說明及權(quán)利要求書的內(nèi)容，并且隨著對本發(fā)明的更全面理解，本發(fā)明的其它目的及結(jié)果將更加明白及易于理解。在附圖中：圖1為根據(jù)本發(fā)明實施例的基于視頻的車輛檢測跟蹤方法流程圖；圖2為根據(jù)本發(fā)明實施例的基于視頻的車輛跟蹤過程流程圖；圖3為根據(jù)本發(fā)明實施例的車輛運行軌跡圖；圖4-1為根據(jù)本發(fā)明實施例的車輛第n幀產(chǎn)生的正樣本圖；圖4-2為根據(jù)本發(fā)明實施例的車輛第n幀產(chǎn)生左轉(zhuǎn)虛擬樣本圖；圖4-3為根據(jù)本發(fā)明實施例的車輛第n幀產(chǎn)生右轉(zhuǎn)虛擬樣本圖；圖5為根據(jù)本發(fā)明實施例的基于視頻的車輛檢測跟蹤系統(tǒng)框圖；圖6為根據(jù)本發(fā)明實施例的基于視頻的車輛跟蹤單元框圖；圖7為Tracking-Learning-Detection論文中的車輛跟蹤流程圖；圖8為根據(jù)本發(fā)明實施例的虛擬樣本生成流程圖。在所有附圖中相同的標(biāo)號指示相似或相應(yīng)的特征或功能。具體實施方式在下面的描述中，出于說明的目的，為了提供對一個或多個實施例的全面理解，闡述了許多具體細節(jié)。然而，很明顯，也可以在沒有這些具體細節(jié)的情況下實現(xiàn)這些實施例。在其它例子中，為了便于描述一個或多個實施例，公知的結(jié)構(gòu)和設(shè)備以方框圖的形式示出。以下將結(jié)合附圖對本發(fā)明的具體實施例進行詳細描述。圖1為根據(jù)本發(fā)明實施例的基于視頻的車輛檢測跟蹤方法流程圖，如圖1所示，本發(fā)明提供的基于視頻的車輛檢測跟蹤方法，采用跟蹤和檢測相結(jié)合的機制，并通過在線學(xué)習(xí)建立車輛的正樣本，同時將在線學(xué)習(xí)的結(jié)果反作用于跟蹤和檢測，最終的車輛有定位由跟蹤和檢測協(xié)同決定。本發(fā)明的基于視頻的車輛檢測跟蹤方法，包括：S110：輸入包含車輛的視頻；S120：對視頻中的車輛利用檢測器進行檢測，獲得車輛檢測結(jié)果，并根據(jù)車輛首次檢測結(jié)果建立車輛的在線模型；車輛的在線模型包括在線正樣本集和在線負樣本集，在線正樣本集包括真實樣本集、左轉(zhuǎn)虛擬樣本集、右轉(zhuǎn)虛擬樣本集；S130：對視頻中的所述車輛進行跟蹤，用LK(LucasKanade)光流法對車輛光流估計獲得車輛跟蹤結(jié)果；S140：利用車輛的在線模型分別對同一幀的跟蹤結(jié)果和檢測結(jié)果進行置信度計算，通過置信度計算結(jié)果及跟蹤結(jié)果和檢測結(jié)果相互融合，獲得最終的檢測跟蹤結(jié)果；S150：利用最終的檢測跟蹤結(jié)果通過在線學(xué)習(xí)更新車輛的在線模型及檢測器；S160：輸出最終獲得的檢測跟蹤結(jié)果。在上述基于視頻的車輛檢測跟蹤方法的步驟S120中，在檢測過程中，包括窗口遍歷過程和后處理過程，在窗口遍歷過程利用onlineBoosting檢測器基于Haar-like特征對車輛檢測區(qū)域內(nèi)所有適合車輛尺寸的子窗口的視頻輸入進行分類，以確定車輛檢測區(qū)域內(nèi)的初始檢測結(jié)果；在后處理過程對車輛檢測區(qū)域附近產(chǎn)生的多個初始檢測結(jié)果進行聚類分析，確定車輛檢測區(qū)域內(nèi)的優(yōu)化檢測結(jié)果，并根據(jù)車輛優(yōu)化檢測結(jié)果建立車輛的在線模型。其中，車輛的在線模型包括在線正樣本集和在線負樣本集，在線正樣本集包括真實樣本集、左轉(zhuǎn)虛擬樣本集、右轉(zhuǎn)虛擬樣本集。在線負樣本集由在線負樣本構(gòu)成，在線負樣本為遠離車輛區(qū)域的誤識別樣本。真實樣本集由真實樣本構(gòu)成，真實樣本為檢測跟蹤融合結(jié)果的樣本。左轉(zhuǎn)虛擬樣本集由左轉(zhuǎn)虛擬樣本構(gòu)成，左轉(zhuǎn)虛擬樣本為真實樣本經(jīng)虛擬左旋轉(zhuǎn)獲得。右轉(zhuǎn)虛擬樣本集由右轉(zhuǎn)虛擬樣本構(gòu)成，右轉(zhuǎn)虛擬樣本為真實樣本經(jīng)虛擬右旋轉(zhuǎn)獲得。車輛檢測的方法有很多種，經(jīng)典的基于模板匹配的檢測方法耗時較大，且匹配效果不佳；傳統(tǒng)的基于機器學(xué)習(xí)的方法有多種分支，包括：Bayes網(wǎng)絡(luò)分類器，決策樹算法，聚類算法，SVM(支持向量機)算法等。這些車輛檢測方法大多數(shù)都采用離線訓(xùn)練的方法，缺點是離線訓(xùn)練的樣本有限，不能包含目標(biāo)在真實場景中的最新形態(tài)，會導(dǎo)致檢測器的魯棒性不高。本發(fā)明采用OnlineBoosting檢測器對車輛進行檢測，檢測器采用Haar-like特征，這種方法簡單有效且魯棒性能高，而且通過在線學(xué)習(xí)獲得車輛最新的特征，同時將檢測器進行在線模型的更新，以達到更好的檢測效果。在上述基于視頻的車輛檢測跟蹤方法的步驟S130中，圖2為根據(jù)本發(fā)明實施例的基于視頻的車輛跟蹤過程流程圖，如圖2所示，跟蹤過程包括：S131：對待跟蹤車輛區(qū)域進行初始化，以當(dāng)前圖像幀作為N幀圖像分配其中的特征點；S132：利用LK光流跟蹤法在第N+1幀圖像中進行光流估計；S133：利用F-BError對光流估計的結(jié)果進行初次過濾；S134：利用聚類策略對初次過濾結(jié)果進行二次過濾，以消除光流估計的結(jié)果中的孤立點；由于在步驟S132的光流估計過程中，會出現(xiàn)異常點，這些異常點的光流方向或者大小與主體點的運動趨勢明顯不一致；如果這些異常點參與到接下來的偏移量和縮放量的計算，很可能會導(dǎo)致誤差的增加，因此要將這些孤立點區(qū)分出來。對此，在本步驟S134中引入了聚類策略，聚類是指通過對區(qū)域內(nèi)的特征點的速度方向、大小進行統(tǒng)計，從而生成若干個分布組群，進而可以將那些與主體運動不一致的點(孤立點)過濾掉。S135：根據(jù)二次過濾的結(jié)果確定待跟蹤車輛區(qū)域的偏移量與縮放量；S136：根據(jù)偏移量和縮放量確定跟蹤結(jié)果。從上述視頻的車輛跟蹤過程流程中，可以看出特征點和聚類策略能夠提高跟蹤過程中跟蹤結(jié)果的準(zhǔn)確性和有效性。在上述基于視頻的車輛檢測跟蹤方法步驟S150中，在線學(xué)習(xí)包括檢測器的在線訓(xùn)練和在線模型的更新。檢測器采用onlineBoosting檢測器，根據(jù)onlineBoosting檢測器檢測結(jié)果對車輛進行檢測器的在線訓(xùn)練，在線訓(xùn)練基于Haar-like特征的在線boosting流程對車輛進行訓(xùn)練。。Haar-like特征的優(yōu)勢為應(yīng)用簡單有效，并且在其他檢測中已經(jīng)得到了成功的應(yīng)用，如Haar-like特征的AdaBoost算法在人臉檢測中已經(jīng)得到了成功的應(yīng)用。車輛在行駛的過程中，常常由于遠離相機和車輛轉(zhuǎn)彎等原因而發(fā)生尺度及形狀變化，會大大影響跟蹤的準(zhǔn)確性和穩(wěn)定性。因此需要在跟蹤的同時對車輛進行不斷地在線學(xué)習(xí)，以獲取車輛最新的外觀特征，將檢測器進行不斷的更新，從而及時完善跟蹤，以達到最佳的狀態(tài)。在本發(fā)明的實施例中，選擇訓(xùn)練正樣本集和訓(xùn)練負樣本集作為在線訓(xùn)練的訓(xùn)練樣本集。訓(xùn)練正樣本集由訓(xùn)練正樣本構(gòu)成，訓(xùn)練正樣本為當(dāng)前圖像幀檢測器識別正確的結(jié)果中與當(dāng)前圖像幀的融合結(jié)果的重疊度較大的樣本。為了增加訓(xùn)練樣本的復(fù)雜度，提高檢測器的魯棒性，分別采用圖像平移、加噪、旋轉(zhuǎn)及尺度變化的方式對正樣本進行處理，并將結(jié)果加入到正樣本中進行訓(xùn)練。訓(xùn)練負樣本集由訓(xùn)練負樣本構(gòu)成，訓(xùn)練負樣本為當(dāng)前圖像幀檢測器識別為正確的結(jié)果中與當(dāng)前圖像幀融合結(jié)果重疊度較小的樣本。在線模型包括在線模型的車輛的在線正樣本集和在線負樣本集。在線正樣本集包括車輛的在線真實樣本集、車輛當(dāng)前狀態(tài)下的在線左轉(zhuǎn)虛擬樣本集和車輛當(dāng)前狀態(tài)下的在線右轉(zhuǎn)虛擬樣本集，左轉(zhuǎn)虛擬樣本集由左轉(zhuǎn)虛擬樣本構(gòu)成，左轉(zhuǎn)虛擬樣本為真實樣本經(jīng)虛擬左旋轉(zhuǎn)獲得；右轉(zhuǎn)虛擬樣本集由右轉(zhuǎn)虛擬樣本構(gòu)成，右轉(zhuǎn)虛擬樣本為真實樣本經(jīng)虛擬右旋轉(zhuǎn)獲得；并且左轉(zhuǎn)虛擬樣本和右轉(zhuǎn)虛擬樣本通過采用線性物體類重建虛擬紋理的方法產(chǎn)生。在本發(fā)明的實施例中，在線模型記錄了車輛出現(xiàn)至今所呈現(xiàn)的所有姿態(tài)以及車輛所處的周圍的環(huán)境的變化情況，即包括正樣本和負樣本。在實際的跟蹤過程中，每一幀只能得到車輛的一張真實正樣本(即：檢測跟蹤融合結(jié)果的樣本)和若干張代表附近環(huán)境的負樣本(遠離車輛區(qū)域的誤識別樣本)。當(dāng)車輛發(fā)生遮擋后再出現(xiàn)時，很可能已經(jīng)過了很長時間，此時車輛可能已經(jīng)發(fā)生了很大的形變，即呈現(xiàn)出其他的姿態(tài)。如果姿態(tài)變化過大，待測樣本與在線模型中的模板樣本(正樣本)之間匹配的一致性將降低，從而導(dǎo)致驗證失敗，即車輛無法再找回。針對上述情況，通過對交叉路口的車輛行駛軌跡的分析，圖4為根據(jù)本發(fā)明實施例的車輛運行軌跡圖；如圖4所示，本發(fā)明的實施例中在在線模型中除添加車輛的真實正樣本①外，還加入了車輛在當(dāng)前狀態(tài)下的幾種虛擬形變結(jié)果，左轉(zhuǎn)虛擬樣本②和右轉(zhuǎn)虛擬樣本③；如圖4-1、圖4-2和圖4-3所示，圖4-1、圖4-2和圖4-3分別為根據(jù)本發(fā)明實施例的車輛第n幀產(chǎn)生正樣本圖、左轉(zhuǎn)虛擬樣本圖和右轉(zhuǎn)虛擬樣本圖。單一樣本圖像合成多個虛擬圖像的方法很多，圖8為根據(jù)本發(fā)明實施例的虛擬樣本生成流程圖，如圖8所示，以生成右轉(zhuǎn)30°虛擬樣本為例：(1)利用光流計算模板樣本和轉(zhuǎn)彎后的模板樣本之間的變化向量：其中，ip為在當(dāng)前行駛狀態(tài)下的模板樣本；ip,r為模板樣本右轉(zhuǎn)轉(zhuǎn)彎行駛到30°的樣本。(2)計算車輛真實樣本與模板樣本之間的變化向量：其中，in為車輛真實樣本，即待旋轉(zhuǎn)樣本。(3)根據(jù)步驟(1)和(2)的結(jié)果，計算出車輛真實樣本到車輛右轉(zhuǎn)虛擬樣本之間的變化向量：車輛真實樣本的上的點經(jīng)過變化向量的映射即得到車輛右轉(zhuǎn)虛擬樣本in,r。從步驟S150中得知，在線模型中增加虛擬樣本，能夠提高車輛遮擋消失后再找回的準(zhǔn)確率，并解決車輛跟蹤過程中發(fā)生的形變，其它物體的遮擋以及遮擋后車輛由于轉(zhuǎn)彎等發(fā)生形變的問題。在上述基于視頻的車輛檢測跟蹤方法步驟S140中，為了提高車輛判別的準(zhǔn)確性，利用車輛的在線模型分別對跟蹤結(jié)果和優(yōu)化檢測結(jié)果進行置信度計算。樣本置信度計算公式如下：dP，dN分別表示待評估樣本與在線模型中正負樣本集的相似度最大值，樣本相似程度采用歸一化互相關(guān)(NCC)系數(shù)度量；其中，conf(xi)值越大，樣本越像車輛，反之就越接近背景。在步驟S140中，通過融合策略對置信度計算結(jié)果及跟蹤結(jié)果和檢測結(jié)果進行優(yōu)化，確定對車輛的跟蹤結(jié)果，其中，在確定對車輛的跟蹤結(jié)果之后，還包括：根據(jù)跟蹤結(jié)果更新檢測器器和在線模型。如果conf(xT)＞Tthr，則當(dāng)前跟蹤成功，否則當(dāng)前跟蹤失??；如果conf(xD)＞Dthr，則當(dāng)前檢測結(jié)果有效，否則當(dāng)前檢測結(jié)果無效。其中，公式中Tthr和Dthr分別表示跟蹤置信度的閾值和檢測置信度的閾值。如果當(dāng)前跟蹤失敗，當(dāng)前檢測有效，則輸出當(dāng)前檢測結(jié)果為當(dāng)前圖像幀融合結(jié)果，并更新下一幀的跟蹤初始框。如果當(dāng)前跟蹤失敗，當(dāng)前檢測無效，則視為車輛在當(dāng)前圖像幀中不可見。如果當(dāng)前跟蹤成功，當(dāng)前檢測無效，則輸出跟蹤結(jié)果為所述當(dāng)前圖像幀的融合結(jié)果，同時啟動在線學(xué)習(xí)。如果當(dāng)前跟蹤成功，當(dāng)前檢測有效，則輸出檢測和跟蹤樣本置信度最高的結(jié)果為當(dāng)前圖像幀的融合結(jié)果，同時啟動在線學(xué)習(xí)。與上述基于視頻的車輛檢測跟蹤方法相對應(yīng)，本發(fā)明還提供一種基于視頻的車輛檢測跟蹤系統(tǒng)。圖5為根據(jù)本發(fā)明實施例的基于視頻的車輛檢測跟蹤系統(tǒng)框圖。如圖5所示，本發(fā)明還提供一種基于視頻的車輛檢測跟蹤系統(tǒng)包括視頻輸入單元510，用于輸入包含車輛的視頻。檢測單元530，包括窗口遍歷單元531和后處理單元532；窗口遍歷單元531利用onlineBoosting檢測器基于Haar-like特征對車輛檢測區(qū)域內(nèi)所有適合車輛尺寸的子窗口的視頻輸入進行分類，以確定車輛檢測區(qū)域內(nèi)的初始檢測結(jié)果；后處理單元532對車輛檢測區(qū)域附近產(chǎn)生的多個初始檢測結(jié)果進行聚類分析，確定車輛檢測區(qū)域內(nèi)的優(yōu)化檢測結(jié)果，并根據(jù)車輛優(yōu)化檢測結(jié)果建立車輛的在線模型單元552；車輛的在線模型單元包括在線正樣本集和在線負樣本集，在線正樣本集包括真實樣本集、左轉(zhuǎn)虛擬樣本集、右轉(zhuǎn)虛擬樣本集。跟蹤單元520用于利用LK光流法對車輛進行光流估計，并對光流估計結(jié)果進行初次過濾，利用聚類策略對初次過濾結(jié)果進行二次過濾，以消除光流估計的結(jié)果中的孤立點，確定跟蹤結(jié)果。檢測跟蹤融合單元540，用于利用車輛的在線模型單元552分別對跟蹤結(jié)果和檢測結(jié)果進行置信度計算，通過置信度計算結(jié)果及跟蹤結(jié)果和檢測結(jié)果相互融合，確定最終的檢測跟蹤結(jié)果，將最終的檢測跟蹤結(jié)果輸入到跟蹤結(jié)果輸出單元；在線學(xué)習(xí)單元550包括檢測器的在線訓(xùn)練單元551和在線模型單元552，用于根據(jù)最終的檢測跟蹤結(jié)果對車輛進行檢測器的在線訓(xùn)練和在線模型單元的更新。在跟蹤結(jié)果輸出單元560輸出確定最終的檢測跟蹤結(jié)果。其中，圖6為根據(jù)本發(fā)明實施例的基于視頻的車輛跟蹤單元框圖，如圖6所示，跟蹤單元520進一步包括：初始化單元521，用于對待跟蹤車輛區(qū)域進行初始化，以當(dāng)前圖像幀作為N幀圖像分配其中的特征點；光流估計單元522，用于利用LK光流跟蹤法在第N+1幀圖像中進行光流估計；初次過濾單元523，用于根據(jù)F-BError對光流估計的結(jié)果進行初次過濾；聚光策略單元524，用于利用聚類策略對初次過濾結(jié)果進行二次過濾，以消除光流估計的結(jié)果中的孤立點；由于在光流估計過程中，會出現(xiàn)異常點，這些異常點的光流方向或者大小與主體點的運動趨勢明顯不一致；如果這些異常點參與到接下來的偏移量和縮放量的計算，很可能會導(dǎo)致誤差的增加，因此要將這些孤立點區(qū)分出來。對此，在本發(fā)明實施例中引入了聚類方法，聚類是指通過對區(qū)域內(nèi)的特征點的速度方向、大小進行統(tǒng)計，從而生成若干個分布組群，進而可以將那些與主體運動不一致的點(孤立點)過濾掉。偏移量與縮放量確定單元525，用于根據(jù)二次過濾單元中的結(jié)果確定待跟蹤車輛區(qū)域的偏移量與縮放量；跟蹤結(jié)果單元526，用于輸出最后的跟蹤結(jié)果。從上述視頻的車輛跟蹤單元520中，可以看出特征點和聚類策略能夠提高跟蹤過程中跟蹤結(jié)果的準(zhǔn)確性和有效性。其中，檢測單元530包括窗口遍歷單元531和后處理單元532，窗口遍歷單元531采用OnlineBoosting檢測器對車輛進行檢測，檢測器采用的是Haar-like特征，這種檢測方法簡單有效且魯棒性能高，建立車輛的在線模型單元，車輛的在線模型單元包括在線正樣本集和在線負樣本集，在線正樣本集包括真實樣本集、左轉(zhuǎn)虛擬樣本集、右轉(zhuǎn)虛擬樣本集。在線負樣本集由在線負樣本構(gòu)成，在線負樣本為遠離車輛區(qū)域的誤識別樣本；真實樣本集由真實樣本構(gòu)成，所述真實樣本為檢測跟蹤融合結(jié)果的樣本；左轉(zhuǎn)虛擬樣本集由左轉(zhuǎn)虛擬樣本構(gòu)成，左轉(zhuǎn)虛擬樣本為真實樣本經(jīng)虛擬左旋轉(zhuǎn)獲得；右轉(zhuǎn)虛擬樣本集由右轉(zhuǎn)虛擬樣本構(gòu)成，右轉(zhuǎn)虛擬樣本為真實樣本經(jīng)虛擬右旋轉(zhuǎn)獲得。通過在線學(xué)習(xí)單元獲得車輛最新的特征，并且將檢測器進行在線更新，能夠達到更好的檢測效果。其中，在線學(xué)習(xí)單元550進一步包括檢測器的在線訓(xùn)練單元551和在線模型單元552；檢測器的在線訓(xùn)練單元551中，基于Haar-like特征采用在線boosting流程對車輛進行在線訓(xùn)練。Haar-like特征的優(yōu)勢為應(yīng)用簡單有效，并且在其他檢測中已經(jīng)得到了成功的應(yīng)用。車輛在行駛的過程中，常常由于遠離相機和車輛轉(zhuǎn)彎等原因而發(fā)生尺度及形狀變化，會大大影響跟蹤的準(zhǔn)確性和穩(wěn)定性。因此需要在跟蹤的同時對車輛進行不斷地在線學(xué)習(xí)，以獲取車輛最新的外觀特征，從而及時完善跟蹤，以達到最佳的狀態(tài)。在本發(fā)明的實施例中，在線學(xué)習(xí)單元550的檢測器的在線訓(xùn)練單元551選擇訓(xùn)練正樣本集和訓(xùn)練負樣本集作為在線訓(xùn)練的訓(xùn)練樣本集如下：訓(xùn)練正樣本集由訓(xùn)練正樣本構(gòu)成，訓(xùn)練正樣本為當(dāng)前圖像幀檢測器識別正確的結(jié)果中與當(dāng)前圖像幀融合結(jié)果重疊度較大的樣本。為了增加訓(xùn)練樣本的復(fù)雜度，提高分類器的魯棒性，分別采用圖像平移、加噪、旋轉(zhuǎn)及尺度變化的方式對正樣本進行處理，并將結(jié)果加入到正樣本中進行訓(xùn)練。訓(xùn)練負樣本集由訓(xùn)練負樣本構(gòu)成，訓(xùn)練負樣本為當(dāng)前圖像幀檢測器識別為正確的結(jié)果中與當(dāng)前圖像幀融合結(jié)果的重疊度較小的樣本。在線模型單元552包括在線正樣本集和在線負樣本集。車輛的在線正樣本集包括車輛的在線真實樣本集、車輛當(dāng)前狀態(tài)下的在線左轉(zhuǎn)虛擬樣本集和車輛當(dāng)前狀態(tài)下的在線右轉(zhuǎn)虛擬樣本集。左轉(zhuǎn)虛擬樣本集由左轉(zhuǎn)虛擬樣本構(gòu)成，左轉(zhuǎn)虛擬樣本為真實樣本經(jīng)虛擬左旋轉(zhuǎn)獲得；右轉(zhuǎn)虛擬樣本集由右轉(zhuǎn)虛擬樣本構(gòu)成，右轉(zhuǎn)虛擬樣本為真實樣本經(jīng)虛擬右旋轉(zhuǎn)獲得；左轉(zhuǎn)虛擬樣本和右轉(zhuǎn)虛擬樣本通過采用線性物體類重建虛擬紋理的方法產(chǎn)生的。在本發(fā)明的實施例中，在線模型單元552記錄了車輛出現(xiàn)至今所呈現(xiàn)的所有姿態(tài)以及車輛所處的周圍的環(huán)境的變化情況，即包括正樣本和負樣本。在實際的跟蹤過程中，每一幀只能得到車輛的一張真實正樣本(即檢測跟蹤融合的樣本)和若干張代表附近環(huán)境的負樣本(遠離車輛區(qū)域的誤識別樣本)。當(dāng)車輛發(fā)生遮擋后再出現(xiàn)時，很可能已經(jīng)過了很長時間，此時車輛可能已經(jīng)發(fā)生了很大的形變，即呈現(xiàn)出其他的姿態(tài)。如果姿態(tài)變化過大，待測樣本與在線模型單元552中的正樣本之間匹配的一致性將降低，從而導(dǎo)致驗證失敗，即車輛無法再找回。針對上述情況，通過對交叉路口的車輛行駛軌跡的分析，在根據(jù)聚類分析的結(jié)果對車輛進行在線模型單元552更新的過程中，在線模型單元中添加真實樣本和虛擬樣本。即在在線模型單元552中除添加車輛的真實樣本外，還加入了車輛在當(dāng)前狀態(tài)下的幾種虛擬形變結(jié)果，左轉(zhuǎn)虛擬樣本和右轉(zhuǎn)虛擬樣本。單一樣本圖像合成多個虛擬圖像的方法很多，本文采用經(jīng)典的線性物體類重建虛擬紋理的方法產(chǎn)生左轉(zhuǎn)、右轉(zhuǎn)的虛擬樣本。通過在線學(xué)習(xí)單元550，在線模型單元552中增加虛擬樣本，能夠提高車輛遮擋消失后再找回的準(zhǔn)確率，并解決車輛跟蹤過程中發(fā)生的形變，其它物體的遮擋以及遮擋后車輛由于轉(zhuǎn)彎等發(fā)生形變的問題。為了提高車輛判別的準(zhǔn)確性，在線模型單元552分別對檢測結(jié)果和跟蹤結(jié)果分別進行置信度計算，樣本置信度計算公式如下：dP，dN分別表示待評估樣本與在線模型中正負樣本集的相似度最大值，樣本相似程度采用歸一化互相關(guān)(NCC)系數(shù)度量。其中，conf(xi)值越大，樣本越像車輛，反之就越接近背景。在置信度計算結(jié)果及跟蹤結(jié)果和檢測結(jié)果相互融合的過程中，如果conf(xT)＞Tthr，則當(dāng)前跟蹤成功，否則當(dāng)前跟蹤失敗；如果conf(xD)＞Dthr，則當(dāng)前檢測結(jié)果有效，否則當(dāng)前檢測結(jié)果無效；其中，公式中Tthr和Dthr分別表示跟蹤置信度的閾值和檢測置信度的閾值。如果當(dāng)前跟蹤失敗，當(dāng)前檢測有效，則輸出當(dāng)前檢測結(jié)果為當(dāng)前圖像幀融合結(jié)果，并更新下一幀的跟蹤初始框；如果當(dāng)前跟蹤失敗，當(dāng)前檢測無效，則視為車輛在當(dāng)前圖像幀中不可見；如果當(dāng)前跟蹤成功，當(dāng)前檢測無效，則輸出跟蹤結(jié)果為當(dāng)前圖像幀的融合結(jié)果，同時啟動在線學(xué)習(xí)單元550；如果當(dāng)前跟蹤成功，當(dāng)前檢測有效，則輸出所述檢測和跟蹤樣本置信度最高的結(jié)果為所述當(dāng)前圖像幀的融合結(jié)果，同時啟動在線學(xué)習(xí)單元550。檢測跟蹤融合單元540利用融合方法使檢測和跟蹤的缺點進行相互彌補，能夠有效地解決跟蹤過程中車輛的形變以及其它物體的遮擋問題。通過上述實施方式可以看出，本發(fā)明提供的基于視頻的車輛檢測跟蹤方法和系統(tǒng)提出了一種OnlineBoosting檢測和跟蹤的方法相結(jié)合的策略，通過對鎖定的跟蹤車輛進行不斷地學(xué)習(xí)，獲取車輛最新的外觀特征，并及時地更新及時的更新檢測器和在線模型，從而完善跟蹤，同時利用融合策略使檢測、跟蹤的缺點進行相互彌補，能夠有效地解決跟蹤過程中車輛的形變以及其它物體的遮擋問題。并且，本發(fā)明提出的改進光流法能夠提高跟蹤結(jié)果的準(zhǔn)確性和有效性；同時，在跟蹤過程中提出的在線模型中增加虛擬樣本的方法，可以有效地提高車輛被遮擋消失后再出現(xiàn)情況下的跟蹤有效率。如上參照附圖以示例的方式描述了根據(jù)本發(fā)明提出的基于視頻的車輛檢測跟蹤方法和系統(tǒng)。但是，本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，對于上述本發(fā)明所提出的基于視頻的車輛檢測跟蹤方法和系統(tǒng)，還可以在不脫離本發(fā)明內(nèi)容的基礎(chǔ)上做出各種改進。因此，本發(fā)明的保護范圍應(yīng)當(dāng)由所附的權(quán)利要求書的內(nèi)容確定。