專利名稱：圖像式的交通參數檢測系統與方法及計算機程序產品的制作方法
技術領域：
本公開涉及一種圖像式(image based)的交通參數(traffic parameter)檢測系統與方法及計算機程序產品。
背景技術：
即時交通信息檢測可以提供有關交通阻塞、交通事故、預期延誤時間與替代路線等最新的信息給駕駛人，并通過探測、預測的交通數據來協助駕駛人在發生交通問題時重新設定行車路徑，指引使用者最迅速的路線，并可正確預估到達的時間。以車輛為例，交通參數例如是(1)車流密度(壅塞狀況)、計數，可用來監控路段或路口行車狀況，( 停等時間、排隊長度、平均車速，可用來最佳化紅綠燈時間，(3)單一車輛車速、車道切換、安全車距，可用來警告違規駕駛，(4)臨時停車事件，可用于快速事故的排除。相較于電磁感應線圈、雷達測速槍及紅外線感測器，感光式攝影機感測器具有多樣化信息取得及可同時檢測多車道的特點。基于視覺式(vision-based)的交通參數檢測技術可分為基于背景相減(backgroimdsubtraction)的檢測法以及基于虛擬線圈的檢測法。基于背景相減的檢測法如圖1的范例所示，通過圖像校正的技術，先將輸入的圖像幀 110進行興趣區域校正120，并利用背景相減法或幀差法，進行背景相減130，檢測出移動物件，再利用物件追蹤技術進行物件追蹤140，例如追蹤車輛，然后進行交通參數估計150，例如車輛計數或車速估計。基于背景相減法的已知文獻中，例如有的是檢測所擷取數字圖像的邊緣，并對此邊緣進行學習，以擷取移動物體的部分來進行陰影移除及相連元件標記，再進行區塊合并及車輛追蹤，而獲得交通參數。有的是利用背景相減法產生可代表移動物體的差值圖像，再將此移動物體分為多個區域，而分析其中的有效區域及無效區域，藉以刪除無效區域并將有效區域群聚(cluster)，而用以追蹤移動物體。有的是使用目前圖像與背景圖像的差值來檢測前景物，通過陰影移除、相連元件標示法得到單一車輛物件，再通過色彩信息作為物件相關的準則來進行車輛追蹤。有的是通過架設兩支攝影機來取得信號的相關性，將最大相關時的平移做為汽車移動的時間。基于虛擬線圈的檢測法如圖2的范例所示，在圖像上設定虛擬線圈210，此虛擬線圈例如是檢測窗或檢測線。并設定觸發條件來判斷是否有車行經該虛擬檢測窗，如檢測車輛通過事件220與檢測進出檢測窗時間相關230，作為后續的交通參數估計的依據，例如車輛計數或車流密度估計。圖3是在一圖像幀310上設定虛擬線圈的一范例示意圖，其中，在車道340前后設置兩虛擬線圈，如檢測窗332與334，則可從圖像剖面軸350，通過此兩進出檢測窗332與334于時間軸上的相關性，來估計車道340的平均車速。相較于背景相減法， 基于虛擬線圈的檢測法可得到較穩定的車輛檢測，但此檢測法沒有再繼續追蹤物件，例如單一車輛車速估計、車道切換、安全車距等。基于虛擬線圈法的已知文獻中，例如有的是分析道路鳥瞰圖中的道路，將車輛前(后)的特征部分注冊為樣板(template)，并在更新樣板時利用圖形匹配(pattern-matching)方式追蹤車輛，來提高車流量檢測的準確性。有的是設定檢測窗來做為車輛通過事件檢測，并且考慮日夜的情況，在白天通過圖像的邊緣特征(Edge)，而在夜間則通過車燈檢測來做為檢測車輛的依據。有的是計算所擷取圖像中各車道感興趣區域的對數灰階值頻譜，并計算其與基準對數灰階值頻譜在高頻部分的差量，而用以辨別車道感興趣區域是否有車輛，以計算車流量。時下交通參數檢測技術往往需要安裝及維修的高成本，或是運算量大，或是易受環境光源、陰影或攝影機本身晃動所影響而造成車輛檢測不易，或是不能精確切割出單一車輛而造成物件追蹤的困難。所以，交通參數檢測的機制需要具有追蹤單一物件的能力、提高物件計數、物件追蹤的準確度、以及通過物件追蹤的結果來提高交通參數估計的穩定性， 以有效取出多樣性的交通參數，做為即時監控交通流量等應用。
發明內容
本公開的實施范例可提供一種圖像式的交通參數檢測系統與方法及計算機程序
女口
廣 PFt ο所公開的一實施范例是關于一種圖像式的交通參數檢測系統。此系統通過一車道興趣區域設定模塊，設定欲監控的一車道的一范圍大小，并在此車道各設定一進入點檢測窗及一離開點檢測窗。當一車輛通過事件檢測模塊利用于此進入點檢測窗所擷取的圖像信息，檢測到一車輛經過事件發生時，一特征點檢測與追蹤模塊在此進入點檢測窗內進行特征點檢測，并隨著時間進行特征點追蹤。再通過一特征點群化模塊將屬于同一車輛的數個特征點予以群化，得到至少一單一車輛的位置追蹤結果。當被追蹤的至少一單一車輛移動至該離開點檢測窗時，一交通參數估計模塊根據車輛位置追蹤結果的信息，及通過估計該進入點與離開點檢測窗內所擷取的信息在時間上的相關性，來推估的至少一交通參數。所公開的另一實施范例是關于一種圖像式的交通參數檢測方法。此方法包含設定欲監控的一車道的一范圍大小，并在此車道設定一進入點檢測窗及一離開點檢測窗；利用于此進入點檢測窗所擷取的圖像信息，檢測車輛通過事件是否發生；當在此進入點檢測窗檢測到一車輛經過事件發生時，在此進入點檢測窗內檢測出數個特征點，并隨著時間追蹤此數個特征點；將屬于同一車輛的特征點予以群化，得到至少一單一車輛的位置追蹤結果；以及當被追蹤的至少一單一車輛移動至此離開點檢測窗時，根據此位置追蹤結果的信息，及通過估計該進入點與離開點檢測窗內所擷取的信息在時間上的相關性，來推估至少一交通參數。所公開的又一實施范例是關于一種圖像式的交通參數檢測的計算機程序產品。此計算機程序產品包含一存儲器以及存儲于該存儲器的一可執行的計算機程序，該計算機程序通過一處理器來執行設定欲監控的一車道的一范圍大小，并在此車道設定一進入點檢測窗及一離開點檢測窗；利用于此進入點檢測窗所擷取的圖像信息，檢測車輛通過事件是否發生；當在此進入點檢測窗檢測到一車輛經過事件發生時，在此進入點檢測窗內檢測出數個特征點，并隨著時間追蹤此數個特征點；將屬于同一車輛的特征點予以群化，得到至少一單一車輛的位置追蹤結果；以及當被追蹤的至少一單一車輛移動至此離開點檢測窗時， 根據此位置追蹤結果的信息，及通過估計該進入點與離開點檢測窗內所擷取的信息在時間上的相關性，來推估至少一交通參數。
現在配合下列圖示、實施范例的詳細說明及申請專利范圍，將上述及本發明的其他目的與優點詳述于后。
圖1是一范例示意圖，說明基于背景相減的檢測法的技術。圖2是一范例示意圖，說明基于虛擬線圈的檢測法的技術。圖3是在一圖像幀上設定虛擬線圈的一范例示意圖。圖4是圖像式的交通參數檢測系統的一個范例示意圖，與所公開的某些實施范例一致。圖5A至圖5C說明車道興趣區域設定模塊的檢測窗選定及興趣區域校正，與所公開的某些實施范例一致。圖6是一范例示意圖，說明車輛通過事件檢測模塊通過一兩階層的SVM分類器，將檢測窗所取得的圖像區分車輛、陰影、及道路，與所公開的某些實施范例一致。圖7A與圖7B是實際的車輛通過事件檢測的范例，與所公開的某些實施范例一致。圖8A至圖8C是范例示意圖，分別說明矩形區域在圖像中移動的三種情況，與所公開的某些實施范例一致。圖9A與圖9B是于進入點檢測窗進行特征點檢測的范例示意圖，與所公開的某些
實施范例一致。圖10是一范例示意圖，說明追蹤所有被檢測出來的特征點隨著時間在連續多幀圖像畫面上的位置，與所公開的某些實施范例一致。圖11是一階層式特征點群化架構的一范例示意圖，與所公開的某些實施范例一致。圖12A與圖12B是一范例示意圖，說明特征點群層的點剔除，與所公開的某些實施
范例一致。圖13是兩特征點群的移動軌跡的一范例示意圖，與所公開的某些實施范例一致。圖14A與圖14B是前景占有率的計算的一范例示意圖，與所公開的某些實施范例一致。圖15A與圖15B是范例示意圖，說明一種平均移動時間估計法，與所公開的某些實施范例一致。圖16是針對一車流順暢的測試影片的結果，比較兩種平均車速檢測法的曲線圖， 與所公開的某些實施范例一致。圖17是圖像式的交通參數檢測方法的一范例流程圖，與所公開的某些實施范例一致。圖18是一范例示意圖，說明圖像式的交通參數檢測的計算機程序產品及其應用場景，與所公開的某些實施范例一致。主要元件符號說明110 圖像幀120興趣區域校正130背景相減140物件追蹤150交通參數估計
210設定虛擬線圈220檢測車輛通過事件230檢測進出檢測窗時間相關310圖像幀332、334 檢測窗340車道350 圖像剖面軸400交通參數檢測系統 410車道興趣區域設定模塊420車輛通過事件檢測模 430特征點檢測與追蹤模塊塊440特征點群化模塊450交通參數估計模塊412 圖像幀452 交通參數510 車道圖像512 興趣區域514車道寬度516車道區隔線522垂直鳥瞰圖像531、534正方形檢測窗610 圖像板620萃取出五種有統計意義的特征630支持向量機分類器710 711 兩興趣車道701 704 四個檢測窗701a檢測線720 時間-剖面圖910虛線圈920進入點檢測窗921 923 三個小方形1010 進入點檢測窗1020 IOM 圖像幀1100階層式特征點群化1110特征點層架構1120特征點群層1130物件層1201 1207 七個特征點1215、1207粗差點1310特征點群、的移動1320特征點群Gq的移動軌跡軌跡1510進入點檢測窗的圖像剖面圖與1512離開點檢測窗的圖像剖面圖1610采用ATT1的式子而求得的曲線1612采用ATT2的式子而求得的曲線1710 設定欲監控的一車道的一范圍大小，并在此車道設定一進入點檢測窗及一離開點檢測窗1720 利用于此進入點檢測窗所擷取的圖像信息，檢測車輛通過事件是否發生， 當在此進入點檢測窗檢測到一車輛經過事件發生時，在此進入點檢測窗內檢測出數個特征點，并隨著時間追蹤此數個特征點1730將屬于同一車輛的特征點予以群化，得到至少一單一車輛的位置追蹤結果1740 當被追蹤的單一車輛移動至此離開點檢測窗時，根據此位置追蹤結果的信息，及通過估計該進入點與離開點檢測窗內所擷取的信息在時間上的相關性，來推估至少一交通參數1800計算機程序產品1810存儲器1820計算機程序1830處理器
具體實施例方式本公開提出一種圖像式的交通參數檢測技術，此交通參數檢測技術基于虛擬線圈檢測法的架構下，采用一種階層式特征點的群化技術，來提高交通工具如車輛的計數與追蹤的準確度，及使其具有追蹤單一車輛的能力。并且利用車輛追蹤的結果，來提高進出檢測窗的時間相關性分析的交通參數估計，例如平均車速，的穩定性。以下以車輛為范例來說明本公開實施范例的交通參數檢測的實施方式。當車輛通過事件發生的同時，在該進入點檢測窗的區域內進行數個特征點的檢測，并于后續的圖像持續追蹤這些特征點，并通過估計進入點與離開點所擷取的信息在時間上的最大相關，來推估該車道的交通參數。圖4是圖像式的交通參數檢測系統的一個范例示意圖，與所公開的某些實施范例一致。圖4的范例中，圖像式的交通參數檢測系統400包含一車道興趣區域設定模塊410、 一車輛通過事件檢測模塊420、一特征點檢測與追蹤模塊430、一特征點群化模塊440、及一交通參數估計模塊450。交通參數檢測系統400先通過車道興趣區域設定模塊410進行興趣車道范圍設定及興趣區域校正，包括設定圖像上需監控的一車道的一范圍大小，并在此車道的進入點與離開點各設定一檢測窗，分別稱為進入點檢測窗及離開點檢測窗，并將所擷取圖像幀412 進行興趣區域校正。圖像式的交通參數檢測系統400可通過或包括一圖像擷取裝置，來持續地擷取出前述的多幀車道圖像。一般用來監控交通的圖像擷取裝置如攝影機，多擺放于高處，然后通過一俯視角度來擷取圖像以監控車道。利用于此進入點檢測窗所擷取的圖像信息，當車輛通過事件檢測模塊420檢測到一車輛經過事件發生時，特征點檢測與追蹤模塊430在該進入點檢測窗的區域內進行數個特征點檢測，并隨著時間進行特征點追蹤，例如通過光流法追蹤技術。再通過特征點群化模塊440將屬于同一車輛的特征點予以群化 (grouping)，得到至少一單一車輛的位置追蹤結果，例如通過階層式特征點的群化技術，來追蹤單一車輛的行駛軌跡。當被追蹤的單一車輛移動至該離開點檢測窗時，交通參數估計模塊450根據車輛位置追蹤結果的信息，例如將車輛追蹤的結果回饋至該車道的離開點檢測窗。然后，分析進入點檢測窗與離開點檢測窗所擷取的信息在時間上的相關性，來推估至少一交通參數452，例如單一車道上車輛的平均車速。圖5A至圖5C進一步說明車道興趣區域設定模塊410如何選定檢測窗及校正興趣區域，與所公開的某些實施范例一致。第五A圖是利用一圖像擷取裝置通過一俯視角度所擷取之一張車道圖像510的范例。交通參數檢測系統400先針對車道圖像510，設定欲檢測的一車道的一范圍大小，例如可用一四邊形的興趣區域(region of interest, R0I)512來表示，其中包含于興趣區域512的車道可以是一或多條車道，此車道于興趣區域512內的長度是作為計算車輛行駛速度的依據。以臺灣現有的交通法規為例，車道寬度514 —般為3. 75公尺，而車道區隔線516 一般為4公尺，虛線部分為6公尺。如果圖像上無明顯的車道標示，可通過實地量測取得該信息。然后，就可利用興趣區域512的四個頂點，及通過單應性透視投影轉換(Homograph Transform)而得到興趣區域512的垂直鳥瞰圖像522，如第五B圖所示。興趣區域512校正后，在各個車道上，在其車輛進入點及離開點各自設立一檢測窗，例如第五C圖的正方形檢測窗531至534，檢測窗的邊長等于該車道的寬度，并以該檢測窗作為后續檢測車輛經過事件的依據。如圖6所示，車輛通過事件檢測模塊420針對每一個時間于進入點檢測窗取得的圖像板(Image I^atch) 610，先從圖像板610上萃取出五種有統計意義的特征，如標號620 所示。然后，通過一個支持向量機(Support VectorMachine，SVM)分類器630，支持向量機分類器630至少包含兩個階層，將各個圖像板區分為車輛(vehicle)、陰影(shadow)及道路(road)三類。五種有統計意義的特征包括至少三個基于灰階的特征及至少兩個基于邊緣的特征。三個基于灰階的特征分別為標準差(standard deviation，STD)、二類別標準差 (2-STD)以及熵(Entropy)。兩個基于邊緣的特征分別為梯度值(GradientMagnitudhGM) 及邊緣響應率(Edge Response)。車輛通過事件檢測模塊420也可包括SVM分類器630。SVM分類器630至少包括一第一層SVM及一第二層SVM，其中第一層SVM可將圖像板610區分為道路或非道路共兩類另O。非道路類別包含車輛及與陰影。被第一層SVM區分為非道路類別者再通過第二層SVM 后，可區分出車輛或陰影。兩階層的SVM分類器630的設計可通過搜集大量圖像板的測試樣本，通過手動的方式，將檢測窗所取得的圖像板分類為車輛、道路及陰影三類事件，然后將此標記好的訓練樣本輸入前述的兩階層SVM分類器，利用取出的兩類特征，即基于灰階的特征及基于邊緣的特征，來訓練出第一層SVM分類器及第二層SVM分類器。通過與灰階相關的特征，可將檢測窗所取得的圖像板區分有色車輛及道路。與灰階信息相關的三特征分別定義如下標準差，
Il N其中R為檢測窗區域，N為檢測窗區域R內的像素總數，D (x, y)表示像素(x，y) 的灰階值，μ為檢測窗區域R內的像素灰階平均值。計算二類別標準差2-STD之前，先將檢測窗區域R依其灰階作為特征，利用 K-Means區分成R1與&兩類，再通過下式計算2-STD。2-sm =令(Σ ⑷(U)-M)2+ Σ ⑷(xJ)-ZO2],
\N K(^y)SR1(^y)eR2J其中μ i與μ 2分別為隊與&區域的平均灰階值。熵的定義則如下。
權利要求
1.一種圖像式的交通參數檢測系統，該系統包含一車道興趣區域設定模塊，設定欲監控的一車道的一范圍大小，并于該車道設定一進入點檢測窗及一離開點檢測窗；一車輛通過事件檢測模塊，利用于該進入點檢測窗所擷取的圖像信息，檢測車輛經過事件是否發生；一特征點檢測與追蹤模塊，當發生一車輛經過事件被檢測到時，在該進入點檢測窗內進行數個特征點檢測，并隨著時間進行特征點追蹤；一特征點群化模塊，將屬于同一車輛的特征點予以群化，得到單一車輛的一位置追蹤結果；以及一交通參數估計模塊，當被追蹤的單一車輛移動至該離開點檢測窗時，根據單一車輛的該位置追蹤結果的信息，并通過估計該進入點與離開點檢測窗內所擷取的信息在時間上的相關性，來推估出至少一交通參數。
2.如權利要求1所述的交通參數檢測系統，該系統還包括一圖像擷取裝置，來持續地擷取出前述的多幀車道圖像。
3.如權利要求1所述的交通參數檢測系統，其中該車輛通過事件檢測模塊針對每一時間于該進入點檢測窗取得的一圖像板，從該圖像板上萃取出多個有統計意義的特征后，通過一支持向量機SVM分類器，將該圖像板區分為車輛、陰影、及道路三類。
4.如權利要求3所述的交通參數檢測系統，其中該多個有統計意義的特征包括至少三個基于灰階的特征及至少兩個基于邊緣的特征。
5.如權利要求3所述的交通參數檢測系統，其中該SVM分類器至少包括一第一層及一第二層SVM分類器，該第一層SVM將各個圖像板區分為道路或非道路共兩類別，被該第一層 SVM區分為非道路類別者再通過該第二層SVM后，區分為車輛或陰影。
6.如權利要求1所述的交通參數檢測系統，其中該特征點群化模塊是采用出一階層式特征點群化架構，來群化屬于同一輛車輛的特征點，進而得到至少一單一車輛的追蹤結果。
7.如權利要求1所述的交通參數檢測系統，其中該階層式特征點群化架構由下而上包括一特征點層、一特征點群層、及一物件層，該特征點群化模塊在該特征點層與該特征點群層間，合并相近似的特征點并剔除因估計錯誤的雜訊特征點，而在該特征點群層及該物件層間，將具有動量一致性及空間-時間一致性的特征點群合并為一移動物件。
8.一種圖像式的交通參數檢測方法，運作在一交通參數檢測系統上，該方法包含設定欲監控的一車道的一范圍大小，并于該車道設定一進入點檢測窗及一離開點檢測窗；利用于該進入點檢測窗所擷取的圖像信息，檢測車輛通過事件是否發生，當在該進入點檢測窗檢測到一車輛經過事件發生時，在該進入點檢測窗內檢測出多個特征點，并隨著時間追蹤該多個特征點；將屬于同一車輛的特征點予以群化，得到至少一單一車輛的位置追蹤結果；以及當被追蹤的單一車輛移動至該離開點檢測窗時，根據該位置追蹤結果的信息，及通過估計該進入點與離開點檢測窗內所擷取的信息在時間上的相關性，來推估出至少一交通參數。
9.如權利要求8所述的交通參數檢測方法，該方法采用一階層式特征點群化架構，來群化屬于同一輛車輛的特征點，進而得到單一車輛的追蹤結果。
10.如權利要求9所述的交通參數檢測方法，其中該階層式特征點群化架構由下而上包括一特征點層、一特征點群層、及一物件層，該方法在該特征點層與該特征點群層間，合并相近似的特征點并剔除因估計錯誤的雜訊特征點，而在該特征點群層及該物件層間，將具有動量一致性及空間-時間一致性的特征點群合并為一移動物件。
11.如權利要求10所述的交通參數檢測方法，其中該階層式特征點群化架構內各層的運作包括特征點層的群化、特征點群層的點剔除、及特征點群層的合并。
12.如權利要求11所述的交通參數檢測方法，其中該特征點層的群化還包括當連續存在多幀圖像皆檢測到車輛通過事件的發生時，將該多幀圖像所檢測的數個特征點予以群化，合并成一特征點群組。
13.如權利要求11所述的交通參數檢測方法，其中該特征點群層的點剔除還包括 通過一卡曼濾波器對該特征點群層的每一特征點群組進行追蹤；以及利用該卡曼濾波器的預測及更新的功能及通過一距離公式的條件來做為剔除一特征點的依據。
14.如權利要求11所述的交通參數檢測方法，其中該特征點群層的合并還包括 考慮相鄰兩特征點群、與Gtl的動量一致性MC (Gp, Gq)及空間-時間一致性ST (Gp, Gq)；以及合并兩特征點群、與Gtl為一物件的條件為滿足w ^MCOV Gq) + (l-w) · ST(Gp, Gq) >Y ；其中w是一權重變數，Y是一個由使用者設定的閾值。
15.如權利要求14所述的交通參數檢測方法，其中該特征點群層的合并還包括計算兩特征點群 與Gtl的軌跡在過去一段時間內的移動距離的交互相關性，作為 MC((ip，Gtl)。
16.如權利要求14所述的交通參數檢測方法，其中該特征點群層的合并還包括 ^ST(GpjGq)以一前景占有率FR(Gp，Gtl)來表示，該FR(Gp，Gq)=(移動前景的面積)/( 與Gtl間的面積)。
17.如權利要求8所述的交通參數檢測方法，該方法還包括結合于該進入點與離開點檢測窗所觀測的信號的相關性，及該車道上平均車輛移動時間的相似性來推估出該車道的平均車速。
18.一種圖像式的交通參數檢測的計算機程序產品，該計算機程序產品包含一存儲器以及存儲于該存儲器的一可執行的計算機程序，該計算機程序通過一處理器來執行設定欲監控的一車道的一范圍大小，并于該車道設定一進入點檢測窗及一離開點檢測窗；利用于該進入點檢測窗所擷取的圖像信息，檢測車輛通過事件是否發生，當在該進入點檢測窗檢測到一車輛經過事件發生時，在該進入點檢測窗內檢測出多個特征點，并隨著時間追蹤該多個特征點；將屬于同一車輛的特征點予以群化，得到至少一單一車輛的位置追蹤結果；以及當被追蹤的單一車輛移動至該離開點檢測窗時，根據該位置追蹤結果的信息，及通過估計該進入點與離開點檢測窗內所擷取的信息在時間上的相關性，來推估出至少一交通參數。
19.如權利要求18所述的計算機程序產品，其中該處理器還包括一車道興趣區域設定模塊、一車輛通過事件檢測模塊、一特征點檢測與追蹤模塊、一特征點群化模塊、以及一交通參數估計模塊，來執行該計算機程序。
全文摘要
圖像式的交通參數檢測系統與方法及計算機程序產品。該圖像式的交通參數檢測系統先設定欲監控的一車道的一范圍大小，并于該車道設定一進入點檢測窗及一離開點檢測窗。利用于此進入點檢測窗所擷取的圖像信息，當在此進入點檢測窗檢測到一車輛經過事件發生時，在此進入點檢測窗內檢測出數個特征點，并隨著時間追蹤這些特征點。再將屬于同一車輛的特征點予以群化，得到至少一單一車輛的位置追蹤結果。當被追蹤的單一車輛移動至此離開點檢測窗時，根據此位置追蹤結果的信息，及通過估計該進入點與離開點檢測窗內所擷取的信息在時間上的相關性，來推估出至少一交通參數。
文檔編號H04N5/225GK102542797SQ201010606200
公開日2012年7月4日 申請日期2010年12月24日 優先權日2010年12月9日
發明者吳瑞成, 黃鐘賢 申請人:財團法人工業技術研究院