一種用于大場景交通監視的多視點視頻融合及交通參數采集方法
【專利摘要】本發明涉及計算機應用技術和交通管理領域，具體涉及一種用于大場景交通監視的多視點視頻融合及交通參數采集方法，所述融合方法包括各視點視頻源視頻采集及解碼，相鄰視點幀圖像變換及拼接融合和多視點視頻融合后幀圖像渲染三大步驟。本方法通過對多路并行視頻實時采集解碼、視頻幀變換配準及紋理映射，從而得到融合交通大場景視頻；再通過對交通大場景圖像序列中道路上紋理特征分析，得到區域各向道路交通排隊長度、非機動車密度、交通流量、行程時間等用于交通分析評估的實時交通參數。
【專利說明】一種用于大場景交通監視的多視點視頻融合及交通參數采集方法
【技術領域】
[0001]本發明涉及計算機應用技術和交通管理領域，具體涉及一種用于大場景交通監視的多視點視頻融合及交通參數采集方法。
【背景技術】
[0002]道路交通高點監控有助于交通管理者遠程監視道路交通的實時狀況，進而輔助交管部門有效管理指揮交通。但是，現有道路交通高點監控大多是通過在某場景高點架設一球機，通過人工遠程控制驅動查看某局部區域交通情況，而難于同時整體監視大場景區域的交通狀況，比如十字交叉口各個方向的交通態勢。
[0003]現有城市交通時常出現交叉口信號燈控制常有出現一個方向處于綠燈相位而無車通行，對應的另一方向處于紅燈相位卻是有較長排隊長度的車輛排隊等待通行，這樣導致城市道路交通資源浪費，整個區域的交通通行能力低下，違背了城市交通緩堵保暢的公眾意愿。究其根源，現有機非混合相對突出的中國式城市交通，各類交通參數(尤其是道路交通中非機動的相關參數)，交通信號燈自適應控制缺失一種有效實時自動分析評估的手段，為信號燈控制策略優化提供有效支撐的科學依據。
【發明內容】
[0004]本發明的目的在于提供一種用于大場景交通監視的多視點視頻融合及交通參數采集方法，解決現有技術中無法對大場景交通狀況進行準確的監視，不能準確的對實時大場景交通狀況進行評估的問題。
[0005]為解決上述的技術問題，本發明采用以下技術方案:
[0006]一種用于大場景交通監視的多視點視頻融合方法，包括以下步驟:
[0007]步驟一，各視點視頻源視頻采集及解碼:連接網絡攝像機，獲取攝像機監視場景內的視頻數據，然后對每一個攝像機發送過來的數據包進行解碼得到每一幀的視頻圖像；
[0008]步驟二，相鄰視點幀圖像變換及拼接融合:采集任意相鄰網絡攝像機的圖像，設定相鄰圖像中重疊區域為R0I，然后對兩個圖像的ROI區域進行圖像特征點檢測與配準，根據匹配的特征點組計算得到兩幅圖像間的投影變換矩陣，根據部署的某一個攝像機的朝向設定一個世界坐標系，各個攝像采集的圖像在這個坐標系的基礎上進行圖像拼接前的圖像變換均對應一個不同的投影變化矩陣；將投影變換矩陣作為參數，把其中一臺攝像機的圖像設為基準圖像，利用雙線性插值算法根據投影變換矩陣完成另一臺攝像機圖像的投影變換，將兩幅圖像映射到同一坐標系下，然后對重疊區域各圖像的對應的像素點做加權求和，得到全景圖像的重疊區域像素，非重疊區域的各圖像，像素亮度保持不變；
[0009]步驟三，多視點視頻融合后幀圖像渲染:根據拼接場景的具體情況對圖像進行裁剪，并把裁剪結果貼在場景模型之中，根據示范中交通監視場景，對拼接融合后的視頻圖像進行裁剪，結合靜態場景3D建模，再將其作為紋理通過3D引擎渲染后，便得到區域交通包含四個方向的大場景超高分辨率實時視頻，實現視點漫游，用于交通管理人員兼顧全局或局部便捷監視。
[0010]根據上述方法，對交通參數采集方法為:
[0011]I)依據大場景視頻中的車道線，人工標定大場景視頻的每一幀圖像中車道區域，確定待檢測圖像區域，分為各斷面i的機動車道區域Vi和非機動車道區域Fi ；
[0012]2)在車道區域內各斷面i從停車線開始每隔20個像素設置為一個小區域塊j，再依據標定的攝像機參數確定各小區域對應物理道路距離Lj,計算每個小區域無車時的梯度幅值Gth_u作為參考閾值，實時計算每幀中各小區域圖像梯度幅值Gu，并與閾值Gth_u比較，如果從停車線開始連續多個小區域內Gij-GtlrijUO,則認為該小區域有車排隊，從而判斷出該斷面方向車輛排隊長度值Cli ；
[0013]3)在大場景道路區域每個斷面方向i每個車道k設置檢測線圈LOOPik，線圈LOOPik的位于距離對應停車線150米位置的車道中間，LOOPik寬度取道路寬度的2/3，長度取40個像素，通過混合高斯背景模型獲得待檢測圖像區域實時背景，采用實時當前幀圖像與背景做差值，依據差值是否大于20，得到該線圈有無車輛，并給有車賦ID號ck，若該線圈上從有車變為無車，則計算出該車道通過一輛車，每分鐘統計通過數量，從而檢測到該斷面該車道分鐘車流量Qvik ；
[0014]4)針對在大場景道路區域每個斷面方向i每個車道k，每個進入的機車動車ck，對應有一個檢測分割出的目標方框對象，采用均值漂移算法meanshift實現對其在整個交通大場景中的跟蹤；可以計算出機動車運動目標Ck在各對應路段Ln(η為區域中某路段的編號)上的行程時間Tkn ；
[0015]5)通過混合高斯背景模型檢測各非機動車區域Fi前景區域面積與背景面積的比值，從而計算非機動車在各非機動車交通區域Fi內的非機動車道路占用密度PFi ；
[0016]6)根據獲得交通參數中的流量Qvik、行程時間Tkn、車輛排隊長度值Cli和非機動車道路占用密度P Fi，對所監視的大場景交通狀況進行評估和紅綠燈調節。
[0017]更進一步的技術方案是，所檢測出的實時交通參數實時顯示在監視界面中。
[0018]與現有技術相比，本發明的有益效果是:本方法通過對多路并行視頻實時采集解碼、視頻幀變換配準及紋理映射，從而得到融合交通大場景視頻；再通過對交通大場景圖像序列中道路上紋理特征分析，得到區域各向道路交通排隊長度、非機動車密度、交通流量、行程時間等用于交通分析評估的實時交通參數。
【專利附圖】
【附圖說明】
[0019]圖1為本發明一個實施例的相鄰兩視點待拼接融合源圖。
[0020]圖2為圖1所示的兩個源圖經過通道圖像變換后的效果圖。
[0021]圖3為圖2所示的效果圖拼接后的效果圖。
[0022]圖4為六路視頻源拼接示意圖。
[0023]圖5為交通大場景多視點視頻拼接融合效果圖。
[0024]圖6為運動前景。
[0025]圖7為實時交通參數在監視界面的顯示位置。【具體實施方式】
[0026]為了使本發明的目的、技術方案及優點更加清楚明白，以下結合附圖及實施例，對本發明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發明，并不用于限定本發明。
[0027]本發明一種用于大場景交通監視的多視點視頻融合方法的一個實施例:一種用于大場景交通監視的多視點視頻融合方法，包括以下步驟:
[0028]步驟一，各視點視頻源視頻采集及解碼:連接網絡攝像機，獲取攝像機監視場景內的視頻數據，然后對每一個攝像機發送過來的數據包進行解碼得到每一幀的視頻圖像，圖1為任意相鄰兩視點待拼接融合源圖，兩張圖像是通過解碼對對應的場景攝像機采集到的視頻數據進行解碼后得到的圖像幀數據；
[0029]以圖1所示的源圖為例，在其中選取的一個系統示范的實驗圖像，根據該算法計算得到的投影變換矩陣是
【權利要求】
1.一種用于大場景交通監視的多視點視頻融合方法，其特征在于:包括以下步驟: 步驟一，各視點視頻源視頻采集及解碼:連接網絡攝像機，獲取攝像機監視場景內的視頻數據，然后對每一個攝像機發送過來的數據包進行解碼得到每一幀的視頻圖像； 步驟二，相鄰視點幀圖像變換及拼接融合:采集任意相鄰網絡攝像機的圖像，設定相鄰圖像中重疊區域為ROI，然后對兩個圖像的ROI區域進行圖像特征點檢測與配準，根據匹配的特征點組計算得到兩幅圖像間的投影變換矩陣，根據部署的某一個攝像機的朝向設定一個世界坐標系，各個攝像采集的圖像在這個坐標系的基礎上進行圖像拼接前的圖像變換均對應一個不同的投影變化矩陣；將投影變換矩陣作為參數，把其中一臺攝像機的圖像設為基準圖像，利用雙線性插值算法根據投影變換矩陣完成另一臺攝像機圖像的投影變換，將兩幅圖像映射到同一坐標系下，然后對重疊區域各圖像的對應的像素點做加權求和，得到全景圖像的重疊區域像素，非重疊區域的各圖像，像素亮度保持不變；步驟三，多視點視頻融合后幀圖像渲染:根據拼接場景的具體情況對圖像進行裁剪，并把裁剪結果貼在場景模型之中，根據示范中交通監視場景，對拼接融合后的視頻圖像進行裁剪，結合靜態場景3D建模，再將其作為紋理通過3D引擎渲染后，便得到區域交通包含四個方向的大場景超高分辨率實時視頻，實現視點漫游，用于交通管理人員兼顧全局或局部便捷監視。
2.根據權利要求1所述的一種用于大場景交通監視的多視點視頻融合方法，其特征在于:對交通參數采集方法為: 1)依據大場景視頻中的車道線，人工標定大場景視頻的每一幀圖像中車道區域，確定待檢測圖像區域，分為各斷面i的機動車道區域Vi和非機動車道區域Fi ； 2)在車道區域內各斷面i從停車線開始每隔20個像素設置為一個小區域塊j，再依據標定的攝像機參數確定各小區域對應物理道路距離Lp計算每個小區域無車時的梯度幅值Gth_u作為參考閾值，實時計算每幀中各小區域圖像梯度幅值Gu，并與閾值Gth_u比較，如果從停車線開始連續多個小區域內Gij-GtlrijUO,則認為該小區域有車排隊，從而判斷出該斷面方向車輛排隊長度值屯； 3)在大場景道路區域每個斷面方向i每個車道k設置檢測線圈LOOPik，線圈LOOPik的位于距離對應停車線150米位置的車道中間，LOOPik寬度取道路寬度的2/3，長度取40個像素，通過混合高斯背景模型獲得待檢測圖像區域實時背景，采用實時當前幀圖像與背景做差值，依據差值是否大于20，得到該線圈有無車輛，并給有車賦ID號ck，若該線圈上從有車變為無車，則計算出該車道通過一輛車，每分鐘統計通過數量，從而檢測到該斷面該車道分鐘車流量Qvik ； 4)針對在大場景道路區域每個斷面方向i每個車道k，每個進入的機車動車ck，對應有一個檢測分割出的目標方框對象，采用均值漂移算法meanshift實現對其在整個交通大場景中的跟蹤；可以計算出機動車運動目標Ck在各對應路段Ln上的行程時間Tkn ； 5)通過混合高斯背景模型檢測各非機動車區域Fi前景區域面積與背景面積的比值，從而計算非機動車在各非機動車交通區域Fi內的非機動車道路占用密度PFi ； 6)根據獲得交通參數中的流量Qvik、行程時間Tkn、車輛排隊長度值Cli和非機動車道路占用密度P Fi，對所監視的大場景交通狀況進行評估和紅綠燈調節。
3.根據權利要求2所述的一種用于大場景交通監視的多視點視頻融合方法，其特征在于:所檢測出的實時交通參數實時顯示在監視界面中。
【文檔編號】G06T5/50GK103985254SQ201410231807
【公開日】2014年8月13日 申請日期:2014年5月29日 優先權日:2014年5月29日
【發明者】蘭時勇, 吳岳洲, 吳佳, 黃飛虎 申請人:四川川大智勝軟件股份有限公司, 四川大學