一種實時恢復車輛三維真實模型的系統及方法
【專利摘要】本發明涉及一種實時恢復車輛三維真實模型的系統及方法，屬于智能交通領域，可應用于車輛信息管理以及涉及車輛的交通案件中。其中，該系統包含一個一維激光傳感器和一個單目攝像頭。整個建模過程分為兩個部分：線下部分和線上部分。線下過程包括相機的自標定和激光器-相機的互標定。線上過程為：1)激光信息和車輛視頻信息的采集，2)信息間的同步，3)信息間的融合，4)生成車輛的三維模型點云，5)進行三角化連接和紋理映射。本發明方法生成的車輛三維模型相比傳統的車輛三維建模方法具有實時性和逼真性，傳統的車輛三維建模只是恢復了其簡單的骨架模型，不包含豐富的紋理信息。
【專利說明】一種實時恢復車輛三維真實模型的系統及方法
【技術領域】
[0001]本發明屬于計算機視覺，計算機圖形學方面和自動化等【技術領域】，具體涉及一種車輛三維建模的方法以及該方法中使用到的裝置。
【背景技術】
[0002]現實世界中的任何物體都是三維的，在計算機中對車輛進行三維模型恢復具有現實意義。在智能交通領域，三維電子地圖已經越來越多的出現在人們的視野中，那么三維車輛的模型也可以在地圖中以其獨特的風格更真實的展示給人們，其次，現在的交通事故頻發，利用三維車輛的模型能夠將交通事故的發生過程更真實的展示給人們，便于事故的調查取證。
[0003]傳統的車輛三維建模主要是手工提取車輛的特征點，然后建立車輛的骨架模型；或者是通過建立車輛的通用模型，然后通過計算實際車量的參數加權通用模型，從而得到車輛的真實三維模型。這些方法都是簡單的建立了車輛的骨架模型，精度不高、實時性不強且缺失真實的車輛紋理信息。
【發明內容】
[0004]針對現有車輛三維建模技術存在精度不高、實時性不強且缺失真實的車輛紋理信息的問題，本發明的目的在于提供一種能夠在車輛行駛過程中恢復其三維模型的方案，并具有非常好的具有實時性和逼真性。
[0005]為了達到上述目的，本發明采用如下的技術方案:
[0006]方案之一，一種實時恢復車輛三維真實模型的系統，該系統包括:
[0007]車輛信息采集裝置，所述車輛信息采集裝置標定采集到的數據，建立高度-圖像坐標的映射關系，并實時采集通過車輛的高度以及車輛視頻信息；
[0008]圖像信息配準模塊，所述圖像信息配準模塊對車輛信息采集裝置采集的平面圖像進行配準，將不同時刻掃描到的點配準到一幅圖像；
[0009]車輛三維點云生成模塊，所述車輛三維點云生成模塊根據圖像信息配準模塊的配準結果采樣得到車輛的三維點云；
[0010]車輛紋理映射模塊，所說車輛紋理映射模塊根據車輛三維點云生成模塊確定的三維點云與紋理之間的映射關系，進行紋理貼圖，完成三維建模；
[0011]三維車輛模型顯示模塊，所述三維車輛模型顯示模塊顯示車輛三維模型。
[0012]該系統的優選方案中，所述車輛信息采集裝置包括采集的車輛高度數據的一維激光距離傳感器和采集的車輛頂部平面圖像的攝像頭以及龍門架，所述龍門架容車輛通過，所述一維激光距離傳感器和攝像頭兩者平行于地面水平安置在龍門架上，且垂直于龍門架。
[0013]進一步的，所述車輛信息采集裝置中還包括用于標定激光器采集的車輛高度數據和攝像頭采集的平面圖像坐標的立體標定板，所述立體標定板的側面為45度三角形，斜面為矩形，由正方形的棋盤格填充，棋盤格的邊長一定。
[0014]方案之一，一種實時恢復車輛三維真實模型的方法，所述方法包括如下步驟:
[0015](I)由經過標定的車輛信息采集裝置獲取通過車輛的高度數據以及同時間段的車輛視頻信息；
[0016](2)對采集到的車輛圖像之間進行配準，將不同時刻掃描到的點配準到一幅圖像；
[0017](3)根據圖像信息配準的結果采樣得到車輛的三維點云；
[0018](4)根據車輛三維點云生成模塊確定的三維點云與紋理之間的映射關系，進行紋理貼圖，完成三維建模并進行顯示。
[0019]該方法的優選方案中，所述車輛信息采集裝置的標定過程如下:
[0020]首先，利用立體標定板確定車輛信息采集裝置中激光距離傳感器掃描到的高度數據所對應的位置，以及確定該位置在車輛信息采集裝置中攝像頭捕捉到的圖像中的坐標；
[0021]接著，通過攝像機的投影關系矩陣，建立高度和坐標之間的關系矩陣方程，完成對激光距離傳感器和攝像頭采集的數據之間進行標定，建立一個建立高度-圖像坐標的映射關系。
[0022]進一步，所說步驟⑵中進行圖像配準的過程如下:
[0023](21)進行采集信息的時鐘同步；
[0024](22)確定參考圖像，并通過SIFT特征提取和RANSAC濾波，得到待配準圖像和參考圖像之間的特征點對；
[0025](23)通過這組點對建立RBF插值方程；
[0026](24)通過該方程將激光掃描點在待配準圖像中保存的對應位置投影到參考圖像中的相對位置。
[0027]進一步的，所述步驟(3)中采樣得到車輛的三維點云過程如下:
[0028](31)將配準過激光掃描點的參考圖像，通過張氏平面圖像標定，將二維圖像和世界坐標系之間建立對應關系；
[0029](32)將配準好的參考圖像中的激光掃描點對應到世界坐標系下，將參考圖像按照實際的長寬比，進行坐標變換，采樣出車輛的三維點云。
[0030]進一步的，所述步驟⑷中進行紋理映射的過程如下:
[0031](41)對車輛的三維點云進行快速三角化；
[0032](42)根據三維點云與紋理之間的映射關系，直接進行的紋理貼圖并進行顯示。
[0033]本發明方法生成的車輛三維模型相比傳統的車輛三維建模方法具有實時性和逼真性，傳統的車輛三維建模只是恢復了其簡單的骨架模型，不包含豐富的紋理信息。本發明屬于智能交通領域，可應用于車輛信息管理以及涉及車輛的交通案件中。
【專利附圖】
【附圖說明】
[0034]以下結合附圖和【具體實施方式】來進一步說明本發明。
[0035]圖1為本發明中實時恢復車輛三維真實模型的系統的框圖；
[0036]圖2為本發明中標定板進行數據標定的原理圖；
[0037]圖3為本發明方法的流程圖；[0038]圖4為本發明線下過程中激光高度數據和圖像平面坐標信息之間互標定的原理圖；
[0039]圖5為本發明中采集通過車輛信息的原理圖；
[0040]圖6為本發明的實驗結果圖。
【具體實施方式】
[0041]為了使本發明實現的技術手段、創作特征、達成目的與功效易于明白了解，下面結合具體圖示，進一步闡述本發明。
[0042]參見圖1，其所示為本發明提供的用于實時恢復車輛三維真實模型的系統的框圖。由圖可知，該系統100主要由車輛信息采集裝置101，圖像信息配準模塊102，車輛三維點云生成模塊103，車輛紋理映射模塊104以及三維車輛模型顯示模塊105組成。
[0043]其中，車輛信息采集裝置101通過標定采集到的數據，建立高度-圖像坐標的映射關系，并實時采集通過車輛的高度以及車輛視頻信息。
[0044]該車輛信息采集裝置101主要由一個一維激光器IOla和一個單目攝像頭IOlb以及龍門架IOlc組成，龍門架IOlc為整個采集裝置的支架，其垂直于地面設置，且能夠容車輛通過。
[0045]一維激光距離傳感器101a(以下簡稱激光器)和單目攝像頭IOlb為整個裝置的信息采集部件，激光器點的頻率一般會高于圖像視頻的采集頻率。一維激光器IOla用于掃描采集車輛的高度輪廓信息；單目攝像頭IOlb用于采集車輛頂部的平面圖像信息
[0046]—維激光器IOla和攝像頭IOlb兩者平行于地面水平安置在龍門架IOlc上，且垂直于龍門架。
[0047]傳感器和攝像頭采集的數據可以通過有線和無線兩種方式傳輸到工作電腦中。
[0048]再者，該車輛信息采集裝置101中還包括一立體標定板101d，該立體標定板IOld用于實現激光器采集的車輛高度數據和攝像頭采集的平面圖像坐標之間的互標定。
[0049]參加圖2，該立體標定板IOld為45度三角形立體標定板，其側面為45度三角形，斜面為矩形，由正方形的棋盤格填充，棋盤格的邊長一定。
[0050]由此，形成的三角形立體標定板，其底邊具有45度的角，當激光器掃描到一個高度數據時可以方便的確定該高度所對應的標定板斜面的某一條線。
[0051]再者，該三角立體標定板的斜面為正方形的黑白棋盤格，其邊界和角點在圖像中可以清晰地提取出來。
[0052]本系統中的圖像信息配準模塊102，其用于對車輛信息采集裝置采集的平面圖像進行配準，將不同時刻掃描到的點配準到一幅圖像。
[0053]車輛三維點云生成模塊103，用于根據圖像信息配準模塊的配準結果采樣得到車輛的三維點云。
[0054]車輛紋理映射模塊104,其用于根據車輛三維點云生成模塊確定的三維點云與紋理之間的映射關系，進行紋理貼圖，完成三維建模。
[0055]三維車輛模型顯示模塊105，用于顯示模塊顯示車輛三維模型。
[0056]基于上述的實時恢復車輛三維真實模型的系統，實現車輛行駛過程中恢復其三維模型的過程主要包括一維激光器和攝像頭之間采集的數據之間的互標定、通過車輛的高度數據以及同時間段車輛視頻信息的采集、車輛視頻序列之間的配準(即車輛圖像之間的配準)、三維點云的生成、及紋理映射和顯示。
[0057]據此，整個具體實施過程可分為兩個部分，線下過程和線上過程，其中線下過程是指在裝置正式投入使用前事先做好的準備工作，這部分工作只需要進行一次；線上過程是指車輛經過該裝置時生成三維模型的過程(參見圖3)。
[0058]線下過程:
[0059]該過程在整個系統具體工作前進行，實現對激光傳感器采集到的高度數據和攝像頭采集的平面圖像數據之間進行標定，從而建立一個高度-圖像坐標(h_(x，y))的映射關
系ο
[0060]參見圖4，根據攝像機和激光器之間的位置關系可以通過投影關系方程確定:
【權利要求】
1.一種實時恢復車輛三維真實模型的系統，其特征在于，該系統包括: 車輛信息采集裝置，所述車輛信息采集裝置標定采集到的數據，建立高度-圖像坐標的映射關系，并實時采集通過車輛的高度以及車輛視頻信息； 圖像信息配準模塊，所述圖像信息配準模塊對車輛信息采集裝置采集的平面圖像進行配準，將不同時刻掃描到的點配準到一幅圖像； 車輛三維點云生成模塊，所述車輛三維點云生成模塊根據圖像信息配準模塊的配準結果采樣得到車輛的三維點云； 車輛紋理映射模塊，所說車輛紋理映射模塊根據車輛三維點云生成模塊確定的三維點云與紋理之間的映射關系，進行紋理貼圖，完成三維建模； 三維車輛模型顯示模塊，所述三維車輛模型顯示模塊顯示車輛三維模型。
2.根據權利要求1所述的一種實時恢復車輛三維真實模型的系統，其特征在于，所述車輛信息采集裝置包括采集的車輛高度數據的一維激光距離傳感器和采集的車輛頂部平面圖像的攝像頭以及龍門架，所述龍門架容車輛通過，所述一維激光距離傳感器和攝像頭兩者平行于地面水平安置在龍門架上，且垂直于龍門架。
3.根據權利要求2所述的一種實時恢復車輛三維真實模型的系統，其特征在于，所述車輛信息采集裝置中還包括用于標定激光器采集的車輛高度數據和攝像頭采集的平面圖像坐標的立體標定板，所述立體標定板的側面為45度三角形，斜面為矩形，由正方形的棋盤格填充，棋盤格的邊長一定。
4.一種實時恢復車輛三維真實模型的方法，其特征在于，所述方法包括如下步驟: (1)由經過標定的車輛信息采集裝置獲取通過車輛的高度數據以及同時間段的車輛視頻信息； (2)對采集到的車輛圖像之間進行配準，將不同時刻掃描到的點配準到一幅圖像； (3)根據圖像信息配準的結果采樣得到車輛的三維點云； (4)根據車輛三維點云生成模塊確定的三維點云與紋理之間的映射關系，進行紋理貼圖，完成三維建模并進行顯示。
5.根據權利要求4所述的一種實時恢復車輛三維真實模型的方法，其特征在于，所述車輛信息采集裝置的標定過程如下: 首先，利用立體標定板確定車輛信息采集裝置中激光距離傳感器掃描到的高度數據所對應的位置，以及確定該位置在車輛信息采集裝置中攝像頭捕捉到的圖像中的坐標； 接著，通過攝像機的投影關系矩陣，建立高度和坐標之間的關系矩陣方程，完成對激光距離傳感器和攝像頭采集的數據之間進行標定，建立一個建立高度-圖像坐標的映射關系O
6.根據權利要求4所述的一種實 時恢復車輛三維真實模型的方法，其特征在于，所說步驟(2)中進行圖像配準的過程如下: (21)進行采集信息的時鐘同步； (22)確定參考圖像，并通過SIFT特征提取和RANSAC濾波，得到待配準圖像和參考圖像之間的特征點對； (23)通過這組點對建立RBF插值方程； (24)通過該方程將激光掃描點在待配準圖像中保存的對應位置投影到參考圖像中的相對位置。
7.根據權利要求4所述的一種實時恢復車輛三維真實模型的方法，其特征在于，所述步驟(3)中采樣得到車輛的三維點云過程如下: (31)將配準過激光掃描點的參考圖像，通過張氏平面圖像標定，將二維圖像和世界坐標系之間建立對應關系； (32)將配準好的參考圖像中的激光掃描點對應到世界坐標系下，將參考圖像按照實際的長寬比，進行坐標變換，采樣出車輛的三維點云。
8.根據權利要求4所述的一種實時恢復車輛三維真實模型的方法，其特征在于，所述步驟(4)中進行紋理映射的過程如下: (41)對車輛的三維點云進行快速三角化； (42)根據三維點云 與紋理之間的映射關系，直接進行的紋理貼圖并進行顯示。
【文檔編號】G06T17/00GK104021588SQ201410273197
【公開日】2014年9月3日 申請日期:2014年6月18日 優先權日:2014年6月18日
【發明者】王文斐, 李滇博, 顏志國, 劉云淮, 吳軼軒, 梅林
申請人:公安部第三研究所