高精度道路地圖的生成系統的制作方法

本發明涉及高精度道路地圖的生成系統，屬于高精度地圖技術領域。

背景技術：

傳統地圖只存儲道路中心線和道路名稱等道路要素的少量標記信息。這些信息只能表征大幅簡化后的實際交通環境，無法高精度地反映道路的詳細情況。相對于傳統地圖而言，高精度地圖能提供高精度的坐標，準確的道路形狀、車道線、交通標志、坡度、高程、側傾等詳細的道路信息和豐富的地理要素，能為未來精確的位置服務(Location Based Services,LBS)及無人駕駛等最新科技提供堅實的基礎，因此得到了越來越多的關注。尤其是當出現強雨、雪等惡劣天氣情況時，無人駕駛車從各類傳感器包括激光雷達收集到的信息將受到嚴重影響，沒有高精度地圖的輔助將無法準確而實時地判斷自身位置并規劃路徑。高精度地圖可以不受惡劣天氣的影響，提供準確的道路信息，強化了自動駕駛的安全性。

現在，高精度地圖的生產大多由專業的工作人員重新采集所有的道路信息，并計劃采集完成后周期性地對大部分區域重新更新。這種方法的采集設備往往是安裝了激光雷達等專用設備的采集車。三菱和豐田等日本汽車廠商聯合日本圖商Zenrin正在制作三維的動態地圖。其計劃是采用裝有高端傳感器的專用汽車對道路進行測繪，第一步是覆蓋日本300公里的主要高速公路。Here、TomTom和谷歌也采用類似方式制作三維地圖。國內的傳統圖商高德通過裝配2個激光雷達和4個攝像頭的方式來滿足所需要的10cm級別精度。騰訊、百度、四維圖新等公司也在用類似的方式制作高精度地圖。

上述用專門的采集車繪制的地圖信息精度很高，然而也存在以下問題：1)車載設備成本居高不下。2)數據處理效率較低，無法及時更新常常變化的道路現狀，阻礙位置服務的快速發展，降低了無人駕駛的安全性和可靠性。3)采集到的數據是稠密的點云，數據密度極大，消耗大量的計算資源，且后期地圖通信量高。如何低成本高效且準確地生產或更新高精度地圖是急待解決的問題。

為了解決這一問題，Here和高德等國內外相關公司都計劃采用眾包方式輔助更新高精度地圖，以減少計算資源的消耗，降低成本。當下另一個熱點是實時定位與制圖(Simultaneous Localization and Mapping,SLAM)。該技術能夠準確獲取自身位置，并同時增量式地構建地圖，因此近年來得到了研究和應用者的極大關注。但該技術的缺點也很明顯：計算量大且數據傳輸量大。

技術實現要素：

本發明目的是為了解決現有高精度地圖生產或更新的工作量大并且成本高的問題，提供了一種高精度道路地圖的生成系統。

本發明所述高精度道路地圖的生成系統，所述生成系統通過采集車上的兩對車載攝像頭進行數據采集，它包括：

數據獲取模塊，用于采集獲得采集車行駛環境中兩對車載攝像頭獲得的道路沿途的圖像數據、兩對車載攝像頭位置坐標數據及采集車車輛航向角與道路當前坡度數據；

數據處理模塊：用于對兩對車載攝像頭獲得的雙目圖像數據進行預處理，獲得矯正圖像數據；針對矯正圖像數據，根據深度學習算法進行分類；對分類后的矯正圖像數據采用深度學習模型進行雙目圖像特征點提取和匹配，并通過左右視線一致的方式剔除誤匹配的雙目圖像匹配點；從矯正圖像數據中提取圖像深度信息，獲取雙目圖像匹配點相對于兩對車載攝像頭的空間位置關系；

地圖生成模塊：獲取已知道路中心線的坐標點列；將采集車的坐標軌跡及雙目圖像匹配點匹配到電子地圖的相應位置上；根據道路匹配后采集車的坐標得到道路要素的絕對坐標；并判斷獲得正確的絕對坐標；

數據傳輸模塊：將地圖生成模塊中匹配后獲得的電子地圖及采集車車輛航向角與道路當前坡度數據傳輸到服務器端，用于生成高精度道路地圖。

本發明的優點：本發明與現有方法努力獲取絕對的高精度定位不同，通過實現相對于現有地圖的高精度定位和高精度匹配，充分利用現有地圖已有的信息，減少生產/更新高精度地圖的工作量和成本。其核心是將采用深度學習、計算機視覺等方法識別的道路要素并獲取的準確的相對位置信息，形成類似Mobileye的地面1維稠密，空間3維稀疏的地圖，并可與現有的交通信息系統GIS-T匹配融合。本發明基于現有低精度電子地圖，定位系統和車載相機，實現了低成本高精度地圖的生產/更新。本發明具有如下優勢：

1)基于現有地圖生產/更新獲得高精度地圖，省去大面積重新測繪的過程，只需要精確測繪有疑問的道路，能大幅降低成本；2)在車前燈附近額外裝兩個攝像頭，略朝下拍攝，專用于道路和車道線場景檢測及定位，兩個裝在車內前擋風玻璃處的攝像頭向前拍攝，專用于道路交通標志等的檢測和定位，降低場景復雜度，大大提高了算法的識別率和測距精確度；3)聯合先驗知識和深度學習提取匹配點，進一步提高從雙目圖像中獲取深度信息即測距的精度；4)通過識別出車道線數量并準確測量出車輛當前所在車道的寬度，準確外推道路總體寬度；5)通過原有地圖上道路中心線的坐標及算出的車道寬度，算出車道線坐標和道路邊界的坐標；6)提出校驗模塊，在該模塊中比較各種方法取得的道路要素坐標，如果差別較大就標記為有疑問的道路，自動向管理員發出重新測繪的請求，提高道路要素的準確性；7)用戶使用時可將GNSS軌跡與地圖相匹配，以判斷采集車具體所處車道及其位置。

附圖說明

圖1是本發明所述高精度道路地圖的生成系統的整體流程圖；

圖2是本發明系統的數據交換示意圖；

圖3是采集車上裝在車燈附近略朝下的兩個車載攝像頭的安裝位置及其視角范圍示意圖；

圖4是圖3的仰視圖；

圖5是采集車正常行駛時車道線相對位置示意圖；車正常行駛時，車道線與車輛平行；對兩個裝在車燈附近略朝下的車載攝像頭采集的圖像檢測匹配點，根據其中的車道線匹配點可以計算出車道線與車輛的相對位置；

圖6是采集車轉向時車道線相對位置示意圖；車輛轉向時刻，車道線與車輛不平行；對兩個裝在車燈附近略朝下的車載攝像頭采集的圖像檢測匹配點，根據其中的車道線匹配點可以計算出車道線與車輛的相對位置；

圖7是根據檢測到的車道線坐標和道路中心線坐標計算車道線的絕對位置并推斷道路邊界的示意圖。

具體實施方式

具體實施方式一：下面結合圖1和圖7說明本實施方式，本實施方式所述高精度道路地圖的生成系統，所述生成系統通過采集車上的兩對車載攝像頭進行數據采集，它包括：

數據獲取模塊，用于采集獲得采集車行駛環境中兩對車載攝像頭獲得的道路沿途的圖像數據、兩對車載攝像頭位置坐標數據及采集車車輛航向角與道路當前坡度數據；

數據處理模塊：用于對兩對車載攝像頭獲得的雙目圖像數據進行預處理，獲得矯正圖像數據；針對矯正圖像數據，根據深度學習算法進行分類；對分類后的矯正圖像數據采用深度學習模型進行雙目圖像特征點提取和匹配，并通過左右視線一致的方式剔除誤匹配的雙目圖像匹配點；從矯正圖像數據中提取圖像深度信息，獲取雙目圖像匹配點相對于兩對車載攝像頭的空間位置關系；

地圖生成模塊：獲取已知道路中心線的坐標點列；將采集車的坐標軌跡及雙目圖像匹配點匹配到電子地圖的相應位置上；根據道路匹配后采集車的坐標得到道路要素的絕對坐標；并判斷獲得正確的絕對坐標；

數據傳輸模塊：將地圖生成模塊中匹配后獲得的電子地圖及采集車車輛航向角與道路當前坡度數據傳輸到服務器端，用于生成高精度道路地圖。

數據獲取模塊旨在采集各種必要的信息，如車輛位置信息、當前坡度等。它包括：

圖像數據獲取子模塊：用于采集獲得采集車行駛環境中兩對車載攝像頭獲得的道路沿途的圖像數據；其中一對車載攝像頭在采集車車前端的縱向中心線兩側呈鏡像對稱對應安裝在兩個車前燈位置處，該對車載攝像頭的軸線與地平面的夾角范圍為0—30度，另一對車載攝像頭在采集車車前端的縱向中心線兩側呈鏡像對稱對應安裝在車內前擋風玻璃處；兩對車載攝像頭可用包括紅外車載夜視儀的車載攝像頭。專用攝像頭能夠降低場景復雜度，可以進一步提高精度和處理速度。

位置數據獲取子模塊：用于根據WLAN基站、全球導航衛星系統和采集車的里程計定位采集車的高精度位置坐標，獲取采集車行駛的軌跡點，同時獲得兩對車載攝像頭位置坐標；在實際應用中，尤其是在城市峽谷中，經常發生采樣頻率降低、定位誤差加大、信號丟失等情況，嚴重影響全球導航衛星系統GNSS的信號質量。可用通過WLAN基站、車輛里程計等一起定位當前車輛坐標，加強定位可靠性。

道路信息獲取子模塊：用于通過傳感器傳感獲得采集車車輛航向角與道路當前坡度數據。可根據陀螺儀等傳感器直接獲取車輛航向角與道路當前坡度數據。

數據處理模塊旨在在線或離線處理采集到的各種信息，識別地圖要素及其位置。它包括：

圖像數據預處理子模塊：對兩對車載攝像頭獲得的原始雙目圖像數據根據車載攝像頭的內外參數進行預處理，獲得矯正圖像數據；

道路信息識別子模塊：根據深度學習算法對矯正圖像數據進行分類，獲得每一類矯正圖像數據的道路要素語義信息；根據深度學習算法對相機采集到的圖像數據進行分類，獲得圖像上道路、車道線、道路標志、隔離帶等的語義信息。由于自然場景中的道路及其交通標志等圖像易受天氣和光照等因素影響，還會出現遮擋、變形等情況，是實景目標識別的難點之一。本發明基于深度學習方法判斷道路及交通標志。深度學習源于人工神經網絡，通過組合低層特征形成更加抽象的高層表示屬性類別或特征，模擬人腦進行分析學習，挖掘數據的深層次特征表示，提高分類精度。

匹配點提取子模塊：對分類后的矯正圖像數據采用深度學習模型進行雙目圖像特征點提取和匹配，并通過左右視線一致的方式剔除誤匹配的雙目圖像匹配點；尋找雙目圖像準確的匹配點是基于計算機視覺技術測距的關鍵。當匹配點不準確時，測距或深度計算將不可靠。反之，如果能準確地確定匹配點，測距或深度計算將十分精確。傳統基于SIFT/SURF等特征描述子的匹配算法在復雜圖像上會有較多誤匹配點，而構建二值化分類數據集即相似或相異二值樣本對，采用深度學習方法學習圖像塊的相似性，則可以大幅提高匹配正確率。為進一步提高正確率，可以根據道路的語義信息提取屬于道路、車道線和道路標志等重要對象上的匹配點，并綜合場景和左右視線一致的方式進行篩選。明顯視覺特征可以儲存下來，作為未來定位的參考點，提高定位精度。

測距子模塊：基于雙目立體視覺測量雙目圖像匹配點中道路要素與兩對車載攝像頭的空間位置關系；結合兩對車載攝像頭的位置坐標和采集車車軌跡的坐標，得到道路要素在電子地圖上相對精確的坐標；再根據道路要素中識別出的車道線數量和車道線寬度，獲得道路邊界的相對空間位置，提取深度信息，獲取匹配點相對于相機的空間位置關系。根據相機與車道線或者其他道路要素上關鍵點之間的相對空間位置，結合相機的坐標和車軌跡的坐標，得到車道線在地圖上相對精確的坐標。最后，根據識別出的車道線數量和測距子模塊算出的車道線的寬度，產生道路邊界的相對空間位置。

地圖生成模塊旨在根據地圖要素及其位置生產高精度地圖。它包括：

地圖數據獲取子模塊：在已知電子地圖上獲取采集車坐標軌跡所在道路名稱和道路中心線的坐標點列；

地圖匹配子模塊：將采集車的坐標軌跡與電子地圖信息進行融合，使采集車的坐標軌跡及滿足預設閾值的雙目圖像特征點與已知電子地圖進行匹配；地圖匹配是指將車輛的坐標軌跡匹配到電子地圖的道路上，可以看成定位信息和地圖信息的融合，其目的是在現有硬件條件下，消除垂直道路方向的誤差，提高車輛位置與地圖信息之間相對準確程度。當車輛位置坐標偏移較大、采樣較稀疏時，仍然需要保持較高的路徑匹配準確率，此時需要根據電子地圖中的道路中心線糾正車輛的絕對位置信息。尤其是在城市峽谷環境中，有時會由于信號不好等原因導致采樣頻率降低、定位誤差加大的情況。定位誤差越大，采樣頻率越低，匹配精度越低。如何在定位精度大幅下降的條件下保證系統和方法的精度和可靠性，其算法可以從幾何、拓撲和概率等考慮。基于幾何的算法可以盡量利用坐標與道路的幾何信息，如距離、角度等。基于拓撲的算法利用道路拓撲信息。概率方法需要計算坐標點概率。其他常用方法還包括卡爾曼濾波和隱馬爾可夫模型等。

令G(V,E)為一個道路網絡圖，其中，v∈V是經緯度對，r_i∈E是用多邊形表述的道路。x₁,x₂,...,x_n表示n個GNSS采樣點，x_i是軌跡中的第i個采樣點。目標是找到道路塊序列ans₁,ans₂,...,ans_n，其中ans_i是采樣點x_i的匹配結果。然后基于拓撲的算法獲得準確的匹配道路。

絕對坐標獲取子模塊：結合采集車車軌跡的坐標和道路要素相對于采集車的坐標，得到道路要素的絕對坐標；

校驗子模塊：檢驗獲取的絕對坐標，比較匹配后的電子地圖中道路中心線坐標與車道寬度外推的道路邊界與測距子模塊中獲得的道路邊界是否一致；若是，判斷為正確的絕對坐標；否則傳輸到數據傳輸模塊中待測量。通過檢驗各種不同方式獲取的坐標，判斷坐標是否準確。例如，比較根據道路中心線坐標和車道寬度外推的道路邊界和測距子模塊測量的道路邊界，校驗道路邊界是否一致。如果差別大，傳輸到數據傳輸模塊，留待進一步測量。

數據傳輸模塊：將生產的地圖、傳感器獲取的當前坡度等道路參數和有疑問的道路信息傳輸到服務器端，用于生產/更新或者進一步修飾高精度地圖。

本發明基于現有地圖、定位系統和車載相機實現，其各數據功能模塊形成車載數據處理終端，采用的GIS數據處理中心包括web應用服務器及查詢平臺等。所述發明系統通過WLAN基站、GNSS終端等確定車輛的坐標；通過各種傳感器采集車輛的經緯度和坡度等信息；通過圖像數據獲取子模塊所包含的普通車載攝像頭等采集道路畫面和視頻，也可以包括紅外車載夜視儀。采用深度學習方法解析視頻，獲得視頻中道路各要素的內容信息；相機標定之后采用計算機視覺方法測量道路要素的相對位置；將車輛的位置軌跡與電子地圖中的道路相匹配，結合車輛的地理坐標確定道路各要素的絕對位置，并比較檢驗道路各要素的坐標與道路中心線坐標的道路信息相比較，確認正確后上傳到中心服務器端，申請更新相關道路信息。最后通過web應用到服務器上人工查詢平臺信息，以供相關人員進行查看、管理地圖，并酌情對有疑問的道路采用高分辨率遙感圖像處理或實地測繪等方式進行進一步測繪，降低空間數據資源采集和管理的成本，提高準確度。與現有技術相比較，能以更低的成本生產/更新高精度地圖。

數據獲取模塊采集道路沿途的圖像數據，獲取圖像點相對于相機的空間位置關系；根據WLAN基站、GNSS和車輛的里程計等定位車輛的位置信息，同時獲得相機的坐標；根據陀螺儀等傳感器獲取車輛航向角和當前坡度等數據。

數據處理模塊在線或離線處理采集到的各種信息，識別地圖要素及其位置。首先對雙目圖像進行矯正，再根據深度學習算法對相機采集到的圖像數據進行分類，獲得圖像上道路、道路標志等的語義信息；基于深度學習算法對雙目圖像進行特征點提取和匹配，提取屬于道路、車道線和道路標志等重要對象上的點，剔除不在車道線上的匹配點，得到精確的匹配點。獲取匹配點相對于相機的空間位置關系，并根據預先標定好的相機的內外參數，測量道路、車道線及道路標志關鍵點與相機的相對空間位置。

地圖生成模塊將車輛的坐標點匹配到電子地圖的道路上，并從現有的電子地圖獲取軌跡點所在道路名稱和道路中心線的坐標點列。根據相機與車道線上關鍵點之間的相對空間位置，結合相機的坐標和車軌跡的坐標，得到車道線在地圖上相對精確的坐標。根據識別出的車道線數量和測距子模塊算出的車道線的寬度，產生道路邊界的相對空間位置，結合相機的坐標和車軌跡的坐標，得到車道線在地圖上相對精確的坐標。根據已知的道路中心線坐標外推正確的車道線和道路坐標，檢測車道數量及車道寬度、總的道路寬度是否一致。如果差別大，根據電子地圖中的道路中心線坐標糾正車輛坐標。

數據傳輸模塊將生產的地圖和傳感器獲取的當前坡度等道路信息傳輸到服務器端，用于生產/更新高精度地圖。