基于單目視覺與激光雷達融合的道路可行駛區域檢測方法與流程

本發明屬于智能交通領域中的方法研究，涉及一種基于單目視覺與激光雷達融合的道路可行駛區域檢測方法。

背景技術：

近年以來，道路檢測一直是無人駕駛領域研究的重要內容。目前廣泛采用的道路檢測方法有：單目視覺方法、立體視覺方法、激光雷達方法和基于融合的方法。其中，單目視覺方法只考慮了場景的視覺信息，極易受光照條件，天氣狀況影響；立體視覺的方法在三維重建上時間耗費巨大，不適用于實際運用；激光雷達的方法存在點云數據稀疏的缺點。基于像素信息和深度信息融合的道路檢測方法既充分利用了來自照相機提供的關于場景的紋理、顏色等信息，又結合激光雷達的深度信息彌補視覺信息對環境不魯棒的缺點，在算法效率上克服了非融合方法效率低，難以進行實時運算，難以實際運用的問題，故基于融合的道路檢測方法迅速發展起來為無人車道路檢測的首選。基于融合的道路檢測方法是在單目視覺,激光雷達方法，傳感器融合等基礎上發展起來的一種最佳的道路檢測。從而在工程實際中,尤其在無人車駕駛中得到了廣泛的應用。

無人車道路檢測還分為有監督方法與無監督方法。由于路面信息的多樣性、場景信息的復雜性和光照天氣條件的多變性，無人車對于道路檢測方法的魯棒性和泛化性能要求很高。故無監督的無人車道路檢測方法也是無人駕駛領域研究的重要內容。一方面，無監督的道路檢測方法不需要大量的標記數據和費時的訓練過程，能夠根據提取的特征自主地學習出道路信息，是一種高泛化能力的方法。另一方面，現實世界的交通場景復雜多變，在不可能為無人駕駛提供所有場景的訓練樣本的情況下，有監督的方法在遇到與訓練樣本的場景相差較大的駕駛場景時危險性極大，而無監督的道路檢測方法對幾乎所有場景魯棒，適用于無人駕駛的實際應用。

技術實現要素：

本發明的目的在于提供一種基于單目視覺與激光雷達融合的道路可行駛區域檢測方法。

為達到上述目的，本發明采用了以下技術方案。

首先，該融合的方法使用超像素與激光點云數據的融合，將點云數據按照激光參數標定投影到超像素分割后的圖片上，超像素方法充分利用了場景的紋理特征，極大地縮小定位道路區域的范圍，大大提升了算法效率；其次，運用三角剖分尋找點的空間關系，根據得出的空間關系三角形建立無向圖和并計算每一點的法向量，根據無向圖分類障礙點；然后，本方法采用基于最小濾波的方法定義新的特征(ray)，并找到道路區域的初始備選區域，進一步縮小道路區域的檢測范圍，極大提升算法效率；通過定義新的特征(level)從深度信息方面數值化各點的可行駛程度，有效地利用了深度信息。另外，融合方法還利用一種無監督的融合方法，即基于自學習的貝葉斯框架，融合各個特征(顏色特征，level特征，法向量特征，強度特征)學習到的備選道路區域的概率信息，這種算法效率高，魯棒性能強。

所述超像素與激光點云數據融合具體步驟如下：

利用已有的結合邊緣分割的改進的線性迭代聚類的方法對相機采集的圖片進行超像素分割，將圖片分割為n個超像素，每個超像素pc＝(xc,yc,zc,1)^t包含若干個像素點，其中xc,yc,zc表示該超像素內所有像素點的相機坐標系下的位置信息的平均值，同時，這些像素點的rgb均統一為該超像素內所有像素點的平均rgb。再利用已有的標定技術將激光雷達獲得的每一點pl＝(xl,yl,zl,1^t)投影到超像素分割后的圖片上，最終得到點集其中pi＝(xi,yi,zi,ui,vi)，xi,yi,zi表示該點的激光坐標系下的位置信息的，(ui,vi)表示該點對應的相機坐標系下的位置信息。最后通過共點約束，只保留被投影在超像素邊緣附近的激光點。

基于最小濾波的方法定義新的特征(ray)找到道路區域的初始備選區域；具體步驟如下：

首先，定義該道路區域的初始備選區域為其中，si代表是超像素si所包含的所有像素點的集合，定義idrm為”directionraymap”，并點集將pi＝(xi,yi,zi,ui,vi)的(ui,vi)坐標轉化到以圖片最后一行的中心點(pbase)為原點的極坐標下，則有是點集(ui,vi)的真子集，其中表示第i個點屬于第h角度，表示的是中的障礙點的集合，計算方法見后文及流程圖。

其次，為解決激光射線泄露的問題，采用最小濾波的方法處理得到的idrm得到期望的idrm，最終得到

定義新的特征(level)；具體步驟如下：

定義每一點的level特征為算法見流程圖，并與超像素結合得到超像素si的level特征l(si)：

所述采用自學習的貝葉斯框架來融合的具體步驟如下：

首先，結合初始備選區域為分別利用者4種特征無監督學習地備選區域的概率。

對于初始備選區域為中的超像素點si，si包含的每一個像素點pi＝(xi,yi,zi,ui,vi)的rgb值已經統一了，利用高斯參數μc和自學習顏色特征，公式如下：

θ＝45°

利用高斯參數μl和自學習超像素si的level特征l(si)的公式為：

利用高斯參數μn和自學習超像素si的法向量特征n(si)的公式為：

定義sg(si)為穿過超像素si的ray的數量，自學習超像素si的強度特征sg(si)的公式為：

最后，建立貝葉斯框架融合4種特征，公式如下：

其中，p(si＝r|obs)表示超像素si屬于道路區域的概率，obs表示基于這4種特征的觀測。

本發明的有益效果體現在：

其一，由于傳統的融合方法采用全局融合，這大大限制了這些算法的實用性和計算效率。本發明提出使用超像素與激光點云數據的融合。該方法極大縮小了道路區域的備選范圍，極大提升了算法效率。其二，因此，本發明提出的新的特征(ray)找到道路區域的初始備選區域，進一步縮小道路區域的檢測范圍，極大提升算法效率。其三，本發明提出的level特征從深度信息方面數值化各點的可行駛程度，克服了深度信息的稀疏問題，有效地利用了深度信息，對算法精度貢獻極大。其四，本發明提出的利用強度特征量化超像素與深度信息的融合關系，充分考慮了視覺信息近大遠小的問題，對算法精度貢獻極大。故算法具有較為重要的研究意義和廣泛的工程應用價值。其五，自學習的貝葉斯框架，融合各個特征學習到的備選道路區域的概率信息，這種算法效率高，魯棒性能強

附圖說明

圖1是基于單目視覺與激光雷達融合的道路可行駛區域檢測方法原理框圖；

圖2是得到ray特征的算法流程圖；

圖3是由未利用最小濾波處理ray泄露(下)與使用后(上)的初始備選區域效果圖；

圖4是得到level特征的算法流程圖；

圖5是由顏色特征自學習得到的備選道路區域概率分布效果圖；

圖6是由level特征自學習得到的備選道路區域概率分布效果圖；

圖7是由法向量特征自學習得到的備選道路區域概率分布效果圖；

圖8是由強度特征自學習得到的備選道路區域概率分布效果圖；

圖9是自學習的貝葉斯框架的融合得到的最終區域的概率分布圖；

具體實施方式

參照圖1所示，利用已有的結合邊緣分割的改進的線性迭代聚類的方法對相機采集的圖片進行超像素分割，將圖片分割為n個超像素，每個超像素pc＝(xc,yc,zc,1)^t包含若干個像素點，其中xc,yc,zc表示該超像素內所有像素點的相機坐標系下的位置信息的平均值，同時，這些像素點的rgb均統一為該超像素內所有像素點的平均rgb。再利用已有的標定技術和旋轉矩陣和轉化矩陣按照公式(1)得到轉化矩陣

利用旋轉矩陣和建立2個坐標系的轉化關系，如公式(2)：

將激光雷達獲得的每一點pl＝(xl,yl,zl,1)^t投影到超像素分割后的圖片上，如公式(3)：

得到點集其中pi＝(xi,yi,zi,ui,vi)，xi,yi,zi表示該點的激光坐標系下的位置信息的，(ui,vi)表示該點對應的相機坐標系下的位置信息。最后，只保留超像素邊緣附近的激光點。

利用數據融合分類障礙點，得到映射關系ob(pi)，ob(pi)＝1表示pi為障礙點，反之為0。對于pi的坐標系(ui,vi)運用三角剖分(delaunaytriangulation)，得到眾多空間三角形和生成無向圖e表示圖中與節點pi存在關聯關系的邊緣的集合。剔除坐標系(ui,vi)下歐式距離不滿足公式(4)的邊緣(pi,pj)：

||pi-pj||＜ε…………………………………………………………………(4)

定義為與pi連接的點的集合為nb(pi)，則與有關的空間三角形的表面即為{(uj,vj)|j＝iorpj∈nb(pi)}。計算各個空間三角形的法向量，顯然，當pi周圍的空間三角形越平坦接近地面，pi成為非障礙點的可能性越大，我們取pi周圍的空間三角形的法向量的平均值作為pi的法向量公式(5)表示ob(pi)的判斷方法：

基于最小濾波的方法定義ray特征并找到道路區域的初始備選區域首先，根據如圖2所示的算法流程圖得到”directionraymap”--idrm，其中，表示根據上一步障礙點分類方法計算的中的障礙點的集合，表示pi屬于第h角度。算法將pi＝(xi,yi,zi,ui,vi)的(ui,vi)坐標轉化到以圖片最后一行的中心點(pbase)為原點的極坐標下，則有是點集(ui,vi)的真子集。其次，如圖3所示，由于激光數據的稀疏性，需要處理ray泄露的問題，本方法創新地采用最小濾波的方法處理得到的idrm得到期望的idrm。結合超像素分割，定義該道路區域的初始備選區域為其中，si代表是超像素si所包含的所有像素點的集合，最終融合超像素得到

定義level特征，圖4給出計算屬于第h角度的每一點的level特征公式(6)表示，與超像素結合得到超像素si的level特征l(si)：

如圖5，利用顏色特征得到的備選道路區域的可行駛度概率信息。對于初始備選區域中的超像素點si，si包含的每一個像素點pi＝(xi,yi,zi,ui,vi)的rgb值已經統一了，由于rgb顏色對光照條件和天氣狀況不魯棒，故利用顏色空間轉換方法，將處于rbg空間的原始圖像i轉化為illuminant-invariant顏色空間下的圖像ilog，如公式(7)：

其中ilog(u,v)是在ilog坐標系(u,v)下的像素值，ir,ig,ib表示i的rgb值，θ表示正交于光照變化線的不變角度。公式(8)利用高斯參數μc和自學習顏色特征以得到備選道路區域的可行駛度概率信息：

如圖6，利用level特征得到的備選道路區域的可行駛度概率信息。公式(9)利用高斯參數μl和自學習超像素si的level特征l(si)：

如圖7，利用法向量特征得到的備選道路區域的可行駛度概率信息。計算中的超像素si的法向量特征n(si)，即si中的法向量最低的點的高度坐標值如公式(10)：

公式(11)利用高斯參數μn和自學習超像素si的法向量特征n(si)：

如圖8，利用強度特征得到的備選道路區域的可行駛度概率信息。sg(si)為穿過超像素si的ray的數量，自學習超像素si的強度特征sg(si)如公式(12)：

最后，如圖9，建立貝葉斯框架融合4種特征得到自學習的貝葉斯框架的融合得到的最終區域的概率分布圖，如公式(13)：

其中，p(si＝r|obs)表示超像素si屬于道路區域的概率，obs表示基于這4種特征的觀測，從圖9可以看出本方法很好地完成了道路檢測任務。

為了證明本方法的優勢，我們在road-kittibenchmark上利用3中不同環境的數據集，標記的城市環境(urbanmarked，um)，多標記的城市環境(urbanmultiplemarked，umm)和未標記的城市環境(urbanunmarked，uu)測試本方法，從最大f-measure(maxf-measure，maxf)，平均精度(averageprecision，ap)，精度(precision，pre)，召回率(recall，rec)，假陽性率(falsepositiverate，fpr)，和假陰性率(falsenegativerate，fnr)這六個指標進行分析。分析的同時，進行對比實驗，與目前已公布的在road-kittibenchmark數據集上利用激光取得了最好效果的方法mixedcrf和融合方法res3d-velo對比，對比結果見表1--4。

表1是本方法(ourstest)，mixedcrf，res3d-velo在um數據集上的對比實驗結果：

表1在um數據集上的對比實驗結果

表2是本方法(ourstest)，mixedcrf，res3d-velo在umm數據集上的對比實驗結果：

表2在umm數據集上的對比實驗結果

表3是本方法(ourstest)，mixedcrf，res3d-velo在uu數據集上的對比實驗結果：

表3在uu數據集上的對比實驗結果.

表4是本方法(ourstest)，mixedcrf，res3d-velo在urban(即um，umm，uu整體考慮)數據集上的實驗結果的平均值的對比結果：

表4在urban數據集的對比實驗結果.

mixedcrf是需要訓練的方法，本方法在不需要任何訓練的條件下得到了相似的精度，并且在ap這一項指標上取得了最高的精度，說明了本方法的優越性。

為了表明本方法所采用的自學習貝葉斯框架融合的優越性，在road-kittibenchmark上利用3中不同環境的數據集，標記的城市環境(urbanmarked，um)，多標記的城市環境(urbanmultiplemarked，umm)和未標記的城市環境(urbanunmarked，uu)測試本方法，從最大f-measure(maxf-measure，maxf)，平均精度(averageprecision，ap)，精度(precision，pre)，召回率(recall，rec)，假陽性率(falsepositiverate，fpr)，和假陰性率(falsenegativerate，fnr)這六個指標，分析單一采用ray特征得到的初始備選區域(initial)，顏色特征(color)，強度特征(strength)，level特征和法向量特征(normal)的精度，與貝葉斯框架融合(fusion)精度對比，對比結果見表5--8。

表5是單一采用ray特征得到的初始備選區域(initial)、顏色特征(color)，強度特征(strength)、level特征和法向量特征(normal)，與貝葉斯框架融合(fusion)在um數據集上的對比結果：

表5comparisononumtrainingset(bev).

表6是單一采用ray特征得到的初始備選區域(initial)、顏色特征(color)，強度特征(strength)、level特征和法向量特征(normal)，與貝葉斯框架融合(fusion)在umm數據集上的對比結果：

表6comparisononummtrainingset(bev).

表7是單一采用ray特征得到的初始備選區域(initial)、顏色特征(color)，強度特征(strength)、level特征和法向量特征(normal)，與貝葉斯框架融合(fusion)在uu數據集上的對比結果：

表7comparisononuutrainingset(bev).

表8是單一采用ray特征得到的初始備選區域(initial)、顏色特征(color)，強度特征(strength)、level特征和法向量特征(normal)，與貝葉斯框架融合(fusion)在um，umm，uu數據集上的實驗結果的平均值的對比結果：

表8comparisononurbantrainingset(bev).

由表4和表8可知，基于單目視覺與激光雷達融合的道路可行駛區域檢測方法取得了當前的最高精度ap，ap也是衡量檢測方法的最重要指標，在其他指標上也取得了良好優勢，故本方法適用于實際應用。

以上內容是結合具體的優選實施方式對本發明所作的進一步詳細說明，不能認定本發明的具體實施方式僅限于此，對于本發明所屬技術領域的普通技術人員來說，在不脫離本發明構思的前提下，還可以做出若干簡單的推演或替換，都應當視為屬于本發明由所提交的權利要求書確定專利保護范圍。