一種基于多譜三維特征融合的植被環境中障礙物檢測方法
【技術領域】
[0001] 本發明涉及了人工智能領域的一種障礙物檢測方法，尤其是涉及了一種基于多譜 三維特征融合的植被環境中障礙物檢測方法，可用于復雜環境下無人駕駛車的障礙檢測。
【背景技術】
[0002] 對于自主車而言，障礙檢測系統一直是其關鍵的組成部分之一。自主車能夠安全 可靠的導航并行走離不開一個良好的障礙檢測系統。隨著各類傳感器性能的提升和技術的 發展，如今的智能導航技術已經可以很好的應對結構化和半結構化道路的場景，這些場景 中的物體大多是剛性的，一般根據它們的體積和高度以及車體自身的性能即可判斷哪些是 需要避開的障礙物、哪些是可以安全通過的。在復雜的越野環境下，障礙物的種類則變得非 常繁多，比如：巖石、樹干、陡坡、坑洞等，這些障礙物對于自主車而言都是無法安全通行的， 依然可以將它們作為剛性物體來處理；然而越野環境下的地表通常又被許多植被所覆蓋， 如果認為較高的植被也是障礙物，在雜草叢生的環境中自主車將寸步難行。實際上，像較高 的雜草這一類植被在具備一定越野能力的自主車面前是可以安全通行的，不應被視為障礙 物。因此，這類被植被覆蓋的區域需要在障礙檢測系統中進行單獨處理，這也對一般的障礙 檢測方法提出了更高的要求。
[0003]對于區分植被和一般障礙已經有不少研宄并且取得了一定的成果。Vandapel和Hebert提出基于高分辨激光雷達的三維點云分布特征和機器學習相結合的方法。但在實用 中高分辨雷達掃描速度很慢，處理數據量很大，很難為行駛中的自主車提供有效的實時障 礙檢測。一些人從遙感領域的研宄獲得啟發，利用了植被對于自然光中的紅光和近紅外波 段具有不同的反射特性這一特點，，對植被進行檢測。在植被檢測效果上有了 一定的改善。 隨后Bradley等人基于歸一化植物差分指數（NDVI)和三維點云分布特征提出了一種植被 檢測方法來完善復雜野外環境下的自主車導航系統。然而該方法在檢測的準確率和魯棒性 等方面尚存在不足，NDVI特征受環境的光照強度變化影響較大，而三維點云的分布特征在 點云稀疏時效果不佳。
【發明內容】
[0004]針對【背景技術】中所提方法的不足，本發明的目的在于提出一種基于多譜三維特征 融合的植被環境中障礙物檢測方法。該方法考慮了實際情況中點云的稀疏性和光照條件變 化的影響，能夠適應常見的近紅外曝光不足的現象。
[0005] 如圖1所示，本發明采用的技術方案的步驟如下：
[0006] 1)利用三維激光雷達采集三維點云數據，并利用彩色攝像機和近紅外攝像機分別 同步采集彩色和近紅外圖像；
[0007]2)將三維點云與彩色和近紅外的多光譜數據配準，得到含有多譜信息的點云（簡 稱多譜點云）；
[0008]3)建立柵格地圖，通過柵格內點云高度閾值得到候選障礙柵格；
[0009] 4)根據部分高置信植被點云的近紅外光強，對整幅近紅外圖像的強度值進行強度 調整，實現紅外光強歸一化；
[0010] 5)選取歸一化后的近紅外強度值pnik，以及可見光譜中的RGB彩色通道中 (G-R) + (G-B)強度值聯合作為二維光譜特征，利用高斯混合模型對每個候選障礙柵格內進 行是否為植被的分類判斷，將判別為植被柵格從候選障礙柵格中濾除，輸出障礙柵格，作為 最終障礙物檢測結果。
[0011] 所述步驟1)具體是利用三維激光雷達采集三維點云數據，同時并利用彩色攝像 機和近紅外攝像機分別采集彩色圖像和近紅外圖像。
[0012] 由于圖像的像素信息比較豐富，而雷達點云相對稀疏，因此所述步驟2)通過已 標定的攝像機內參以及攝像機與激光雷達之間的外參，文獻1(UnnikrishnanR,Hebert M.FastExtrinsicCalibrationofaLaserRangefindertoaCamera.USA,Carnegie MellonUniversity:Roboticslnstitute，July2005.)介紹了攝像機與激光雷達之間的外 參標定方法，將彩色圖像和近紅外圖像的像素信息分別映射到三維點云上，得到多譜點云 {X, } = {(x,j，二艮p，如圖2所示，多譜點云中的每個融合數據點均包含有三維坐 標x、y、z、可見光三個通道的分量R、G、B和近紅外強度值pNIK，i表示數據點的序數，上標T表示矩陣轉置。
[0013] 由于多譜點云的數據量較大，直接進行處理的運算量很大，速度難以滿足實時系 統的要求，為了減小運算量，本發明將多譜點云投影到平面柵格中，并根據柵格內的高度差 信息選取出候選障礙柵格，僅對這些柵格進行多光譜分析。
[0014] 所述步驟3)具體為：根據攝像機的視場大小在地面上建立柵格平面，根據三維點 云的x、y坐標確定三維點歸屬的柵格，以統計柵格內部最大高度差的方法來得到候選障礙 柵格。
[0015] 所述的候選障礙柵格具體是采用以下方式統計柵格內部最大高度差得到：
[0016] 對于每個柵格，計算點云中每個數據點的高度值z與柵格內點云高度最小值 之差作為該點與柵格內最低點的點高度差匕，若點高度差匕大于高度閾值hmiMbs，則該三維 點為障礙點；否則該點為地面點。若柵格內所有點均為地面點，則該柵格為地面柵格，否則 為障礙候選柵格。對障礙候選柵格，繼續進入下一步驟，否則不進入下一步驟。
[0017] 所述步驟4)具體為：多光譜特征的有效性很大程度上依賴于可見光與近紅外光 強度值的可靠性，而圖像尤其是近紅外圖像受環境光照條件的影響很大。比如在弱爆光條 件下近紅外圖像的強度值整體較一般情況下要弱，然而植被與一般障礙之間的相對光強信 息并未丟失，因此本發明采用以下自適應的紅外光強度值歸一化方法。
[0018] 4. 1)多譜點云中，第k個柵格內所有數據點集合表示為Xk={xux2, . . .，xn}，n= Nk，n表示單個柵格內數據點的總數，Nk表示第k個柵格內數據點的總數，每個數據點均表 示為Xi= (X，y,z,R,G,B,pNIK)T,i= 1，. . .，n，i表示數據點序數，建立以下三維點云的協 方差矩陣計算得到協方差矩陣的三個特征值A2,A3,A2>入3:
[0026] 其中，I、歹、F分別表示柵格內所有數據點的三維坐標x、y、z的均值；
[0027] 4. 2)若X^A3很接近，gpA夕A3小于等于某個接近于1的閾值，則代表三維點 云為團狀分布，該候選障礙柵格具有極高可能性為植被。
[0028] 將所有含有高置信植被的候選障礙柵格內的多譜三維點組成植被點云數據{Xk} veg*
[0029] 理論上講，若3點云為散布分布，則候選障礙柵格包含有障礙物的 概率很高；若L，A2遠大于A3或Ai遠大于A2,A3則候選障礙柵格內的對象為線性分 布和平面分布，這是一般障礙物的特征；這一特征的分類效果取決于A夕A3的閾值選取和 每個物體點云的密集程度，閾值過大會導致障礙物被誤分類為植被，過小則會有大量植被 分類錯誤。
[0030] 激光雷達獲取的單幀數據較為稀疏，想要得到較高的植被分類準確率同時會導致 較高的誤報率。然而用來作為光強歸一化的基準，并不需要獲得所有的植被數據，因此本發 明采用以上選取更加嚴格的閾值獲得最可靠的部分植被數據。
[0031] 4. 3)再以植被點云數據{Xk}veg對應的近紅外強度值PNIK為參考標準，采用以下 公式表示的尺度因子0 _16對整幅近紅外圖像進行強度信息的尺度調整，完成紅外光強歸 一化：
[0033] 其中，為一般光照條件下植被的平均近紅外強度值。
[0034] 所述步驟5)具體為：候選障礙柵格內的各個多譜三維點采用以下公式計算得到 可見光特征fvis和近紅外特征f_，作為該柵格多光譜特征F的兩個維度，形成二維特征空 間（fvis，fnir):
[0037] 其中，PNIK為多譜三維點的近紅外強度值，0s。&為紅外光強歸一化的尺度因子。
[0038] 在多維特征空間中，單個高斯的權重、均值和協方差矩陣就是模型的主要參數，由 m個高斯構成的GMM可表示為{Oi,Ui, ^^^^^..^。在上述步驟得到的二維特征空間 (fvis，fnir)中，用已訓練的高斯混合模型對候選障礙柵格進行處理判斷，每個候選障礙柵格 均根據多光譜特征F(fvis，fnJ計算其屬于植被V或者障礙物0的概率:
[0040]其中，c表示類別，c= {0, 1}，c= 0表示植被V，c= 1表示障礙物0,nf表示類 別c對應的混合尚斯|旲型中單尚斯的個數，氣_，巧，\分別表不尚斯混合|旲型單個尚斯的權 重、均值和協方差矩陣；若候選障礙柵格為植被V的概率p(F|V)大于候選障礙柵格為障礙 物0的概率p(F| 0)，則該候選障礙柵格包含植被，能安全通過；若候選障礙柵格為植被V的 概率p(F|V)小于等于候選障礙柵格為障礙物0的概率p(F| 0)，則該候選障礙柵格包含障礙 物，不能安全通過。
[0041] 所述已訓練的高斯混合模型具體采用以下方式進行訓練：將多個樣本柵格輸入到 向量分類器中進行訓練，其中所有樣本柵格均分為植被V類別或障礙物0類別，對于兩個類 別分別建立高斯混合模型，通過期望最大化（EM)方法迭代求解得到兩個類別的高斯混合 模型參數：
[0043] 其中，叫，分別表示單個高斯的權重、均值和協方差矩陣，nf表示類別c對應 的混合高斯模型中單高斯的個數。
[0044] 所述的類別c對應的混合高斯模型中單高斯的個數nf取1~5。
[0045] 所選取的高斯個數m也會對最終得到的模型產生影響，m過小無法準確描述該類 樣本在特征空間中的分布；m過大會導致訓練樣本的過度擬合。對m取1~5,本發明在現 有數據集上進行了實施例重復試驗，比較EM算法的收斂效率和分類試驗結果，發現每個類 別包含3個高斯模型的時候最佳。
[0046]本發明的有益效果：
[0047] 本發明采用激光雷達和彩色相機、近紅外相機等多種傳感器，利用多傳感器聯合 標定技術得到多譜三維點云。
[0048] 本發明設計了多譜特征對植被進行有效過濾，有效提高了真實障礙物的檢測率， 降低了虛警率。
[0049] 本發明擴大了無人車在植被環