本發明屬于機器人自主環境感知技術領域,涉及到將移動機器人系統采集到的圖像數據進行場景理解,特別涉及到一種車載單目視覺室外道路自適應分類器生成方法。
背景技術:
視覺是智能機器人與智能系統進行環境感知的重要手段之一。基于視覺的自然場景理解是工作在自然環境中的移動機器人能夠實現自主環境適應所應具備的基本條件。無人駕駛車作為一種典型的移動機器人,近些年來在各行各業中扮演著越來越重要的角色,室外環境理解特別是道路識別是實現無人駕駛的關鍵。
基于視覺的場景理解就是對視覺傳感器所采集的圖像數據進行分類,即對圖像中的不同種類賦予相應的標簽。圖像分類的方法有很多,但是由于無人駕駛車的工作環境大多是室外非結構化環境,室外場景的多樣性、隨機性、復雜性以及移動機器人的運動性,就要求所構建的場景理解系統應具有較高的自適應性,目前對于復雜室外環境的理解通常都是設計一個分類器來完成圖像的分類,分類器是根據數據集的特點構造一個分類函數或分類模型,該模型能把未知類別的樣本映射到給定類別中的某一個,這也是目前最有效地圖像分類方法。
目前在圖像分類領域有離線和在線兩種分類器生成方法。離線分類器是目前最常用的一種,主要是利用相應的機器學習算法,針對特定的數據集訓練一個固定的分類器。首先根據所要識別的數據集制作訓練樣本即是一些帶不同標簽的數據,然后利用合適的機器學習算法進行訓練。常用的機器學習算法有Support Vector Machine(SVM)、K-Nearest Neighbor(KNN)、Bayes、Back Propagation(BP)神經網絡器等等。參考文獻(K.Rebai,N.Achour,and O.Azouaoui."Hierarchical SVM classifier for road intersection detection and recognition."IEEE Conference on Open Systems.2013:100-105.)和文獻(Z.Xiong,K.Chen,and C.Gu."An algorithm of image classification based on BP neural network."IEEE Computer Science and Automation Engineering,International Conference on.2012:523-526.)分別運用了SVM和BP神經網絡進行圖像分類器的訓練,其優點是分類準確度較高,但是這種分類器的訓練需要大量先驗信息,訓練樣本大,算法耗時,并且所得到的分類器僅適用于訓練樣本所在場景的分類,當所處場景發生變化時分類器就會失效,因此分類器的適應性較差。
使用在線分類器來做圖像識別是一種更具有挑戰性的方法,具體是指分類器在識別圖像的過程中一直在不斷地更新。參考文獻(徐文浩.基于視覺激光數據融合的非結構化道路檢測[D].大連理工大學,2014.),在道路識別算法當中利用實時采集到的圖片生成新的樣本,在不間斷分類運算的同時實現了分類器的實時在線更新,在道路發生劇烈變化時,依賴之前的分類器無法正確識別出道路,因此無法完成分類器的更新,此時只能依賴激光數據的幾何屬性來確保車前方時可行區域,輔助完成分類器的在線更新。其優點是分類器能夠很好地適應天氣、季節、光線等因素的改變,保證了算法的魯棒性。但是該方法沒有真正實現分類器的自適應更新,當新的道路樣本出現時,必須依靠激光傳感器的輔助才能完成分類器的在線更新,然而激光傳感器并不是所有機器人的必備的設備,而且其價格也比較昂貴,所以此方法并不具備通用性。
技術實現要素:
針對以上所述方法的不足之處,本發明提出了自適應分類器生成方法。其特征在于引入樣本池工具,樣本池的組成為不同道路的特征,通過提取相鄰圖像的顏色直方圖,進行相似度計算,再依據計算結果進行分類器不同訓練樣本的選擇,當計算結果為相似時:更新分類器的訓練樣本為前一個分類器的識別結果;當計算結果為不相似時:更新分類器的訓練樣本為與樣本池的匹配結果,從而實現了分類器的自適應生成。
本發明的技術方案如下:
1)構建樣本池
樣本池是本發明引入的一種工具,其本質上是一個m*n的特征向量。其中m為樣本池中所含有的不同形態道路的個數,n為每種道路的特征維度。
2)計算相鄰圖像相似度
新樣本出現時實現分類器自適應生成需要依賴對相鄰圖像相似度計算的結果。首先提取相鄰圖像的顏色直方圖:
H(P)=[h(x1),h(x2),...h(xi)] (1)
其中,S(xi)為第i種顏色在圖像中出現的個數,S(xj)為總的像素點個數。
例如灰度直方圖是灰度級的函數,它表示圖像中具有某種灰度級的像素的個數,反映了圖像中某種灰度出現的頻率。色彩直方圖是高維直方圖的特例,它統計色彩的出現頻率,即色彩的概率分布信息。直方圖歸一化效果好,兩幅分辨率不同的圖像可以直接通過計算直方圖來計算相似度,計算量小。
直方圖相似度計算方法為相關度、卡方系數、相交系數或巴氏距離。
優選巴氏距離計算相似度。如圖像A和圖像B,分別計算兩幅圖像的直方圖HA和HB,然后計算兩個直方圖的巴氏距離:
其中,HA(i)和HB(i)分別代表圖像A和B的第i種顏色直方圖數據,n為直方圖中bin的個數。d∈[0,1],距離越小說明相似度越高。
3)分割圖像與提取圖像特征
對圖像做超像素分割,就是在圖像處理的預處理階段將空間位置上鄰近并且顏色、紋理等特征相近的像素聚合成若干個超像素塊,然后以超像素為單位進行圖像的進一步處理。
提取圖像特征是使用計算機提取圖像信息,決定每個圖像的像素點或像素塊是否屬于一個圖像特征。圖像特征為顏色特征、紋理特征、形狀特征和空間關系特征中的一種或兩種以上。
圖像特征優選采用顏色特征和空間關系特征。采用Lab顏色空間,其中的L分量用于表示像素的亮度,取值范圍是[0,100],表示從純黑到純白;a表示從紅色到綠色的范圍,取值范圍是[127,-128];b表示從黃色到藍色的范圍,取值范圍是[127,-128]。最終提取五維特征向量分別Lab三個分量和像素的(x,y)坐標。計算每個超像素塊中所含像素點的均值和方差組成十維特征向量。
其中,Em和Vm分別為均值和方差,n為像素塊所含像素點的個數。
(4)分類器的訓練
分類器要完成分類器的在線更新,并且要保證識別的實時性,就要盡量的減少訓練樣本,再訓練樣本很少的前提下保證識別的準確率。
根據步驟2)的計算結果,在步驟3)的基礎上進行分類器的訓練;當步驟2)的結果為相似時:更新分類器的訓練樣本為前一個分類的識別結果;當步驟2)結果為不相似時:更新分類器的訓練樣本為與步驟1)所構建本池的匹配結果;根據每個超像素塊的特征及其屬性標簽,采用boosting算法,其核心思想是針對同一個訓練集訓練不同的分類器,即弱分類器,在每一輪的弱分類器分類當中對樣本的權值進行更新。如果樣本分類正確,則會適當降低它的權值,反之則會提高。最后把弱分類器集合起來,構造一個更強的最終分類器。具體算法流程如下:
給定一個訓練數據集T={(x1,y1),(x2,y2)…(xi,yi)…(xN,yN)},其中xi是輸入訓練樣本,yi屬于標記集合{-1,+1},N為訓練樣本的數量。
步驟1:初始化訓練數據的權值分布。每一個訓練樣本最開始時都被賦予相同的權重:1/N。
步驟2:進行多輪迭代,用m=1,2,...,M表示迭代的次數。
a)使用具有權值分布的Dm訓練數據集學習,得到基本分類器:Gm(x)
b)計算Gm(x)的在訓練數據集上的分類誤差率:
c)計算Gm(x)的系數αm,表示em在最終分類器中的重要程度(目的:得到基本分類器在最終分類器中所占的權重):
d)更新訓練數據集的權值分布Dm+1=(wm+1,1,wm+1,2....wm+1,i…wm+1,N)
其中Zm為規范化因子,使得Dm+1成為一個概率分布。
步驟3:組合弱分類器。
分類器自適應生成所用訓練樣本的選擇根據公式(3)中的巴氏距離,當巴氏距離小于設定值,分類器的訓練樣本為t時刻的圖像識別結果,當巴氏距離大于設定值,分類器的訓練樣本為樣本池中與t+1時刻圖像相匹配的樣本。依次循環便實現了分類器自適應生成。
本發明的有益效果為生成的分類器能夠很好地適應天氣、季節、光線等因變化準確地識別出道路,解決了對大量訓練樣本和其他傳感器的依賴性問題,具有很好的魯棒性,可以為無人車的行駛提供準確的輔助信息。
附圖說明
圖1是樣本池所含有的道路樣本示意圖。
圖2是無人車所采集的道路序列圖像。
圖中(a)(b)(c)、(d)(e)(f)和(g)(h)(i)表示經過三種不同路況所采集的道路圖像。
圖3是圖2中(a)(b)(c)(d)(e)(f)(g)(h)(i)的顏色直方圖。
圖4是圖2中(a)(b)(c)(d)(e)(f)(g)(h)(i)的分類器識別結果。
具體實施方式
為了驗證本發明的有效性,本發明的具體實施方式包括兩個方面,一是圖像數據的采集,二是依據圖像向直方圖匹配結果,選擇相應的訓練樣本,完成分類器自適應生成。
通過單目攝像頭自動采集圖像數據,然后這些數據信息都將傳送到計算機。圖2為本實施例的行駛路徑。其中(a)(b)(c)、(d)(e)(f)、(g)(h)(i)分別為車輛在行駛過程中經過的三種不同路況所采集的道路圖像。以這九張圖像為例說明分類器自適應生成的過程。首先對第一張圖像(圖2(a))做超像素分割,提取每個超像素塊的特征與樣本池中的特征匹配,匹配成功的超像素塊賦予標簽+1,沒有匹配成功的超像素塊賦予標簽-1,然后用帶有標簽的訓練樣本訓練了分類器Ga。同時提取圖2(a)和圖2(b)的顏色直方圖(即圖3(a)和圖3(b)),利用巴氏距離計算圖3(a)和圖3(b)的相似度,由計算可得d=0.406,本實施例中當d∈[0,0.5)時認為圖像相似,當d∈[0.5,1]時認為圖像不相似。
可知圖2(a)和圖2(b)相似,因此分類器Gb的生成依賴于圖2(a)的識別結果(即圖3(a)),用圖3(a)帶有不同標簽的識別結果作為分類器Gb的訓練樣本。
同樣方法生成分類器Gc。接下來提取圖2(c)和圖2(d)的顏色直方圖(圖3(c)和圖3(d)),利用巴氏距離計算圖3(c)和圖3(d)的相似度,由計算可得d=0.781,可知圖2(c)和圖2(d)不相似,因此分類器Gd的生成要依賴樣本池,先將圖3(d)做超像素分割,然后將每個超像素塊的特征與樣本池進行匹配,匹配成功的標簽設為+1,否則設為-1,最后用帶標簽的樣本訓練分類器Gd。同理分類器Ge、Gf、Gh和Gi的更新依賴于前一個分類器的識別結果。分類器Gg的生成需要依賴樣本池。圖4為本次所經過道路的分類器識別結果。依次循環便實現了分類器的自適應生成。