基于多特征融合與Boosting決策森林的街景圖像的語義分割方法
【專利摘要】一種基于多特征融合與Boosting決策森林的街景圖像的語義分割方法，包括如下步驟：步驟1，對圖像進行超像素分割；步驟2，多特征提取；步驟3，特征融合；步驟4，訓練學習以及分類識別；本發明將2D特征和3D特征有效的融合在一起，顯著的提高了目標的識別率，與現有技術相比，分割結果一致，連通性好，邊緣定位準確，引入了Boosting決策森林分類機制，保證了目標分類的穩定性。
【專利說明】基于多特征融合與Boosting決策森林的街景圖像的語義分割方法
【技術領域】
[0001]本發明屬于圖像處理【技術領域】，尤其涉及一種基于多特征融合與Boosting決策森林的街景圖像語義分割方法。
【背景技術】
[0002]圖像分割是將圖像劃分成多個具有相似特征區域的技術與過程，是圖像處理中的重要問題。這里的特征可以是像素的灰度、顏色、紋理等，且預定義的目標可以是單個區域，也可以對應多個區域。圖像分割不僅是目標表達的基礎，對特征質量有著重要的影響，并且可以將原始圖像轉化為更加抽象的形式，使得更高層次的圖像分析和理解成為可能。計算機視覺中的圖像理解，如目標檢測、目標特征提取和目標識別等，都依賴于圖像分割的質量。圖像處理強調在圖像之間進行變換以改善圖像的視覺效果。目前的圖像分割算法大多是針對某一類圖像進行的，且圖像場景比較簡單，包含的對象類別較少；同時，一般的圖像分割算法對圖像的亮度、縮放等信息比較敏感，所以可能會造成誤分割。因此，把圖像分割和圖像的識別與理解結合起來，在保證圖像處理效果的同時提高圖像處理的效率，將具有非常重要的研究意義。但是目前基于視覺特征的分割算法得到的分割區域間沒有清晰的邊緣，而且對于不同的場景效果差異較大。在圖像分割和識別中，若僅使用局部區域的視覺特征來表示目標對象，進行語義標注，則會產生二義性；或者僅僅使用2D特征或者3D特征也都無法得到理想的效果；目前一般都以像素為單位實現目標的識別，為一張圖片中的每個像素賦予一個類別的標簽。當分類結果為多類識別時，圖片中相同類別標簽的像素形成若干的連續區域，實現圖像的語義分割。由于需要對每個像素進行判定，像素級別的目標識別算法也將會產生龐大的數據運算量，同時相鄰像素的鄰域大部分是重疊的，因此提取的特征也比較相似，最終的類別判定結果相差也不大，但是在計算過程中包含了大量的冗余數據，大大增加了計算量。在機器學習中當訓練數據量很大的時候，處理效率和正確率得不到平衡，為此需要改進當前的分類器，使得準確率提高的情況下穩定性增強，并且消耗的時間不是太大。
【發明內容】
[0003]本發明針對現有技術的不足，提供了一種基于多特征融合與Boosting決策森林的街景圖像語義分割方法。
[0004]基于多特征融合與Boosting決策森林的街景圖像的語義分割方法，其特征在于該方法包括以下步驟:
[0005]步驟1，對圖像進行超像素分割；針對街景圖像所包含的對象比較復雜的特點，采用簡單線性迭代聚類SILC(simple linear iterative clustering)對圖像進行超像素分割；簡單線性迭代聚類是對3維的CIELAB顏色空間L、a、b和2維的位置信息特征進行操作，采用了新的距離衡量方法，通過調節參數來控制超像素塊的數目；無論在計算復雜度、控制超像素的尺寸和個數來看，簡單線性迭代聚類在現有方法中表現都是很好的。
[0006]簡單線性迭代聚類采用新的距離衡量D，表示如下:
[0007]dkb =孤=P+(%
[0008]( =φχ::~)2+認.:厶)2(覆)
Wt
[0009]Ds = iMb + —iv
S
[0010]其中k和i分別為兩個像素，Ds表示Iab距離和以網格距離歸一化的xy空間的距離綜合。變量m是一個常數，控制超像素的緊湊程度，可以調節超像素塊的大小，當m的值越大時，則空間像素度的權重越大，我們這里選擇m= 10，圖像分割的超像素數為1000塊左右。
[0011]圖形的梯度公式計算如下:
[0012]G(X，y) = I 11 (x+1, y)-1 (x_l, y) I |2+| 11 (x, y+1)-1 (x, y-1) I 12 (2)
[0013]其中I(x，y)表示Lab向量對應的像素點的位置，而I 1.1 I表示2范數，這樣可以同時考慮亮度和位置信息。
[0014]s = ^(3)
[0015]其中S是步長，N為圖像的像素總數，K是分割的超像素個數。簡單線性迭代聚類的具體處理步驟:
[0016]1.1初始化聚類中心。按照步長S采用像素來初始化話聚類中心，在圖像中均勻分布聚類中心；
[0017]1.2將聚類中心移動到鄰域內梯度最小的地方，這樣可以防止聚類中心落在邊界上；
[0018]1.3在每個聚類中心2S*2S范圍內，根據距離公式對像素進行K_means聚類，得到最新的聚類中心；
[0019]1.4計算新的聚類中心與舊的聚類中心之間的L1范數距離E ；
[0020]1.5進行迭代運算，直到E小于一個很小的閾值，結束運算；
[0021]步驟2，多特征提取；特征是用來描述圖像的最基本的屬性，在圖像分割和識別應用中，僅僅利用2D或者3D特征對目標對象進行標注時，可能會出現二義性，為了克服這種確定，采用多種有效特征綜合起來聯合強化框架；
[0022]2.1提取超像素塊中物體距離地面的高度特征；
[0023]對于每一塊超像素，計算超像素塊中物體距離地面的高度，可以采用超像素塊中的所有點到地面的距離之和的平均值；
[0024]2.2提取曲面法向量特征；
[0025]利用最小二乘法對超像素擬合一個平面，然后求其法向量。其X軸分量、y軸分量和z軸分量分別作為一維向量特征；
[0026]2.3提取超像素塊中物體相對于攝像頭的高度；
[0027]設在3D坐標系中的y坐標軸的方向是向上的，則現實世界中的一點w相對于攝像機的聞度fH可如下表不:[0028]fH (w) = Wy-Cy (4)
[0029]fH是相對于攝像頭的高度，w(x, y, z)是現實世界中的一點的3D坐標,c (x, y, z)是攝像機的3D坐標。
[0030]2.4提取3D像素塊到攝像頭的距離特征；
[0031]我們可以充分利用物體到攝像頭的距離，來劃分物體。通過計算超像素塊中心到攝像頭的最近距離，這個最近距離作為3D像素塊到攝像頭的距離；
[0032]2.5提取3D像素塊的不平整度特征；
[0033]3D像素塊的不平整度，以3D點到擬合平面的距離之和為度量值；
[0034]2.6提取顏色直方圖特征。由于HSV空間更加接近于人們對顏色的主觀認識，故在目標的HSV空間上提取目標的顏色直方圖特征；對于被給定的目標0，它在t時刻的HSV顏色直方圖特征可以表示為:
[0035]C0t = I/,,/,,...J,56)(5)
[0036]其中yi表示HSV每一級別的值；
[0037]2.7提取深度直方圖特征；
[0038]利用已獲得的圖像的深度圖，分成若干個bin，提取出深度直方圖，并且均衡化處理。
[0039]2.8提取基于灰度直方圖的紋理特征；
[0040]基于灰度直方圖的統計矩的紋理特征描述與提取方法是一種紋理統計方法。該方法可以定量的描述區域的平滑、粗糙、規則性等紋理特征。
[0041]設!為表示圖像灰度級的隨機變量；L為圖像的灰度級數；p(ri)為對應的直方圖(其中i = 0，1，2，...，L-1);則r的均值m表示為:
1-1
[0042]" = Σ( .P (r.)((6)
[0043]r關于均值m的η階矩陣表示為:
[0044]/< ,J 1.卜 $ <' - w /> ? >.,!(》)
[0045]通過計算9式可知μ。= 1，μ i = O ;對于其他η階矩陣:
[0046](2.8.1) 二階矩陣μ 2又稱為方差，它是灰度級對比度的量度。利用二矩陣可以得到有關平滑度的描述因子，其計算公式為:
[0047]R，l-Thrl-ThT(8)
[0048]由8式子可知，圖像的紋理越平滑，對應的圖像灰度起伏越小，圖像的二階矩越小，求得的R值越小；反之，圖像的紋理越粗糙，對應的圖像灰度起伏越大，圖像的二階矩越大，所求得的R值越大，其中σ為灰度直方圖二階矩陣的標準差。
[0049](2.8.2)三階矩μ 3是圖像直方圖偏斜度的度量，可以用來確定直方圖的對稱性；
[0050](2.8.3)四階矩μ 4可以表示直方圖的相對平整度；五階以上的矩和直方圖形的聯系度不大；
[0051]步驟3，特征融合；首先使用簡單連續特征融合策略將上述多種特征結合；然后使用核PCA算法從融合的特征集中提取出非線性特征，從而將融合的特征集降到一定的維數；具體步驟為:
[0052]3.1對于一個被給定的目標0，它在t時刻利用連續特征融合策略獲得的融合特征向量C表示為:
[0053]Ft0 = (V；',€")(9)
[0054]F/,是在t時刻目標O的融合特征，是在t時刻目標O的顏色直方圖特征，V；是除顏色直方圖外的其它特征。
[0055]3.2將特征向量 映射到一個高維的特征空間K (Ft°)，然后在K (Ft°)上實施PCA算
法，從而獲得最終的非線性特征；在特征映射到高維空間過程中，使用了高斯核函數；
[0056]步驟4，訓練學習以及分類識別；
[0057]通過改進決策森林，我們提出了 Boosting決策森林，它既有隨機森林的長處又兼有Boosting的優點,把單棵隨機森林的分類問題轉換多棵隨機森林全局損耗函數能量最小化問題；在訓練的過程中，為每個訓練樣本分配適當的權重，總是分類正確的樣本權值低，分類錯誤的樣本權值高，最終聚合多次訓練的弱分類器(也就是針對同一個訓練集訓練不同的分類器)。將最終提取的融合非線性特征送入Boosting決策森林中進行訓練學習，然后對街景目標進行分類識別，并且標注對應的標簽，最終完成對圖像的語義分割。
[0058]Boosting決策森林的訓練步驟:
[0059]需要數據:設置訓練標簽,訓練樹的最大層數Dmax，損耗函數選擇
為正切函數，d是訓練樹的當前層數(其中d = 1，2，...，Dfflax)。
[0060]輸出:由若干個弱分類器構成最終的分類器G(X)
[0061](4.1)初始化權重《I =去和根節點。
[0062](4.2)檢查所有節點是否符合停止分裂的條件，如果符合就停止分裂。
[0063]分裂函數s (X; O)有兩類參數組成，O1是特征維數且O1 e {1，...，M} O2是一個閾值且?2;如果=0，其它情況下80^;0) = 1，χ是訓練樣本。
[0064](4.3)如果不符合就分裂節點，并且更新權重W;，為下一次迭代做準備，權重公式如下。
【權利要求】
1.基于多特征融合與Boosting決策森林的街景圖像的語義分割方法,其特征在于該方法包括以下步驟: 步驟1，對圖像進行超像素分割；針對街景圖像所包含的對象比較復雜的特點，采用簡單線性迭代聚類SILC(simple linear iterative clustering)對圖像進行超像素分割；簡單線性迭代聚類是對3維的CIELAB顏色空間L、a、b和2維的位置信息特征進行操作，采用了新的距離衡量方法，通過調節參數來控制超像素塊的數目；無論在計算復雜度、控制超像素的尺寸和個數來看，簡單線性迭代聚類在現有方法中表現都是很好的。 簡單線性迭代聚類采用新的距離衡量D，表示如下:
【文檔編號】G06K9/62GK103984953SQ201410164575
【公開日】2014年8月13日 申請日期:2014年4月23日 優先權日:2014年4月23日
【發明者】王慧燕, 付建海 申請人:浙江工商大學