一種基于改進梯度和自適應窗口的立體匹配方法
【專利摘要】針對現有局部立體匹配算法精度不高以及易受幅度失真影響的問題，本發明提出了一種基于改進梯度和自適應窗口的立體匹配方法。首先在傳統梯度向量僅包含幅值信息的基礎上，引入相位信息，并對原始匹配代價進行變換，進一步消除異常值；然后采用一種基于十字交叉自適應窗口生成方法，可以根據相鄰像素的色彩和空間位置關系構建自適應窗口。在低紋理區域，提供較大的窗口以提高匹配精度；而在高紋理區域則產生較小的窗口，以保護物體邊緣等細節信息。對聚合后的代價，采用“勝者為王”(Winner-Takes-All(WTA))策略選擇使總代價最小對應的視差值作為初始匹配結果；最后，提出一種局部視差直方圖的視差精化方法，獲得了高精度的視差圖。實驗結果表明，所提方法匹配精度高，且對幅度失真條件具有較高的魯棒性。
【專利說明】一種基于改進梯度和自適應窗口的立體匹配方法
【技術領域】:
[0001]本發明涉及一種雙目圖像立體匹配獲取深度圖方法，特別涉及一種基于改進梯度和自適應窗口的立體匹配方法，本發明所獲得的深度圖結果可進一步應用于視覺測量、三維重構、虛擬視點圖像繪制等領域。
【背景技術】:
[0002]立體匹配是計算機視覺中的一個經典問題，一直是研究的熱點。多年來，研究者們提出了大量的算法試圖解決這個問題，但由于問題本身的病態性，目前還沒有比較完美的角軍決方案° Scharstein (參見 Daniel Scharstein, Richard Szelisk1.A taxonomy andevaluation of dense two-frame stereo correspondence algorithms[J].1nternationalJournal of Computer Vision, 2002, 47 (I):7-42.)等深入研究了 一些典型的立體匹配算法，對各種主要方法進行了較全面的綜述。他們把立體匹配過程概括為匹配代價計算、匹配代價聚合、初始視差計算和視差精化四步，并根據代價聚合方式把立體匹配算法劃分為局部方法和全局方法。全局方法一般有較高的匹配精度，但是效率較低；局部方法運行速度快，易于實現，但是如何選擇合適的支持窗口和像素的匹配代價計算方法是個難題(參見 YANG Qing-xiong.A non-local cost aggregation method for stereo matching [C].IEEEConference on Computer Vision and Pattern Recognition, 2012:1402-1409.)。
[0003]大多數立體匹配算法的相似性測度都是基于像素的灰度值，即兩幅圖像中的同一特征點在理想光照條件下應該具有相同的灰度值(參見王軍政，朱華建，李靜.一種基于Census變換的可變權值立體匹配算法[J],北京理工大學學報，2013，33 (7): 704-710.)。例如灰度差絕對值和(AD)、灰度差平方和(SD)、Adapt Weight (參見Yoon K, KweonS.Locally adaptive support weight approch for visual correspondence search[J].1EEE Transactions on Pattern Analysis and Machine Intelligence, 2006, 28 (4):924-931.)、Segment Support (參見 Tombari F, Mattoccia S.Segmentation based adaptivesupport for accurate stereo correspondence [C].1EEE Pacific Rim Symposium on Videoand Technology, 2007:427-438.)等對于理想圖像能夠獲得較高精度的匹配結果，但是這些方法對于由光照變化、曝光差異、相機暗角等因素引起的圖像幅度失真非常敏感，因此難以用于真實場景圖像的匹配。對幅度失真不敏感的匹配代價主要有歸一化互相關(NCC)、梯度(Gradient)(參見 Daniel Scharstein.View synthesis using stereovision.Phd thesis, 1997, 23 (5): 98-109.)、Rank 和 Census 變換(參見 Ramin Zabih, JohnWoodfil1.Non-parametric local transforms for computing visual correspondence [C].Proceedings of European Conference on Computer Vision, 1994:151-158.)等。
[0004]傳統的固定窗口存在變換窗口大小的選擇問題:若窗口太小，貝1J匹配代價區分度過低，在低紋理區域容易出現誤匹配；若窗口過大，又會在深度不連續區域出現誤匹配(參見周龍，徐貴力，李開宇等.基于Census變換和改進自適應窗口的立體匹配算法[J].航空學報，2012，33 (5):886-892.)。Fusiello 和 Roberto (參見 Fusiello A, RobertoV.Efficient stereo with multiple windowing[C].1EEE Computer Society Conference onComputer vision and Pattern Recognition, 1997:858-863.)提出在預先給定的多個窗P 中選擇最優窗 P 作為支持窗 P ；Veksler (參見 Veksler 0.Fast variable window forstereo correspondence using integral image[C].1EEE Computer Society Conferenceon Computer vision and Pattern Recognition, 2003:556-561.)提出逐點自適應選取支持窗口的形狀和大小；Zhang(參見 Zhang K.Cross-based local stereo matching usingorthogonal integral images [J].1EEE Transactions on Circuits and systems for VideoTechnology, 2009, 19(7): 1073-1079.)根據相鄰像素的色彩關系自適應選擇任意形狀和大小的支持窗口，取得較好的視差結果。
【發明內容】
:
[0005]針對上述匹配代價和窗口選擇問題，本發明提出了一種基于改進梯度匹配代價和自適應窗口的匹配方法。首先在傳統梯度匹配代價僅包含幅值信息的基礎上，引入梯度相位信息，并對原始匹配代價進行變換，進一步消除異常值；然后利用圖像結構和色彩信息構建自適應窗口進行代價聚合及“勝者為王”(Winner-Takes-All(WTA))策略進行視差選擇；最后，提出一種局部視差直方圖的視差精化方法，獲得了高精度的視差圖。
[0006]本發明要解決的技術問題是:
[0007]1.傳統局部匹配方法對圖像幅度失真魯棒性較低，在光照失真條件下匹配精度迅速降低的問題。
[0008]2.固定窗口的代價聚合方法難以在圖像低紋理和深度不連續區域同時獲得較高匹配精度的問題。
[0009]本發明解決其技術問題所采用的技術方案:基于改進梯度匹配代價和自適應窗口的匹配方法，其特征在于包括以下步驟:
[0010]步驟一:匹配代價計算:匹配代價是左右圖像之間對應點相似度的度量，利用梯度向量在圖像X、y方向的兩個分量，定義梯度向量的模m和相角《P?然后采用模和相角的線性結合作為匹配代價函數，以便最大限度利用梯度信息。最后利用Geman-McClure函數對原始匹配代價函數進行變換以消除異常代價值的影響。
[0011]步驟二:自適應窗口構造:對待匹配圖像的每個像素構造一個自適應大小的聚合窗口，窗口的大小將直接決定參與聚合的鄰域像素多少。本發明采用一種改進的十字交叉自適應窗口生成方法，可以根據相鄰像素的色彩和空間位置關系構建自適應窗口。在低紋理區域，提供較大的窗口以提高匹配精度；而在高紋理區域則產生較小的窗口，以保護物體邊緣等細節信息。
[0012]步驟三:代價聚合:確定每個像素的自適應窗口之后，需對窗口內每個單像素的原始匹配代價進行聚合獲得總代價，最后選擇使總代價最小對應的視差值作為初始匹配結果O
[0013] 步驟四:視差精化:通過上述步驟得到的初始視差與真實視差還存在一些誤匹配點和不可信值，需要進行視差精化處理。本發明提出一種基于局部視差直方圖的視差精化方法對初始視差圖進行進一步處理。然后，采用左右一致性檢驗檢測仍然存在的誤匹配點，利用相鄰有效點中視差較小的值對誤匹配點進行賦值。【專利附圖】
【附圖說明】:
[0014]圖1為本發明方法的流程圖。
[0015]圖2為自適應窗口構造過程示意圖。
[0016]圖3(a)為Tsukuba圖像對的實驗結果。
[0017]圖3(b)為Venus圖像對的實驗結果。
[0018]圖3(c)為Teddy圖像對的實驗結果。
[0019]圖3(d)為Cones圖像對的實驗結果。
[0020]圖4(a)為相同光照和曝光條件下的實驗結果。
[0021]圖4(b)為不同光照條件下的實驗結果。
[0022]圖4(c)為不同曝光條件下的實驗結果。
[0023]圖4(d)為不同光照和曝光條件下的實驗結果。
【具體實施方式】:
[0024]下面結合附圖及【具體實施方式】進一步詳細介紹本發明。
[0025]本發明提出了一種基于改進梯度匹配代價和自適應窗口的匹配方法，主要有四個步驟。
[0026]步驟一:匹配代價計算。具體實現方法如下:
[0027]圖像梯度定義為圖像沿X和y方向的一階偏導數:
【權利要求】
1.一種基于改進梯度和自適應窗口的立體匹配方法，其特征在于:該方法在傳統梯度匹配代價僅包含幅值信息的基礎上，引入梯度相位信息，并對原始匹配代價進行變換，進一步消除異常值；然后利用圖像結構和色彩信息構建自適應窗口進行代價聚合及“勝者為王”(Winner-Takes-All(WTA))策略進行視差選擇；最后，提出一種局部視差直方圖的視差精化方法，獲得了高精度的視差圖。方法具體步驟如下: 步驟一:匹配代價計算:匹配代價是左右圖像之間對應點相似度的度量，利用梯度向量在圖像x、y方向的兩個分量，定義梯度向量的模m和相角《P。然后采用模和相角的線性結合作為匹配代價函數，以便最大限度利用梯度信息。最后利用Geman-McClure函數對原始匹配代價函數進行變換以消除異常代價值的影響。 步驟二:自適應窗口構造:對待匹配圖像的每個像素構造一個自適應大小的聚合窗口，窗口的大小將直接決定參與聚合的鄰域像素多少。本發明采用一種改進的十字交叉自適應窗口生成方法，可以根據相鄰像素的色彩和空間位置關系構建自適應窗口。在低紋理區域，提供較大的窗口以提高匹配精度；而在高紋理區域則產生較小的窗口，以保護物體邊緣等細節信息。 步驟三:代價聚合:確定每個像素的自適應窗口之后，需對窗口內每個單像素的原始匹配代價進行聚合獲得總代價，最后選擇使總代價最小對應的視差值作為初始匹配結果。 步驟四:視差精化:通過上述步驟得到的初始視差與真實視差還存在一些誤匹配點和不可信值，需要進行視差精化處理。本發明提出一種基于局部視差直方圖的視差精化方法對初始視差圖進行進一步處理。然后，采用左右一致性檢驗檢測仍然存在的誤匹配點，利用相鄰有效點中視差較小的值對誤匹配點進行賦值。
2.根據權利要求1中所述的一種基于改進梯度和自適應窗口的立體匹配方法，其特征在于:所述步驟一的匹配代價應用改進的梯度代價，具體計算過程如下: 圖像梯度定義為圖像沿X和I方向的一階偏導數:
3.根據權利要求1中所述的一種基于改進梯度和自適應窗口的立體匹配方法，其特征在于:所述步驟二和步驟三應用改進的十字交叉自適應窗口生成方法，具體過程如下:首先，根據圖像結構和色彩信息確定當前待匹配像素P的一個十字交叉區域，該十字交叉區域包含水平和垂直方向，分別用H(P)和V(P)表示，區域的大小由4個方向的臂長{hp.h;,vp，v;}確定，并可根據圖像的結構和色彩信息自適應地改變。m;為例，臂長的判別準則如下: LDdpX ^和 Dc(PilPjao)XT1 ;
2.Ds (Pi, PXL1 ；
3.Dc (Pi, P)〈 τ 2，L2^Ds (pj, p) (L1。 其中，Ds (Pi, P)為像素Pi和P的空間距離差^(Pi, P)是色彩差，定義為Dv(Pi,p) =1€{ρ,)\) ； X ^ τ2, DL2，為預設的色彩閾值和距離閾值。準則I不僅限定了pjPp的色彩差異性，同時要求？1和其右側相鄰像素Pi+a，O)的色彩差異性小于T1，避免了臂長跨過邊界區域；準則2和3放寬了臂長范圍，在低紋理區域使用較大的距離閾值L1可以獲得較大的窗口 ；而當臂長超過預設值時L2時，將采用更嚴格的閾值、來保證臂長僅在顏色非常相近的低紋理區域擴展，使高紋理區域和深度不連續區域窗口不會過大。利用上述方法可分別確定4個臂長0,,V,,.<卜進而得到正交的十字交叉區域H(p)和 V (P):
4.根據權利要求1中所述的一種基于改進梯度和自適應窗口的立體匹配方法，其特征在于:所述步驟四提出了基于局部視差直方圖的視差精化方法，具體計算過程如下: 對于視差圖中某個像素P，以其為中心，在它的鄰域范圍內構造一個局部視差直方圖ΨΡ(?) ’統計領域內每個視差值出現的次數。在直方圖中將出現一個峰值，表示視差出現的最大次數。該峰值對應的視差值是統計意義上的最優視差值<，本發明采用這一最優值代替像素P的初始視差<、
【文檔編號】G06T7/00GK103996201SQ201410258432
【公開日】2014年8月20日 申請日期:2014年6月11日 優先權日:2014年6月11日
【發明者】祝世平, 李政 申請人:北京航空航天大學