Radar視差圖優化方法、立體匹配視差圖優化方法及系統的制作方法
【技術領域】
[0001] 本發明涉及立體匹配圖像處理技術領域，具體涉及一種RADAR視差圖優化方法、 立體匹配視差圖優化方法及系統。
【背景技術】
[0002] 在傳統視頻系統中，用戶只能被動的觀看由攝像機拍攝到的畫面，無法從其他視 角觀看到不同的畫面，而多視角視頻（Multi-View Video)則允許用戶從多個視點進行觀 看，增強了交互性及3D感官效果，在立體電視、視頻會議、自動導航、虛擬現實等領域有廣 泛的應用前景。然而，多視角視頻在增強交互性及感官效果的同時也增加了視頻的數據量， 對視頻存儲及傳輸等增加了負擔，如何解決此類問題已成為目前的研究熱點。
[0003] 立體匹配，也稱視差估計，是根據前端攝像機獲取的多目圖像數據(一般為雙目）， 估計出對應圖像中的像素點間的幾何關系。利用視差估計，可以由一個視點的信息及其深 度(視差）信息得到對應視點的信息，從而減少了原始數據量，為多目視頻的傳輸及存儲提 供了便利。
[0004] 根據具體實現細節的不同，立體匹配方法可以大致分為局部立體匹配算法和全 局立體匹配算法（可參見 Scharstein D, Szeliski R. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms[J]. International journal of computer vision, 2002, 47(1-3) :7-42.)。全局立體匹配算法是基于對全局的能量函數最 優化得到視差結果，其準確性較高但計算復雜度也很高，不利于實際應用；局部立體匹配算 法雖然準確性一般不如全局算法高，但其實施相對簡單方便，計算復雜度低，甚至可以達到 視差圖的實時獲取，因此獲得越來越多研究者的關注，同時，已有一些局部的方法產生了與 全局效果相當的視差結果。
[0005] 近年來，基于自適應權重的局部方法獲得了與全局相似的效果，其核心思想是通 過自適應權重描述窗口中心點與窗口內相鄰點間的相似性，權重越大則兩點越有可能屬于 同一個物體，進而具有相似的視差。然而此類方法的計算量太大。后來，Hosni等人提出了 一種線性的立體匹配方法（參見 Rhemann C, Hosni A, Bleyer M, et al. Fast cost-volume filtering for visual correspondence and beyond[C]//Computer Vision and Pattern Recognition(CVPR), 2011 ffiEE Conference on. IEEE, 2011:3017-3024·)，利用引導濾波器 (guided filter)作為聚合的方法，其計算復雜度與濾波窗口無關，并提出了一種新的聚 合方法，即對代價空間進行濾波，隨后出現了很多基于濾波的方法。但這些方法的主要工作 在于代價聚合階段，很少關注代價的測度及視差優化，在最終結果中仍然存在一些錯誤區 域，影響了視差圖的效果。
[0006] 綜合上述敘述可知，立體匹配作為多視角視頻中的重要環節，已受到廣泛關注，并 有大量的立體匹配算法涌現。然而，立體匹配尚存在很多問題，特別是基于濾波的局部方 法，需要進一步的提高性能。
【發明內容】
[0007] 本申請提出一種RADAR視差圖優化方法、立體匹配視差圖優化方法及系統，提高 視差圖的準確率。
[0008] 根據本申請的第一方面，本申請提供一種RADAR視差圖優化方法，包括步驟：獲 取顏色分塊圖：對初始圖像進行對比度增強并將其由RGB空間轉換為CIELab空間，通過 mean-shift顏色分割對CIELab空間進行顏色分塊得到顏色分塊圖；獲取視差圖邊緣信息： 接收所述初始圖像的初始視差圖，結合Canny算子提取初始視差圖中的視差圖邊緣信息； 視差圖優化：結合顏色分塊圖和視差圖邊緣信息進行不一致區域檢測得到問題區域圖，根 據問題區域圖對所述初始視差圖進行OccWeight修正并濾波得到最終視差圖。
[0009] 根據本申請的第二方面，本申請還提供一種立體匹配視差圖優化方法，包括步驟： 匹配代價計算：讀入經過極線校正的第一初始圖像和第二初始圖像，對第一初始圖像和第 二初始圖像分別通過代價函數計算匹配代價值并分別存入第一代價空間和第二代價空間 中；代價空間濾波：對第一代價空間和第二代價空間分別進行邊緣增強，并分別通過對稱 Guided Filter濾波聚合再通過WTA法得到第一初始視差圖和第二初始視差圖；RADAR視 差圖優化：對初始視差圖應用上述所述的RADAR視差圖優化方法的進行處理得到最終視差 圖。
[0010] 根據本申請的第三方面，本申請還提供一種立體匹配視差圖優化系統，包括：匹配 代價計算模塊、代價空間濾波模塊和RADAR視差圖優化模塊；所述匹配代價計算模塊讀入 經過極線校正的第一初始圖像和第二初始圖像，對第一初始圖像和第二初始圖像分別通過 代價函數計算匹配代價值并分別存入第一代價空間和第二代價空間中；所述代價空間濾波 模塊對第一代價空間和第二代價空間分別進行邊緣增強，并分別通過對稱Guided Filter 濾波聚合再通過WTA法得到第一初始視差圖和第二初始視差圖；所述RADAR視差圖優化模 塊對初始視差圖應用上述所述的RADAR視差圖優化方法進行處理得到最終視差圖。
[0011] 本申請的方法，結合顏色分塊圖和視差圖邊緣信息進行不一致區域檢測得到問題 區域圖，根據問題區域圖對初始視差圖進行OccWeight修正并濾波得到最終視差圖，降低 了錯誤率，提高了最終視差圖的準確率。
【附圖說明】
[0012] 圖1為本申請中立體匹配的框架圖；
[0013] 圖2為本申請中代價空間濾波的流程圖；
[0014] 圖3為本申請中基于RADAR的視差優化流程圖；
[0015] 圖4為本申請中交叉區域構造示例圖；
[0016] 圖5為本申請中視差優化性能對比圖；
[0017] 圖6為本申請中Middlebury測試集實驗結果圖；
[0018] 圖7為本申請中Middlebury排名結果圖；
[0019] 圖8為本申請中實際場景序列對比結果圖。
【具體實施方式】
[0020] 下面通過【具體實施方式】結合附圖對本發明作進一步詳細說明。
[0021] 本申請中所用到的縮寫詞解釋
[0022] MCCT !Modified Color Census Transform，改進的彩色空間 census 變換；其表達 式請見公式2、3 ;
[0023] ADc !Absolute Difference in Color space，截斷的彩色空間絕對值差；
[0024] LRC ：Left-Right consistency Check, 一致性檢測；
[0025] RADAR !Remaining Artifacts Detection and Refinement，剩余錯誤點檢測及優 化；
[0026] MOW !Modified OccWeight，改進的 OccWeight ;
[0027] WTA :winner-takes_all，勝者為王。
[0028] 本申請中的RADAR視差圖優化方法，包括步驟：
[0029] 獲取顏色分塊圖：對初始彩色圖像進行對比度增強并將其由RGB空間轉換為 CIELab空間，通過mean-shift顏色分割對CIELab空間進行顏色分塊得到顏色分塊圖；
[0030] 獲取視差圖邊緣信息：接收初始圖像的初始視差圖，結合Canny算子提取初始視 差圖中的視差圖邊緣信息；
[0031] 視差圖優化：結合顏色分塊圖和視差圖邊緣信息進行不一致區域檢測得到問題 區域圖，根據問題區域圖對初始視差圖進行OccWeight修正并濾波得到最終視差圖。
[0032] 具體的,進行OccWeight修正時采用交叉窗口進行相似點選取，并將更新后的點 作為可靠點參與其他點的更新過程，濾波時采用中值濾波器。步驟：獲取視差圖邊緣信息 中，接收到初始視差圖時還對初始視差圖進行初始處理，具體為：對接收到的第一初始視差 圖和第二初始視差圖進行一致性檢測查找錯誤點；通過交叉區域投票法修正初始視差圖中 的錯誤點視差值；再通過加權中值濾波處理。
[0033] 本申請中的立體匹配視差圖優化方法，包括步驟：
[0034] 匹配代價計算：讀入經過極線校正的第一初始圖像和第二初始圖像，對第一初始 圖像和第二初始圖像分別通過代價函數計算匹配代價值并分別存入第一代價空間和第二 代價空間中；具體的，讀入經過極線校正的第一初始圖像和第二初始圖像，對第一初始圖像 在第二初始圖像的第一視差范圍中通過代價函數計算第一視差范圍中的每個點與第一初 始圖像的第一匹配代價值，將第一匹配代價值存入第一代價空間中；對第二初始圖像在第 一初始圖像的第二視差范圍中通過代價函數計算第二視差范圍中的每個點與第二初始圖 像的第二匹配代價值，將第二匹配代價值存入第二代價空間中。
[0035] 代價空間濾波：對第一代價空間和第二代價空間分別進行邊緣增強，并分別通過 對稱Guided Filter (引導濾波器）濾波聚合再通過WTA法得到第一初始視差圖和第二初 始視差圖；具體的，對第一代價空間和第二代價空間分別進行邊緣增強，并通過對稱Gui