ded Filter對第一代價空間中的每一個切片進行濾波聚合再通過WTA法篩選視差值得到第一 初始視差圖；通過對稱Guided Filter對第二代價空間中的每一個切片進行濾波聚合再通 過WTA法篩選視差值得到第二初始視差圖；切片為視差值所對應的與初始彩色圖像尺寸相 同的代價圖。
[0036] 視差圖初始處理：對第一初始視差圖和第二初始視差圖進行一致性檢測查找錯誤 點，通過交叉區域投票法修正初始視差圖中的錯誤點視差值，再通過加權中值濾波。
[0037] RADAR視差圖優化：通過RADAR視差圖優化法對進行視差圖初始處理后的視差圖 進行進一步處理得到最終視差圖。如進行視差圖初始處理時是針對第一初始視差圖進行交 叉區域投票法修正錯誤點視差值并通過加權中值濾波，則得到的最終視差圖與第一初始視 差圖對應；同理，針對第二初始視差圖進行交叉區域投票法修正錯誤點視差值并通過加權 中值濾波，則得到的最終視差圖與第二初始視差圖對應。
[0038] 其中，代價函數至少由MCCT代價項、截斷的ADc代價項和截斷的雙向梯度代價項 加權構成。進行MCCT的代價項計算時，分別對第一初始圖像和第二初始圖像進行GCM變 換，并分別通過MCCT計算得到第一比特串和第二比特串；通過魯棒的指數函數對第一比特 串和第二比特串的漢明距離進行歸一化得到MCCT的代價項。進行截斷的ADc代價項計算 時，通過第一限定閾值對第一初始圖像和第二初始圖像的RGB絕對值差的均值進行截斷得 到截斷的ADc代價項。進行截斷的雙向梯度代價項計算時，通過第二限定閾值對第一初始 圖像和第二初始圖像在水平和堅直方向的梯度差進行截斷得到截斷的雙向梯度代價項。其 中，第一初始圖像和第二初始圖像為通過雙目攝像機拍攝得到的雙目序列中的彩色圖像， 或者是單目攝像機在一定水平位移下拍攝得到的兩幅彩色圖像。
[0039] 本申請中的立體匹配視差圖優化系統，請參照圖1，包括：匹配代價計算模塊、代 價空間濾波模塊和RADAR視差圖優化模塊；匹配代價計算模塊讀入經過極線校正的第一初 始圖像和第二初始圖像，對第一初始圖像和第二初始圖像分別通過代價函數計算匹配代價 值并分別存入第一代價空間和第二代價空間中；代價空間濾波模塊對第一代價空間和第二 代價空間分別進行邊緣增強，并分別通過對稱Guided Filter濾波聚合再通過WTA法得到 第一初始視差圖和第二初始視差圖；RADAR視差圖優化模塊對初始視差圖應用上述所述的 RADAR視差圖優化方法進行處理得到最終視差圖。
[0040] 實施例一
[0041] 本例中的立體匹配視差圖優化方法，其中第一初始圖像和第二初始圖像分別選取 雙目攝像機拍攝得到的雙目序列中的圖像中的左圖和右圖，并以左圖作為參考圖進行說 明，即對左圖進行立體匹配（即視差估計)，對于右圖估計方法相同。具體過程如下：
[0042] (1)讀入兩幅圖像，這兩幅圖像是通過雙目攝像機拍攝得到的雙目序列中的圖像， 分別為左圖和右圖，在其他實施例中，第一初始圖像和第二初始圖像還可以是單目攝像機 在一定水平位移下拍攝得到的兩幅圖像，這兩幅圖像均為彩色圖像，且已經過極線校正，即 兩幅圖的極線（epipolar line)是水平平行的，便于后續進行匹配代價計算，若輸入的兩幅 圖像未經過極線校正，則進行極線校正后再作為輸入。
[0043] (2)匹配代價計算
[0044] 獲得兩幅輸入圖像后，進入立體匹配過程，首先計算匹配代價。對于左圖中的某一 點P，在右圖的視差范圍D內進行匹配，計算視差范圍內所有點與左圖中點P的匹配代價， 視差范圍D是搜索范圍，也即視差值的取值范圍，且該視差范圍是與點p在同一條掃描線 (極線）上的，由于左圖和右圖已做過校正，極線是水平平行的，因此此處的掃描線即水平方 向的線段。匹配代價的計算通過代價函數得到，本例中的代價函數為混合代價函數，該混合 代價函數由三部分組成：一個改進的彩色空間census變換(縮寫為MCCT，Modified Color Census Transform,后續簡稱MCCT)、一個截斷的彩色空間絕對值差(縮寫為ADc，Absolute Difference in Color space,后續簡稱ADc)、一個截斷的雙向梯度，各部分的具體計算如 下所示：
[0045] (2. I) MCCT代價項的計算
[0046] 傳統的census變換的使用場景大都是在灰度圖上進行，而這樣丟失了顏色分量 所表達的信息，因此本發明使用一種改進的彩色空間census變換，即MCCT。首先，將左圖和 右圖由RGB空間利用高斯顏色模型(縮寫為GCM，Gaussian Color Model，后續簡稱GCM)進 行變換，以消除對光照等因素的敏感性，具體變換公式如下所示：
【主權項】
1. 一種RADAR視差圖優化方法，其特征在于，包括步驟： 獲取顏色分塊圖：對初始圖像進行對比度增強并將其由RGB空間轉換為CffiL油空間， 通過mean-shift顏色分割對CffiL油空間進行顏色分塊得到顏色分塊圖； 獲取視差圖邊緣信息：接收所述初始圖像的初始視差圖，結合Canny算子提取初始視 差圖中的視差圖邊緣信息； 視差圖優化；結合顏色分塊圖和視差圖邊緣信息進行不一致區域檢測得到問題區域 圖，根據問題區域圖對所述初始視差圖進行OccWei曲t修正并濾波得到最終視差圖。
2. 如權利要求1所述的RADAR視差圖優化方法，其特征在于，進行OccWei曲t修正時采 用交叉窗口進行相似點選取。
3. 如權利要求1所述的RADAR視差圖優化方法，其特征在于，進行OccWei曲t修正濾波 時采用中值濾波器。
4. 如權利要求1所述的RADAR視差圖優化方法，其特征在于，步驟：獲取視差圖邊緣信 息中，接收到初始視差圖時還對初始視差圖進行初始處理，具體為：對接收到的第一初始視 差圖和第二初始視差圖進行一致性檢測查找錯誤點；通過交叉區域投票法修正初始視差圖 中的錯誤點的視差值；再通過加權中值濾波處理。
5. -種立體匹配視差圖優化方法，其特征在于，包括步驟： 匹配代價計算：讀入經過極線校正的第一初始圖像和第二初始圖像，對第一初始圖像 和第二初始圖像分別通過代價函數計算匹配代價值并分別存入第一代價空間和第二代價 空間中； 代價空間濾波：對第一代價空間和第二代價空間分別進行邊緣增強，并分別通過對稱 Guided Filter濾波聚合再通過WTA法得到第一初始視差圖和第二初始視差圖； RADAR視差圖優化；對初始視差圖應用權利要求1-3中任一項所述的RADAR視差圖優 化方法進行處理得到最終視差圖。
6. 如權利要求5所述的方法，其特征在于，進行RADAR視差圖優化前包括步驟；視差圖 初始處理；對所述第一初始視差圖和第二初始視差圖進行一致性檢測查找錯誤點，通過交 叉區域投票法修正初始視差圖中的錯誤點視差值，再通過加權中值濾波。
7. 如權利要求5所述的方法，其特征在于，所述代價函數至少由MCCT代價項、截斷的 ADc代價項和截斷的雙向梯度代價項加權構成；進行MCCT的代價項計算時，分別對第一初 始圖像和第二初始圖像進行GCM變換，并分別通過MCCT計算得到第一比特串和第二比特 串，通過魯棒的指數函數對第一比特串和第二比特串的漢明距離進行歸一化得到MCCT的 代價項。
8. 如權利要求7所述的方法，其特征在于，進行截斷的ADc代價項計算時，通過第一限 定闊值對第一初始圖像和第二初始圖像的RGB絕對值差的均值進行截斷得到截斷的ADc代 價項。
9. 如權利要求7所述的方法，其特征在于，進行截斷的雙向梯度代價項計算時，通過第 二限定闊值對第一初始圖像和第二初始圖像在水平和豎直方向的梯度差進行截斷得到截 斷的雙向梯度代價項。
10. -種立體匹配視差圖優化系統，其特征在于，包括：匹配代價計算模塊、代價空間 濾波模塊和RADAR視差圖優化模塊；所述匹配代價計算模塊讀入經過極線校正的第一初始 圖像和第二初始圖像，對第一初始圖像和第二初始圖像分別通過代價函數計算匹配代價值 并分別存入第一代價空間和第二代價空間中；所述代價空間濾波模塊對第一代價空間和第 二代價空間分別進行邊緣增強，并分別通過對稱Guided Filter濾波聚合再通過WTA法得 到第一初始視差圖和第二初始視差圖；所述radar視差圖優化模塊對初始視差圖應用權利 要求1-4中任一項所述的RADAR視差圖優化方法進行處理得到最終視差圖。
【專利摘要】本申請公開了一種RADAR視差圖優化方法、立體匹配視差圖優化方法及系統，其中RADAR視差圖優化方法包括步驟：獲取顏色分塊圖：對初始圖像進行對比度增強并將其由RGB空間轉換為CIELab空間，通過mean-shift顏色分割對CIELab空間進行顏色分塊得到顏色分塊圖；獲取視差圖邊緣信息：接收初始圖像的初始視差圖，結合Canny算子提取初始視差圖中的視差圖邊緣信息；視差圖優化；結合顏色分塊圖和視差圖邊緣信息進行不一致區域檢測得到問題區域圖，根據問題區域圖對初始視差圖進行OccWeight修正并濾波得到最終視差圖。通過本申請的方法對初始視差圖進行優化后，降低了錯誤率，提高了最終視差圖的準確率。
【IPC分類】G06T7-00, G06T5-50
【公開號】CN104680510
【申請號】CN201310698887
【發明人】焦劍波, 王榮剛, 王振宇, 高文, 王文敏, 董勝富
【申請人】北京大學深圳研究生院
【公開日】2015年6月3日
【申請日】2013年12月18日