匹配代價計算方法和裝置、以及視差值計算方法和設備的制造方法
【技術領域】
[0001] 本申請一般地涉及數字圖像處理領域，更具體地，本申請涉及一種匹配代價計算 方法和裝置、以及視差值計算方法和設備。
【背景技術】
[0002] 立體匹配方法在諸如機器人、監控以及智能車輛等眾多領域中有著廣泛的應用。 通過立體匹配方法得到的視差信息（或稱之為，深度信息）可以用來估計圖像捕捉設備和 物體之間的相對距離。例如，以智能車輛為例，通過由立體匹配方法獲得的視差信息，可以 容易地檢測路面、白線和柵欄，進而檢測例如行人和車輛等目標并對目標進行分類，由此能 夠全面掌控車輛的整體行駛狀況。
[0003] 立體匹配方法的基本原理是對通過圖像捕捉設備（例如，立體相機）所拍攝的兩 個不同視角下（當雙目相機時）或更多個不同視角下（當多目相機時）同一物體的圖像進 行比較，通過尋找對應像素來計算圖像的像素點之間的位置偏差，從而得到視差信息，并依 據該視差信息來繪制視差圖像。
[0004] 常用的立體匹配方法包括局部立體匹配方法（例如，塊匹配方法）、全局立體匹配 方法（例如，動態規劃方法）、和半全局立體匹配方法（例如，半全局匹配（SGM)方法），其 通常都包含下面的四個步驟或其中的幾步：匹配代價計算、支持求和、視差計算/優化、和 視差改進，其中匹配代價計算是這幾個步驟中最為關鍵的步驟。
[0005] 通常來說，目前的匹配代價計算方法，對于待計算匹配代價的像素，選擇與其具有 相近屬性或處于其固定位置的相鄰像素，并且根據待計算匹配代價的像素及其相鄰像素所 包括的像素信息，來計算多視角圖像的對應像素之間的匹配代價。
[0006] 然而，由于在選擇相鄰像素的上述過程中沒有充分考慮所選擇的像素在相關圖像 中是否具有代表性信息，所以很可能會得到不可區分的匹配代價，進而在后續步驟中得到 錯誤的視差信息。
【發明內容】
[0007] 為了解決上述技術問題，根據本申請的一個方面，提供了一種匹配代價計算方法， 所述方法用于計算參考圖像中的參考像素與目標圖像中的目標像素之間的匹配代價，所述 參考圖像和所述目標圖像屬于一個原始圖像對，并且所述方法包括：在所述參考圖像中確 定用于所述參考像素的參考代表性像素集合，所述參考代表性像素集合包括所述參考像 素、和處于所述參考像素的第一預定鄰域中的并且其顯著程度大于閾值的至少一個像素； 在所述目標圖像中確定用于所述目標像素的目標代表性像素集合，所述目標代表性像素集 合包括所述目標像素、和處于所述目標像素的所述第一預定鄰域中的并且其顯著程度大于 所述閾值的至少一個像素；以及根據所述參考代表性像素集合中每一個像素的像素值、和 所述目標代表性像素集合中每一個像素的像素值，來計算所述參考像素與所述目標像素之 間的匹配代價。
[0008] 此外，根據本申請的另一方面，提供了一種視差值計算方法，所述方法用于計算參 考圖像中的參考像素與目標圖像中的匹配像素之間的視差值，所述參考圖像和所述目標圖 像屬于一個原始圖像對，并且所述方法包括：確定多個目標像素；針對每一個目標像素，分 別計算參考支持像素集合中每一個第一像素和與其對應的目標支持像素集合中對應第二 像素之間的匹配代價，所述參考支持像素集合包括在所述參考圖像中處于所述參考像素的 第二預定鄰域中的至少一個像素，并且所述目標支持像素集合包括在所述目標圖像中處于 所述目標像素的所述第二預定鄰域中的至少一個像素；針對每一個目標像素，通過對所計 算出的所有匹配代價進行求和來獲得所述參考像素與所述目標像素之間的總體匹配代價； 以及至少根據所述參考像素與所述多個目標像素之間的多個總體匹配代價來在所述多個 目標像素中確定所述匹配像素，從而確定所述參考像素與所述匹配像素之間的視差值，其 中，分別計算參考支持像素集合中每一個第一像素和與其對應的目標支持像素集合中對應 第二像素之間的匹配代價包括：在所述參考圖像中確定用于所述第一像素的第一代表性像 素集合，所述第一代表性像素集合包括所述第一像素、和處于所述第一像素的第一預定鄰 域中的并且其顯著程度大于閾值的至少一個像素；在所述目標圖像中確定用于所述第二像 素的第二代表性像素集合，所述第二代表性像素集合包括所述第二像素、和處于所述第二 像素的所述第一預定鄰域中的并且其顯著程度大于所述閾值的至少一個像素；以及根據所 述第一代表性像素集合中每一個像素的像素值、和所述第二代表性像素集合中每一個像素 的像素值，來計算所述第一像素與所述第二像素之間的匹配代價。
[0009] 根據本申請的又一方面，提供了一種匹配代價計算裝置，所述裝置用于計算參考 圖像中的參考像素與目標圖像中的目標像素之間的匹配代價，所述參考圖像和所述目標圖 像屬于一個原始圖像對，并且所述裝置包括：參考集合確定單元，用于在所述參考圖像中 確定用于所述參考像素的參考代表性像素集合，所述參考代表性像素集合包括所述參考像 素、和處于所述參考像素的第一預定鄰域中的并且其顯著程度大于閾值的至少一個像素； 目標集合確定單元，用于在所述目標圖像中確定用于所述目標像素的目標代表性像素集 合，所述目標代表性像素集合包括所述目標像素、和處于所述目標像素的所述第一預定鄰 域中的并且其顯著程度大于所述閾值的至少一個像素；以及匹配代價計算單元，用于根據 所述參考代表性像素集合中每一個像素的像素值、和所述目標代表性像素集合中每一個像 素的像素值，來計算所述參考像素與所述目標像素之間的匹配代價。
[0010] 根據本申請的又一方面，提供了一種視差值計算設備，所述設備用于計算參考圖 像中的參考像素與目標圖像中的匹配像素之間的視差值，所述參考圖像和所述目標圖像屬 于一個原始圖像對，并且所述設備包括：目標像素確定裝置，用于確定多個目標像素；匹配 代價計算裝置，用于針對每一個目標像素，分別計算參考支持像素集合中每一個第一像素 和與其對應的目標支持像素集合中對應第二像素之間的匹配代價，所述參考支持像素集合 包括在所述參考圖像中處于所述參考像素的第二預定鄰域中的至少一個像素，并且所述目 標支持像素集合包括在所述目標圖像中處于所述目標像素的所述第二預定鄰域中的至少 一個像素；總體代價獲得裝置，用于針對每一個目標像素，通過對所計算出的所有匹配代價 進行求和來獲得所述參考像素與所述目標像素之間的總體匹配代價；以及視差值計算裝 置，用于至少根據所述參考像素與所述多個目標像素之間的多個總體匹配代價來在所述多 個目標像素中確定所述匹配像素，從而確定所述參考像素與所述匹配像素之間的視差值， 其中，所述匹配代價計算裝置通過以下操作來分別計算參考支持像素集合中每一個第一像 素和與其對應的目標支持像素集合中對應第二像素之間的匹配代價：在所述參考圖像中 確定用于所述第一像素的第一代表性像素集合，所述第一代表性像素集合包括所述第一像 素、和處于所述第一像素的第一預定鄰域中的并且其顯著程度大于閾值的至少一個像素； 在所述目標圖像中確定用于所述第二像素的第二代表性像素集合，所述第二代表性像素集 合包括所述第二像素、和處于所述第二像素的所述第一預定鄰域中的并且其顯著程度大于 所述閾值的至少一個像素；以及根據所述第一代表性像素集合中每一個像素的像素值、和 所述第二代表性像素集合中每一個像素的像素值，來計算所述第一像素與所述第二像素之 間的匹配代價。
[0011] 與現有技術相比，本申請的實施例提供了一種匹配代價計算方法和裝置，其中將 支撐結構信息的概念引入到匹配代價計算過程中，這里支撐結構信息是指一些具有代表性 的相鄰像素。也就是說，在本申請的實施例中提供了一種基于支撐結構的匹配代價計算方 法，以用于立體匹配方法。在根據本申請實施例的匹配代價計算方法中，能夠在對于待計算 匹配代價的像素選擇相鄰像素的過程中，充分考慮所選擇的像素在相關圖像中是否具有代 表性信息，自適應地選擇具有代表性的相鄰像素，而不是簡單地選擇與其具有相近屬性或 處于其固定位置的相鄰像素，并且通過選擇這些具有代表性信息的相鄰像素，可以得到可 區分的匹配代價，進而在后續步驟中得到正確的視差信息。
[0012] 此外，本申請的實施例還提供了一種視差值計算方法和設備，其中將支撐結構信 息的概念引入到匹配代價計算過程中，能夠在對于待計算匹配代價的像素選擇相鄰像素的 過程中，充分考慮所選擇的像素在相關圖像中是否具有代表性信息，自適應地選擇具有代 表性的相鄰像素，而不是簡單地選擇與其具有相近屬性或處于其固定位置的相鄰像素，并 且通過選擇這些具有代表性信息的相鄰像素，可以得到可區分的匹配代價，進而將可區分 的匹配代價應用于各種立體匹配算法，從而得到了正確的視差信息。
[0013] 本申請的其它特征和優點將在隨后的說明書中闡述，并且，部分地從說明書中變 得顯而易見，或者通過實施本申請而了解。本申請的目的和其他優點可通過在說明書、權利 要求書以及附圖中所特別指出的結構來實現和獲得。
【附圖說明】
[0014] 附圖用來提供對本申請的進一步理解，并且構成說明書的一部分，與本申請的實 施例一起用于解釋本申請，并不構成對本申請的限制。在附圖中：
[0015] 圖1A是圖示了根據現有技術的基于絕對灰度差之和的匹配算法的原理圖。
[0016] 圖1B是圖示了根據現有技術的基于平方灰度差之和的匹配算法的原理圖。
[0017] 圖1C是圖示了根據現有技術的基于基本統計普查（Census)變換的匹配算法
[0018] 圖1D是圖示了根據現有技術的基于第一增強Census變換的匹配算法。
[0019] 圖1E是圖示了根據現有技術的基于第二增強Census變換的匹配算法。
[0020] 圖2A是圖示了根據由雙目相機在左側視角中拍攝到的左圖像的示意圖。
[0021] 圖2B是圖示了根據現有技術的基于第二增強統計普查變換的匹配算法所得到的 視差圖。
[0022] 圖3是圖示了根據本申請實施例的匹配代價計算方法的總體流程圖。
[0023] 圖4是圖示了根據本申請實施例第一具體示例的匹配代價計算方法的流程圖。
[0024] 圖5A是圖示了在第一情況下計算像素的顯著程度的示意圖。
[0025] 圖5B是圖示了在第二情況下計算像素的顯著程度的示意圖。
[0026] 圖6A是圖示了在第一情況下確定對應像素的示意圖。
[0027] 圖6B是圖示了在第二情況下確定對應像素的示意圖。
[0028] 圖7是圖示了根據本申請實施例第二具體示例的匹配代價計算方法的流程圖。
[0029] 圖8A是圖示了在第一情況下左圖像的Census變換結果的示意圖。
[0030] 圖8B是圖示了在第二情況下左圖像的Census變換結果的示意圖。
[0031] 圖9是圖示了根據本申請實施例的視差值計算方法的總體流程圖。
[0032] 圖10A是圖示了根據現有技術的基于第二增強統計普查變換的匹配算法所得到 的視差圖。
[0033] 圖10B是圖示了根據本申請實施例的視差值計算方法所得到的視差圖。
[0034] 圖11圖示了根據本申請實施例的匹配代價計算裝置的功能配置框圖。
[0035] 圖12圖示了根據本申請實施例的視差值計算設備的功能配置框圖。
[0036] 圖13圖示了根據本申請實施例的視差值計算系統的功能結構圖。
[0037] 圖14圖示了根據本申請實施例的用于視差值計算的硬件系統的總體硬件框圖。
【具體實施方式】
[0038] 將參照附圖詳細描述根據本申請的各個實施例。這里，需要注意的是，在附圖中， 將相同的附圖標記賦予基本上具有相同或類似結構和功能的組成部分，并且將省略關于它 們的重復描述。
[0039] 為了使本領域技術人員更好地理解本申請，將按下列順序來對本申請作進一步詳 細說明。
[0040] 1、現有技術的簡要介紹
[0041] 2、本申請的思想概述
[0042] 3、匹配代價計算方法
[0043] 3. 1、第一具體示例
[0044] 3. 2、第二具體示例
[0045] 4、視差值計算方法
[0046] 5、匹配代價計算裝置
[0047] 6、視差值計算設備
[0048]7、視差值計算系統
[0049] 8、用于視差值計算的硬件系統
[0050] 1、現有技術的簡要介紹
[0051] 在對本申請的實施例進行描述之前，為了便于理解，將首先簡要地介紹根據現有 技術的匹配代價計算方法的技術原理及其技術問題。
[0052] 作為立體匹配方法中的關鍵步驟，當前，主要存在兩類匹配代價計算方法，用于計 算多視角圖像的對應像素之間的匹配代價。下面，為了便于描述，將以通過圖像捕捉設備針 對同一物體所拍攝到的多視角圖像集合是僅僅包括參考圖像和目標圖像兩個圖像的原始 圖像對為例進行說明。
[0053] 第一類匹配代價計算方法可以利用參考圖像中某一個參考像素的信息、和與之具 有相近屬性的相鄰像素的信息、以及目標圖像中某一個目標像素的信息、和與之具有相近 屬性的相鄰像素的信息，來計算該參考像素與該目標像素之間的匹配代價。
[0054] 需要說明的是，在下面的描述中，在不對參考像素和目標像素進行區分時，可以簡 單地將兩者統稱為中心像素。
[0055] 具體地，作為第一類匹配代價計算方法的示例，在現有技術中存在一種基于灰度 相似性的匹配算法，其在選擇與中心像素具有相近屬性的相鄰像素時，根據灰度相似性來 對當前的中心像素構建一個連通的像素序列（即，一條自適應曲線），并且以此作為匹配元 素來執行三級匹配方法，從而計算出參考圖像與目標圖像中的中心像素之間的匹配代價。 換言之，該匹配算法利用灰度相似性來構建匹配元素，以選擇由與中心像素具有灰度相似 性的像素構建而