一種全局視差估計方法和系統的制作方法
【專利摘要】一種全局視差估計方法和系統，在進行匹配空間計算時，根據預設規則在圖像上選取采樣點，再根據約束條件進行第一匹配空間和第二匹配空間的計算。其中，采用的約束條件包括線性約束條件和基于采樣點的空間線束條件，所述線性約束條件為當前像素點與搜索點之間在顏色上的歐氏距離的約束，所述空間約束條件為搜索點與采樣點之間在顏色上的歐氏距離的約束，由于同時采用了上述兩個約束條件，使得計算出的匹配空間更加接近圖像中物體的邊緣，因此，能夠提高匹配空間計算的準確性，從而保證最終視差計算的準確度。
【專利說明】一種全局視差估計方法和系統
【技術領域】
[0001] 本申請涉及立體匹配圖像處理領域，具體涉及一種全局視差估計方法和系統。
【背景技術】
[0002] 在傳統視頻系統中，用戶只能被動的觀看由攝像機拍攝到的畫面，無法從其他視 角觀看不同視點的畫面，而多視角視頻（Multi-ViewVideo)則允許用戶從多個視點進行觀 看，增強了交互性及3D感官效果，在立體電視、視頻會議、自動導航、虛擬現實等領域有廣 泛的應用前景。然而，更強的交互性及感官效果也同時增加了視頻的數據量，對視頻的存儲 及傳輸等增加了負擔，如何解決此類問題已成為目前的研究熱點。
[0003] 立體匹配，也稱視差估計，是根據前端攝像機獲取的多目圖像數據（一般為雙 目），估計出對應圖像中的像素點間的幾何關系。利用視差估計，可以由一個視點的信息及 其深度（視差）信息得到對應視點的信息，從而減少了原始數據量，為多目視頻的傳輸及存 儲提供了便利。
[0004] 根據具體實現細節的不同，立體匹配方法可以大致分為局部立體匹配算法和全 局立體匹配算法（可參見ScharsteinD，SzeliskiR.Ataxonomyandevaluationof densetwo-framestereocorrespondencealgorithms[J].Internationaljournal ofcomputervision, 2002, 47 (1-3): 7-42.)。局部立體匹配算法準確性不高，但速度較 快，不利于實際應用；全局立體匹配算法是基于對全局的能量函數最優化得到視差結果， 其準確性較高，但速度較慢，不過，已有一些改進的全局立體匹配算法產生了與局部立 體匹配算法相當的速度，如快速置信傳播算法（可參見PedroF.Felzenszwalb，Daniel P.Huttenlocher.EfficientBeliefPropagationforEarlyVision.International JournalofComputerVisionOctober2006,Volume70,Issue1,pp41-54)。
[0005] 綜合上述敘述可知，立體匹配作為多視角視頻中的重要環節，已受到廣泛關注，并 有大量的立體匹配算法涌現。然而，立體匹配尚存在很多問題，特別是正確性和穩定性，需 要進一步提_。
【發明內容】
[0006] 根據本申請的第一方面，本申請提供了一種全局視差估計方法，包括：
[0007] 讀入第一視點圖像和第二視點圖像，第一視點圖像為從第一視點獲取的目標的圖 像，第二視點圖像為從第二視點獲取的目標的圖像；
[0008] 根據預設規則在第一視點圖像上選取采樣點；
[0009] 在第一視點圖上依次選取像素點作為當前像素點，以當前像素點為原點，沿第一 軸線正方向和負方向，以逐個像素點作為搜索點進行搜索，直到搜索到不滿足預設的約束 條件的點時停止，并將搜索到的滿足所述約束條件的所有點作為第一匹配點；分別以各個 第一匹配點為原點，沿第二軸線正方向和負方向，以逐個像素點作為搜索點進行探索，直到 搜索到不滿足預設的約束條件的點時停止，并將搜索到的滿足所述約束條件的所有點作為 第二匹配點；將第一匹配點和第二匹配點作為當前像素點的第一匹配空間；
[0010] 以當前像素點為原點，沿第二軸線正方向和負方向，以逐個像素點作為搜索點進 行搜索，直到搜索到不滿足預設的約束條件的點時停止，并將搜索到的滿足所述約束條件 的所有點作為第三匹配點；分別以各個第三匹配點為原點，沿第一軸線正方向和負方向，以 逐個像素點作為搜索點進行探索，直到搜索到不滿足預設的約束條件的點時停止，并將搜 索到的滿足所述約束條件的所有點作為第四匹配點；將第三匹配點和第四匹配點作為當前 像素點的第二匹配空間；
[0011] 所述約束條件包括線性約束條件和基于采樣點的空間約束條件，所述線性約束條 件為當前像素點與搜索點之間在顏色上的歐氏距離的約束，所述空間約束條件為搜索點與 采樣點之間在顏色上的歐氏距離的約束，所述第一軸線與第二軸線相互垂直；
[0012] 計算第一匹配空間內所有點的匹配代價之和，計算第二匹配空間內所有點的匹配 代價之和；
[0013] 根據第一匹配空間內所有點的匹配代價之和和第二匹配空間內所有點的匹配代 價之和計算初始視差，并篩選得到可靠點；
[0014] 對第一視點圖像和第二視點圖像進行圖像分塊；
[0015] 基于所述圖像分塊，并根據所述可靠點的初始視差分別計算第一視點圖像和第二 視點圖像內每個像素點的最終視差。
[0016] 在一實施例中，所述約束條件為：
【權利要求】
1. 一種全局視差估計系統，其特征在于，包括： 圖像讀入模塊，用于讀入第一視點圖像和第二視點圖像，第一視點圖像為從第一視點 獲取的目標的圖像，第二視點圖像為從第二視點獲取的目標的圖像； 匹配空間計算模塊，用于根據預設規則在第一視點圖像上選取采樣點后，在第一視點 圖上依次選取像素點作為當前像素點，以當前像素點為原點，沿第一軸線正方向和負方向， 以逐個像素點作為搜索點進行搜索，直到搜索到不滿足預設的約束條件的點時停止，并將 搜索到的滿足所述約束條件的所有點作為第一匹配點；分別以各個第一匹配點為原點，沿 第二軸線正方向和負方向，以逐個像素點作為搜索點進行探索，直到搜索到不滿足預設的 約束條件的點時停止，并將搜索到的滿足所述約束條件的所有點作為第二匹配點；將第一 匹配點和第二匹配點作為當前像素點的第一匹配空間； 以當前像素點為原點，沿第二軸線正方向和負方向，以逐個像素點作為搜索點進行搜 索，直到搜索到不滿足預設的約束條件的點時停止，并將搜索到的滿足所述約束條件的所 有點作為第三匹配點；分別以各個第三匹配點為原點，沿第一軸線正方向和負方向，以逐個 像素點作為搜索點進行探索，直到搜索到不滿足預設的約束條件的點時停止，并將搜索到 的滿足所述約束條件的所有點作為第四匹配點；將第三匹配點和第四匹配點作為當前像素 點的第二匹配空間； 所述約束條件包括線性約束條件和基于采樣點的空間約束條件，所述線性約束條件為 當前像素點與搜索點之間在顏色上的歐氏距離的約束，所述空間約束條件為搜索點與采樣 點之間在顏色上的歐氏距離的約束，所述第一軸線與第二軸線相互垂直； 匹配代價計算模塊，用于計算第一匹配空間內所有點的匹配代價之和，和計算第二匹 配空間內所有點的匹配代價之和； 初始視差計算模塊，用于根據第一匹配空間內所有點的匹配代價之和和第二匹配空間 內所有點的匹配代價之和計算初始視差，并篩選得到可靠點； 圖像分塊模塊，用于對第一視點圖像和第二視點圖像進行圖像分塊； 最終視差計算模塊，用于基于所述圖像分塊，并根據所述可靠點的初始視差計算第一 視點圖像和第二視點圖像內每個像素點的最終視差。
2. 如權利要求1所述的系統，其特征在于，所述約束條件為：
其中，h為像素點P到搜索點q的距離，像素點P為當前像素點，12為像素點P到采樣 點ei的距離，0lab(p,q)為像素點p與搜索點q在顏色上的歐氏距離，0lab(q,e)為搜索點q 與采樣點ei在顏色上的歐氏距離，為自定義參數，且kpkykpkywpwi。
3. 如權利要求1所述的系統，其特征在于，所述預設規則使得每個采樣點離其上、下、 左、右四個相鄰采樣點的距離為一預設距離。
4. 如權利要求1所述的系統，其特征在于，圖像讀入模塊還用于在讀入第一視點圖像 和第二視點圖像后，對第一視點圖像和第二視點圖像進行極線校正。
5. 如權利要求1所述的系統，其特征在于，還包括遮擋區域標記模塊，用于在所述圖 像分塊模塊對原始圖像進行圖像分塊后，最終視差計算模塊計算最終視差之前，標記圖像 中的遮擋區域，具體為：取第一視點圖像每個分塊在每一行中從左端開始的第一個可靠點 L(p)，根據點L(p)的視差dp算得其對應于第二視點圖像的點R(p-dp);在第二視點圖像中 從點R(p-dp-l)開始向左邊找到第一個可靠點Rq，找出其視差dq，算得點Rq對應于第一視 點圖像中的點L(q+dq)，水平的兩個點L(p)與L(q+dq)之間的點即為遮擋點。
6. 如權利要求1所述的系統，其特征在于，初始視差計算模塊根據第一匹配空間內所 有點的匹配代價之和和第二匹配空間內所有點的匹配代價之和，采用快速置信傳播全局算 法計算初始視差。
7. 如權利要求1-6任一項所述的系統，其特征在于，圖像分塊模塊對第一視點圖像和 第二視點圖像進行圖像分塊時： 圖像分塊模塊將第一視點圖像和第二視點圖像劃分為若干個圖像塊； 根據顏色對圖像塊進行合并：將像素點數量小于預設值的圖像塊與其相鄰圖像塊中顏 色最接近的圖像塊合并；和/或，判斷到兩個相鄰圖像塊顏色接近，且兩個圖像塊像素點數 量之和小于預設值時，將兩個圖像塊合并； 根據視差對圖像塊進行合并：將可靠點數量小于預設值的圖像塊與其相鄰圖像塊中顏 色最接近的圖像塊合并，所述可靠點為根據原始圖像中各像素點的初始視差篩選得到的； 和/或，判斷相鄰兩個圖像塊的視差變化是否平滑，如果是，則將兩個圖像塊合并。
8. 如權利要求7所述的系統，其特征在于，圖像分塊模塊將第一視點圖像和第二視點 圖像劃分為若干個圖像塊時：圖像分塊模塊基于superpixel顏色分塊將圖像劃分為若干 個圖像塊。
9. 如權利要求7所述的系統，其特征在于，圖像分塊模塊判斷相鄰兩個圖像塊的視差 變化是否平滑時： 圖像分塊模塊找出當前圖像塊S與其相鄰圖像塊Sk的邊界相鄰點對Ps (i)、Psk(i)，Ps⑴與Psk⑴為塊S與塊Sk的第i個相鄰點對； 以Ps(i)為中心搜索一個a*b的矩形方框，計算該方框中屬于塊S的可靠點的視差的 均值Vs(i)，以Psk⑴為中心搜索一個a*b的矩形方框，計算該方框中屬于塊Sk的可靠點的 視差的均值Vsk(i)，其中，a、b為預設的像素寬度； 當max|Vs (i)-Vsk⑴|〈j時，判斷為當前圖像塊S與其相鄰圖像塊Sk的視差變化平滑， 其中，iGWs;sk，Ws，sk為塊S與塊Sk邊界所有點對的下標集合，j為預設值。
10. -種全局視差估計方法，其特征在于，包括： 讀入第一視點圖像和第二視點圖像，第一視點圖像為從第一視點獲取的目標的圖像， 第二視點圖像為從第二視點獲取的目標的圖像； 根據預設規則在第一視點圖像上選取采樣點； 在第一視點圖上依次選取像素點作為當前像素點，以當前像素點為原點，沿第一軸線 正方向和負方向，以逐個像素點作為搜索點進行搜索，直到搜索到不滿足預設的約束條件 的點時停止，并將搜索到的滿足所述約束條件的所有點作為第一匹配點；分別以各個第一 匹配點為原點，沿第二軸線正方向和負方向，以逐個像素點作為搜索點進行探索，直到搜索 到不滿足預設的約束條件的點時停止，并將搜索到的滿足所述約束條件的所有點作為第二 匹配點；將第一匹配點和第二匹配點作為當前像素點的第一匹配空間； 以當前像素點為原點，沿第二軸線正方向和負方向，以逐個像素點作為搜索點進行搜 索，直到搜索到不滿足預設的約束條件的點時停止，并將搜索到的滿足所述約束條件的所 有點作為第三匹配點；分別以各個第三匹配點為原點，沿第一軸線正方向和負方向，以逐個 像素點作為搜索點進行探索，直到搜索到不滿足預設的約束條件的點時停止，并將搜索到 的滿足所述約束條件的所有點作為第四匹配點；將第三匹配點和第四匹配點作為當前像素 點的第二匹配空間； 所述約束條件包括線性約束條件和基于采樣點的空間約束條件，所述線性約束條件為 當前像素點與搜索點之間在顏色上的歐氏距離的約束，所述空間約束條件為搜索點與采樣 點之間在顏色上的歐氏距離的約束，所述第一軸線與第二軸線相互垂直； 計算第一匹配空間內所有點的匹配代價之和，計算第二匹配空間內所有點的匹配代價 之和； 根據第一匹配空間內所有點的匹配代價之和和第二匹配空間內所有點的匹配代價之 和計算初始視差，并篩選得到可靠點； 對第一視點圖像和第二視點圖像進行圖像分塊； 基于所述圖像分塊，并根據所述可靠點的初始視差分別計算第一視點圖像和第二視點 圖像內每個像素點的最終視差。
【文檔編號】G06T7/00GK104408710SQ201410604055
【公開日】2015年3月11日 申請日期:2014年10月30日 優先權日:2014年10月30日
【發明者】彭祎, 王榮剛, 王振宇, 高文, 董勝富, 王文敏, 趙洋 申請人:北京大學深圳研究生院