專利名稱：產生視差圖的方法和裝置及其立體匹配方法和裝置的制作方法
技術領域：
本發明通常涉及用于從立體圖像獲得三維圖像的技術，具體地說，涉及從立體圖像產生視差圖的方法和裝置及其立體匹配方法和裝置。
背景技術：
立體匹配技術用于從立體圖像獲得三維(3D)圖像。此外，立體匹配技術用于從在同一直線上的不同位置拍攝的對象的多個二維(2D)圖像獲得3D圖像。立體圖像是從不同位置拍攝的對象的一對2D圖像。
在傳統技術中，為了從2D圖像產生3D圖像，需要與深度信息相應的z坐標以及與垂直位置信息和水平位置信息相應的x坐標和y坐標。需要立體圖像的視差信息以計算z坐標。立體匹配技術用于獲得視差。例如，如果立體圖像是左右兩個相機拍攝的左圖像和右圖像，則左圖像和右圖像中的一個被設置為參考圖像而另一圖像被設置為搜索圖像。在這種情況下，對于空間中的相同點，參考圖像和搜索圖像之間的距離(即，坐標差)被稱為視差。使用立體匹配技術獲得視差。
對于所有像素，使用參考圖像和搜索圖像之間的視差從像素深度信息產生3D坐標表示的視差圖。
將在此簡要描述傳統技術中用于計算參考圖像和搜索圖像之間的視差的立體匹配技術的示例。首先，設置以參考圖像的參考像素為中心的預定大小參考像素窗口。對于搜索圖像，與參考像素窗口具有相同大小的搜索像素窗口被設置以搜索像素為中心。在參考圖像的像素中，參考像素用于當前從搜索圖像搜索相應點。在搜索圖像的像素中，搜索像素用于當前確定其是否被映射到對于參考像素的相應點。窗口具有由中心像素和中心像素周圍的外圍像素形成的矩陣。
計算參考像素窗口和每個搜索像素窗口內的像素之間的相似度。搜索像素窗口中與參考像素窗口具有最大相似度值的搜索像素窗口的搜索像素被定義為映射到相應點的相應像素。將視差計算為參考像素和相應像素之間的距離。
為了計算參考像素窗口和每個搜索像素窗口內的像素之間的相似度，使用計算并比較參考像素窗口內的像素的平均值和每個搜索像素窗口內的像素的平均值的方法。
用于計算并比較參考像素窗口內的像素的平均值和每個搜索像素窗口內的像素的平均值的處理需要增加處理時間，并且使用量增加的存儲器被采用，以獲得參考圖像和搜索圖像之間的視差。簡單地，因為計算并比較窗口內所有像素值的平均值，所以應該存儲窗口內所有像素值及其平均值，從而增加了存儲器的使用量和處理時間。此外，因為對于圖像的所有像素應該搜索所有相應像素，所以顯著增加了存儲器的使用量和處理時間。
可選地，在諸如移動通信終端的小產品的各種移動終端中采用的嵌入式系統具有很多限制，即，電源容量小、處理器計算速率低和存儲器容量小。在實踐中，在嵌入式系統中很難采用需要大存儲器使用量和長處理時間的功能。
在不同于計算機的嵌入式系統中，很難采用用于從立體圖像獲得3D圖像以使用3D圖像的各種功能。
發明內容
因此，本發明提供一種用于產生視差圖的方法和裝置及其立體匹配方法和裝置，能夠減少從立體圖像獲得3D圖像需要的存儲器使用量和處理時間。
此外，本發明提供一種立體匹配方法和裝置，能夠簡單地實現立體圖像的立體匹配處理。本發明提供一種視差圖產生方法和裝置，能夠簡單地從立體圖像產生視差圖。
根據本發明的一方面，提供一種立體匹配技術從立體圖像提取邊緣圖像；從映射到能夠在預定大小窗口內出現的預定邊緣形式的預定邊罩中搜索與參考邊緣像素相關的窗口的邊緣形式匹配的邊罩，所述預定大小窗口以邊緣圖像的參考邊緣圖像的邊緣像素中的參考邊緣像素為中心；以及從邊緣圖像的搜索邊緣圖像的邊緣像素中搜索位于窗口的中心的邊緣像素，并且將搜索的邊緣像素設置為映射到對參考邊緣像素的相應點的相應邊緣像素，所述窗口具有與搜索的邊罩匹配的邊緣形式。
根據本發明的另一方面，提供一種視差圖產生技術基于參考邊緣圖像的邊緣像素和與其映射的搜索邊緣圖像的相應邊緣像素之間的距離來產生邊緣圖像視差圖；以及通過使用邊緣圖像視差圖的邊緣像素之間的內差補償非邊緣圖像區的視差圖來產生最終視差圖。
在參考邊緣圖像的邊緣像素中，參考邊緣像素用于當前從搜索邊緣圖像搜索相應邊緣像素。
通過下面結合附圖進行的詳細描述，本發明的上述和其它特點和優點將會變得更加容易理解，其中圖1是示出根據本發明的用于產生視差圖的裝置的框圖；圖2是示出根據本發明的用于產生視差圖的處理的流程圖；圖3是示出根據本發明的立體匹配處理的流程圖；圖4示出根據本發明的邊罩的示例；以及圖5A和圖5B示出根據本發明的以邊緣形式匹配的示例。
具體實施例方式
下面將參照附圖在此詳細描述本發明的優選實施例。在下面的描述中，為了簡明和清楚，將省略對本領域的技術人員公知的合并于此的功能和結構的詳細描述。此外，將描述立體圖像是左相機和右相機拍攝的左圖像和右圖像的示例。
圖1是示出根據本發明的用于產生視差圖的裝置的框圖。所述裝置設置有第一邊緣提取器100和第二邊緣提取器102、邊緣立體匹配器104、邊緣視差圖產生器106和視差圖補償器108。
參照圖2，將在此描述用于產生視差圖的裝置。第一邊緣提取器100和第二邊緣提取器102接收立體圖像。立體圖像是與從不同位置拍攝的對象的二維(2D)圖像相應的一對左圖像和右圖像。
參照圖2，第一邊緣提取器100和第二邊緣提取器102執行圖2的步驟200。第一邊緣提取器100接收與立體圖像相應的左圖像和右圖像中的左圖像，并提取邊緣圖像。第二邊緣提取器102接收與立體圖像相應的左圖像和右圖像中的右圖像，并提取邊緣圖像。在這里，第一邊緣提取器100和第二邊緣提取器102提取的邊緣圖像被分別稱為左邊緣圖像和右邊緣圖像。由形成左圖像和右圖像的輪廓的邊緣像素來構成左邊緣圖像和右邊緣圖像。將提取的左邊緣圖像和右邊緣圖像輸入到邊緣立體匹配器104。其后，邊緣立體匹配器104執行圖2的步驟202。邊緣立體匹配器104執行用于左邊緣圖像和右邊緣圖像的邊緣立體匹配處理。圖3是示出根據本發明的立體匹配處理的流程圖。參照圖3，左邊緣圖像和右邊緣圖像中的一個被稱為參考邊緣圖像，另一個被稱為搜索邊緣圖像。此外，圖3示出對于參考邊緣圖像的邊緣像素中的一個參考邊緣像素從搜索邊緣圖像的邊緣像素中搜索相應邊緣像素的處理。為了對于參考邊緣圖像的所有邊緣像素搜索相應邊緣像素，邊緣立體匹配器104將圖3的處理重復與參考邊緣圖像的邊緣像素的數量相應的次數。此外，當對于參考邊緣圖像的邊緣像素搜索搜索邊緣圖像的相應邊緣像素時，例如，如傳統情況，從第一掃描行依次執行搜索，并在一掃描行從第一邊緣像素依次執行搜索。
在參考邊緣圖像的邊緣像素中，參考邊緣像素用于當前從搜索邊緣圖像搜索相應點。在搜索邊緣圖像的邊緣像素中，搜索邊緣像素用于當前確定其是否被映射到對于參考邊緣像素的相應點。
首先，在圖3的步驟300，邊緣立體匹配器104對于參考邊緣圖像的邊緣像素中的參考邊緣像素設置預定大小的參考邊緣像素窗口。然后，在步驟302，邊緣立體匹配器104將預定數量的不同邊罩(edge mask)中的第一邊罩應用于參考邊緣像素窗口，并且在步驟304，確定參考邊緣像素窗口的邊緣形式與應用的邊罩的邊緣形式是否匹配。如果參考邊緣像素窗口的邊緣形式與應用的邊罩的邊緣形式不匹配，則在步驟306，邊緣立體匹配器104將參考邊緣像素窗口的邊罩改變為不同的邊罩，并且應用該不同的邊罩。其后，邊緣立體匹配器104返回步驟304，以確定參考邊緣像素窗口的邊緣形式與應用的邊罩的邊緣形式是否匹配。使用上述處理，找到與參考邊緣像素窗口的邊緣形式匹配的邊罩。
窗口具有由與參考邊緣像素相應的中心像素和中心像素周圍的外圍像素形成的矩陣。預定映射到能夠在窗口內出現的預定邊緣形式的邊罩。將窗口大小設置為等于邊罩大小。水平像素的數量乘以垂直像素的數量的大小被預定為一個大小，例如，3×3、7×7、9×9等。由于窗口或邊罩大小被放大，因此能夠正確地搜索相應邊緣像素，但是因為將被處理的像素的數量增加，所以處理量和時間增加。因此，在考慮本發明中將采用的系統的性能的同時，應該在設計時適當地定義窗口和邊罩大小。
圖4示出將垂直邊罩400、水平邊罩402、X形邊罩404、鉆石形邊罩406、向上邊罩408、向下邊罩410和全邊罩412定義為邊罩的示例。此外，圖4示出這樣一種示例，其中，邊罩大小是3×3，即，由一個中心像素和中心像素周圍的8個外圍像素指定3×3的窗口大小。在每個邊罩的9個點中，例如，陰影點具有邏輯值“1”，空白點具有邏輯值“0”。
在上述罩中，當垂直地形成以參考邊緣像素為中心的窗口內的邊緣時，垂直邊罩400用于搜索相應邊緣像素。當水平地形成以參考邊緣像素為中心的窗口內的邊緣時，水平邊罩402用于搜索相應邊緣像素。當以參考邊緣像素為中心的窗口內的邊緣形成X形時，X形邊罩404用于搜索相應邊緣像素。當以參考邊緣像素為中心的窗口內的邊緣形成鉆石形時，鉆石形邊罩406用于搜索相應邊緣像素。當以向上的方向且不是以垂直方向形成以參考邊緣像素為中心的窗口內的邊緣時，向上邊罩408用于搜索相應邊緣像素。當以向下的方向且不是以垂直方向形成以參考邊緣像素為中心的窗口內的邊緣時，向下邊罩410用于搜索相應邊緣像素。當以參考邊緣像素為中心的窗口內的所有像素都是邊緣時，全邊罩412用于搜索相應邊緣像素。
因此，在步驟302至306，直到從如圖4的示例所示的多個不同的預定邊罩中找到與參考邊緣像素窗口匹配的邊罩，才從第一邊罩開始依次執行匹配檢查。
當邊罩被應用于參考邊緣像素窗口時，將描述匹配檢查的示例。例如，當參考邊緣像素窗口的邊緣形式是垂直的時，能夠出現包括圖5A的示例的各種情況。當應用圖4的垂直邊罩400時，獲得圖5B所示的結果。在圖5A和圖5B中，“0”是邏輯值“0”，“1”是邏輯值“1”。如果應用邊罩，則意味著基于逐個像素地對參考邊緣像素和邊罩執行“和”運算。當參考邊緣像素窗口具有如圖5A中的(a)～(d)所示的垂直邊緣形式，并應用垂直邊罩400時，如圖5B所示，結果基本上等于垂直邊罩400的值。這是參考邊緣像素窗口與垂直邊罩400的邊緣形式匹配的情況。因為通過參照上述示例能夠容易地理解與剩余邊緣形式相關的邊罩應用和匹配檢查，所以省略進一步的描述。
在步驟308，如果在步驟302至306的處理中已經搜索到與參考邊緣像素窗口的邊緣形式匹配的邊罩，則將匹配邊罩設置為搜索罩。
在步驟310，以與在步驟300設置參考邊緣像素的窗口的方式相同的方式來設置搜索邊緣圖像的邊緣像素中的搜索邊緣像素的窗口。
在步驟312，將搜索罩應用于搜索邊緣像素窗口。在步驟314，對搜索邊緣像素窗口的邊緣形式與搜索罩的邊緣形式是否匹配進行確定。如果搜索邊緣像素窗口的邊緣形式與搜索罩的邊緣形式不匹配，則在步驟316，搜索邊緣圖像的下一邊緣像素(即，掃描行上當前搜索邊緣像素的下一邊緣像素)被設置為搜索邊緣像素，然后，再次執行步驟310。在這里，以與將邊罩應用于參考邊緣像素窗口并對邊緣形式是否匹配進行確定的方式相同的方式，來執行將搜索罩應用于搜索邊緣像素窗口并確定邊緣形式是否匹配的處理。通過上述處理，找到與搜索罩匹配的邊緣形式的搜索邊緣像素。
在步驟318，將匹配搜索邊緣像素設置為相應邊緣像素。也就是說，對于當前參考邊緣像素，找到映射到相應點的相應邊緣像素。
邊緣立體匹配器104通過重復圖3的上述處理來搜索所有相應邊緣像素。然后，在圖2的步驟204，邊緣視差圖產生器106使用邊緣立體匹配器104獲得的參考邊緣圖像的邊緣像素和與其映射的搜索邊緣圖像的相應邊緣像素來產生邊緣圖像視差圖。邊緣視差圖產生器106與傳統視差圖產生器不同，產生與邊緣相關的視差圖。產生邊緣圖像視差圖的處理基本上與傳統技術的視差圖產生處理相同。例如，邊緣視差圖產生器106基于邊緣立體匹配器104獲得的參考邊緣圖像的邊緣像素和與其映射的搜索邊緣圖像的相應邊緣像素之間的距離來產生邊緣圖像視差圖。
假定邊緣視差圖產生器106產生的邊緣圖像視差圖僅是對于邊緣圖像的視差圖而不是對于整個圖像的視差圖，則不包括非邊緣圖像區的視差圖。在圖2的步驟206，視差圖補償器108通過補償非邊緣圖像區的視差圖來產生最終視差圖。視差圖補償器108可使用傳統的像素間內差方法補償邊緣圖像視差圖的非邊緣圖像區的視差圖。也就是說，通過在邊緣圖像視差圖中的鄰近邊緣像素之間的深度信息(即，z坐標)的內差，補償非邊緣圖像區的視差圖。
根據本發明，立體匹配處理僅對邊緣像素而不是參考圖像的所有像素搜索搜索圖像的相應邊緣像素。
通過使用簡單的邏輯“和”運算，而不計算并比較參考像素窗口內的像素的平均值和每個搜索像素窗口內的像素的平均值，來找到與僅由一個比特“1”或“0”表示的邊緣形式匹配的搜索像素窗口，以搜索相應邊緣像素。也就是說，通過對不同于原始圖像的每個像素值的僅由一個比特表示的邊緣圖像的邊緣像素比較邊緣形式，來搜索相應邊緣像素。
因此，顯著減少了存儲器的使用量和處理時間。
因為僅使用邊緣圖像搜索相應邊緣像素，所以與對原始圖像的所有像素搜索相應像素的情況相比，更能夠減少搜索差錯。
根據本發明，能夠容易地實現立體圖像的立體匹配處理，從而能夠容易地從立體圖像產生視差圖。因此，本發明能夠減少從立體圖像獲得3D圖像所必需的存儲器的使用量和處理時間，從而能夠被容易地應用于嵌入式系統。
盡管已經為了示意性目的公開本發明的優選實施例，但本領域的技術人員應該理解，在不脫離權利要求范圍的情況下，可以進行各種修改、添加和替換。具體地說，已經描述了左右兩個相機拍攝的相同對象的左圖像和右圖像的示例。此外，本發明還可應用于由至少三個相機拍攝的多個2D圖像的情況下。在這種情況下，將一幅圖像設置為參考圖像，將剩余圖像設置為搜索圖像。對一幅參考圖像的多個搜索圖像執行邊緣立體匹配處理。在需要處，能夠不同地應用邊罩的形式和類型以及窗口大小和邊罩大小。因此，本發明不限于上述實施例，而由權利要求及等同物的全部范圍限定。
權利要求
1.一種用于從立體圖像產生視差圖的立體匹配方法，包括步驟從立體圖像提取邊緣圖像；從映射到能夠在預定大小窗口內出現的預定邊緣形式的預定邊罩中搜索與參考邊緣像素相關的窗口的邊緣形式匹配的邊罩，所述預定大小窗口以邊緣圖像的參考邊緣圖像的邊緣像素中的參考邊緣像素為中心；以及從邊緣圖像的搜索邊緣圖像的邊緣像素中搜索位于窗口的中心的邊緣像素，并且將搜索的邊緣像素設置為映射到對參考邊緣像素的相應點的相應邊緣像素，所述窗口具有與搜索的邊罩匹配的邊緣形式，其中，在參考邊緣圖像的邊緣像素中，參考邊緣像素用于當前從搜索邊緣圖像搜索相應邊緣像素。
2.如權利要求1所述的立體匹配方法，其中，所述邊罩包括映射到垂直邊緣形式的垂直邊罩、映射到水平邊緣形式的水平邊罩、映射到X形邊緣形式的X形邊罩、映射到鉆石形邊緣形式的鉆石形邊罩、映射到向上邊緣形式的向上邊罩、映射到向下邊緣形式的向下邊罩和映射到全邊緣形式的全邊罩。
3.如權利要求1所述的立體匹配方法，其中，邊罩和窗口具有相同大小的矩陣形式。
4.一種用于從立體圖像產生視差圖的方法，包括步驟從立體圖像提取邊緣圖像；從映射到能夠在預定大小窗口內出現的預定邊緣形式的預定邊罩中搜索與參考邊緣像素相關的窗口的邊緣形式匹配的邊罩，所述預定大小窗口以邊緣圖像的參考邊緣圖像的邊緣像素中的參考邊緣像素為中心；從邊緣圖像的搜索邊緣圖像的邊緣像素中搜索位于窗口的中心的邊緣像素，并且將搜索的邊緣像素設置為映射到對參考邊緣像素的相應點的相應邊緣像素，所述窗口具有與搜索的邊罩匹配的邊緣形式；基于參考邊緣圖像的邊緣像素和與其映射的搜索邊緣圖像的相應邊緣像素之間的距離來產生邊緣圖像視差圖；以及通過使用邊緣圖像視差圖的邊緣像素之間的內差補償非邊緣圖像區的視差圖來產生最終視差圖，其中，在參考邊緣圖像的邊緣像素中，參考邊緣像素用于當前從搜索邊緣圖像搜索相應邊緣像素。
5.如權利要求4所述的方法，其中，所述邊罩包括映射到垂直邊緣形式的垂直邊罩、映射到水平邊緣形式的水平邊罩、映射到X形邊緣形式的X形邊罩、映射到鉆石形邊緣形式的鉆石形邊罩、映射到向上邊緣形式的向上邊罩、映射到向下邊緣形式的向下邊罩和映射到全邊緣形式的全邊罩。
6.如權利要求4所述的方法，其中，邊罩和窗口具有相同大小的矩陣形式。
7.一種用于從立體圖像產生視差圖的立體匹配裝置，包括邊緣提取器，從立體圖像提取邊緣圖像；邊緣立體匹配器，從映射到能夠在預定大小窗口內出現的預定邊緣形式的預定邊罩中搜索與參考邊緣像素相關的窗口的邊緣形式匹配的邊罩，所述預定大小窗口以邊緣圖像的參考邊緣圖像的邊緣像素中的參考邊緣像素為中心，從邊緣圖像的搜索邊緣圖像的邊緣像素中搜索位于窗口的中心的邊緣像素，并且將搜索的邊緣像素設置為映射到對參考邊緣像素的相應點的相應邊緣像素，所述窗口具有與搜索的邊罩匹配的邊緣形式，其中，在參考邊緣圖像的邊緣像素中，參考邊緣像素用于當前從搜索邊緣圖像搜索相應邊緣像素。
8.如權利要求7所述的立體匹配裝置，其中，所述邊罩包括映射到垂直邊緣形式的垂直邊罩、映射到水平邊緣形式的水平邊罩、映射到X形邊緣形式的X形邊罩、映射到鉆石形邊緣形式的鉆石形邊罩、映射到向上邊緣形式的向上邊罩、映射到向下邊緣形式的向下邊罩和映射到全邊緣形式的全邊罩。
9.如權利要求7所述的立體匹配裝置，其中，邊罩和窗口具有相同大小的矩陣形式。
10.一種用于從立體圖像產生視差圖的裝置，包括邊緣提取器，從立體圖像提取邊緣圖像；邊緣立體匹配器，從映射到能夠在預定大小窗口內出現的預定邊緣形式的預定邊罩中搜索與參考邊緣像素相關的窗口的邊緣形式匹配的邊罩，所述預定大小窗口以邊緣圖像的參考邊緣圖像的邊緣像素中的參考邊緣像素為中心，從邊緣圖像的搜索邊緣圖像的邊緣像素中搜索位于窗口的中心的邊緣像素，并且將搜索的邊緣像素設置為映射到對參考邊緣像素的相應點的相應邊緣像素，所述窗口具有與搜索的邊罩匹配的邊緣形式；邊緣視差圖產生器，基于參考邊緣圖像的邊緣像素和與其映射的搜索邊緣圖像的相應邊緣像素之間的距離來產生邊緣圖像視差圖；以及視差圖補償器，通過使用邊緣圖像視差圖的邊緣像素之間的內差補償非邊緣圖像區的視差圖來產生最終視差圖，其中，在參考邊緣圖像的邊緣像素中，參考邊緣像素用于當前從搜索邊緣圖像搜索相應邊緣像素。
11.如權利要求10所述的裝置，其中，所述邊罩包括映射到垂直邊緣形式的垂直邊罩、映射到水平邊緣形式的水平邊罩、映射到X形邊緣形式的X形邊罩、映射到鉆石形邊緣形式的鉆石形邊罩、映射到向上邊緣形式的向上邊罩、映射到向下邊緣形式的向下邊罩和映射到全邊緣形式的全邊罩。
12.如權利要求10所述的裝置，其中，邊罩和窗口具有相同大小的矩陣形式。
全文摘要
為了立體匹配，從立體圖像提取邊緣圖像。從映射到能夠在預定大小窗口內出現的預定邊緣形式的預定邊罩中搜索與參考邊緣像素相關的窗口的邊緣形式匹配的邊罩，所述預定大小窗口以邊緣圖像的參考邊緣圖像的邊緣像素中的參考邊緣像素為中心。在邊緣圖像的搜索邊緣圖像的邊緣像素中，搜索位于窗口的中心的邊緣像素，并且將搜索的邊緣像素設置為映射到對參考邊緣像素的相應點的相應邊緣像素，所述窗口具有與搜索的邊罩匹配的邊緣形式。其中，在參考邊緣圖像的邊緣像素中，參考邊緣像素用于當前從搜索邊緣圖像搜索相應邊緣像素。
文檔編號G06T15/00GK101086788SQ20071010857
公開日2007年12月12日 申請日期2007年6月6日 優先權日2006年6月7日
發明者金殷澈, 鄭基秀, 文永信, 沈玹廷, 金孝珍 申請人:三星電子株式會社