立體圖像編碼設備及其方法和攝像設備的制作方法

專利名稱：立體圖像編碼設備及其方法和攝像設備的制作方法
技術領域：
本發明涉及一種用于對圖像進行編碼的編碼設備，并且尤其涉及一種用于通過對使用由多個攝像單元拍攝到的多個圖像所形成的立體圖像進行編碼的立體圖像編碼設備。
背景技術：
近年來，伴隨著可以顯示立體圖像的顯示器的普及，還關注了可以拍攝立體圖像的攝像設備。通常通過使用由具有視差的兩個照相機分別拍攝到的右圖像和左圖像來形成立體圖像。作為用于對圖像進行編碼的技術，根據現有技術已知有使用如下的運動預測的壓縮編碼/解碼技術，其中該運動預測以MPEG方法等所使用的方式來搜索圖像之間在時間方向上的運動矢量。除這種技術以外，還已知有使用如下的視差預測的編碼方法，其中該視差預測搜索由于右照相機和左照相機之間的視差所引起的矢量(以下稱為視差矢量)(參見日本特開2000-165909)。
日本特開2000-165909公開了如下的編碼設備，其中例如通過使用視差預測來對平行配置的兩個照相機所拍攝的立體圖像進行壓縮編碼。特別地，日本特開2000-165909公開了如下這種技術基于利用右照相機在必然具有左方向上的偏移的位置處拍攝利用左照相機所拍攝的被攝體圖像這樣的照相機之間的視差，將針對右照相機所拍攝的圖像的視差預測的搜索范圍設置為具有左方向上的偏移的位置。在相關技術中，在用于設置圖像的深度的立體編碼的情況下，考慮到基于左眼所觀看的圖像中的被攝體在右眼中必然具有左方向上的偏移這樣的視差的偏移，例如，使用如下這種技術將視差預測的搜索范圍設置為相對于與顯示畫面上的圖像中的被攝體位置相同的位置、具有左方向上的偏移的位置。然而，在相關技術中，盡管考慮了視差的方向，但搜索范圍的偏移量在顯示畫面內的任意位置處均恒定。因此，例如在顯示畫面內相對于被攝體的距離不同的情況下，無法總是適當設置搜索范圍并且擔心無法檢測正確的視差矢量。在右照相機和左照相機水平配置于一個殼體內的攝像設備中，通常僅發生由兩個照相機之間的視差所引起的圖像在水平方向上的偏移。然而，在各照相機具有轉動校正功能的攝像設備的情況下，存在如下情況在拍攝時，由于因拍攝者所引起的抖動的影響而在各照相機所拍攝的圖像中發生垂直方向上的偏移。有鑒于此，在上述相關技術中，盡管考慮了基于視差的在水平方向上的偏移，但無法應對垂直方向上的偏移。因此，在上述現有技術中，由于沒有考慮由多個照相機的位置之間的差異所引起的垂直方向上的偏移，因此發生無法設置適當的搜索范圍并且視差矢量預測的精度劣化這樣的問題。

發明內容
本發明的方面是解決現有技術的前述問題，并提供如下一種立體圖像編碼設備和方法，其中可以通過使得能夠檢測到正確的視差矢量來進行圖像劣化小的編碼。根據本發明的方面，提供一種圖像編碼設備，用于對通過利用多個攝像單元拍攝被攝體所獲得的多個圖像信號進行編碼，所述圖像編碼設備包括輸入部件，用于輸入所述多個圖像信號；編碼部件，用于以預定像素塊為單位對所輸入的多個圖像信號進行編碼，并以所述預定像素塊為單位在所述多個圖像信號之間進行幀間預測；生成部件，用于生成表示所述編碼部件的編碼對象塊與如下的像素塊之間的圖像偏移的差信息，其中該像素塊是所述幀間預測所參考的參考圖像中的位于與所述編碼對象塊的位置相對應的位置處的像素塊；以及設置部件，用于根據所述生成部件所生成的差信息，自適應地設置用于檢測在所述幀間預測中所述編碼對象塊所使用的矢量的搜索范圍。根據本發明的另一方面，一種攝像設備，包括多個攝像單元，用于通過拍攝被攝體來獲得圖像信號；以及上述圖像編碼設備。根據本發明的又一方面，一種圖像編碼方法，用于對通過利用多個攝像單元拍攝被攝體所獲得的多個圖像信號進行編碼，所述圖像編碼方法包括以下步驟輸入步驟，用于輸入所述多個圖像信號；編碼步驟，用于以預定像素塊為單位對所輸入的多個圖像信號進行編碼，并以所述預定像素塊為單位在所述多個圖像信號之間進行幀間預測；生成步驟，用于生成表示所述編碼步驟的編碼對象塊與如下的像素塊之間的圖像偏移的差信息，其中該像素塊是所述幀間預測所參考的參考圖像中的位于與所述編碼對象塊的位置相對應的位 置處的像素塊；以及設置步驟，用于根據所述生成步驟中所生成的差信息，自適應地設置用于檢測在所述幀間預測中所述編碼對象塊所使用的矢量的搜索范圍。通過以下參考附圖對典型實施例的說明，本發明的其它特征將變得明顯。


圖I是示出根據本發明第一實施例的立體圖像編碼設備的結構示例的框圖。圖2A和2B是用于說明根據本發明第一實施例的視差預測的搜索范圍的設置方法的圖。圖3A和3B是用于說明根據本發明第一實施例的視差預測的搜索范圍的設置方法的圖。圖4是示出根據本發明第一實施例的立體圖像編碼設備的變形例的框圖。圖5A和5B是用于說明根據本發明第一實施例的視差預測的搜索范圍的設置方法的其它變形例的圖。圖6是根據本發明第二實施例的立體圖像編碼設備的框圖。圖7A和7B是示出根據本發明的編碼處理的開始順序以及開始時的搜索范圍的圖。圖8是用于說明根據本發明第二實施例的編碼處理中的編碼對象圖像的圖。圖9是示出根據本發明第二實施例的搜索范圍的設置處理所用的流程圖的圖。圖10是根據本發明第三實施例的立體圖像編碼設備的框圖。
具體實施例方式以下將參考附圖來詳細說明本發明的典型實施例。第一實施例以下將參考圖1、2A、2B、3A和3B來詳細說明根據本發明的立體圖像編碼設備的第一實施例。圖I是根據本實施例的立體圖像編碼設備的框圖。該編碼設備的操作由如下方法所控制使用本發明的立體圖像編碼設備的設備(例如，照相機或PC等)的控制單元例如載入和執行控制程序。在這種情況下，可以將本發明的立體圖像編碼設備的各塊中的處理作為該控制程序的一部分來提供。如圖I所示，根據本實施例的立體圖像編碼設備100具有如下結構，其中該結構例如用于輸入由平行配置的主圖像拍攝單元101和副圖像拍攝單元102所拍攝的被攝體的多個圖像并對這些多個圖像進行編碼。具體來說，該設備100具有用以保持所輸入的多個圖像的幀存儲器103、用以對所保持的圖像進行編碼的結構、以及用以設置用于檢測視差矢量的搜索范圍的結構。該編碼結構包括濾波后參考幀存儲器104、運動/視差預測單元105、運動/視差補償單元106、幀內預測單元107、正交變換單元108、量化單元109和熵編碼單元110。該編碼結構還包括逆量化單元111、逆正交變換單元112、巾貞內/巾貞間判斷單元113、減法器114、加法器115、濾波前參考幀存儲器116和環路濾波器117。搜索范圍的設置結構包括原點差運算單元118和搜索范圍確定單元119。 在上述結構中，首先將說明對幀存儲器103中所保持的輸入圖像進行編碼的方法。假定王圖像拍攝單兀101和副圖像拍攝單兀102各自包括拍攝鏡頭；攝像兀件，用于對經由拍攝鏡頭所形成的圖像進行光電轉換；以及A/D轉換處理單元，用于將從攝像元件讀出的模擬信號轉換成數字信號；等等。主圖像拍攝單元101和副圖像拍攝單元102各自根據轉換得到的數字信號形成亮度信號和色差信號并輸出這兩者。在以下針對實施例的說明中，假定將亮度信號和色差信號稱為圖像信號。在本實施例中，假定主圖像拍攝單元101拍攝左圖像并且副圖像拍攝單元102拍攝右圖像。還假定盡管副圖像可以使用主圖像作為參考圖像，但主圖像無法使用副圖像作為參考圖像。立體圖像編碼設備100輸入從攝像單元101和102輸出的圖像信號并且按顯示順序將各個主圖像和副圖像存儲到幀存儲器103中。以預定像素塊(例如，宏塊)為單位來進行編碼。以像素塊(例如，在圖7A中的編碼對象塊)為單位按編碼順序從幀存儲器103中讀出圖像信號，并將這些圖像信號分別輸入至運動/視差預測單元105、幀內預測單元107、減法器114和原點差運算單兀118。濾波后參考幀存儲器104存儲經過了濾波處理的編碼圖像(在被編碼之后進行了解碼的局部解碼圖像)作為參考圖像，并按編碼順序將編碼對象塊的參考圖像分別發送至運動/視差預測單元105和運動/視差補償單元106。在由于來自幀存儲器103的編碼對象塊是副圖像這一原因而執行視差預測的情況下，將該編碼對象塊以及位于與該編碼對象塊的位置相對應的位置(相同坐標位置)處的參考圖像的像素塊發送至原點差運算單元118。濾波前參考幀存儲器116存儲在進行濾波處理之前的編碼圖像(在被編碼之后進行了解碼的局部解碼圖像)作為參考圖像，并按編碼順序將編碼對象塊的參考圖像發送至幀內預測單元107。原點差運算單元118在主圖像和副圖像之間對編碼對象塊與位于與該編碼對象塊的位置相對應的位置(相同坐標位置)處的參考圖像的絕對像素差值和(sum of absolute pixel difference values)進行運算，生成表示該運算結果的信息(差信息)，并將該信息發送至搜索范圍確定單元119。在進行作為幀間預測之一的視差預測的情況下，搜索范圍確定單元119根據由從原點差運算單元發送來的信息所表示的絕對像素差值和來確定視差預測的搜索范圍，并將所確定的搜索范圍發送至濾波后參考幀存儲器104。在進行運動預測的情況下，設置預定的搜索范圍并將該搜索范圍發送至濾波后參考 幀存儲器104。作為進行運動預測時的搜索范圍設置方法，盡管可以考慮在與編碼對象塊的位置相同的位置周圍的位置處或者在先前所獲得的運動矢量周圍的位置處進行運動預測的方法，但這里沒有特別限制該搜索范圍設置方法。以下將詳細說明用于確定進行視差預測時的搜索范圍的方法。運動/視差預測單元105根據與從幀存儲器103發送來的編碼對象塊是主圖像還是副圖像有關的判斷結果來改變處理。當編碼對象塊是主圖像時，使用從濾波后參考幀存儲器104發送來的先前被編碼后再被解碼的主圖像的局部解碼圖像作為參考圖像，并且檢測運動矢量并將該運動矢量連同參考圖像數據編號一起發送至運動/視差補償單元106。當編碼對象塊是副圖像時，從濾波后參考幀存儲器104讀出顯示順序與副圖像相同的先前被編碼后再被解碼的主圖像的局部解碼圖像、或者先前被編碼后再被解碼的副圖像的局部解碼圖像。隨后，使用所讀出的局部解碼圖像作為參考圖像以檢測運動矢量或視差矢量。將所檢測到的運動矢量或視差矢量連同參考圖像數據的編號一起發送至運動/視差補償單元106。這里沒有特別限制在副圖像的情況下、選擇副圖像的局部解碼圖像以及顯示順序與該副圖像的顯示順序相同的主圖像的局部解碼圖像的哪一個作為最終的參考圖像的方法。在本實施例中，假定選擇矢量位置處的編碼對象塊與參考圖像之間的差值較小的局部解碼圖像。運動/視差補償單元106通過使用從運動/視差預測單元105發送來的運動矢量或視差矢量來形成各塊的預測圖像數據。即，參考濾波后參考幀存儲器104中的由參考圖像數據編號所表示的參考圖像，形成各塊的預測圖像數據并將該預測圖像數據發送至幀內/幀間判斷單元113。幀內預測單元107通過使用從濾波前參考幀存儲器116發送來的編碼對象塊周圍的局部解碼圖像來針對多個幀內預測模式中的每個幀內預測模式形成幀內預測圖像。通過使用從幀存儲器103發送來的編碼對象塊以及所形成的多個預測圖像來進行塊匹配。選擇能提供最大相關性的幀內預測模式并將該幀內預測模式連同相應的預測圖像一起發送至幀內/幀間判斷單元113。幀內/幀間判斷單元113在從運動/視差補償單元106和幀內預測單元107發送來的預測圖像數據中選擇與編碼對象塊的相關性大的預測圖像數據，并將所選擇的預測圖像數據發送至減法器114。作為選擇相關性大的預測圖像數據的方法，例如，考慮選擇編碼對象塊和預測圖像之間的差值小的預測圖像的方法。然而，沒有特別限制該方法。減法器114計算從幀存儲器103發送來的編碼對象塊與從幀內/幀間判斷單元113發送來的預測圖像塊之間的差并輸出圖像殘差數據。正交變換單元108對從減法器114輸出的圖像殘差數據進行正交變換處理并將變換系數發送至量化單元109。量化單元109通過使用預定的量化參數對該變換系數進行量化并將變換系數發送至熵編碼單元110和逆量化單元111。熵編碼單元110輸入量化單元109所量化后的變換系數，進行諸如CAVLC或CABAC等的熵編碼，并輸出編碼數據。隨后，將說明通過使用量化單元109 所量化后的變換系數來形成參考圖像數據的方法。逆量化單元111對從量化單元109發送來的量化變換系數進行逆量化。逆正交變換單元112對逆量化單元111所逆量化后的變換系數進行逆正交變換，形成解碼殘差數據，并將該解碼殘差數據發送至加法器115。加法器115對該解碼殘差數據和以下將說明的預測圖像數據進行相加，形成局部解碼圖像、即參考圖像數據，并將該參考圖像數據存儲到濾波前參考幀存儲器116中。將濾波前參考幀存儲器116中所保持的數據發送至環路濾波器117。環路濾波器117通過對該參考圖像數據進行濾波來消除噪聲，并將該濾波處理之后的參考圖像數據存儲到濾波后參考巾貞存儲器104中。隨后，將參考圖2A、2B、3A和3B來詳細說明作為本發明的特征的、利用搜索范圍確定單元119來設置主圖像和副圖像之間的視差預測(幀間預測)的搜索范圍的方法。搜索范圍確定單元119將搜索范圍設置為在參考圖像中的與編碼對象塊的位置相同的位置。此時，如果從原點差運算單元118發送來的絕對像素差值和大，則所設置的搜索范圍變寬，由此使搜索精度下降。即，如果絕對像素差值和大于預定閾值，則搜索范圍確定單元119對搜索范圍進行設置從而粗略搜索寬的搜索范圍。如果絕對像素差值和較小，則與該和較大的情況相比，將搜索范圍設置為較窄。即，當絕對像素差值和小到等于或小于預定閾值時，搜索范圍確定單元119對搜索范圍進行粗略設置從而精細搜索窄的搜索范圍。搜索范圍確定單元119進行調整，以使得每單位時間施加至搜索的處理負荷在絕對像素差值和較大的情況與絕對像素差值和不大的情況之間基本相等。例如，搜索范圍確定單元119對搜索精度進行設置，以使得每單位時間的搜索次數保持恒定(恒定值)。例如，當絕對像素差值和大于預定閾值時，將搜索范圍設置為水平方向上的32個像素以及垂直方向上的16個像素，由此對搜索精度進行設置以使得每4個像素進行搜索。另一方面，當絕對像素差值和小到等于或小于預定閾值時，將搜索范圍設置為水平方向上的8個像素以及垂直方向上的4個像素,并且將搜索精度設置為I個像素。因而,上述這兩種情況的搜索次數都為153次。無論搜索范圍的面積如何都將搜索次數設置為相同值的原因是防止由于搜索次數增加而無法實時進行編碼的這種狀況。現在將參考圖2A、2B、3A和3B來說明如上所述根據主圖像和副圖像之間的絕對像素差值和來適應性地設置搜索范圍的原因。圖2A和2B是示出通過使用雙鏡頭攝像設備來拍攝球狀物體(被攝體)的狀態的圖。當如圖2A所示、球狀物體和攝像設備之間的距離小時，在多數情況下，主圖像和副圖像之間的差大并且視差矢量大。因而，除非如圖3A所示、使搜索范圍變寬，否則無法檢測到正確的視差矢量的可能性高。因此，如果主圖像和副圖像之間的差大，則由于主圖像和副圖像之間的視差大的可能性高，因此在本實施例中，即使搜索精度下降也使搜索范圍變寬。另一方面，當如圖2B所示、球狀物體和攝像設備之間的距離大時，在多數情況下，主圖像和副圖像之間的差小并且視差矢量也小。因而，即使如圖3B所示、搜索范圍窄，也可以容易地檢測到正確的視差矢量。因此，如果主圖像和副圖像之間的差小，則由于主圖像和副圖像之間的視差小的可能性聞，因此在本實施例中，搜索范圍變窄并且搜索精度提聞，從而使得檢測到更加正確的視差矢量。如上所述，在本實施例中，使用由于相對于被攝體的距離針對各編碼對象塊而不同、因此像素差值不同的現象，針對各編碼對象塊單獨且適應性地設置適當大小的搜索范圍，并且使設備工作從而在任意情況下均獲得更加正確的視差矢量。在本實施例中，盡管按絕對像素差值和等于或小于預定閾值的情況以及絕對像素差值和大于預定閾值的情況這兩個階段進行視差矢量的搜索范圍和搜索精度的改變，但可 以通過增加閾值的數量來按三個以上的階段進行該改變。例如，可以對搜索范圍和搜索精度進行設置，以使得絕對像素差值和越大，搜索范圍越寬并且所設置的搜索精度越粗略。例如，當絕對像素差值和大于第一閾值時，將搜索范圍設置為水平方向上的32個像素以及垂直方向上的16個像素，由此對搜索精度進行設置以使得每4個像素進行搜索。當絕對像素差值和小于第二閾值時，將搜索范圍設置為水平方向上的8個像素以及垂直方向上的4個像素，并且將搜索精度設置為I個像素。此外，當絕對像素差值和大于第二閾值且小于第一閾值時，將搜索范圍設置為水平方向上的16個像素以及垂直方向上的8個像素，由此對搜索精度進行設置以使得每2個像素進行搜索。即使這樣設置了搜索范圍，上述任意情況中的搜索次數都等于153次。在本實施例中，盡管不對主圖像進行視差預測，但即使在對主圖像進行視差預測的情況下，也可以利用與上述方法相同的方法來設置搜索范圍。在第一實施例中，盡管通過使不同大小的搜索范圍的搜索精度相等來補償編碼處理的實時操作，但是還可以對寬的搜索范圍設置高的搜索精度，只要其在對實時處理進行補償的范圍內即可。以下將說明為了設置如上所述的搜索精度而構造的第一實施例的變形例。圖4是根據上述第一實施例的變形例的立體圖像編碼設備的框圖。盡管圖4中的立體圖像編碼設備400的結構與第一實施例的結構基本相同，但其與第一實施例的不同之處在于立體圖像編碼設備400具有搜索次數控制單元402，并且搜索范圍確定單元401可以在不會使搜索精度下降的情況下設置搜索精度。由于除搜索次數控制單元402和搜索范圍確定單元401以外的結構的操作與第一實施例的操作相同，因此這里省略對該操作的說明。在本變形例中，還假定主圖像拍攝單元101和副圖像拍攝單元102平行配置。搜索范圍確定單元401以與圖3A和3B的方式相同的方式來將搜索范圍設置為與編碼對象塊的位置相同的位置。此時，當絕對像素差值和大于預定閾值并且從搜索次數控制單元402生成用以允許搜索范圍的變寬的信號時，使搜索范圍變寬。以下將說明從搜索次數控制單元402生成用以允許搜索范圍的變寬的信號的方法。如果絕對像素差值和小到等于或小于預定閾值，則使搜索范圍變窄。在本變形例中，當生成允許信號時，即使搜索范圍變寬，搜索精度也不會下降，并且當搜索范圍變寬時，搜索范圍確定單元401將表示搜索范圍變寬的信號發送至搜索次數控制單元402。例如根據控制程序，搜索次數控制單元402在進行一個圖片的編碼之前設置表示在一個圖片內可以使搜索范圍變寬的編碼對象塊的數量的N，并將用以允許搜索范圍的變寬的信號輸出至搜索范圍確定單元401。在對圖片的編碼開始之后，每當從搜索范圍確定單元401發送了表示搜索范圍變寬的信號時，從N的設置值中減去I。當N的值達到O時，停止用于將用以允許搜索范圍的變寬的信號輸出至搜索范圍確定單元401的處理。通過如上所述進行控制，在生成了用以允許搜索范圍的變寬的信號的情況下，SP使搜索范圍變寬，也可以在不會使搜索精度下降的情況下搜索到視差矢量。通過設置用以允許搜索范圍的變寬的信號的輸出時間段的上限，可以對實時編碼處理進行補償。隨后，將說明第一實施例的另一變形例。該變形例涉及以如下方式所構造的立體圖像編碼設備不僅針對視差矢量的搜索范圍的大小、還針對該搜索范圍的設置位置進行 該搜索范圍的設置控制。然而，在本變形例中，沒有必要總是連同搜索范圍的大小的設置控制一起進行搜索范圍的設置位置的設置控制，而且還可以使用僅對設置位置進行控制而不改變搜索范圍的大小的結構。在上述任意情況中，立體圖像編碼設備的結構與圖I所示的結構基本相同，并且本變形例可以通過改變搜索范圍確定單元119的控制結構(例如，控制程序)來實現。將參考圖1、2A、2B、5A和5B來說明根據本變形例的立體圖像編碼設備。盡管根據本變形例的立體圖像編碼設備的結構與第一實施例(圖I)的結構基本相同，但其與第一實施例的不同之處在于搜索范圍確定單元119具有可以根據從原點差運算單元118發送來的絕對像素差值和來改變搜索范圍的設置位置的功能。在本變形例中，還假定主圖像拍攝單元101和副圖像拍攝單元102平行配置。由于除搜索范圍確定單元119以外的結構的操作與第一實施例的操作相同，因此這里省略對該操作的說明。即，將僅說明搜索范圍確定單元119的搜索范圍的位置設置功能。搜索范圍確定單元119通過使用從原點差運算單元118發送來的主圖像和副圖像之間的絕對像素差值和來確定搜索范圍設置位置。此時，當從原點差運算單元118發送來的絕對像素差值和大于預定閾值時，使搜索范圍從編碼對象塊的位置向右移動預定距離。另一方面，當絕對像素差值和小到等于或小于預定閾值時，將搜索范圍設置為與編碼對象塊的位置相同的位置。基本與在設置搜索范圍的大小時所使用的閾值無關來適當地設置這種情況下的閾值。然而，當與搜索范圍的大小控制功能相組合來使用本變形例時，可以將閾值適當設置為上述這兩個功能共用的閾值。盡管將視差矢量的搜索范圍的位置改變的階段設置為絕對像素差值和小于一個閾值的情況以及絕對像素差值和大于該閾值的情況這兩個階段，但可以通過設置另一閾值來增加該改變的階段數量。如上所述，搜索范圍確定單元119的功能可以局限于本變形例的功能或者可以被設置為與第一實施例中的大小改變功能相組合的功能。現在將參考圖2A、2B、5A和5B來說明如上所述適應性地改變搜索范圍的位置的原因。圖5A和5B是用于說明本變形例的搜索范圍的設置方法的圖。此外，在本變形例中，假定照相機的左側的攝像單元所拍攝的圖像是主圖像，并且右側的攝像單元所拍攝的圖像是畐Ij圖像。當如圖2A所示、球狀物體和攝像單元之間的距離小時，在多數情況下，主圖像和副圖像之間的差(攝像單元之間的視差)大并且視差矢量大。然而，如果這些攝像單元平行配置，則右圖像中的物體在左圖像中必然存在于具有右方向上的偏移的位置處。因此，在本變形例中，如果主圖像和副圖像之間的差大，則可以通過如圖5A所示使搜索范圍向右偏移來檢測到更加正確的視差矢量。另一方面，如果如圖2B所示、球狀物體和攝像單元之間的距離大，則在多數情況下，主圖像和副圖像之間的差小并且視差矢量也小。因此，即使如圖5B所示、搜索范圍相對于編碼對象塊的周邊位置沒有移動，也可以檢測到正確的視差矢量。如果如本變形例所示來確定搜索范圍的設置位置，則可以根據基于視差的像素差來適應性地設置搜索范圍的位置，并且可以搜索到適當的視差矢量。盡管已針對應用于具有多個攝像單元的攝像設備的情況作為例子說明了包括如 上所述的兩個變形例的第一實施例的立體圖像編碼設備，但本發明不限于此。例如，在諸如PC等的處理設備中，還可以應用于針對從記錄介質讀出的立體圖像所用的多個圖像的編碼處理。在這種情況下，將本發明的編碼功能作為該PC的控制設備所執行的應用程序來實現。第二實施例盡管在第一實施例中本發明應用于由平行配置的多個攝像單元所拍攝的多個圖像，但在以下的第二實施例中將說明本發明應用于從具有轉動校正功能的多個攝像單元所獲得的多個圖像的示例。圖6是根據本實施例的立體圖像編碼設備600的框圖。盡管將說明根據本實施例的立體圖像編碼設備600的組件，但除視差矢量的搜索范圍的設置結構以外的編碼的結構與第一實施例的結構相同。即，本實施例的立體圖像編碼設備600具有如下結構將用于拍攝主圖像的攝像單元601A以及用于拍攝副圖像的攝像單元601B所拍攝的多個圖像輸入和保存在幀存儲器602A和602B中并對所保持的多個圖像進行編碼。以與第一實施例相同的方式，以由預定數量的像素構成的像素塊(例如，宏塊)為單位來執行編碼處理(參見圖7A)。假定攝像單元610A和610B各自包括鏡頭；攝像元件，用于對經由鏡頭所形成的圖像進行光電轉換；A/D轉換處理單元，用于將從攝像元件讀出的模擬信號轉換成數字信號；等等。各個攝像單元根據轉換得到的數字信號來形成亮度信號和色差信號(圖像信號)并輸出這些信號。隨后，將簡單說明編碼處理的流程。將幀存儲器602A和602B各自中所保持的主圖像和副圖像發送至差計算單元603 (與圖I的114相對應)、預測圖像生成單元609和運動矢量/視差矢量生成單元614。差計算單元603計算預測圖像生成單元609所生成的預測圖像與從幀存儲器602A發送來的主圖像之間的差值、或者預測圖像生成單元609所生成的預測圖像與從幀存儲器602B發送來的副圖像之間的差值。在運動矢量/視差矢量生成單元614中，處理根據編碼對象圖像是主圖像還是副圖像而不同。如果編碼對象圖像是主圖像，則針對從存儲器613發送來的經過了解塊濾波處理單元611的濾波處理的參考圖像，在搜索范圍設置單元615所設置的搜索范圍中進行搜索。通過利用該搜索而獲得預測圖像與用作編碼對象圖像的主圖像之間的差值小的像素塊的位置，來生成運動矢量。將所生成的運動矢量輸出至預測圖像生成單元609。如果編碼對象圖像是副圖像，則針對所輸入的主圖像，在搜索范圍設置單元615所設置的搜索范圍中進行搜索。通過利用該搜索而獲得預測圖像與用作編碼對象圖像的副圖像之間的差值小的像素塊的位置，來生成視差矢量。將所生成的視差矢量輸出至預測圖像生成單元609。差計算單元603所計算出的差值由正交變換單元604進行正交變換，并且還由量化單元605基于預定的量化參數進行量化。將量化數據發送至熵編碼單元606和逆量化單兀 607。熵編碼單兀 606 利用諸如 CABAC (Context-adaptive binary arithmetic coding,基于上下文的自適應二進制算術編碼)等的熵編碼方法對從量化單元605發送來的量化數據進行編碼并輸出該編碼數據。逆量化單元607對從量化單元605發送來的量化數據進行逆量化，并且還利用逆正交變換單元608執行逆正交變換，由此形成差值數據。加法器610對從預測圖像生成單元609輸出的預測圖像和從逆正交變換單元608輸出的差值數據進行相加，由此形成參考 圖像。將所形成的參考圖像數據發送至存儲器612和解塊濾波處理單元611。解塊濾波處理單元611將通過對從加法器610發送來的參考圖像數據應用濾波處理所形成的濾波處理后的參考圖像數據發送至存儲器613。隨后，將說明搜索范圍設置單元615的處理。搜索范圍設置單元615在編碼對象圖像是主圖像的情況以及編碼對象圖像是副圖像的情況下執行不同的處理。首先，當編碼對象圖像是主圖像時，在圖片內設置與用作編碼對象的像素塊的位置相同的位置作為搜索范圍的位置，并將表示這種位置的信息發送至運動矢量/視差矢量生成單元614。隨后，將說明在編碼對象圖像是副圖像的情況下的處理。如圖7A所示，從圖片內的左上方的像素塊開始，并且在由該圖中的箭頭所表示的方向上以像素塊為單位順序執行編碼處理。圖7B示出在對左上方的宏塊進行處理時、即在編碼開始時的搜索范圍。在圖7A中，假定將搜索范圍的左上點的坐標設置為(0，O)，將搜索范圍的水平方向設置為X，并將垂直方向設置為Y。搜索范圍設置單元615如上所述設置搜索范圍并將搜索范圍信息發送至運動矢量/視差矢量生成單元614。此外，搜索范圍設置單元615接收運動矢量/視差矢量生成單元614所生成的視差矢量信息并存儲該視差矢量信息作為同一圖片內的視差矢量信息。搜索范圍設置單元615基于所存儲的同一圖片內的視差矢量信息(視差信息)來設置視差矢量的搜索范圍。圖8是示出如下狀態的圖從圖片的左上方的宏塊開始順次執行編碼處理，并且該編碼處理前進到位于該圖片的幾乎中間點的像素塊。此時，存儲在從左上方的宏塊到圖8所示的編碼對象塊的位置的處理期間所產生的視差矢量信息。搜索范圍設置單元615基于所存儲的信息來設置搜索范圍的位置和形狀。圖9是示出搜索范圍設置處理的流程圖。在圖9及以下說明中，假定所存儲的同一圖片內的視差矢量信息是視差矢量A。在步驟S901中，判斷所存儲的視差矢量A的垂直分量的值(最大值)是否小于閾值。如果判斷為該最大值小于閾值，則在步驟S902中，圖8所示的搜索范圍的設置值在水平方向上變寬且在垂直方向上變窄。即，將圖8所示的α的值設置為正數并將β的值設置為負數。在這種情況下，在水平方向和垂直方向上的設置值的乘積、即搜索范圍的面積不變，而是僅在水平方向和垂直方向上的設置值的比率改變。如果在S901中判斷為該最大值等于或大于閾值，則該處理例程進入S903。在S903中，計算視差矢量A的垂直分量的最大值和最小值之間的差值并且判斷所計算出的差值是否等于或大于預定閾值。如果判斷為該差值等于或大于預定閾值，則在步驟S904中，搜索范圍的設置值在水平方向上變窄并且在垂直方向上變寬。即，將圖8所示的α的值設置為負數并將β的值設置為正數。以與S902相同的方式，僅在水平方向和垂直方向上的設置值的比率改變，使得用作在水平方向和垂直方向上的設置值的乘積的搜索范圍的面積不變。如果在步驟S903中判斷為差值小于預定閾值，則該處理例程進入步驟S905。在步驟S905中，搜索范圍的在水平方向和垂直方向上的設置值的比率不變，而是將搜索范圍的位置設置為具有與視差矢量A的垂直分量(平均值)相對應的偏移的位置。如上所述，當編碼對象圖像是副圖像時，本實施例的立體圖像編碼設備600通過使用同一圖片內的編碼處理后的像素塊的視差矢量來在同一圖片內動態且自適應地設置 搜索范圍。因而，可以搜索到適當的視差矢量。第二實施例的立體圖像編碼設備具有如下結構為了對來自具有轉動校正功能的多個攝像單元的圖像進行編碼，考慮到這些攝像單元在垂直方向上的偏移來自適應地設置視差矢量的搜索范圍。盡管在圖6的實施例中基于所檢測到的視差矢量來對搜索范圍的設置位置進行校正，但還考慮如下的方法檢測攝像單元的轉動，并且利用所檢測到的轉動作為視差信息來對搜索范圍的位置進行校正。隨后將說明這種實施例作為本發明的第三實施例。第三實施例圖10是使用根據第三實施例的立體圖像編碼設備的攝像設備的框圖。在圖10中，使用根據本實施例的立體圖像編碼設備的攝像設備1000具有攝像單元1001Α和100IB。在該圖中，除攝像單元1001Α和1001Β以外的組件涉及根據本實施例的立體圖像編碼設備的結構。該攝像設備包括存儲器1002Α和1002Β、差計算單元1003、正交變換單元1004、量化單元1005、熵編碼單元1006、逆量化單元1007、逆正交變換單元1008、預測圖像生成單元1009以及加法器1010。該攝像設備還包括解塊濾波處理單元1011、存儲器1012和1013以及運動矢量/視差矢量生成單元1014。由于組件1001 1014的功能與圖6所示的組件60f 614的功能相同，因此這里省略了對這些功能的詳細說明。角速度傳感器單元1017是諸如陀螺儀等的用于檢測角速度的傳感器。轉動校正量計算單元1016根據角速度傳感器單元1017所檢測到的角速度的值來計算轉動校正量并將所計算出的轉動校正量發送至搜索范圍設置單元1015。搜索范圍設置單元1015基于從轉動校正量計算單元1016所接收到的轉動校正量來設置搜索范圍并將該搜索范圍的設置值發送至運動矢量/視差矢量生成單元1014。在搜索范圍設置單元1015中，判斷轉動校正量是否小于第一閾值。如果該轉動校正量小于第一閾值，則搜索范圍的設置值在水平方向上變寬并且在垂直方向上變窄。僅在水平方向和垂直方向上的設置值的比率改變，而在水平方向和垂直方向上的設置值的乘積不變、即搜索范圍的面積不變。隨后，如果該轉動校正量等于或大于第一閾值，則進一步判斷該轉動校正量是否小于第二閾值。如果該轉動校正量小于第二閾值，則搜索范圍的設置值在水平方向上變窄并且在垂直方向上變寬。此外，在這種情況下，僅在水平方向和垂直方向上的設置值的比率改變，而用作搜索范圍的在水平方向和垂直方向上的設置值的乘積的面積值不變。隨后，如果該轉動校正量等于或大于第二閾值，則搜索范圍的設置值在水平方向上變窄并且在垂直方向上變寬，并且將搜索范圍的位置設置為具有根據轉動校正方向的偏移的位置。在本實施例中，盡管通過使用諸如陀螺儀等的角速度傳感器來計算轉動校正值，但假定可以使用其它方法，只要可以計算出相同的校正值即可。例如，可以使用根據從多個輸入圖像信號所獲得的圖像的運動矢量來對轉動的方向和量進行運算的方法。在這種情況下，不需要角速度傳感器單元1017，可以以與第一實施例和第二實施例相同的方式與攝像單元分開構造本發明的編碼設備，并且本發明的編碼設備還可應用于諸如PC等的圖像處理設備。此外，還可以容易地與第一實施例和第二實施例中的搜索范圍的設置功能相組合。
在根據本實施例的立體圖像編碼設備中，由于在編碼時考慮了因多個攝像單元的轉動所引起的視差，因此可以動態且自適應地設置視差矢量的搜索范圍，由此使得能夠搜索到適當的視差矢量并且使得能夠進行圖片質量劣化小的編碼。盡管已針對本發明的典型實施例詳細說明了本發明，但本發明不限于這些特定實施例，而且在沒有背離本發明的本質的范圍內的多種不同變形例也包含在本發明內。此外，前述各個實施例僅是本發明的實施例，并且還可以適當組合這些實施例。盡管已針對本發明應用于攝像設備的情況作為例子說明了這些實施例，但本發明不限于該例子。即，本發明可以應用于諸如PC等的攝像設備。在這種情況下，將立體圖像信號從本發明的立體圖像編碼設備內的記錄介質或者從外部記錄介質提供給該設備的幀存儲器。對于上述實施例的處理，可以向系統或設備提供記錄有實現這些功能的軟件的程序代碼的存儲介質。該系統或設備的計算機(或者CPU或MPU)讀出和執行該存儲介質中所存儲的程序代碼，以使得可以實現上述實施例的功能。在這種情況下，從該存儲介質讀出的程序代碼自身實現了上述實施例的功能。存儲有該程序代碼的存儲介質構成了本發明。作為用于供給這種程序代碼的存儲介質，例如，可以使用軟盤(floppy，注冊商標)、硬盤、光盤或磁光盤等。或者，還可以使用⑶-ROM、⑶-R、磁帶、非易失性存儲卡或ROM等。本發明不僅包含利用計算機執行所讀出的程序代碼的方法來實現上述實施例的功能的情況，還包含如下情況在計算機上運行的OS(操作系統)等基于該程序代碼的指令來執行實際處理的一部分或全部，并且通過這些處理來實現上述實施例的功能。此外，本發明還包含如下情況可以將從存儲介質讀出的程序代碼寫入針對插入至計算機中的功能擴展板或連接至該計算機的功能擴展單元所設置的存儲器，之后，針對該功能擴展板或功能擴展單元所設置的CPU等基于該程序代碼的指令來執行實際處理的一部分或全部，并且通過這些處理來實現上述實施例的功能。盡管已經參考典型實施例說明了本發明，但是應該理解，本發明不限于所公開的典型實施例。所附權利要求書的范圍符合最寬的解釋，以包含所有這類修改、等同結構和功倉泛。
權利要求
1.一種圖像編碼設備，用于對通過利用多個攝像單元拍攝被攝體所獲得的多個圖像信號進行編碼，所述圖像編碼設備包括 輸入部件，用于輸入所述多個圖像信號； 編碼部件，用于以預定像素塊為單位對所輸入的多個圖像信號進行編碼，并以所述預定像素塊為單位在所述多個圖像信號之間進行幀間預測； 生成部件，用于生成表示所述編碼部件的編碼對象塊與如下的像素塊之間的圖像偏移的差信息，其中該像素塊是所述幀間預測所參考的參考圖像中的位于與所述編碼對象塊的位置相對應的位置處的像素塊；以及 設置部件，用于根據所述生成部件所生成的差信息，自適應地設置用于檢測在所述幀間預測中所述編碼對象塊所使用的矢量的搜索范圍。
2.根據權利要求I所述的圖像編碼設備，其特征在于，所述差信息是所述編碼對象塊與所述參考圖像的相應位置處的像素塊之間的像素差值、以所述預定像素塊為單位所檢測到的視差矢量、以及所述多個攝像單元的運動信息的其中一個。
3.根據權利要求I所述的圖像編碼設備，其特征在于，所述差信息是所述編碼對象塊與所述參考圖像的相應位置處的像素塊之間的像素差值，所述設置部件根據所述像素差值來針對各編碼對象塊單獨設置所述搜索范圍的大小，并且當所述像素差值大于預定閾值時，所述設置部件將所述搜索范圍的大小設置為大于當所述像素差值等于或小于所述預定閾值時的大小。
4.根據權利要求3所述的圖像編碼設備，其特征在于，所述設置部件根據所述像素差值來改變從所述搜索范圍中檢測所述矢量時的搜索精度，并且與所述搜索范圍的大小的改變無關地將每單位時間的搜索次數設置為預定值。
5.根據權利要求I所述的圖像編碼設備，其特征在于，所述差信息是所述編碼對象塊與所述參考圖像的相應位置處的像素塊之間的像素差值，所述設置部件根據所述像素差值來針對各編碼對象塊單獨設置所述搜索范圍的大小，當所述像素差值大于預定閾值時，所述設置部件進行設置從而對所設置的搜索范圍進行粗略搜索，以及當所述像素差值等于或小于所述預定閾值時，所述設置部件進行設置從而對所設置的搜索范圍進行精細搜索。
6.根據權利要求I所述的圖像編碼設備，其特征在于，所述差信息是所述編碼對象塊與所述參考圖像的相應位置處的像素塊之間的像素差值，所述設置部件根據所述像素差值來改變所述搜索范圍的設置位置，并且當所述像素差值大于閾值時，所述設置部件使所述搜索范圍的設置位置在與所述多個攝像單元的配置方向相對應的方向上移動。
7.根據權利要求6所述的圖像編碼設備，其特征在于，所述設置部件還根據所述像素差值來改變所述搜索范圍的大小。
8.根據權利要求I所述的圖像編碼設備，其特征在于，所述差信息是以所述預定像素塊為單位所檢測到的視差矢量，并且所述設置部件根據針對先前被所述編碼部件編碼了的像素塊而檢測到的視差矢量的垂直分量，不改變所述搜索范圍的面積而改變所述搜索范圍的形狀。
9.根據權利要求8所述的圖像編碼設備，其特征在于，當針對先前被所述編碼部件編碼了的像素塊而檢測到的視差矢量的垂直分量的值落入預定范圍內時，所述設置部件不改變所述搜索范圍的形狀而改變所述搜索范圍的設置位置。
10.根據權利要求I所述的圖像編碼設備，其特征在于，所述差信息是所述多個攝像單元的運動信息，并且所述設置部件根據所述多個攝像單元的運動信息，不改變所述搜索范圍的面積而改變所述搜索范圍的形狀。
11.根據權利要求10所述的圖像編碼設備，其特征在于，當所述多個攝像單元的運動落入預定范圍內時，所述設置部件根據所述多個攝像單元的運動信息來不改變所述搜索范圍的面積而改變所述搜索范圍的形狀，并使所述搜索范圍的設置位置根據所述運動信息而移動。
12.—種攝像設備，包括 多個攝像單元，用于通過拍攝被攝體來獲得圖像信號；以及 根據權利要求I至11中任一項所述的圖像編碼設備。
13.一種圖像編碼方法，用于對通過利用多個攝像單元拍攝被攝體所獲得的多個圖像信號進行編碼，所述圖像編碼方法包括以下步驟 輸入步驟，用于輸入所述多個圖像信號； 編碼步驟，用于以預定像素塊為單位對所輸入的多個圖像信號進行編碼，并以所述預定像素塊為單位在所述多個圖像信號之間進行幀間預測； 生成步驟，用于生成表示所述編碼步驟的編碼對象塊與如下的像素塊之間的圖像偏移的差信息，其中該像素塊是所述幀間預測所參考的參考圖像中的位于與所述編碼對象塊的位置相對應的位置處的像素塊；以及 設置步驟，用于根據所述生成步驟中所生成的差信息，自適應地設置用于檢測在所述幀間預測中所述編碼對象塊所使用的矢量的搜索范圍。
全文摘要
本發明涉及一種立體圖像編碼設備及其方法和攝像設備。當通過使用圖像之間的幀間預測來以預定像素塊為單位對多個攝像單元所拍攝的被攝體的多個圖像信號進行編碼時，根據這些多個圖像信號來生成表示圖像之間的偏移的差信息，并根據所生成的差信息來自適應地設置為了以預定像素塊為單位檢測矢量所設置的搜索范圍。
文檔編號H04N13/00GK102790890SQ20121015487
公開日2012年11月21日 申請日期2012年5月17日 優先權日2011年5月17日
發明者坂本大輔, 大槻純 申請人:佳能株式會社