立體圖像拾取裝置的制作方法

專利名稱：立體圖像拾取裝置的制作方法
技術領域：
本發明涉及一種立體圖像拾取裝置，并且更具體地，涉及一種拍攝其間具有視差的多個圖像的立體圖像拾取裝置。
背景技術：
在立體圖像拾取裝置中，通過使用有視差地被布置到左側和右側的兩個圖像拾取單元，從左右視點拍攝同一被攝物，并且分別獲取左眼圖像和右眼圖像。這樣獲取的左右圖像被輸入到能夠以三維(3D)方式進行顯示的3D顯示器，并且被顯示以便于可由左右眼分開觀看，從而左右圖像可以被識別為立體圖像。通常，具有相同性能和特性的光學系統被用作兩個圖像拾取單元的拍攝光學系統，并且各個拍攝光學系統被調整并且并入裝置主體中，使得其光軸彼此一致。然而，在兩個拍攝光學系統之間存在個體差異。因此，當與透鏡移動等一起執行變焦倍率的改變等時，出現兩個拍攝光學系統的光軸根據變焦位置而偏離的問題。另外，機械地調整光軸使得在整個變焦范圍上不發生光軸偏離是極其困難的。迄今為止，為了解決該問題，已經提出了一種立體圖像拾取裝置，其中提供了存儲裝置，該存儲裝置在其中針對每個變焦位置存儲兩個拍攝光學系統的光軸偏離；在拍攝時，根據拍攝光學系統的變焦位置，從該存儲裝置讀出對應的光軸偏離；基于讀出的光軸偏離來轉換所拍攝的左右圖像中的一個圖像的坐標；并且因此，使得左右圖像的光軸坐標彼此一致(PTL 1)。另外，PTL 2公開了一種立體圖像拾取裝置，包括第一透鏡鏡筒，該第一透鏡鏡筒包括用于獲得右眼的拍攝信息的CXD ；第二透鏡鏡筒，該第二透鏡鏡筒包括用于獲得左眼的拍攝信息的CXD ；相機檢測電路，該相機檢測電路檢測第一透鏡鏡筒和第二透鏡鏡筒的焦距；ROM，該ROM由EEPROM等形成，并且在其中針對每個焦距預先存儲第一透鏡鏡筒和第二透鏡鏡筒中的每一個的光軸中心的偏離量；以及CPU，該CPU基于來自ROM的輸出針對每個焦距來控制成對的左右CXD中的至少一個內的圖像切出區域。另一方面，PTL 3公開了一種圖像處理裝置，其中將用于關于作為參考的透鏡中心的坐標校正的近似表達設置為立體相機的透鏡特性；并且基于該近似表達來校正由相機捕捉到的目標圖像的投影坐標。引用列表專利文獻PTL 1 日本專利申請特開2006-162991號公報PTL 2 日本專利申請特開08-3174 號公報PTL 3 日本專利申請特開2004-U6905號公報

發明內容
技術問題
PTL 1和PTL 2公開了如下技術，其中，通過下述步驟來校正兩個拍攝光學系統之間的由于個體差異而引起的光軸偏離基于針對每個變焦位置而預先獲取的光軸偏離量來轉換左右圖像中的一個圖像的坐標；或者改變圖像切出范圍。另外，PTL 3公開了一種對由于透鏡畸變而引起的圖像畸變進行校正的技術。順帶提及，即使在其中如在PTL 1和PTL 2所公開的發明中通過轉換所拍攝的圖像的坐標或者調整圖像切出范圍來校正兩個拍攝光學系統之間的光軸偏離的情況下，如果此后對左右圖像執行用于對如在PTL 3中公開的由于透鏡畸變而引起的圖像畸變(諸如桶形畸變或枕形畸變)進行校正的畸變校正，則出現光軸由于該畸變校正而偏離的問題。例如，假定如圖20中所示，具有桶形畸變的左眼的圖像的光軸中心是(\，并且具有桶形畸變的右眼的圖像的光軸中心是0K，則畸變校正之后的這些圖像的光軸中心分別為 Ol'和0/，并且光軸中心在水平方向和垂直方向上偏離了 ΔΗ和Δ V。另外，畸變校正是通過將每個像素的坐標值代入為高次多項式的畸變校正公式進行計算來執行的，并且因而計算量大。例如，在其中拍攝3D運動圖像時使用具有高校正精度的畸變校正公式來執行畸變校正的情況下，出現難以以高幀率拍攝并且記錄高清晰度 (HD) 3D運動圖像的問題。因此，在3D運動圖像的情況下，不執行畸變校正，或者替代地，使用低次畸變校正公式來執行具有低校正精度的畸變校正。另一方面，可以在拍攝后，在將圖像寫入到存儲卡之前執行3D靜止圖像的畸變校正，并且因而可以使用具有高校正精度的畸變校正公式來執行具有高校正精度的畸變校正。在如上所述其中對3D運動圖像和3D靜止圖像分別使用具有不同校正精度的畸變校正公式的情況下，出現畸變校正之后的光軸中心根據所使用的畸變校正公式而偏離的問題。本發明是鑒于上述情況而做出的，并且因此具有下述目的，提供一種立體圖像拾取裝置，即使在以對于用于拍攝3D運動圖像、3D靜止圖像等的每個圖像拾取模式而不同的校正精度來執行畸變校正的情況下，該裝置也能夠獲得如下多個圖像，該多個圖像在畸變校正之后在用于立體觀看的圖像之間不具有光軸偏離，并且因此易于進行立體觀看。對問題的解決方案為了實現上述目的，根據本發明的第一方面，提供了一種立體圖像拾取裝置，包括多個圖像拾取單元，每一個圖像拾取單元包括拍攝光學系統和圖像拾取元件，所述圖像拾取元件使經由所述拍攝光學系統形成的被攝體圖像經歷光電轉換，所述多個圖像拾取單元拾取在所述多個圖像拾取單元之間具有視差的多個圖像；第一存儲單元，所述第一存儲單元在其中存儲針對多個圖像拾取模式中的每一個設置的畸變校正公式，所述畸變校正公式具有對于所述多個圖像拾取模式中的每一個而不同的校正精度；畸變校正公式獲取單元，所述畸變校正公式獲取單元從存儲在所述第一存儲單元中的畸變校正公式中獲取與當前圖像拾取模式相對應的畸變校正公式；第二存儲單元，所述第二存儲單元在其中存儲包括在所述多個圖像拾取單元中的每個拍攝光學系統的預先檢測到的光軸偏離量，所述光軸偏離量已經經歷了使用針對所述多個圖像拾取模式中的每一個設置的所述畸變校正公式的畸變校正；光軸偏離量獲取單元，所述光軸偏離量獲取單元基于下述來獲取與所述當前圖像拾取模式相對應的光軸偏離量存儲在所述第二存儲單元中的每個拍攝光學系統的光軸偏離量以及所述當前圖像拾取模式；圖像拾取控制單元，所述圖像拾取控制單元根據所述當前圖像拾取模式來從所述多個圖像拾取單元獲取所述多個圖像；畸變校正單元，所述畸變校正單元基于與所述當前圖像拾取模式相對應地由所述畸變校正公式獲取單元所獲取的畸變校正公式來對由所述圖像拾取控制單元所獲取的多個圖像執行畸變校正；以及圖像切出單元，所述圖像切出單元基于與所述當前圖像拾取模式相對應地由所述光軸偏離量獲取單元獲取的光軸偏離量，來對由所述圖像拾取控制單元獲取的所述多個圖像執行用于立體顯示的圖像的切出處理。根據本發明的第一方面，由所述光軸偏離量獲取單元獲取在與當前圖像拾取模式相對應的畸變校正之后的光軸偏離量，并且基于所獲取的光軸偏離量，對所述多個圖像執行用于立體顯示的圖像的切出處理。因此，即使使用具有根據圖像拾取模式而不同的校正精度的畸變校正公式來執行畸變校正的情況下，也能夠在不影響所執行的校正的情況下校正光軸偏離。根據本發明的第二方面，根據第一方面的立體圖像拾取裝置還包括變焦位置檢測單元，所述變焦位置檢測單元檢測所述多個拍攝光學系統中的每一個的當前變焦位置。在該立體圖像拾取裝置中，所述第一存儲單元在其中存儲根據每個拍攝光學系統的變焦位置的畸變校正公式，并且所述畸變校正公式獲取單元從所述第一存儲單元中獲取與當前圖像拾取模式和每個拍攝光學系統的當前變焦位置相對應的畸變校正公式。在其中將當前圖像拾取模式設置為以低校正精度執行畸變校正的情況下，使用低次多項式作為畸變校正公式。另一方面，在其中將當前圖像拾取模式設置為以高校正精度執行畸變校正的情況下，使用高次多項式作為畸變校正公式。另外，在存儲與變焦位置相對應的畸變校正公式的情況下，可以想到存儲具有根據變焦位置而不同的各項的系數的畸變校正公式，以及存儲畸變校正公式的一般公式和根據變焦位置的系數。根據本發明的第三方面，在根據第一方面或第二方面的立體圖像拾取裝置中，所述第二存儲單元在其中存儲根據所述多個拍攝光學系統中的每一個的變焦位置的每個拍攝光學系統的光軸偏離量，并且所述光軸偏離量獲取單元根據當前圖像拾取模式和每個拍攝光學系統的當前變焦位置來從所述第二存儲單元中獲取對應的光軸偏離量。S卩，除了使用具有根據圖像拾取模式而不同的校正精度的畸變校正公式之外，即使在變焦位置改變時也使用不同的畸變校正公式(具有不同系數等的公式)。因此，所述光軸偏離量獲取單元在與當前圖像拾取模式和當前變焦位置相對應的畸變校正之后獲取光軸偏離量。根據本發明的第四方面，在根據第二方面或第三方面的立體圖像拾取裝置中，根據每個圖像拾取模式和變焦位置，所述第二存儲單元在其中存儲經過使用與每個圖像拾取模式和每個拍攝光學系統的變焦位置相對應的畸變校正公式的畸變校正之后的光軸偏離量，作為每個拍攝光學系統的光軸偏離量，并且所述光軸偏離量獲取單元包括讀出單元，所述讀出單元根據當前圖像拾取模式和當前變焦位置來從所述第二存儲單元中讀出對應的光軸偏離量。根據本發明的第五方面，在根據第二方面或第三方面的立體圖像拾取裝置中，根據每個拍攝光學系統的變焦位置，所述第二存儲單元在其中存儲所述畸變校正之前的光軸偏離量作為每個拍攝光學系統的光軸偏離量，并且所述光軸偏離量獲取單元包括計算單元，所述計算單元基于當前變焦位置將從所述第二存儲單元讀出的光軸偏離量代入與當前圖像拾取模式相對應的并且通過所述畸變校正公式獲取單元獲取的畸變校正公式中，以由此計算所述畸變校正之后的光軸偏離量。根據本發明的第四方面，根據每個圖像拾取模式和變焦位置，所述第二存儲單元在其中存儲在使用與每個圖像拾取模式和變焦位置相對應的畸變校正公式的畸變校正之后的光軸偏離量，并且從所述第二存儲單元中讀出與當前圖像拾取模式和當前變焦位置相對應的光軸偏離量。根據第五方面，第二存儲單元根據變焦位置在其中存儲畸變校正之前的光軸偏離量，并且基于當前變焦位置，從所述第二存儲單元中讀出所存儲的光軸偏離量。 然后，將讀出的光軸偏離量代入與當前圖像拾取模式相對應并且由畸變校正公式獲取單元獲取的畸變校正公式中，由此計算畸變校正之后的光軸偏離量。以該方式，獲得畸變校正之后的光軸偏離量。根據本發明的第六方面，在根據第二方面或第三方面的立體圖像拾取裝置中，所述第二存儲單元針對每個圖像拾取模式，在其中存儲用于計算在使用與每個圖像拾取模式和每個拍攝光學系統的變焦位置相對應的畸變校正公式的畸變校正之后的光軸偏離量的信息，作為每個拍攝光學系統的光軸偏離量，并且所述光軸偏離量獲取單元包括計算單元， 所述計算單元基于下述來計算對應的光軸偏離量根據當前圖像拾取模式從所述第二存儲單元讀出的信息以及當前變焦位置。用于計算在與變焦位置相對應的畸變校正之后的光軸偏離量的信息的可想到的示例包括兩個變焦位置(即，廣角端和遠景端)處的畸變校正之后的光軸偏離量；以及用于使用這些光軸偏離量的線性插值的計算公式。可以基于該計算公式和當前變焦位置來計算與當前圖像拾取模式和當前變焦位置相對應的光軸偏離量。根據本發明的第七方面，根據第二方面或第三方面的立體圖像拾取裝置進一步包括聚焦位置檢測單元，所述聚焦位置檢測單元檢測所述多個拍攝光學系統中的每一個的當前聚焦位置。在該立體圖像拾取裝置中，根據每個圖像拾取模式、變焦位置和聚焦位置，所述第二存儲單元在其中存儲在使用與每個圖像拾取模式和每個拍攝光學系統的變焦位置相對應的畸變校正公式的畸變校正之后的光軸偏離量，并且所述光軸偏離量獲取單元包括讀出單元，所述讀出單元根據當前圖像拾取模式、當前變焦位置和當前聚焦位置，從所述第二存儲單元中讀出對應的光軸偏離量。光軸還由于拍攝光學系統的聚焦位置而偏離。因此，根據第七方面，根據每個圖像拾取模式、變焦位置和聚焦位置，第二存儲單元在其中存儲畸變校正之后的光軸偏離量，并且從所述第二存儲單元讀出與當前圖像拾取模式、當前變焦位置和當前聚焦位置相對應的光軸偏離量。根據本發明的第八方面，根據第二方面或第三方面的立體圖像拾取裝置進一步包括聚焦位置檢測單元，所述聚焦位置檢測單元檢測所述多個拍攝光學系統中的每一個的當前聚焦位置。在該立體圖像拾取裝置中，根據每個圖像拾取模式和變焦位置，所述第二存儲單元在其中存儲用于計算在使用與每個圖像拾取模式和每個拍攝光學系統的變焦位置相對應的畸變校正公式的畸變校正之后的光軸偏離量的信息，并且所述光軸偏離量獲取單元包括計算單元，所述計算單元基于下述來計算對應的光軸偏離量根據當前圖像拾取模式和當前變焦位置從所述第二存儲單元中讀出的信息以及當前聚焦位置。用于計算在使用與每個圖像拾取模式和每個拍攝光學系統的變焦位置相對應的畸變校正公式的畸變校正之后的光軸偏離量的信息的可想到的示例包括兩個聚焦位置 (即，最近距離和無限遠)處的畸變校正之后的光軸偏離量；以及用于使用這些光軸偏離量的線性插值的計算公式。可以基于該計算公式和當前聚焦位置來計算與當前圖像拾取模式、當前變焦位置和當前聚焦位置相對應的光軸偏離量。根據本發明的第九方面，根據第一方面至第八方面中的任何一方面的立體圖像拾取裝置進一步包括陰影校正單元，所述陰影校正單元對通過所述圖像拾取控制單元獲取的多個圖像執行陰影校正。在該立體圖像拾取裝置中，所述圖像切出單元對已經經歷了由所述陰影校正單元進行的陰影校正的圖像執行圖像切出處理。在通過陰影校正使多個圖像的亮度均勻之后，執行圖像切出處理，這從而使多個切出圖像之間沒有亮度差。根據本發明的第十方面，在根據第一方面至第九方面中的任何一方面的立體圖像拾取裝置中，所述圖像切出單元對已經經歷了由所述畸變校正單元進行的畸變校正的圖像執行圖像切出處理。這使得能夠在沒有畸變的情況下從多個圖像切出圖像。根據本發明的第十一方面，在根據第一方面至第九方面中的任何一方面的立體圖像拾取裝置中，所述畸變校正單元對已經經歷了由所述圖像切出單元進行的切出處理的圖像執行畸變校正。根據本發明的第十二方面，在根據第一方面至第十一方面中的任何一方面的立體圖像拾取裝置中，所述多個圖像拾取模式為下述中的兩個或更多圖像拾取模式在顯示器單元上顯示現場觀看圖像的操作時設置的圖像模式；靜止圖像拾取模式；運動圖像拾取模式；以及畸變增強圖像拾取模式。應當注意，畸變增強圖像拾取模式的可想到的示例包括魚眼圖像拾取模式。另外，魚眼圖像拾取模式類似地被視為3D運動圖像和3D靜止圖像之間的不同圖像拾取模式。根據本發明的第十三方面，根據第十方面的立體圖像拾取裝置進一步包括選擇連續拍攝模式的單元，其中，在獲取了預設的數目的圖像之前或者在給出拍攝指令時，從所述多個圖像拾取單元獲取多個時間系列圖像；以及內部存儲單元，所述內部存儲單元在其中臨時地存儲以連續拍攝模式拍攝的圖像。在該立體圖像拾取裝置中，所述陰影校正單元在以連續拍攝模式進行拍攝結束之后，讀出存儲在內部存儲單元中的多個圖像，以對其執行陰影校正。陰影校正是在連續拍攝結束之后執行的，從而能夠防止連續拍攝速度的降低。根據本發明的第十四方面，根據第一方面至第十三方面中的任何一方面的立體圖像拾取裝置進一步包括模式選擇單元，所述模式選擇單元選擇拍攝模式或再生模式；以及記錄單元，所述記錄單元將指示所述圖像拾取模式的信息和指示由所述光軸偏離量獲取單元所獲取的光軸偏離量的信息連同所述圖像拾取控制單元在由所述模式選擇單元選擇的拍攝模式中所獲取的多個圖像一起，與所獲取的多個圖像相關聯地記錄到記錄介質中。 在該立體圖像拾取裝置中，所述畸變校正單元和所述圖像切出單元從所述記錄介質中讀出與所述圖像相關聯地記錄的多條信息以及由所述模式選擇單元選擇的再生模式中的多個圖像，以基于與所讀出的多條信息相對應的畸變校正公式和光軸偏離量來對所讀出的多個圖像執行畸變校正和圖像切出處理。畸變校正和圖像切出處理不是在拍攝時執行的而是在再生時執行的，從而能夠減少拍攝時的處理量。特別是在拍攝3D運動圖像時，能夠以高幀速率拍攝并且記錄高清晰度3D運動圖像。根據本發明的第十五方面，在根據第十四方面的立體圖像拾取裝置中，所述記錄單元將在再生模式中經歷了畸變校正和圖像切出處理的圖像記錄到所述記錄介質中。應當注意，可以記錄諸如畸變校正的處理之后的圖像，以便于覆寫處理前的圖像，或者可以與處理前的圖像分立地進行記錄。根據本發明的第十六方面，根據第一至第十五方面中的任何一個的立體圖像拾取裝置進一步包括視差量調整單元，所述視差量調整單元調整從所述多個圖像拾取單元輸出的多個圖像之間的視差量。在該立體圖像拾取裝置中，所述圖像切出單元在進行用于立體顯示的圖像的切出處理時，基于由所述視差量調整單元調整的視差量，對其切出位置要進一步被調整的圖像執行切出處理。這使得能夠對多個圖像執行切出處理，以便于獲得與用戶偏好匹配的視差量。發明的有益效果根據本發明，即使在以對于用于拍攝3D運動圖像、3D靜止圖像等的每個圖像拾取模式而不同的校正精度來執行畸變校正的情況下，也能夠獲得如下多個圖像，該多個圖像在畸變校正之后在用于立體觀看的圖像之間不具有光軸偏離并且因而易于立體觀看。


圖IA是圖示根據本發明的立體圖像拾取裝置的外觀的視圖；圖IB是圖示根據本發明的立體圖像拾取裝置的外觀的視圖。圖2是圖示根據本發明的立體圖像拾取裝置的實施例的框圖。圖3是示出根據本發明的在裝運前在光軸調整時執行的處理的第一實施例的流程圖。圖4A是圖示在裝運前在光軸調整時記錄到EEPROM中的表的示例的示圖。圖4B是圖示在裝運前在光軸調整時記錄到EEPROM中的表的示例的示圖。圖4C是圖示在裝運前在光軸調整時記錄到EEPROM中的表的示例的示圖。圖5是示出根據本發明的立體圖像拾取裝置的每個圖像拾取模式的拍攝操作的流程圖。圖6是示出圖5中圖示的圖像處理的第一實施例的流程圖。圖7是示出根據本發明的在裝運前在光軸調整時執行的處理的第二實施例的流程圖。圖8是示出計算在畸變校正后的光軸偏離量的實施例的流程圖。圖9是圖示其中針對每個變焦位置和每個聚焦位置保持畸變校正后的光軸偏離量的表的示圖。圖10是圖示通過線性插值來計算存儲在圖9的表中的光軸偏離量的一部分的示例的示圖。圖11是示出圖5中圖示的圖像處理的第二實施例的流程圖。圖12是示出連續拍攝時執行的圖像處理的第一實施例的流程圖。圖13是示出連續拍攝時執行的圖像處理的第二實施例的流程圖。圖14是示出連續拍攝時執行的圖像處理的第三實施例的流程圖。
圖15是示出由根據本發明的立體圖像拾取裝置進行的拍攝處理的第一實施例的流程圖。圖16是示出由根據本發明的立體圖像拾取裝置進行的再生處理的第一實施例的流程圖。圖17是示出由根據本發明的立體圖像拾取裝置進行的拍攝處理的第二實施例的流程圖。圖18是示出由根據本發明的立體圖像拾取裝置進行的再生處理的第二實施例的流程圖。圖19是用于描述圖17和圖18中分別示出的拍攝和再生的第二實施例中的圖像切出處理的視圖。圖20是圖示畸變校正前后之間的左右圖像的光軸中心偏離的狀態的視圖。
具體實施例方式以下，參考附圖描述根據本發明的立體圖像拾取裝置的實施例。[立體圖像拾取裝置的外觀]圖1是每一個都圖示根據本發明的立體圖像拾取裝置的外觀的視圖。圖IA是從立體圖像拾取裝置前面觀察到的立體圖像拾取裝置的立體視圖，并且圖IB是立體圖像拾取裝置的背面視圖。立體圖像拾取裝置(復眼相機)10是能夠記錄和再生2D/3D靜止圖像以及2D/3D 運動圖像的數字相機，并且如圖IA和圖IB中所示，在薄型立方體相機主體的上表面上設置快門按鈕11和變焦按鈕12。具有與相機主體的水平寬度基本上相同的寬度的透鏡擋板13被設置在相機主體的前表面上，以便于可在相機主體的垂直方向上移動。在由交替的一長兩短點劃線指示的位置和由實線指示的位置之間在垂直方向上移動透鏡擋板13，從而可以同時打開/關閉成對的左右拍攝光學系統14-1和14-2的前表面。應當注意，折射光學系統的變焦透鏡被用作拍攝光學系統14-1和14-2。另外，可以結合由透鏡擋板13進行的透鏡的前表面的打開 /關閉操作來使相機通電/斷電。如圖IB中所示，在相機主體的后表面的中央部分中設置用于3D的液晶監視器16。 液晶監視器16可以通過視差屏障(barrier)將多個視差圖像(用于右眼的圖像和用于左眼的圖像)顯示為每一個都具有預定方向性的方向性圖像。應當注意，可以采用包括雙凸透鏡(lenticular lens)的監視器作為用于3D的液晶監視器16，可以通過佩戴諸如偏振眼鏡的特殊眼鏡和液晶快門眼鏡等而在監視器上獨立地觀看用于右眼的圖像和用于左眼的圖像。在液晶監視器16的左側和右側設置各種操作開關。操作開關18A是用于在靜止圖像拍攝和運動圖像拍攝之間切換的轉換開關，操作開關18B是用于調整用于右眼的圖像和用于左眼的圖像的視差量的視差調整開關，并且操作開關18C是用于在2D圖像拾取和 3D圖像拾取之間進行切換的轉換開關。另外，操作開關18D為蹺蹺板式按鍵，其用作MEMU/ OK (菜單/確認)按鈕和再生按鈕二者，操作開關18E是多功能箭頭鍵，并且操作開關18F 是DISP/BACK (顯示/返回)按鍵。
MEMU/0K按鈕是設置有如下功能的操作開關用于給出指令以在液晶監視器16的屏幕上顯示菜單的菜單按鈕的功能；以及用于給出指令以確定和執行所選擇的內容的OK 按鈕的功能。再生按鈕是用于從拍攝模式切換到再生模式的按鈕。箭頭鍵是用于在上、下、 左、右四個方向上輸入指令的操作開關，并且對箭頭鍵指配微距按鈕、閃光按鈕、自定時按鈕等。另外，在選擇了菜單的情況下，箭頭鍵用作用于給出指令以從菜單畫面選擇項目或者從每個菜單選擇各種設置項目的開關(光標移動操作單元)。另外，包括在箭頭鍵中的左右鍵用作再生模式中的逐幀前進(正向/反向前進)按鈕。DISP/BACK鍵用于切換液晶監視器16的顯示模式、取消菜單畫面上的指令內容或者返回到前一操作狀態。應當注意，在圖IA中，附圖標記15指示立體聲麥克風。[立體圖像拾取裝置的內部構造]圖2是圖示立體圖像拾取裝置10的實施例的框圖。如圖2中所示，立體圖像拾取裝置10主要包括多個圖像拾取單元20-1和20_2 ； 中央處理單元(CPU) 32 ；操作單元34，該操作單元包括快門按鈕11、變焦按鈕12和上述各種操作開關；顯示控制單元36 ；液晶監視器16 ；記錄控制單元38 ；壓縮/解壓縮處理單元42;數字信號處理單元44 ；AE(自動曝光)檢測單元46 ；AF(自動聚焦)檢測單元48 ； AffB(自動白平衡)檢測單元50 ；VRAM 52 ；RAM 54 ；ROM 56 ；和EEPROM 58。應當注意，圖像拾取單元20-1和20-2拾取兩個視差圖像，S卩，在其間具有視差的用于左眼的圖像和用于右眼的圖像，并且替代地，圖像拾取單元20的數目可以為三或更多。拾取用于左眼的圖像的圖像拾取單元20-1包括棱鏡(未示出)；拍攝光學系統 14-1 (圖1A)，該拍攝光學系統14-1由聚焦透鏡和變焦透鏡21組成；光學單元，該光學單元由光圈22和機械式快門23組成；固態圖像拾取元件(CCD) 24 ；模擬信號處理單元25 ；A/D 轉換器26 ；圖像輸入控制器27 ；驅動光學單元的透鏡驅動單元觀；光圈驅動單元四；快門控制單元30;以及控制CCD對的(⑶控制單元31。應當注意，拾取用于右眼的圖像的圖像拾取單元20-2具有與拾取用于左眼的圖像的圖像拾取單元20-1的構造相同的構造，并且因而省略了對其特定構造的描述。CPU 32基于來自操作單元34的輸入，根據預定控制程序來以綜合方式控制相機的整個操作。應當注意，ROM 56在其中存儲由CPU 32執行的控制程序、控制所必需的各種數據等，并且EEPROM 58在其中存儲指示在產品裝運之前的調整時的調整結果的各種信息，例如，CCDM的像素缺陷信息、用于圖像處理的校正參數和表等。應當注意，稍后將詳細描述存儲在其中的各種信息。另外，VRAM 52是其中臨時存儲了要在液晶監視器16上顯示的用于顯示的圖像數據的存儲器，并且RAM討包括用于CPU 32的算術運算的區域和圖像數據的臨時存儲區域。包括在拍攝光學系統中的聚焦透鏡和變焦透鏡21由透鏡驅動單元觀來驅動，以由此沿光軸前后移動。CPU 32控制透鏡驅動單元觀的驅動，并且因此控制聚焦透鏡的位置，以由此執行聚焦，使得被攝體進入焦點。此外，CPU 32響應于來自包括在操作單元34中的變焦按鈕12的變焦指令來控制變焦透鏡的變焦位置，以由此改變變焦倍率。光圈22由例如虹膜式光圈構成，并且由光圈驅動單元四驅動來進行操作。CPU 32 經由光圈驅動單元四來控制光圈22的開口(孔徑)，以由此控制進入CXD M的光量。機械式快門23打開/關閉光學路徑，以由此決定CCD 24的曝光時間，并且當從CXD對讀出圖像信號時阻止不必要的光進入CXD 24，以由此防止拖尾(smear)的發生。CPU 32向快門控制單元30輸出與對應于快門速度的曝光結束時間點同步的快門關閉信號，以由此控制機械式快門23。CXD M由二維彩色CXD固態圖像拾取元件構成。在CXD M的受光表面上以二維方式布置大量光電二極管，并且以預定布置圖案將濾色器提供給每個光電二極管。經由由此構成的光學單元在CXD的受光表面上成像的被攝體的光學圖像由這樣的光電二極管轉換成與入射光量相對應的信號電荷。響應于來自CPU 32的命令，基于從 CCD控制單元31供給的驅動脈沖，從CCD 24順序讀出每個光電二極管中所累積的信號電荷，作為與信號電荷相對應的電壓信號(圖像信號)。CCD M具有電子快門功能，并且控制光電二極管的電荷累積時間，由此控制曝光時間(快門速度)。應當注意，與快門速度相對應的電荷累積開始時間點通過電子快門來控制，而曝光結束時間點(電荷累積結束時間點)通過關閉機械式快門23來控制。在本實施例中，CXD M用作圖像拾取元件，并且替代地，可以采用具有其他構造的圖像拾取元件，諸如CMOS傳感器。 通過模擬信號處理單元25對從CXD M讀出的R、G和B模擬信號進行相關雙采樣 (⑶S)和放大，并且然后通過A/D轉換器沈將R、G和B模擬信號轉換成R、G和B數字信號。圖像輸入控制器27包括具有預定容量的內置線緩沖器，其中通過A/D轉換器沈對其進行A/D轉換的R、G和B圖像信號(CCD RAW數據)被臨時性地累積在其中，以經由總線60存儲到RAM M中。在3D圖像拾取模式時，與拾取用于左眼的圖像的圖像拾取單元20-1類似地，CPU 32控制拾取用于右眼的圖像的圖像拾取單元20-2。AE檢測單元46基于快門按鈕11半按下時得到的圖像信號來計算AE控制所必需的被攝體照度，并且向CPU 32輸出指示被攝體照度(拍攝EV值)的信號。基于接收到的拍攝EV值，CPU 32根據預定程序圖表來設置多個圖像拾取單元20-1和20_2中的快門速度(曝光時間)、孔徑和拍攝靈敏度。AF檢測單元48將半按下快門按鈕11時得到的AF區域中的圖像信號的高頻分量的絕對值累加在一起，并且向CPU 32輸出累加值(AF評估值)。CPU 32使聚焦透鏡從最近距離朝無限遠移動，搜索通過AF檢測單元48檢測到的AF評估值變為最大的焦點對準 (in-focus)位置，并且使聚焦透鏡移動到該焦點對準位置，以由此對被攝體(主被攝體)執行聚焦。應當注意，在拍攝運動圖像時，CPU 32執行所謂的爬山(hill climbing)控制，其中，移動聚焦透鏡，使得AF評估值總是具有最大值。AWB檢測單元50基于在實際拍攝時獲取的R、G和B圖像信號來自動地獲得光源類型(被攝領域的色溫)，并且從表中讀出對應的白平衡增益，在所述表中存儲針對每個光源類型預先設置的R、G和B的白平衡增益(白平衡校正值)。數字信號處理單元44包括白平衡校正電路、灰度轉換處理電路(例如，伽馬校正電路)、同步電路、輪廓校正電路、照度/色差生成電路等，所述同步電路對由于單板CCD中的濾色器布置而導致的R、G和B的彩色信號的空間偏離進行插值，以由此使各個彩色信號的位置彼此匹配。數字信號處理單元44對存儲在RAM 54中的R、G和B的圖像信號((XD 原始數據)執行圖像處理。即，在數字信號處理單元44中，使R、G和B的CCD原始數據乘以由AWB檢測單元50檢測到的白平衡增益，從而執行白平衡校正。此后，C⑶原始數據經歷諸如灰度轉換處理(例如，伽馬校正)的預定處理，并且然后被轉換成由亮度信號(Y信號)和色差信號(Cr信號和Cb信號)形成的YC信號。由數字信號處理單元44處理的YC 信號被存儲到RAM M中。另外，數字信號處理單元44包括畸變校正電路，該畸變校正電路校正多個圖像拾取單元20-1和20-2的拍攝光學系統的透鏡畸變；以及圖像切出處理電路，該圖像切出處理電路從左右視點圖像中的每一個切出預定切出區域的圖像，以由此校正多個圖像拾取單元20-1和20-2的拍攝光學系統的光軸偏離。應當注意，畸變校正電路和圖像切出處理電路的處理內容稍后將詳細描述。壓縮/解壓縮處理單元42響應于來自CPU 32的命令在記錄到存儲卡40中時壓縮存儲在RAM 54中所存儲的YC信號，并且解壓縮記錄在存儲卡40中的壓縮數據，以由此獲得YC信號。記錄控制單元38將通過壓縮/解壓縮處理單元42壓縮的壓縮數據的圖像文件以預定格式(例如，在3D靜止圖像的情況下為MP(多圖片)格式的圖像文件；在3D運動圖像的情況下為運動JPEG、H. ^4、MPEG4或MPEG4-MVC的運動圖像文件)記錄到存儲卡 40中，或者從存儲卡40讀出圖像文件。液晶監視器16被用作用于顯示所拍攝的圖像的圖像顯示單元，并且還被用作用于進行各種設置的⑶I (圖形用戶界面)。另外，液晶監視器16被用作電子取景器，其顯示用于在拍攝模式中檢查視角的現場觀看圖像(以下，稱為“直通圖像(through image)”)。 在其中在液晶監視器16上顯示3D圖像的情況下，顯示控制單元36逐個像素的、交替地顯示保持在VRAM 52中的用于左眼的圖像和用于右眼的圖像。提供給液晶監視器16的視差屏障允許在預定距離處進行觀察的用戶的左右眼單獨觀看逐個像素交替布置的左右圖像。 這使得能夠進行立體觀看。應當注意，雖然圖2中沒有圖示，但立體圖像拾取裝置10還具有記錄和再生通過圖IA中圖示立體聲麥克風15所獲取的語音信息(音頻數據)的功能。[產品裝運前的光軸調整的第一實施例]接下來，對在產品裝運前的調整時被存儲到EEPROM 58中的用于光軸調整的信息進行描述。圖3是示出根據本發明的在裝運前的光軸調整時執行的處理的第一實施例的流程圖。如圖3所示，首先，將要調整的立體圖像拾取裝置10和用于調整光軸的調整圖設定成處于預定的位置關系中，并且調整立體圖像拾取裝置10的每個拍攝光學系統的聚焦位置，以由此聚焦在調整圖上(步驟S10)。應當注意，調整圖被置于拍攝光學系統的光軸相互相交的收斂點的位置處。接下來，將指示圖像拾取模式的變量N設置為1(步驟Si》。這里，N= 1指示當在液晶監視器16上顯示3D直通圖像時的圖像拾取模式，N = 2指示當拍攝3D運動圖像時的圖像拾取模式，并且N = 3指示當拍攝3D靜止圖像時的圖像拾取模式。隨后，拍攝調整圖，并且獲取左右圖像(步驟S14和S16)。對所獲取的左右圖像中的每一個執行與當前圖像拾取模式N相對應的畸變校正 (步驟S18)。這里，用于執行畸變校正的所使用的畸變校正公式具有根據圖像拾取模式N 而不同的校正精度。例如，在用于直通圖像的圖像拾取模式(N = 1)中使用二次多項式，在用于運動圖像的圖像拾取模式(N= 2)中使用四次多項式，并且在用于靜止圖像的圖像拾取模式(N=； )中使用六次多項式。應當注意，高次畸變校正公式可以實現具有較高精度的畸變校正，但計算量增加。因此，校正精度和計算量具有折衷關系。在步驟S18中的畸變校正之后，執行用于檢測左右圖像之間的對應特征點的對應點檢測(步驟S20)。例如，可以采用塊匹配法(block matching)作為檢測對應點的方法。 即，評估具有預定塊尺寸并且從左圖像關于作為基準的其任意像素作所切出的塊和右圖像的塊之間的一致性程度，并且將當塊之間的一致性程度最大時的右圖像的塊的基準像素被定義為與所述左圖像的任意像素相對應的右圖像的像素。另外，例如，可以使用塊中像素之間的亮度差的平方和(SSD)作為用于以塊匹配法評估塊之間的一致性程度的函數(SSD塊匹配法)。在如上所述檢測到對應點之后，檢測對應點的偏離量(如果檢測到多個對應點， 則檢測多個對應點的偏離量的平均)，并且與圖像拾取模式N相關聯地將檢測到的偏離量存儲到EEPROM 58中，作為兩個拍攝光學系統的光軸偏離量(步驟S22和S24)。接下來，確定是否為N = 4 (步驟S26)。如果“否”，則使N遞增1 (步驟S28)，并且 CPU 32轉到步驟S18。如果“是”，則結束調整處理(步驟S30)。以該方式，針對每個圖像拾取模式(N = 1,2,3)將光軸偏離量存儲到EEPROM 58中。應當注意，在其中圖像拾取光學系統是單個聚焦透鏡的情況下，以如上所述的這樣的方式來預先獲取光軸偏離量，并且另一方面，在如本實施例中的圖像拾取光學系統為變焦透鏡的情況下，針對變焦透鏡的每個變焦位置來獲取光軸偏離量。在其中變焦透鏡的變焦位置從廣角端處的變焦位置(Zl)到遠景端處的變焦位置 (ZlO)具有10個階段的情況下，將變焦透鏡移到每個變焦位置，并且針對每個變焦位置執行上述從步驟S14到步驟S24的處理，從而針對每個變焦位置將光軸偏離量存儲到EEPROM 58中。應當注意，在步驟S18中的畸變校正中使用與每個變焦位置相對應的畸變校正公式。圖4A至圖4C的每一個圖示了示出每個圖像拾取模式的光軸偏離量的表的示例， 該光軸偏離量被存儲在EEPROM 58中。圖4A至圖4C分別圖示了用于直通圖像的表、用于靜止圖像的表和用于運動圖像的表，并且各個表在其中針對每個變焦位置存儲關于左右圖像的光軸偏離量(垂直(V)方向上的光軸偏離量)。應當注意，在3D圖像的情況下，各個圖像之間的V方向上的光軸偏離對于立體視圖而言是成問題的，并且因而僅存儲V方向上的光軸偏離量，但并不限于此，還可以存儲水平(H)方向上的光軸偏離量。另外，用于每個圖像拾取模式和每個變焦位置的畸變校正公式也被存儲在EEPROM 58中。在該情況下，可考慮存儲畸變校正公式的一般公式，該一般公式對于每個變焦位置都相同，只是每個項的系數針對每個變焦位置而改變，或者存儲對于每個變焦位置不同的畸變校正公式。[拍攝操作]接下來，參考圖5中所示流程圖來描述由根據本發明的立體圖像拾取裝置10進行的3D運動圖像或3D靜止圖像的拍攝操作。通過圖IB中圖示的操作開關18A進行到運動圖像拍攝模式的切換，并且通過圖IB 中圖示的操作開關18C進行到3D圖像拾取模式的切換，從而可以設置用于拍攝3D運動圖像的拍攝模式(以下，稱為“3D運動圖像拍攝模式”)。另外，通過操作開關18A進行到靜止圖像拍攝模式的切換，并且通過操作開關18C進行到3D圖像拾取模式的切換，從而可以設置用于拍攝3D靜止圖像的拍攝模式(以下，被稱為“3D靜止圖像拍攝模式”)。在步驟S40中，確定操作開關18A和18C將拍攝模式設置為3D運動圖像拍攝模式還是3D靜止圖像拍攝模式。如果確定了將拍攝模式設置為3D運動圖像拍攝模式，則CPU 32確定是否給出拍攝運動圖像的指令(快門按鈕11全按下(開關S2接通))(步驟S42)。如果開關S2是斷開的，則在液晶監視器16上顯示3D直通圖像(步驟S44)。在顯示3D直通圖像的情況下，使用用于直通圖像的畸變校正公式(二次多項式) 來對從左右圖像拾取單元20-1和20-3以時間系列方式順序獲取的左右圖像執行畸變校正。此外，從圖4A中圖示的用于直通圖像的表中讀出與變焦透鏡的當前變焦位置相對應的左右圖像的光軸偏離量，并且從畸變校正后的圖像切出用于3D直通圖像的圖像，使得這些光軸偏離量被抵消。然后，將切出的圖像輸出到液晶監視器16。結果，能夠在液晶監視器16上顯示其中校正了兩個圖像拾取光學系統的針對每個變焦位置而不同的光軸偏離量的3D的直通圖像。另一方面，當開關S2被接通時，CPU 32開始3D運動圖像的拍攝(步驟S46)。當開始3D運動圖像的拍攝時，對從左右圖像拾取單元20-1和20-3以時間系列方式順序獲取的左右圖像執行諸如畸變校正和圖像切出處理的圖像處理以及記錄處理(步驟 S48)。[圖像處理的第一實施例]圖6是示出圖5的步驟S48等中的圖像處理的第一實施例。在該附圖中，當獲取左右圖像時(步驟48 ，包括在數字信號處理單元44中的畸變校正電路使用作為用于運動圖像的畸變校正公式(四次多項式)并且與變焦透鏡的當前變焦位置相對應的畸變校正公式，以由此對所獲取的左右圖像執行畸變校正(步驟S484)。隨后，從圖4C的用于運動圖像的表中讀出與當前變焦位置(Z-pos)相對應的光軸偏離量，并且基于所讀出的光軸偏離量，使切出范圍在畸變校正后在左右圖像上移動該光軸偏離量，從而執行圖像切出處理(步驟S486)。結果，所切出的圖像作為其光軸偏離已經被校正的圖像被獲得。如上所述切出的左右圖像的每一個以預定壓縮格式被壓縮，并且然后被記錄到在存儲卡40中創建的運動圖像文件中(步驟S488)。應當注意，每當結束1秒的規定幀數(在幀速率為60幀/秒的情況下為60幀)的圖像處理時就執行運動圖像的記錄處理，并且將壓縮的運動圖像順序添加到運動圖像文件。另外，還每1秒地壓縮通過立體聲麥克風15獲取的語音數據，以將其記錄到運動圖像文件中。返回到圖5，確定開關S2是否被再次接通(步驟S50)。如果開關S2斷開，則處理前進到步驟S48，并且繼續運動圖像的處理。當開關S2被接通時，結束3D運動圖像的拍攝。另一方面，如果在步驟S40中確定了拍攝模式被設置為3D靜止圖像拍攝模式，則CPU 32確定是否給出拍攝靜止圖像的指令(開關S2接通)(步驟S52)。如果開關S2斷開，則在液晶監視器16上顯示3D直通圖像(步驟S54)。以與上述步驟S44中相同的方式執行3D直通圖像在液晶監視器16上的顯示。當開關S2被接通時，CPU 32執行3D靜止圖像的拍攝(步驟S56)。不必說，當兩段鍵程式快門(two-stage stroke shutter)按鈕在被全按下之前被半按下時，其開關Sl 被接通，從而執行實際拍攝前的拍攝準備操作，諸如AE處理和AF處理。與步驟S48類似地，對在實際拍攝時從左右圖像拾取單元20-1和20_2獲取的左右圖像執行諸如畸變校正和圖像切出處理的圖像處理以及記錄處理(步驟S58)。應當注意，步驟S58中的畸變校正是通過使用作為具有高校正精度的六次多項式的畸變校正公式來執行的，并且圖像切出處理是基于從圖4B的用于靜止圖像的表對應于當前變焦位置而讀出的光軸偏離量來執行的。[產品裝運前的光軸調整的第二實施例]圖7是示出根據本發明的光軸調整時執行的處理的第二實施例的流程圖。應當注意，與圖3所示第一實施例的部分共同的部分用相同的步驟編號表示，并且省略其詳細描述。在圖7中示出的第二實施例中，省略了圖3中示出的步驟S12、S18、S26和S^的處理。在圖3中所示的第一實施例中，針對要存儲到EEPROM 58中的直通圖像、運動圖像和靜止圖像的每個圖像拾取模式檢測光軸偏離量(參見圖4A至圖4C)。另一方面，在圖 7所示的第二實施例中，不對在步驟S16中獲取的左右圖像執行畸變校正，執行左右圖像的對應點檢測，并且檢測左右圖像的光軸偏離量(步驟S20和S22)。然后，將所檢測到的光軸偏離量存儲到EEPROM 58中(步驟S24)。應當注意，與圖3所示的實施例類似地，針對變焦透鏡的每個變焦位置來將光軸偏離量存儲到EEPROM 58中。S卩，在圖7所示的第二實施例中，檢測并且記錄畸變校正前的左右圖像的光軸偏離量，并且不檢測或記錄用于每個圖像拾取模式的光軸偏離量。然后，使用存儲在EEPROM 58中的每個變焦位置的光軸偏離量的表，如圖8所示， 在拍攝時計算畸變校正后的光軸偏離量。圖8中，獲取與當前圖像拾取模式有關的信息和與變焦透鏡的變焦位置有關的信息(步驟S60和S62)。基于所獲取的與變焦位置有關的信息來參考存儲在EEPROM 58中的表，并且獲取與變焦位置相對應的光軸偏離量(步驟S64)。另外，基于所獲取的當前圖像拾取模式和所獲取的當前變焦位置，從EEPROM 58獲取與當前圖像拾取模式和變焦位置相對應的畸變校正公式(計算公式)。通過將步驟S64中所獲取得光軸偏離量代入所獲取的計算公式中來執行計算，從而計算畸變校正后的光軸偏離量(步驟S66和S68)。在圖5中所示的步驟S44、S48和S58以及圖6所示的步驟S486中的圖像切出處理中使用上面計算的光軸偏離量。如上所述，將畸變校正前的光軸偏離量保持在EEPROM 58中，在實際圖像切出處理時，將保持在EEPROM 58中的值代入用于畸變校正的計算公式中，并且從而計算畸變校正后的光軸偏離量。以該方式，可以減小EEPROM 58的存儲器占用率，并且即使在固件等被改變(包括畸變校正的改變)的情況下，也可以容易地改變切出位置。應當注意，雖然如圖4A至圖4C所示的光軸偏離量的表在其中存儲了每個變焦位置的光軸偏離量，但是表可以在其中僅存儲至少兩個變焦位置(例如，廣角端和遠景端)的光軸偏離量，并且可以通過根據當前變焦位置來對存儲的至少兩個變焦位置的光軸偏離量進行線性插值來計算變焦位置而不是所存儲的變焦位置的光軸偏離量。[產品裝運前的光軸調整的第三實施例]由立體圖像拾取裝置10獲取的左右圖像的光軸中心不僅會由于變焦透鏡的變焦位置而偏離，而且還會由于聚焦透鏡的聚焦位置而偏離。鑒于上述情況，在第三實施例中，在裝運前的檢驗中獲取要存儲到EEPROM 58中的用于聚焦透鏡的每個聚焦位置的光軸偏離量。S卩，針對聚焦透鏡的每個聚焦位置(從最近距離的聚焦位置(Fl)朝著無限遠的聚焦位置0 ))檢測光軸偏離量。例如，將調整圖置于與特定聚焦位置相對應的被攝體距離， 并且在改變變焦透鏡的變焦位置的同時針對每個變焦透鏡檢測光軸偏離量。可以基于如圖 3所示的第一實施例中所描述的畸變校正之后的左右圖像來檢測該光軸偏離量，或者可以基于如圖7所示的第二實施例中所描述的畸變校正之前的左右圖像來檢測該光軸偏離量。如上所述執行光軸偏離量的檢測，同時將調整圖的位置順序移到與聚焦位置相對應的位置，由此獲取用于所有變焦位置和所有聚焦位置的光軸偏離量。圖9圖示了對應于變焦位置(Zl至Zn)和所有聚焦位置(Fl至而)而獲取的光軸偏離量的表。應當注意，在獲取畸變校正之后的光軸偏離量的情況下，針對每個圖像拾取模式創建圖9所示的表。然后，通過下述操作來獲取要在圖5中所示的步驟S44、S48和S58以及圖6中所示的步驟S486中的圖像切出處理中使用的光軸偏離量根據當前圖像拾取模式來選擇表； 以及基于當前變焦位置和當前聚焦位置，從所選擇中的表讀出對應的光軸偏離量。另外，在圖9中所示的表在其中存儲畸變校正之前的光軸偏離量的情況下，將對應于當前變焦位置和當前聚焦位置所讀出的光軸偏離量代入到與當前圖像拾取模式和當前變焦位置相對應的畸變校正公式中，從而計算畸變校正之后的光軸偏離量。此外，圖9圖示的表在其中存儲與所有變焦位置和所有聚焦位置相對應的光軸偏離量，但并不限于此，如圖10所圖示的，可以檢測并且存儲僅兩個聚焦位置(最近距離的聚焦位置(近)和無限遠的聚焦位置(無限遠))的光軸偏離量，并且通過利用中間的聚焦位置來對這兩個聚焦位置的光軸偏離量進行線性插值來計算中間聚焦位置的光軸偏離量。應當注意，在變焦位置到達遠景端并且聚焦透鏡的移動量因此變得更大的情況下，優選地，檢測并且存儲三個聚焦位置(即，最近距離、中間距離和無限遠)的光軸偏離量，并且通過從最近距離到中間距離或者從中間距離到無限遠的線性插值來計算光軸偏離量。[圖像處理的第二實施例]圖11是示出圖5的步驟S48等中執行的圖像處理的第二實施例的流程圖。應當注意，與圖6所示的第一實施例的那些共同的部分用相同的步驟編號表示，并且省略對其的詳細說明。
與圖6所示的第一實施例相比，圖11中所示的圖像處理的第二實施例與第一實施例的不同之處在于，在其中執行畸變校正的步驟S484之前添加了其中執行陰影校正的步驟 483。S卩，在步驟S483中，通過使用下述內容來校正(陰影校正)在步驟S482中獲取的左右圖像的每個像素的亮度表，該表是根據視角位置針對左右圖像單獨提供的并且在其中存儲陰影校正值；或者陰影校正值，該陰影校正值是根據視角位置通過計算公式獲得的。在通過這樣的陰影校正使得左右圖像的亮度均勻之后，執行畸變校正和圖像切出處理，這因此使得所切出的左右圖像在其間沒有亮度差。[連續拍攝時執行的圖像處理的第一實施例]連續拍攝的各個圖像被視作靜止圖像，并且因此需要與3D靜止圖像的圖像處理類似的圖像處理。即，作為畸變校正，有必要使用具有高校正精度的畸變校正公式來執行校正。然而，在連續拍攝時的拍攝間隔短的情況下，無法實時地執行具有高校正精度的畸變校正、圖像切出處理等。圖12是示出連續拍攝時執行的圖像處理的第一實施例的流程圖。當連續拍攝模式被設置并且輸入連續拍攝圖像的指令(開關S2接通)時(步驟 S70)，CPU 32以連拍執行一個幀的拍攝(步驟S7》，并且將具有全視角的左右圖像臨時存儲到RAM M中(步驟S74)。隨后，確定開關S2是接通還是斷開(步驟S76)。如果開關S2接通，則CPU 32去往步驟S72。如果開關S2斷開，則開關S2去往步驟S78。即，在開關S2接通時，保持執行連續拍攝，并且保持將具有全視角的左右圖像存儲到RAM M中。當開關S2被斷開時，逐幀地讀出保存在RAM M中的時間系列左右圖像，并且通過使用與連續拍攝時的變焦透鏡的變焦位置和連續拍攝模式相對應的畸變校正公式來對其進行畸變校正(步驟S78)。隨后，從EEPROM 58中讀出或計算與連續拍攝時的變焦透鏡的變焦位置和連續拍攝模式相對應的光軸偏離量，并且基于該光軸偏離量，從已經經過畸變校正的具有全視角的圖像切出圖像，以由此校正光軸偏離量(步驟S80)。對如上所述切出的圖像進行壓縮處理等，并且然后將該切出的圖像記錄到存儲卡 40中(步驟S82)。[連續拍攝時執行的圖像處理的第二實施例]圖13是示出連續拍攝時執行的圖像處理的第二實施例的流程圖。應當注意，與圖 12所示的連續拍攝時執行的圖像處理的第一實施例的那些共同的部分用相同的步驟編號表示，并且省略對其的詳細說明。圖13中所示的連續拍攝時執行的圖像處理的第二實施例與第一實施例的不同之處在于，在步驟S76和S78之間添加了步驟S77的處理。S卩，在步驟S77中，對保存在RAM 54中的左右圖像中的每一個執行根據視角位置的陰影校正，由此使得左右圖像的亮度均勻。這使得要在后續步驟中對其執行畸變校正和圖像切出處理的左右圖像之間沒有亮度差。[連續拍攝時執行的圖像處理的第三實施例]
圖14是示出連續拍攝時執行的圖像處理的第三實施例的流程圖。應當注意，與圖 12中所示的連續拍攝時執行的圖像處理的第一實施例的那些共同的部分用相同的步驟編號表示，并且省略對其的詳細說明。圖14中所示的連續拍攝時執行的圖像處理的第三實施例與第一實施例的不同之處在于，從連續拍攝的多個時間系列圖像中，僅將用戶指定要保存的圖像保存到存儲卡40 中。在圖14中，當開關S2被斷開時(步驟S76)，以拍攝的順序讀出并且再生保存在 RAM 54中的時間系列左右圖像(步驟S90)。這里，假定在連續拍攝中執行了 N次3D圖像的拍攝，讀出第N(指示拍攝順序的N =1至N)次的左右圖像，并且執行畸變校正和圖像切出處理(步驟S78和S80)。在液晶監視器16上將該處理后的左右圖像顯示為3D靜止圖像顯示(步驟S92).用戶確定在觀看在液晶監視器16上顯示的3D靜止圖像的同時是否將3D靜止圖像保存到存儲卡40中(步驟S94)。如果“是”(例如，在MENU/0K按鈕被接通的情況下)， 將在液晶監視器16上顯示的3D靜止圖像保存到存儲卡40中。另一方面，如果“否”(例如，在通過包括在箭頭鍵中的左右按鍵給出逐幀前進的指令的情況下)，則CPU 32去往步驟S90，從RAMM中讀出接下來的左右圖像，并且執行與上述相同的處理。應當注意，在上述實施例中，在開關S2接通期間的時段期間執行連續拍攝，但并不限于此，可以在開關S2被接通時連續拍攝預設數目的圖像。[拍攝/再生處理的第一實施例]圖15和圖16是示出根據本發明的立體圖像拾取裝置10進行的拍攝/再生處理的第一實施例的流程圖。在圖15中，當立體圖像拾取裝置10被設置為拍攝模式，以由此開始拍攝時，將開始拍攝時的圖像拾取模式(例如，3D運動圖像拍攝模式或3D靜止圖像拍攝模式)、變焦透鏡的變焦位置以及光軸偏離量寫入到記錄在存儲卡40中的圖像文件的標簽(tag)中(步驟S100)。應當注意，根據圖像拾取模式、變焦位置等從EEPROM 58中讀出或者計算所使用的光軸偏離量。另外，將所拍攝的具有全視角的左右圖像(運動圖像或靜止圖像)保存到圖像文件中(步驟S102)。S卩，在拍攝時，不執行上述畸變校正和上述圖像切出處理，而將校正前的圖像以及校正所需要的信息記錄到標簽中。同時，如圖16中所示，當將立體圖像拾取裝置10設置為再生模式以由此開始再生時，從保存在存儲卡40中的要再生的圖像文件中讀出標簽信息以及左右圖像(步驟Sl 10)。然后，獲取由包含在標簽信息中的圖像拾取模式和變焦位置所指定的畸變校正公式，并且使用所獲取的畸變校正公式來對讀出的左右圖像執行畸變校正(步驟S112)。隨后，基于包含在標簽信息中的光軸偏離量來從畸變校正后的左右圖像切出圖像，以由此校正光軸偏離(步驟Sl 14)。顯示這樣切出的左右圖像，使得其切出中心位于液晶監視器16的畫面中心(步驟 S116)，并且從而將左右圖像顯示為沒有光軸偏離量并且易于立體觀看的3D圖像。
如上所述保存具有全視角的圖像，從而能夠在2D照片印刷的情況下獲得較廣角度的照片印刷。另外，在用戶選擇2D再生的情況下，還能夠再生以上切出圖像中的任何一個切出圖像。由此，即使在用戶對3D再生感到眼睛疲勞，并且因此切換到2D再生時，可以知道3D圖像的視角大小。應當注意，在本實施例中，光軸偏離量被記錄為標簽信息，并且替代地，可以記錄光軸中心的坐標或切出范圍的對角的坐標作為光軸偏離量的代替。簡言之，可以記錄與圖像切出有關的任何信息，只要該信息可以用于校正光軸偏離。另外，還能夠將在3D再生時經過畸變校正和圖像切出處理的圖像記錄到存儲卡 40中。在該情況下，可以刪除原始圖像文件，或者可以保持兩個圖像文件。[拍攝/再生處理的第二實施例]圖17和圖18是示出根據本發明的立體圖像拾取裝置10進行的拍攝/再生處理的第二實施例的流程圖。在圖17中，當立體圖像拾取裝置10被設置為拍攝模式以由此開始拍攝時，對具有全視角的所拍攝的左右圖像(運動圖像或靜止圖像)執行各種校正處理(步驟S120)。該情況下的圖像處理指不包括用于校正左右圖像的光軸偏離的圖像切出處理而包括白平衡校正、伽馬校正、陰影校正和畸變校正的圖像處理。已經經過圖像處理的左右圖像以預定壓縮格式被壓縮，并且然后被保存到存儲卡 40中(步驟S122)。同時，如圖18中所示，當立體圖像拾取裝置10被設置為再生模式以由此開始再生時，從保存在存儲卡40中的要再生的圖像文件中讀出左右圖像(步驟S130)。隨后，執行用于檢測左右圖像之間的對應特征點的對應點檢測，以由此獲取用于校正左右圖像的光軸偏離的信息(步驟S132)。該對應點檢測可以通過例如塊匹配來執行。參考左右圖像中的一個圖像(例如，左圖像)，通過對應點檢測獲得與左圖像上的每個像素相對應的另一圖像(右圖像)上的像素。作為這樣的對應點檢測的結果，能夠獲得其中可以檢測到左右圖像之間的對應點的區域；以及其中不能檢測到它們之間的對應點的區域。然后，針對左右圖像中的每一個檢測由其中可以檢測到左右圖像之間的對應點的區域的最外側的四條邊圍成的區域，從而可以獲取用于校正左右圖像的光軸偏離的信肩、οS卩，由四條邊圍成的區域的中心與切出區域相對應，基于該切出區域從具有全視角的圖像中切出用于立體觀看的每個圖像，并且由四條邊圍成的區域的中心與切出中心相對應。顯示基于如上所述獲得的切出區域來從具有全視角的左右圖像分別切出的左右圖像，使得其切出中心位于液晶監視器16的畫面中心(步驟S134)。這使得左右圖像能夠被顯示為不具有光軸偏離并且易于立體觀看的3D圖像。例如，如圖19所示，從具有全視角的左右圖像中的每一個切出通過對應點檢測獲得并且用虛線指示的切出區域(由切出起點或切出中心和切出尺寸指定的區域)，并且在液晶監視器16上將各個切出圖像(左右圖像之間的重疊部分)顯示為用于立體觀看的圖像。此時，顯示左右圖像，使得其切出中心彼此一致，并且因而左右圖像的光軸偏離(V方向上的偏離)被校正。
應當注意，在上述示例中，僅顯示左右圖像之間的重疊部分，但并不限于此，而是還可以執行諸如一下a)至c)中所描述的顯示。a)將左右圖像之間的非重疊部分照原樣顯示。結果，以3D方式顯示重疊部分，而以2D方式顯示非重疊部分。b)以3D方式進行顯示時，左右圖像之間的非重疊部分由諸如邊框的裝飾性圖案覆蓋。c)以3D方式進行顯示時，左右圖像之間的非重疊部分被刪除(以黑色或白色填充)。[其他]在經過圖像切出處理的左右圖像的切出中心存在基本上相同的被攝體，并且因而測量左右圖像的切出中心部分處的MTF(調制傳遞函數)，由此計算左右圖像之間的分辨率的差。然后，改變對左右圖像的圖像質量的設置(輪廓增強和伽馬校正)等，由此可以使得左右圖像的分辨率均勻。另外，在立體圖像拾取裝置10中，可以在液晶監視器16上顯示3D直通圖像，并且因此用戶在觀看3D直通圖像的同時操作視差量調整開關18B(圖1B)，并且因此可以調整 3D圖像(運動圖像或靜止圖像)的視差量。S卩，通過在正方向或負方向上操作視差量調整開關18B，由此可以增加或減少3D 圖像的視差量(視差調整值)。在圖像切出處理時，通過使用與光軸偏離量有關的信息和上述視差調整值(左右圖像在H方向上的位移量)來切出圖像，從而可以記錄并且再生在V方向上不具有光軸偏離并且具有與用戶偏好匹配的立體效果的3D圖像。應當注意，其中以不同校正精度執行畸變校正的多個圖像拾取模式并不限于本實施例，并且可以包括其中不執行畸變校正的圖像拾取模式；以及其中增強畸變的圖像拾取模式，諸如魚眼圖像拾取模式。另外，在本實施例中，對畸變校正后的圖像執行圖像切出處理，并且相反地，可以對經過用于校正光軸偏離的圖像切出處理的圖像執行畸變校正。當然，在該情況下的圖像切出處理中，應當在考慮到由后續步驟中的畸變校正所引起的光軸偏離的情況下對圖像進行切出。另外，當然，本發明不限于上述實施例，并且可以在不脫離本發明的精神的范圍內進行各種修改。附圖標記列表
10立體圖像拾取裝置
11快門按鈕
12變焦按鈕
14--U14-2拍攝光學系統
16液晶監視器
20--U20-2圖像拾取單元
21聚焦透鏡和變焦透鏡
24CCD
25模擬信號處理單元
32中央處理單元(CPU)
34操作單元
44數字信號處理單元
54RAM
56ROM
58EEPROM
權利要求
1.一種立體圖像拾取裝置，包括多個圖像拾取單元，每一個圖像拾取單元包括 拍攝光學系統；以及圖像拾取元件，所述圖像拾取元件使經由所述拍攝光學系統形成的被攝體圖像經歷光電轉換，所述多個圖像拾取單元拾取在所述多個圖像拾取單元之間具有視差的多個圖像；第一存儲單元，所述第一存儲單元在其中存儲針對多個圖像拾取模式中的每一個設置的畸變校正公式，所述畸變校正公式具有對于所述多個圖像拾取模式中的每一個而不同的校正精度；畸變校正公式獲取單元，所述畸變校正公式獲取單元從存儲在所述第一存儲單元中的所述畸變校正公式中獲取與當前圖像拾取模式相對應的畸變校正公式；第二存儲單元，所述第二存儲單元在其中存儲包括在所述多個圖像拾取單元中的每個拍攝光學系統的預先檢測到的光軸偏離量，所述光軸偏離量已經經歷了使用針對所述多個圖像拾取模式中的每一個設置的所述畸變校正公式的畸變校正；光軸偏離量獲取單元，所述光軸偏離量獲取單元基于下述來獲取與所述當前圖像拾取模式相對應的光軸偏離量存儲在所述第二存儲單元中的每個拍攝光學系統的光軸偏離量；以及所述當前圖像拾取模式；圖像拾取控制單元，所述圖像拾取控制單元根據所述當前圖像拾取模式來從所述多個圖像拾取單元獲取所述多個圖像；畸變校正單元，所述畸變校正單元基于與所述當前圖像拾取模式相對應地由所述畸變校正公式獲取單元所獲取的畸變校正公式，來對由所述圖像拾取控制單元所獲取的所述多個圖像執行畸變校正；以及圖像切出單元，所述圖像切出單元基于與所述當前圖像拾取模式相對應地由所述光軸偏離量獲取單元獲取的所述光軸偏離量，來對由所述圖像拾取控制單元獲取的所述多個圖像執行用于立體顯示的圖像的切出處理。
2.根據權利要求1所述的立體圖像拾取裝置，還包括變焦位置檢測單元，所述變焦位置檢測單元檢測所述多個拍攝光學系統中的每一個的當前變焦位置，其中所述第一存儲單元在其中存儲根據每個拍攝光學系統的變焦位置的畸變校正公式；并且所述畸變校正公式獲取單元從所述第一存儲單元中獲取與所述當前圖像拾取模式和每個拍攝光學系統的所述當前變焦位置相對應的畸變校正公式。
3.根據權利要求1或2所述的立體圖像拾取裝置，其中所述第二存儲單元在其中存儲根據所述多個拍攝光學系統中的每一個的變焦位置的每個拍攝光學系統的光軸偏離量；并且所述光軸偏離量獲取單元根據所述當前圖像拾取模式和每個拍攝光學系統的所述當前變焦位置來從所述第二存儲單元中獲取對應的光軸偏離量。
4.根據權利要求2或3所述的立體圖像拾取裝置，其中所述第二存儲單元根據每個圖像拾取模式和變焦位置來在其中存儲使用與每個圖像拾取模式和每個拍攝光學系統的所述變焦位置相對應的畸變校正公式的畸變校正之后的光軸偏離量，作為每個拍攝光學系統的光軸偏離量；并且所述光軸偏離量獲取單元包括讀出單元，所述讀出單元根據所述當前圖像拾取模式和所述當前變焦位置來從所述第二存儲單元中讀出對應的光軸偏離量。
5.根據權利要求2或3所述的立體圖像拾取裝置，其中所述第二存儲單元根據每個拍攝光學系統的變焦位置來在其中存儲所述畸變校正之前的光軸偏離量，作為每個拍攝光學系統的光軸偏離量；并且所述光軸偏離量獲取單元包括計算單元，所述計算單元將基于所述當前變焦位置從所述第二存儲單元中讀出的光軸偏離量代入與所述當前圖像拾取模式相對應并且由所述畸變校正公式獲取單元獲取的畸變校正公式中，以由此計算所述畸變校正之后的光軸偏離量。
6.根據權利要求2或3所述的立體圖像拾取裝置，其中所述第二存儲單元針對每個圖像拾取模式在其中存儲用于計算使用與每個圖像拾取模式和每個拍攝光學系統的變焦位置相對應的畸變校正公式的畸變校正之后的光軸偏離量的信息，作為每個拍攝光學系統的所述光軸偏離量；并且所述光軸偏離量獲取單元包括計算單元，所述計算單元基于下述來計算對應的光軸偏離量根據所述當前圖像拾取模式從所述第二存儲單元中讀出的信息；以及當前變焦位置。
7.根據權利要求2或3所述的立體圖像拾取裝置，還包括聚焦位置檢測單元，所述聚焦位置檢測單元檢測所述多個拍攝光學系統中的每一個的當前聚焦位置，其中所述第二存儲單元根據每個圖像拾取模式、變焦位置和聚焦位置來在其中存儲在使用與每個圖像拾取模式和每個拍攝光學系統的變焦位置相對應的畸變校正公式的畸變校正之后的光軸偏離量；并且所述光軸偏離量獲取單元包括讀出單元，所述讀出單元根據所述當前圖像拾取模式、 所述當前變焦位置和所述當前聚焦位置，從所述第二存儲單元中讀出對應的光軸偏離量。
8.根據權利要求2或3所述的立體圖像拾取裝置，還包括聚焦位置檢測單元，所述聚焦位置檢測單元檢測所述多個拍攝光學系統中的每一個的當前聚焦位置，其中所述第二存儲單元根據每個圖像拾取模式和所述變焦位置來在其中存儲用于計算在使用與每個圖像拾取模式和每個拍攝光學系統的變焦位置相對應的畸變校正公式的畸變校正之后的光軸偏離量的信息；并且所述光軸偏離量獲取單元包括計算單元，所述計算單元基于下述來計算對應的光軸偏離量根據所述當前圖像拾取模式和所述當前變焦位置從所述第二存儲單元中讀出的信息；以及當前聚焦位置。
9.根據權利要求1至8中的任何一項所述的立體圖像拾取裝置，還包括陰影校正單元，所述陰影校正單元對由所述圖像拾取控制單元獲取的所述多個圖像執行陰影校正，其中所述圖像切出單元對已經經過了所述陰影校正單元進行的陰影校正的圖像執行圖像切出處理。
10.根據權利要求1至9中的任何一項所述的立體圖像拾取裝置，其中，所述圖像切出單元對已經經過了所述畸變校正單元進行的畸變校正的圖像執行圖像切出處理。
11.根據權利要求1至9中的任何一項所述的立體圖像拾取裝置，其中，所述畸變校正單元對已經經過了所述圖像切出單元進行的切出處理的圖像執行所述畸變校正。
12.根據權利要求1至11中的任何一項所述的立體圖像拾取裝置，其中，所述多個圖像拾取模式是下述中的兩個或更多圖像拾取模式在顯示單元上顯示現場觀看圖像的操作時設置的圖像拾取模式；靜止圖像拾取模式；運動圖像拾取模式；以及畸變增強圖像拾取模式。
13.根據權利要求10所述的立體圖像拾取裝置，還包括選擇連續拍攝模式的單元，在所述連續拍攝模式中，在獲取了預設數目的圖像之前或者在給出拍攝指令時，從所述多個圖像拾取單元獲取多個時間系列圖像，以及內部存儲單元，所述內部存儲單元在其中臨時地存儲以所述連續拍攝模式拍攝的圖像，其中所述陰影校正單元在以所述連續拍攝模式進行拍攝結束之后，讀出存儲在所述內部存儲單元中的多個圖像，以對其執行陰影校正。
14.根據權利要求1至13中的任何一項所述的立體圖像拾取裝置，還包括模式選擇單元，所述模式選擇單元選擇拍攝模式或再生模式；以及記錄單元，所述記錄單元將指示所述圖像拾取模式的信息和指示由所述光軸偏離量獲取單元所獲取的所述光軸偏離量的信息連同由所述圖像拾取控制單元在由所述模式選擇單元選擇的拍攝模式中所獲取的多個圖像一起，與所獲取的多個圖像相關聯地記錄到記錄介質中，其中，所述畸變校正單元和所述圖像切出單元從所述記錄介質中讀出與所述圖像相關聯地記錄的多條信息以及由所述模式選擇單元選擇的再生模式中的多個圖像，以基于與所讀出的多條信息相對應的所述畸變校正公式和所述光軸偏離量來對所讀出的多個圖像執行畸變校正和圖像切出處理。
15.根據權利要求14所述的立體圖像拾取裝置，其中，所述記錄單元將在再生模式中經過了所述畸變校正和所述圖像切出處理的圖像記錄到所述記錄介質中。
16.根據權利要求1至15中的任何一項所述的立體圖像拾取裝置，還包括視差量調整單元，所述視差量調整單元調整從所述多個圖像拾取單元輸出的所述多個圖像之間的視差量，其中所述圖像切出單元在進行用于立體顯示的圖像的切出處理時，基于通過所述視差量調整單元調整的視差量來對其切出位置要被進一步調整的圖像執行切出處理。
全文摘要
對根據用于3D運動圖像、3D靜止圖像等的圖像拾取模式所獲取的圖像執行具有不同校正精度的畸變校正，并且還對其執行與左右拍攝光學系統中的每一個的光軸偏離量相對應的圖像切出處理，由此校正光軸偏離量。在該情況下，從畸變校正之后的光軸偏離量當中讀出與當前圖像拾取模式相對應的光軸偏離量，該光軸偏離量在裝運前的調整時被預先存儲到EEPROM中并且與各個圖像拾取模式相對應。對根據當前圖像拾取模式所獲取的左右圖像執行與當前圖像拾取模式相對應的畸變校正。然后，還基于讀出的光軸偏離量來執行從畸變校正之后的具有全視角的圖像切出用于立體顯示的圖像的切出處理。
文檔編號H04N5/232GK102318331SQ20108000391
公開日2012年1月11日 申請日期2010年11月22日 優先權日2010年3月31日
發明者星野謙治 申請人:富士膠片株式會社