立體成像設備的制作方法

專利名稱：立體成像設備的制作方法
技術領域：
本發(fā)明涉及立體成像設備，并且具體地涉及獲得具有視差的多個圖像的立體成像設備。
背景技術：
立體成像設備使用具有視差的水平布置的兩個成像單元從左右視點獲得同一對象的圖像，并且獲取用于左眼的圖像和用于右眼的圖像。所獲取的左右圖像被輸入到能夠進行三維(3D)顯示的3D顯示器，并且被顯示為允許左右眼分別觀看圖像。以這種方式，可以將圖像識別為立體圖像。兩個成像單元的成像光學系統(tǒng)通常具有相同的性能和特性，并且成像光學系統(tǒng)被調整和并入設備的主體，使得成像光學系統(tǒng)的光軸重合。然而，兩個成像光學系統(tǒng)具有個體差異。因此，如果進行涉及透鏡移動的變焦倍率改變，則存在下述問題兩個成像光學系統(tǒng)的光軸根據(jù)變焦位置而偏離。很難機械地調整光軸以防止整個變焦范圍的光軸偏離。傳統(tǒng)上，為了解決問題，提出了一種立體成像設備，該設備包括存儲部件，用于存儲每一個變焦位置的兩個成像光學系統(tǒng)的光軸偏離，其中，在成像期間根據(jù)成像光學系統(tǒng)的變焦位置從存儲部件讀出對應的光軸偏離，并且，轉換基于光軸偏離獲得的左右圖像之一的坐標以由此匹配左右圖像的光軸坐標(專利文獻1)。專利文獻2公開了一種立體成像設備，包括第一透鏡鏡筒，其包括用于獲得用于右眼的成像信息的CCD ；第二透鏡鏡筒，其包括用于獲得用于左眼的成像信息的CCD ；相機檢測電路，其檢測第一透鏡鏡筒和第二透鏡鏡筒的焦距；ROM，其預先存儲在每一個焦距處的第一透鏡鏡筒和第二透鏡鏡筒的光軸中心的偏離量，并且由EEPROM等構成；以及，CPU, 其基于來自ROM的輸出來控制在每一個焦距處的左右CCD對中的至少一個的圖像切出區(qū)域。引用列表專利文獻PTL 1 日本專利申請?zhí)亻_ No. 2006-162991PTL 2 日本專利申請?zhí)亻_No. 8-31742
發(fā)明內容
技術問題專利文獻1和2公開了通過下述方式來校正由于在兩個成像光學系統(tǒng)之間的個體差異導致的光軸偏離的技術基于對于每一個變焦位置預先獲取的光軸偏離量來轉換左右眼圖像之一的坐標，或者改變圖像的切出范圍。然而，即使象在專利文獻1和2中所述的發(fā)明中那樣通過轉換所獲取的圖像的坐標或通過調整圖像的切出范圍來校正兩個成像光學系統(tǒng)的光軸偏離，也存在下述問題如果聚焦透鏡的聚焦位置改變，則兩個成像光學系統(tǒng)的光軸偏離。已經(jīng)鑒于所述情況建立了本發(fā)明，并且本發(fā)明的目的是提供一種立體成像設備， 所述立體成像設備能夠與對象距離(聚焦位置)無關地很好地校正多個成像光學系統(tǒng)的光軸偏離，并且能夠獲得允許舒適的立體視覺的多個圖像。對于問題的解決方案為了實現(xiàn)所述目的，本發(fā)明的第一方面提供了一種立體成像設備，包括多個成像單元，其包括成像光學系統(tǒng)和成像元件，所述成像元件用于光電轉換通過所述成像光學系統(tǒng)形成的對象圖像，并且成像具有視差的多個圖像；存儲單元，其存儲預先檢測的所述成像光學系統(tǒng)相對于多個聚焦位置的光軸偏離量；聚焦位置檢測單元，其檢測所述多個成像光學系統(tǒng)的當前聚焦位置；光軸偏離獲取單元，其基于所述成像光學系統(tǒng)的光軸偏離量來獲取與由所述聚焦位置檢測單元檢測的成像光學系統(tǒng)的當前聚焦位置對應的光軸偏離量；成像控制單元，其從多個成像單元獲取用于立體圖像的多個圖像；以及，圖像切出單元，其基于與由光軸偏離獲取單元對應于當前聚焦位置獲取的光軸偏離量來執(zhí)行從由成像控制單元獲取的多個圖像中切出用于立體顯示的圖像的處理。根據(jù)本發(fā)明的第一方面，光軸偏離獲取單元獲取與當前聚焦位置對應的光軸偏離量，并且基于獲取的光軸偏離量來向多個圖像應用用于立體顯示的圖像的切出處理。因此， 可以與聚焦位置(對象距離)無關地良好地校正多個成像光學系統(tǒng)的光軸偏離量，并且可以獲得允許舒適的立體視覺的多個圖像。根據(jù)本發(fā)明的第二方面，在根據(jù)第一方面的立體成像設備中，存儲單元根據(jù)聚焦位置來存儲成像光學系統(tǒng)的各聚焦位置處的光軸偏離量，以作為成像光學系統(tǒng)的光軸偏離量，并且，光軸偏離獲取單元包括讀取單元，所述讀取單元基于當前聚焦位置從存儲單元讀出對應的光軸偏離量。根據(jù)本發(fā)明的第三方面，在根據(jù)第一方面的立體成像設備中，存儲單元存儲指示在兩個或更多聚焦位置處的光軸偏離量的信息或用于計算在成像光學系統(tǒng)的聚焦位置處的光軸偏離量的公式，來作為成像光學系統(tǒng)的光軸偏離量，并且光軸偏離獲取單元包括計算單元，所述計算單元基于在存儲單元中存儲的信息和當前聚焦位置來計算光軸偏離量。根據(jù)本發(fā)明的第二方面，從存儲單元讀出與當前聚焦位置對應的光軸偏離量，而根據(jù)本發(fā)明的第三方面，通過計算來計算光軸偏離量。根據(jù)本發(fā)明的第四方面，根據(jù)第一方面的立體成像設備進一步包括變焦位置檢測單元，其檢測多個成像光學系統(tǒng)的當前變焦位置，其中，存儲單元進一步存儲預先檢測的成像光學系統(tǒng)相對于多個變焦位置的光軸偏離量。除了成像光學系統(tǒng)的聚焦位置之外，還通過變焦位置產(chǎn)生多個成像光學系統(tǒng)的光軸偏離。因此，光軸偏離量根據(jù)聚焦位置和變焦位置被預先存儲在存儲單元中，并且基于在拍攝時的聚焦位置和當前變焦位置，從存儲單元讀出對應的光軸偏離量。結果，可以與聚焦位置(對象距離)和變焦位置(成像倍率)無關地，良好地校正多個成像光學系統(tǒng)的光軸偏離，并且可以獲得允許舒適的立體視覺的多個圖像。根據(jù)本發(fā)明的第五方面，在根據(jù)第四方面的立體成像設備中，存儲單元根據(jù)變焦位置和聚焦位置來存儲成像光學系統(tǒng)的各聚焦位置和各變焦位置處的光軸偏離量，以作為成像光學系統(tǒng)的光軸偏離量，并且，光軸偏離獲取單元包括讀取單元，讀取單元基于當前變焦位置和聚焦位置從存儲單元讀出對應的光軸偏離量。根據(jù)本發(fā)明的第六方面，在根據(jù)第四方面的立體成像設備中，存儲單元根據(jù)成像光學系統(tǒng)的變焦位置來存儲指示兩個或更多聚焦位置處的光軸偏離量的信息或用于計算成像光學系統(tǒng)的聚焦位置處的光軸偏離量的公式，以作為成像光學系統(tǒng)的光軸偏離量，并且光軸偏離獲取單元包括計算單元，計算單元基于根據(jù)成像光學系統(tǒng)的當前變焦位置從存儲單元讀出的信息和當前聚焦來計算光軸偏離量。根據(jù)本發(fā)明的第七方面，根據(jù)第一至第六方面中的任何一個的立體成像設備包括畸變校正單元，其基于預定的畸變校正公式來校正由成像控制單元獲取的多個圖像的畸變，并且光軸偏離獲取單元獲取基于預定的畸變校正公式的畸變校正后的光軸偏離量。當向從多個成像單元獲取的圖像應用畸變校正時，通過畸變校正使光軸中心偏離。因此，獲取在畸變校正后的光軸偏離量，并且，用于立體顯示的圖像的切出處理基于獲取的光軸偏離量被應用到多個圖像。結果，即使執(zhí)行畸變校正，也可以在不受畸變校正的影響的情況下，校正光軸偏離。根據(jù)本發(fā)明的第八方面，根據(jù)第七方面的立體成像設備包括畸變校正公式獲取單元，其從與成像光學系統(tǒng)的變焦位置對應的畸變校正公式獲取與當前的變焦位置對應的預定畸變校正公式。更具體地，因為畸變根據(jù)成像光學系統(tǒng)的變焦位置而改變，所以獲取與當前的變焦位置對應的用于校正畸變的畸變校正公式。根據(jù)本發(fā)明的第九方面，根據(jù)第八方面的立體成像設備進一步包括變焦位置檢測單元，其檢測多個成像光學系統(tǒng)的當前變焦位置，并且，畸變校正公式獲取單元包括存儲單元，其根據(jù)變焦位置存儲與成像光學系統(tǒng)的變焦位置對應的畸變校正公式；以及，讀取單元，其基于當前變焦位置從存儲單元讀出對應的畸變校正公式。根據(jù)本發(fā)明的第十方面，在根據(jù)第七至第九方面中的任何一個的立體成像設備中，光軸偏離獲取單元包括存儲單元，其存儲畸變校正之前的光軸偏離量；以及，計算單元，其向預定畸變校正公式賦值從存儲單元讀出的光軸偏離量，以計算畸變校正后的光軸
偏離量。根據(jù)本發(fā)明的第十一方面，根據(jù)第七至第十方面中的任何一個的立體成像設備進一步包括陰影校正單元，其校正由成像控制單元獲取的多個圖像的陰影，并且圖像切出單元向已經(jīng)由陰影校正單元進行了陰影校正的圖像應用圖像的切出處理。在通過陰影校正均衡多個圖像的亮度后，執(zhí)行圖像的切出處理。因此，可以形成在切出的多個圖像之間沒有在亮度上的差別的圖像。根據(jù)本發(fā)明的第十二方面，在根據(jù)第七至第十一方面中的任何一個的立體成像設備中，圖像切出單元向通過畸變校正單元的畸變校正后的圖像應用圖像的切出處理。這使得能夠在與圖像的切出范圍無關的情況下切出在切出圖像之間不具有由畸變引起的偏離的圖像。根據(jù)本發(fā)明的第十三方面，根據(jù)第十一或第十二方面的立體成像設備包括單元， 其選擇連續(xù)拍攝模式，所述連續(xù)拍攝模式用于從多個成像單元獲取預設數(shù)量的時間次序的圖像或獲取拍攝指令時間段期間的多個圖像；以及，內部存儲單元，其暫時存儲在連續(xù)拍攝模式中拍攝的圖像，其中，陰影校正單元在連續(xù)拍攝模式中的拍攝完成后讀出在內部存儲單元中存儲的多個圖像，以執(zhí)行陰影校正。
根據(jù)本發(fā)明的第十四方面，根據(jù)第七至第十方面中的任何一個的立體成像設備包括模式選擇單元，其選擇拍攝模式或再現(xiàn)模式；以及，記錄單元，其在記錄介質中記錄由成像控制單元在由模式選擇單元選擇的拍攝模式期間獲取的多個圖像并且與多個獲取的圖像相關聯(lián)地記錄由畸變校正公式獲取單元獲取的畸變校正公式和由光軸偏離獲取單元獲取的光軸偏離量，其中，畸變校正單元和圖像切出單元在由模式選擇單元選擇的再現(xiàn)模式中從記錄介質讀出多個圖像以及與圖像相關聯(lián)地存儲的畸變校正公式和光軸偏離量，并且基于畸變校正公式和光軸偏離量來向讀出的多個圖像應用畸變校正和應用圖像的切出處理。根據(jù)本發(fā)明的第十五方面，在根據(jù)第十四方面的立體成像設備中，記錄單元在記錄介質中記錄已經(jīng)在再現(xiàn)模式中進行了圖像的畸變校正和切出處理的圖像。根據(jù)本發(fā)明的第十六方面，根據(jù)第一至第十五方面中的任何一個的立體成像設備包括視差調整單元，其調整從多個成像單元輸出的多個圖像之間的視差量，其中，在用于立體顯示的圖像的切出處理時，圖像切出單元進一步應用其中基于由視差調整單元調整的視差量來調整切出位置的圖像切出處理。本發(fā)明的有益效果根據(jù)本發(fā)明，獲取預先在光軸調整時記錄的并且對應于多個成像光學系統(tǒng)的聚焦位置(對象距離)的光軸偏離量，并且，基于光軸偏離量從圖像切出用于立體視覺的圖像。 因此，可以在與聚焦位置(對象距離)無關的情況下，獲得沒有用于立體視覺的圖像之間的光軸偏離的、允許舒適的立體視覺的多個圖像。


圖IA是根據(jù)本發(fā)明的從前側看的立體成像設備的外觀的透視圖。圖IB是根據(jù)本發(fā)明的從后側看的立體成像設備的外觀的圖。圖2是示出根據(jù)本發(fā)明的立體成像設備的實施例的框圖。圖3是示出根據(jù)本發(fā)明的在運輸之前的光軸調整時的處理的第一實施例的流程圖。圖4是示出在運輸之前在光軸調整時在EEPROM中記錄的表格的第一示例的圖。圖5是示出根據(jù)本發(fā)明的立體成像設備的第一實施例的拍攝操作的流程圖。圖6是示出在運輸之前在光軸調整時在EEPROM中記錄的表格的第二示例的圖。圖7是示出在運輸之前在光軸調整時在EEPROM中記錄的表格的第三示例的圖。圖8是示出在畸變校正前后的左右圖像的光軸中心的偏離的圖。圖9是示出在運輸之前的光軸調整時的處理的第二實施例的流程圖。圖IOA是示出在運輸之前的光軸調整時在EEPROM中記錄的表格的第四示例的圖。圖IOB是示出在運輸之前的光軸調整時在EEPROM中記錄的表格的第四示例的圖。圖IOC是示出在運輸之前的光軸調整時在EEPROM中記錄的表格的第四示例的圖。圖11是示出與根據(jù)本發(fā)明的立體成像設備的拍攝模式對應的拍攝操作的流程圖。圖12是示出圖11中所示的圖像處理的第一實施例的流程圖。圖13是示出在運輸之前的光軸調整時的處理的第三實施例的流程圖。
圖14是示出基于計算的畸變校正后的光軸偏離量的計算的實施例的流程圖。圖15是示出圖11中的圖像處理的第二實施例的流程圖。圖16是示出連續(xù)拍攝中的圖像處理的第一實施例的流程圖。圖17是示出連續(xù)拍攝中的圖像處理的第二實施例的流程圖。圖18是示出連續(xù)拍攝中的圖像處理的第三實施例的流程圖。圖19是示出根據(jù)本發(fā)明的立體成像設備的成像處理的第一實施例的流程圖。圖20是示出根據(jù)本發(fā)明的立體成像設備的再現(xiàn)處理的第一實施例的流程圖。圖21是示出根據(jù)本發(fā)明的立體成像設備的成像處理的第二實施例的流程圖。圖22是示出根據(jù)本發(fā)明的立體成像設備的再現(xiàn)處理的第二實施例的流程圖。圖23是用于描述在圖17和18中所示的成像/再現(xiàn)中的第二實施例的圖像的切出處理的圖。
具體實施例方式以下，將參考附圖描述根據(jù)本發(fā)明的立體成像設備的實施例。[立體成像設備的外觀]圖IA和IB是示出根據(jù)本發(fā)明的立體成像設備的外觀的圖。圖IA示出從前側看的立體成像設備的透視圖，并且，圖IB示出后視圖。立體成像設備(復眼相機)10是數(shù)字相機，其可以記錄和再現(xiàn)2D/3D靜止圖像和 2D/3D活動圖像。如圖IA和IB中所示，在薄矩形體相機主體的上表面上布置了快門按鈕 11和變焦按鈕12。在相機主體的前側上布置了鏡頭蓋13，其具有與相機主體的水平方向上的寬度大體相同的寬度，并且，鏡頭蓋13在相機主體的垂直方向上可移動。通過在由雙點劃線圖示的位置和由實線圖示的位置之間在垂直方向上移動鏡頭蓋13，可以同時打開和關閉一對左右成像光學系統(tǒng)14-1和14-2的前側。折射光學系統(tǒng)的變焦透鏡被用作成像光學系統(tǒng)14-1 和14-2?？梢耘c通過鏡頭蓋13的打開/關閉透鏡的前側的操作關聯(lián)地接通/關斷相機的電源。如圖IB中所示，在相機主體的后側上的中心部分處布置了用于3D的液晶監(jiān)視器 16。液晶監(jiān)視器16可以基于視差屏障將多個視差圖像(用于右眼的圖像和用于左眼的圖像)顯示為具有預定的方向性的定向圖像?？梢詫⒅鶢钔哥R用于3D的液晶監(jiān)視器16，或者，可以將諸如偏振眼鏡或液晶快門眼鏡的特殊眼鏡用來分別觀看用于右眼的圖像和用于左眼的圖像。在液晶監(jiān)視器16的左右布置了各種操作開關。操作開關18A是用于切換靜止圖像拍攝和活動圖像拍攝的開關。操作開關18B是視差調整開關，用于調整用于右眼的圖像和用于左眼的圖像之間的視差量。操作開關18C是用于切換2D拍攝和3D拍攝的開關。操作開關18D是作為菜單/OK按鈕和再現(xiàn)按鈕的翹板式鍵。操作開關18E是多功能十字鍵。 操作開關18F是顯示/返回鍵。菜單/OK鍵是操作開關，其具有菜單按鈕的功能，用于指示在液晶監(jiān)視器16的屏幕上的菜單的顯示；以及，OK按鈕的功能，用于指示選擇的確認和執(zhí)行等。再現(xiàn)按鈕是用于從拍攝模式向再現(xiàn)模式切換的按鈕。十字鍵是用于在垂直和水平四個方向上輸入指示的開關，并且分配了微距(macro)按鈕、閃光燈按鈕和自拍計時按鈕等。當選擇了菜單時，十字鍵作為開關(光標移動操作單元)，用于指示從菜單屏幕的項目的選擇或從每一個菜單的各種設置項目的選擇。十字鍵的左/右鍵作為在再現(xiàn)模式中的幀前進(在正向/反向上前進)的按鈕。顯示/返回按鍵用于切換液晶監(jiān)視器16的顯示模式，取消菜單屏幕上的指令，或者恢復前一個操作狀態(tài)。在圖IA中，附圖標記15表示立體麥克風。[立體成像設備的內部構造]圖2是示出立體成像設備10的實施例的框圖。如圖2中所示，立體成像設備10主要包括多個成像單元20-1和20_2、中央處理單元(CPU)32、快門按鈕11、變焦按鈕12、包括各種操作開關的操作單元34、顯示控制單元 36、液晶監(jiān)視器16、記錄控制單元38、壓縮/擴展處理單元42、數(shù)字信號處理單元44、AE(自動曝光)檢測單元46、AF (自動聚焦)檢測單元48、AWB (自動白平衡)檢測單元50、VRAM 52、RAM 54、ROM 56和EEPROM 58等。雖然成像單元20_1和20_2獲得兩個視差圖像(具有視差的用于左眼的圖像和用于右眼的圖像)，但是可以存在三個或更多的成像單元20。獲得用于左眼的圖像的成像單元20-1包括棱鏡(未示出)；成像光學系統(tǒng) 14-1 (圖IA和1B)，其包括聚焦和變焦透鏡21 ；光學單元，其包括光圈22和機械快門23 ；固態(tài)成像元件(CXD) 24 ；模擬信號處理單元25 ；模數(shù)轉換器沈；圖像輸入控制器27 ；透鏡驅動單元觀，其驅動光學單元；光圈驅動單元四；快門控制單元30 ；以及CCD控制單元31，其控制CXD 24。獲得用于右眼的圖像的成像單元20-2的構造與獲得用于左眼的圖像的成像單元20-1相同，并且將不描述具體構造。CPU 32基于來自操作單元34的輸入根據(jù)預定的控制程序來管理和控制整個相機的操作。ROM 56存儲由CPU 32執(zhí)行的控制程序和控制所需的各種數(shù)據(jù)。EEPROM 58存儲各種信息，其指示在產(chǎn)品的運輸之前的調整時的調整的結果，諸如CCD 24的像素缺陷信息以及校正參數(shù)和用于圖像處理的表格等。下面將描述在此存儲的各種信息的細節(jié)。VRAM 52是暫時存儲在液晶監(jiān)視器16上顯示的用于顯示的圖像數(shù)據(jù)的存儲器。 RAM M包括CPU 32的計算操作區(qū)和圖像數(shù)據(jù)的暫時存儲區(qū)。在成像光學系統(tǒng)中包括的聚焦和變焦透鏡21被透鏡驅動單元觀驅動來沿著光軸前后移動。CPU 32控制透鏡驅動單元觀的驅動，以控制聚焦透鏡的位置以調整聚焦以聚焦對象，并且根據(jù)來自操作單元34中的變焦按鈕12的變焦指令來控制變焦透鏡的變焦位置以改變變焦倍率。光圈22例如由可變光圈構成，并且光圈驅動單元四驅動和操作光圈22。CPU 32 通過光圈驅動單元四來控制光圈22的打開量(光圈值)，并且控制向CXD M的入射光的量。機械快門23打開和關閉光路，以確定在CXD M中的曝光時間，并且防止在從CXD M讀取圖像信號期間不必要的光進入CXD 24，以防止產(chǎn)生污點。CPU 32與對應于快門速度的曝光的結束同步地向快門控制單元30輸出快門關閉信號，以控制機械快門23。CXD M由二維彩色CXD固態(tài)成像元件構成。多個光電二極管被二維地布置在CXD 24的光接收表面上，并且在光電二極管上布置了預定陣列的彩色濾光片。光電二極管根據(jù)入射光的量將通過如上構造的光學單元在CXD光接收表面上形成的對象的光學圖像轉換為信號電荷?；诟鶕?jù)CPU 32的指令從CCD控制單元31提供的驅動脈沖，從CCD M依次讀出在光電二極管上累積的信號電荷作為與信號電荷對應的電壓信號(圖像信號)。C⑶M具有電子快門功能，并且通過控制在光電二極管上的電荷累積的時間來控制曝光時間(快門速度)。電子快門控制與快門速度對應的電荷累積開始時間，并且關閉機械快門23以控制曝光結束時間(電荷累積結束時間)。在該實施例中，雖然 CCD 24被用作成像元件，但是也可以使用其他構造的成像元件，諸如CMOS傳感器。模擬信號處理單元25向從CXD M讀出的R、G、B模擬信號應用相關雙采樣(⑶S) 或放大R、G、B模擬信號，并且模數(shù)轉換器沈將R、G、B模擬信號轉換為R、G、B數(shù)字信號。圖像輸入控制器27包括具有預定容量的行緩沖器，并且暫時累積由模數(shù)轉換器 26進行了模數(shù)轉換的R、G、B圖像信號(CXDRAW數(shù)據(jù))，以通過總線60將這些信號存儲在 RAM M 中。在3D拍攝模式中，CPU 32以與獲得用于左眼的圖像的成像單元20_1相同的方式來控制獲得用于右眼的圖像的成像單元20-2。AE檢測單元46基于在快門按鈕11的半按期間輸入的圖像信號來計算AE控制所需的對象輝度，并且向CPU 32輸出指示對象輝度的信號(成像EV值)。CPU 32基于輸入的成像EV值根據(jù)預定的程序圖來設置多個成像單元20-1和20-2中的快門速度(曝光時間)、光圈值和成像靈敏度。AF檢測單元48積分在快門按鈕11的半按期間輸入的AF區(qū)域中的圖像信號的高頻分量的絕對值，并且向CPU 32輸出積分值(AF評估值)。CPU 32將聚焦透鏡從近側向無限遠側移動，以搜索具有由AF檢測單元48檢測的最大AF評估值的聚焦位置，并且將聚焦透鏡移動到該聚焦位置以調整對象(主對象)的聚焦。在活動圖像拍攝期間，執(zhí)行所謂的爬山控制，其用于移動聚焦透鏡以總是將AF評估值設置為最大值。AffB檢測單元50基于在成像期間獲取的R、G、B圖像信號來自動地獲得光源類型 (場的色溫)，并且從存儲按光源類型預先設置的R、G、B白平衡增益(白平衡校正值)的表格讀出對應的白平衡增益。數(shù)字信號處理單元44包括白平衡校正電路；灰度轉換處理電路(例如，伽馬校正電路)；同步電路，其插值與單板CCD的彩色濾光片布置相關聯(lián)的R、G、B顏色信號的空間偏離以匹配顏色信號的位置；輪廓校正電路；以及，輝度/色差信號生成電路等，并且數(shù)字信號處理單元44向在RAM 54中存儲的R、G、B圖像信號(CXDRAW數(shù)據(jù))應用圖像處理。更具體地，數(shù)字信號處理單元44將R、G、B CXDRAW數(shù)據(jù)乘以由AWB檢測單元50檢測到的白平衡增益，以校正白平衡，并且執(zhí)行預定處理，諸如灰度轉換處理(例如，伽馬校正)，以將數(shù)據(jù)轉換為包括輝度信號(Y信號)和色差信號(Cr、Cb信號)的YC信號。由數(shù)字信號處理單元44處理的YC信號被存儲在RAM M中。數(shù)字信號處理單元44還包括畸變校正電路，其校正多個成像單元20-1和20-2 的成像光學系統(tǒng)的透鏡畸變；以及，圖像切出處理電路，其從左右視點圖像切出預定切出區(qū)域的圖像，以校正多個成像單元20-1和20-2的成像光學系統(tǒng)的光軸偏離。下面將描述畸變校正電路和圖像切出處理電路的處理的細節(jié)。壓縮/擴展處理單元42在向存儲卡40記錄期間根據(jù)來自CPU 32的指令來壓縮在RAM 54中存儲的YC信號，并且擴展壓縮并記錄在存儲卡40中的壓縮數(shù)據(jù)，以將數(shù)據(jù)轉換為YC信號。記錄控制單元38將由壓縮/擴展處理單元42壓縮的壓縮數(shù)據(jù)轉換為預定格式的圖像文件(例如，用于3D靜止圖像的MP(多畫面)格式的圖像文件和用于3D活動圖像的移動JPEG、H. 264, MPEG4、MPEG4-MVC的活動圖像文件)，以在存儲卡40中記錄圖像文件或從存儲卡40讀出圖像文件。液晶監(jiān)視器16被用作用于顯示拍攝的圖像的圖像顯示單元，并且在各種設置期間用作GUI (圖形用戶界面)。液晶監(jiān)視器16還被用作電子取景器，其顯示實時取景圖像 (以下稱為“直通圖像”)以在拍攝模式中查看視角。為了在液晶監(jiān)視器16上顯示3D圖像， 顯示控制單元36交替地顯示由VRAM 52逐個像素地存儲的用于左眼的圖像和用于右眼的圖像。基于在液晶監(jiān)視器16上布置的視差屏障，從預定距離觀察圖像的用戶的左右眼分別觀看逐個像素交替地布置的左右圖像。這允許立體視覺。雖然在圖2中未示出，但是立體成像設備10還具有記錄和再現(xiàn)由在圖IA和IB中所示的立體麥克風15獲取的音頻信息(音頻數(shù)據(jù))的功能。[在產(chǎn)品的運輸之前的光軸調整的第一實施例]接下來，將描述在產(chǎn)品運輸之前的調整時在EEPROM 58中存儲的用于光軸調整的
fn息ο圖3是示出根據(jù)本發(fā)明的在運輸之前的光軸調整時的處理的第一實施例的流程圖。如圖3中所示，指示聚焦透鏡的聚焦位置的變量N首先被設置為N = Near (最近端)(步驟S10)。變量N根據(jù)指示最近端的Near (例如1)和指示無限遠的Inf (例如η)之間的聚焦位置而改變。隨后，要調整的立體成像設備10和用于調整光軸的調整圖被設置為形成預定的位置關系，并且，立體成像設備10的成像光學系統(tǒng)的聚焦透鏡被調整為聚焦調整圖(步驟 S12)。調整圖首先被設置到與最近端(Near)對應的對象距離。隨后，聚焦透鏡被移動以聚焦調整圖，并且在透鏡位置(聚焦位置)處獲取圖像， 以獲取左右圖像(步驟S14和S16)。執(zhí)行對應點檢測，用于從獲取的左右圖像檢測對應的特征點(步驟S18)。例如，可以應用塊匹配方法作為用于檢測對應點的方法。更具體地，評估在參考(基于)來自左圖像的任意像素切出的預定塊大小的塊和右圖像的塊之間的重合度，并且，將具有塊之間的最大重合度的右圖像中的塊的參考像素確定為與左圖像的任意像素對應的右圖像的像素。在塊匹配方法中用于評估塊之間的重合度的函數(shù)的示例包括 使用塊中的像素之間的輝度差的平方差的和(SSD) (SSD塊匹配方法)。當檢測到對應點時，檢測對應點之間的偏離量(如果檢測到多個對應點，則檢測多個對應點的偏離量的平均值)，并且，將檢測到的偏離量設置為在兩個成像光學系統(tǒng)之間的光軸偏離量，以與聚焦位置N相關聯(lián)地在EEPROM 58中存儲該量(步驟S20和S22)。確定是否N達到Inf(n)(步驟S24)。如果“否”，則將變量N遞增1 (步驟沈)，并且，處理進行到步驟S12。將調整圖移動到與變量N對應的對象距離，并且執(zhí)行處理(步驟 S12至S24)。同時，如果“是”，則調整處理結束(步驟S28).以這種方式，作為在改變聚焦透鏡的聚焦位置的同時成像調整圖以檢測光軸偏離量的結果，在EEPROM 58中存儲與每一個聚焦位置FN(N = 1，2，. . . ,η)對應的光軸偏離量， 如圖4中所示。圖4中所示的光軸偏離量表示在左右圖像之一(例如，右圖像)的光軸中心處的坐標值相對于另一個圖像(左圖像)的光軸中心的坐標值的在垂直(V)方向上的偏
1 里。[拍攝操作的第一實施例]接下來，將參考在圖5中所示的流程圖來描述根據(jù)本發(fā)明的立體成像設備10的第一實施例的拍攝操作。在圖5中，CPU 32確定拍攝指令的存在(快門按鈕11的全按下(開關S2的接通))(步驟S30)。如果開關S2關斷，則在液晶監(jiān)視器16上顯示3D直通圖像(步驟S32)。為了顯示3D直通圖像，對于從左右成像單元20-1和20-2以時間次序方式順序獲取的左右圖像，從圖4中所示的表讀出與當前聚焦位置對應的左右圖像中的光軸偏離量， 并且從全視角的圖像切出用于3D直通圖像的圖像，以便補償光軸偏離量，從而在液晶監(jiān)視器16上輸出圖像。結果，可以在液晶監(jiān)視器16上顯示其中校正了兩個成像光學系統(tǒng)的每一個聚焦位置處不同的光軸偏離的3D直通圖像。另一方面，當接通開關S2時，CPU 32開始主拍攝(步驟S34)。當通過成像獲取全視角的左右圖像時(步驟S34)，獲取聚焦透鏡的當前聚焦位置的信息(例如，從聚焦電機(步進電機)的參考位置起的脈沖的數(shù)量)，并且，從EEPROM 48 讀出與所獲取的當前聚焦位置(F-pos)對應的光軸偏離量(步驟S38)?；谧x出的光軸偏離量，將左右切出位置移動光軸偏離量，以執(zhí)行從在切換S36 中獲取的左右圖像的圖像的切出處理(步驟S40)。例如，如果光軸偏離量是+2(像素)，則左圖像的切出中心在V方向上移位+1像素以切出左圖像，并且右圖像的切出中心在V方向上移位-1像素以切出右圖像。結果，切出圖像是其中校正了光軸偏離的圖像。切出的左右圖像以預定的壓縮格式被壓縮，并且被記錄在存儲卡40中建立的文件中(步驟S42)。如果成像光學系統(tǒng)是單點聚焦透鏡，則如圖3和4中所示，基于對于聚焦位置預先存儲的光軸偏離量使用與當前聚焦位置對應地讀出的光軸偏離量，以切出圖像。如果成像光學系統(tǒng)是如實施例中那樣的變焦透鏡，則對于變焦透鏡的每一個變焦位置和聚焦位置獲取光軸偏離量。更具體地，如果變焦透鏡的變焦位置包括從在廣角端的變焦位置(Zl)至在遠攝端的變焦位置(ZlO)的10個階段，則將變焦透鏡移動到每一個變焦位置，以對于每一個變焦位置執(zhí)行從圖3的步驟SlO至步驟S26的處理，以在EEPROM 58中存儲在每一個變焦位置和聚焦位置處的光軸偏離量。圖6是存儲在EEPROM 58中存儲的每一個變焦位置和聚焦位置處的光軸偏離量的表格的第二示例。在該情況下，在圖5的步驟S38中獲取當前變焦位置和聚焦位置，并且，從在圖6 中所示的表讀出與獲取的變焦位置和聚焦位置對應的光軸偏離量。結果，可以切出其中校正了光軸偏離的用于立體視覺的左右圖像，而與左右成像光學系統(tǒng)的變焦位置和聚焦位置無關。雖然圖6中所示的表存儲與所有的變焦位置和聚焦位置對應的光軸偏離量，但是布置不限于此。如圖7中所示，可以檢測和存儲僅兩個聚焦位置(近側(Near)和無限遠(Inf)的聚焦位置)的光軸偏離量，并且，可以通過基于中間聚焦位置線性地插值在兩個聚焦位置處的光軸量，來計算在中間聚焦位置處的光軸量。如果變焦位置接近遠攝端并且聚焦透鏡的移動較大，則優(yōu)選的是，檢測和存儲在近側、中間和無限遠三個聚焦位置處的光軸偏離量，以執(zhí)行從近側向中間或從中間向無限遠的線性插值，以計算光軸偏離量。[畸變校正]接下來，將描述向拍攝的左右圖像應用用于校正由于透鏡畸變導致的圖像的畸變 (諸如桶形畸變和枕形畸變)的畸變校正。存在下述問題當畸變校正被應用到左右眼時，光軸由于畸變校正而偏離。例如，假定具有桶形畸變的左圖像的光軸中心是A，并且右眼的光軸中心是Ok，如圖8中所示，則在圖像的畸變校正后的光軸中心分別是(V和0/，并且，光軸中心在水平和垂直方向上偏離ΔΗ和Δν。通過向用于計算的高階多項式的畸變校正公式賦予像素的坐標值來執(zhí)行畸變校正。因此，有大量的計算，并且例如，如果通過在3D活動圖像拍攝期間使用具有高校正精度的畸變校正公式來執(zhí)行畸變校正，則存在下述問題難以在高幀率下獲得和記錄高清晰度 (HD) 3D活動圖像。因此，在3D活動圖像的情況下，不執(zhí)行畸變校正，或使用低階畸變校正公式來執(zhí)行具有低校正精度的畸變校正。同時，可以在拍攝后和在向存儲卡寫入前執(zhí)行3D靜止圖像的畸變校正。因此，可以使用具有高校正精度的畸變校正公式來執(zhí)行具有高校正精度的畸變校正。如果使用具有不同的校正精度的畸變校正公式用于3D活動圖像和3D靜止圖像， 則存在下述問題在畸變校正后的光軸中心根據(jù)使用的畸變校正公式而偏離。在下面的實施例中，將描述即使執(zhí)行具有不同的校正精度的畸變校正也可以獲取沒有光軸偏離的圖像的方法。[在產(chǎn)品運輸之前的光軸調整的第二實施例]圖9是示出在運輸之前的光軸調整時的處理的第二實施例的流程圖。如圖9中所示，要調整的立體成像設備10和用于調整光軸的調整圖被設置為形成預定的位置關系，并且立體成像設備10的成像光學系統(tǒng)的聚焦位置被調整為聚焦調整圖 (步驟S50)。指示拍攝模式的變量M被設置為1(步驟S5》。在此，N= 1表示用于在液晶監(jiān)視器16上顯示3D直通圖像的拍攝模式，M = 2表示用于拍攝3D活動圖像的拍攝模式，并且， M = 3表示用于拍攝3D靜止圖像的拍攝模式。隨后，拍攝(獲得)調整圖，并且獲取左右圖像(步驟SM和S56)。與當前拍攝模式N對應的畸變校正被應用到獲取的左右圖像(步驟S58)。在此用于執(zhí)行畸變校正的畸變校正公式的校正精度根據(jù)拍攝模式N而不同。例如，在用于直通圖像的拍攝模式(Μ = 1)中使用二階多項式，在用于活動圖像的拍攝模式(Μ = 2)中使用四階多項式，并且在用于靜止圖像的拍攝模式(M = 3)中使用六階多項式。雖然高階的畸變校正公式可以執(zhí)行高精度的畸變校正，但是計算量增加。因此，校正精度和計算量具有相互制約的關系。
在步驟S58中的畸變校正后，執(zhí)行用于檢測左右圖像的對應特征點的對應點檢測 (步驟S60)。例如，可以應用塊匹配方法作為對應點的檢測方法。當檢測到對應點時，檢測對應點之間的偏離量(如果檢測到多個對應點，則檢測對應點的偏離量的平均值)，并且將檢測到的偏離量設置為在兩個成像光學系統(tǒng)之間的光軸偏離量，以與拍攝模式M相關聯(lián)地在EEPROM 58中存儲該量(步驟S62和S64)。確定是否M = 4 (步驟S66)。如果“否”，則將變量M遞增1 (步驟S68)，并且處理移動到步驟S58。如果“是”，則調整處理結束(步驟S70)。結果，對于每一個拍攝模式(M = 1，2，3)，在EEPROM 58中存儲光軸偏離量(光軸的偏離量)。雖然當在圖9中未描述當改變聚焦位置和變焦位置時的光軸偏離量的檢測和存儲，但是對于每一個拍攝模式也檢測和存儲當改變變焦位置和聚焦位置時的光軸偏離量。 與每一個變焦位置對應的畸變校正公式用于步驟S58中的畸變校正。圖10A-10C示出用于示出在EEPROM 58中存儲的每一個拍攝模式的光軸偏離量的表的示例。圖IOA至IOC分別示出用于直通圖像的表、用于靜止圖像的表和用于活動圖像的表。每一個表存儲對于每個變焦位置的左右圖像的光軸偏離量(在V方向上的光軸偏離
量)O僅在3D圖像的情況下存儲在V方向上的光軸偏離量，這是因為在圖像之間的V方向上的光軸偏離是立體視覺的問題。然而，布置不限于此，并且，也可以存儲在水平(H)方向上的光軸偏離量。也在EEPROM 58中存儲用于每一個拍攝模式和每一個變焦位置的畸變校正公式。 在該情況下，可以對于每一個變焦位置存儲畸變校正公式的相同的一般公式，并且，僅每個項的系數(shù)被使得對于每一個變焦位置不同，并且被存儲。替代地，可以對于每一個變焦位置存儲不同的畸變校正公式。在圖IOA至IOC的表中未示出每一個聚焦位置的光軸偏離量。[拍攝操作的第二實施例]接下來，將參考在圖11中所示的流程圖來描述根據(jù)本發(fā)明的立體成像設備10的第二實施例的拍攝操作?？梢酝ㄟ^下述方式來設置用于拍攝3D活動圖像的拍攝模式(以下稱為“3D活動圖像拍攝模式”)通過在圖IB中所示的操作開關18A將模式切換到活動圖像拍攝模式，并且通過操作開關18C將模式切換到3D拍攝模式?？梢酝ㄟ^下述方式來設置用于拍攝3D靜止圖像的拍攝模式(以下稱為“3D靜止圖像拍攝模式”)通過操作開關18A將模式切換為靜止圖像拍攝模式，并且通過操作開關18C將模式切換為3D拍攝模式。在步驟S80，確定通過操作開關18A和18C將3D活動圖像拍攝模式設置為拍攝模式還是將3D靜止圖像拍攝模式設置為拍攝模式。如果拍攝模式被確定為3D活動圖像拍攝模式，則CPU 32確定活動圖像拍攝的指令的存在(快門按鈕11的全按(開關S2的接通))(步驟S82)。如果開關S2關斷，則在液晶監(jiān)視器16上顯示3D直通圖像(步驟S84)。為了顯示3D直通圖像，使用用于直通圖像的畸變校正公式(二階多項式)來向從左右成像單元20-1和20-2以時間次序方式順序獲取的左右圖像應用畸變校正。從圖IOA 中所示的用于直通圖像的表讀出與變焦透鏡的當前變焦位置對應的左右圖像中的光軸偏離量。從畸變校正后的圖像切出用于3D直通圖像的圖像，以便補償光軸偏離量，并且向液晶監(jiān)視器16輸出該圖像。結果，可以在液晶監(jiān)視器16上顯示如下3D直通圖像，其中，校正了在每一個變焦位置和聚焦位置處不同的兩個成像光學系統(tǒng)的光軸偏離。同時，如果接通開關S2，則CPU 32開始拍攝3D活動圖像(步驟S86)。當開始3D活動圖像的拍攝時，對從左右成像單元20-1和20_2以時間次序順序獲取的左右圖像應用畸變校正、畸變校正、諸如圖像的切出處理的成像處理和記錄處理(步驟 S88)。[圖像處理的第一實施例]圖12是示出在圖11中的步驟S88等中的圖像處理的第一實施例的流程圖。在圖12中，當獲取左右圖像時(步驟S882)，數(shù)字信號處理單元44中的畸變校正電路使用畸變校正公式，該畸變校正公式是用于活動圖像的畸變校正公式(四階多項式) 并且對應于變焦透鏡的當前變焦位置，以校正獲取的左右圖像的畸變(步驟S884)。隨后，從圖IOC的用于活動圖像的表讀出與當前變焦位置(Z-pos)和聚焦位置對應的光軸偏離量，并且根據(jù)光軸偏離量來移動切出范圍，以基于讀出的光軸偏離量執(zhí)行從其中校正了畸變的左右圖像的圖像切出處理(S886)。結果，切出圖像是其中校正了光軸偏離的圖像。切出的左右圖像以預定的壓縮格式被壓縮，并且被記錄在存儲卡40中建立的活動圖像文件中(步驟S888)。每次結束一秒預定數(shù)量的幀(如果幀速率是60幀/秒，則為 60幀)的圖像處理時，執(zhí)行活動圖像的記錄處理，并且順序地向活動圖像文件添加壓縮的活動圖像。由立體麥克風15獲取的音頻數(shù)據(jù)也每秒被壓縮并且被記錄在活動圖像文件中。返回圖11，再一次確定是否接通了開關S2 (步驟S90)。如果開關S2關斷，則處理移動到步驟S88，以繼續(xù)活動圖像的處理。當接通開關S2時，結束3D活動圖像的拍攝。同時，如果在步驟S80中確定模式是3D靜止圖像拍攝模式，則CPU32確定靜止圖像拍攝的指令的存在(開關S2的接通)(步驟S92)。如果開關S2關斷，則在液晶監(jiān)視器 16上顯示3D直通圖像(步驟S94)。如步驟S84中那樣，在液晶監(jiān)視器16上顯示3D直通圖像。當接通開關S2時，CPU 32執(zhí)行3D靜止圖像的拍攝(步驟S96)。關于兩步行程快門按鈕，顯而易見的是，在全按之前的半按期間，開關Sl被接通，并且執(zhí)行在主拍攝之前的拍攝準備操作，諸如AE處理和AF處理。如步驟S88中那樣，在主拍攝中，向從左右成像單元20-1和20-2獲取的左右圖像應用畸變校正、諸如圖像的切出處理的圖像處理和記錄處理(步驟S98)。具有高校正精度的六階多項式的畸變校正公式用于步驟S98中的畸變校正，并且，基于從圖IOB的靜止圖像的表對應于當前變焦位置和聚焦位置讀出的光軸偏離量來執(zhí)行圖像的切出處理。[在產(chǎn)品運輸之前的光軸調整的第三實施例]圖13是示出根據(jù)本發(fā)明的光軸調整時的處理的第三實施例的流程圖。使用相同的步驟編號來指定與圖9中所示的第二實施例共同的部分，并且將不重復詳細說明。
在圖13中所示的第三實施例中省略圖9中所示的步驟S52、S58、S56和S68的處理。在圖9中所示的第二實施例中，對于直通圖像、活動圖像和靜止圖像的每一個拍攝模式檢測光軸偏離量，并且將其存儲在EEPROM 58中(參見圖IOA至10C)。在圖13中所示的第三實施例中，檢測左右圖像的對應點以檢測左右圖像的光軸偏離量(步驟S60和 S62)，而不執(zhí)行在步驟S56中獲取的左右圖像的畸變校正，并且將檢測到的光軸偏離量存儲在EEPROM 48中(步驟S64)。與在圖9中所示的實施例中相同的是，對于變焦透鏡的每一個變焦位置和聚焦位置在EEPROM 48中存儲光軸偏離量。更具體地，在圖13中所示的第三實施例中，檢測和記錄在畸變校正之前的左右圖像的光軸偏離量，并且，不檢測和存儲每一個拍攝模式的光軸偏離量。在EEPROM 48中存儲的每一個變焦位置的光軸偏離量的表用于如圖14中所示地計算拍攝時的畸變校正后的光軸偏離量。在圖14中，獲取當前拍攝模式的信息和變焦透鏡的變焦位置和聚焦位置的信息 (步驟 SlOO 和 S102)?；讷@取的變焦位置和聚焦位置的信息，參考在EEPROM 48中存儲的表以獲取與變焦位置和聚焦位置對應的光軸偏離量(步驟S104)。基于獲取的當前拍攝模式和當前變焦位置，從EEPROM 48獲取與當前拍攝模式和變焦位置對應的畸變校正公式(計算公式)。在步驟S104中獲取的光軸偏離量被賦值到獲取的公式，以計算畸變校正后的光軸偏離量(步驟S106和S108)。計算的光軸偏離量用于在圖11中所示的步驟S84、S88和S88與在圖12中所示的步驟S886中的圖像的切出處理。以這種方式，在EEPROM 48中存儲畸變校正之前的光軸偏離量，并且在EEPROM 48 中存儲的值被應用到在實際圖像的切出處理時的畸變校正的公式，以計算畸變校正后的光軸偏離量。結果，可以減小EEPROM 48的存儲容量，并且，即使改變固件等(包括畸變校正中的改變)，也可以容易地改變切出位置。雖然光軸偏離量的表如圖IOA至IOC中所示地存儲每一個變焦位置處的光軸偏離量，但是可以僅存儲至少兩個變焦位置(例如，廣角端和遠攝端)的光軸偏離量，并且，可以通過下述方式來計算除了存儲的變焦位置之外的變焦位置處的光軸偏離量根據(jù)當前變焦位置線性地插值存儲的至少兩個變焦位置處的光軸偏離量。[圖像處理的第二實施例]圖15是示出在圖11的步驟S88等中的圖像處理的第二實施例的流程圖。使用相同的步驟編號來指定與圖12的第一實施例共同的部分，并且，將不重復詳細描述。圖15中所示的圖像處理的第二實施例與第一實施例不同之處在于與圖12中所示的第一實施例相比，畸變校正的步驟S884之前增加陰影校正的步驟S883。更具體地，在步驟S883中，基于存儲與視角位置對應的陰影校正值的左右圖像的表或基于根據(jù)視角位置的公式計算的陰影校正值來校正(陰影校正)在步驟S882中獲取的左右圖像的像素的亮度。作為陰影校正的結果，在左右圖像的亮度的均衡后執(zhí)行圖像的畸變校正和切出處理，并且，可以形成在切出的左右圖像之間在亮度上沒有差別的圖像。
17
[在連續(xù)拍攝中的圖像處理的第一實施例]連續(xù)拍攝的圖像被看作靜止圖像，并且，需要與用于3D靜止圖像的圖像處理類似的圖像處理。更具體地，需要基于具有高校正精度的畸變校正公式來執(zhí)行畸變校正。同時，如果連續(xù)的拍攝的成像間隔較短，則不能實時地執(zhí)行具有高校正精度的畸變校正和圖像的切出處理等。圖16是示出在連續(xù)拍攝中的圖像處理的第一實施例的流程圖。當設置連續(xù)拍攝模式并且輸入連續(xù)拍攝的指令(開關S2的接通)(步驟S110)時， CPU 32獲取連續(xù)拍攝的一個幀的圖像(步驟Sl 12)，并且在RAM M中暫時存儲全視角的左右圖像(步驟Sl 14)。隨后，確定開關S2的接通/關斷(S116)。如果開關S2接通，則處理移動到步驟 S112。如果開關S2關斷，則處理移動到步驟S118。更具體地，當開關S2接通時，執(zhí)行連續(xù)拍攝，并且在RAM M中存儲全視角的左右圖像。當開關S2關斷時，逐幀地讀出在RAM M中存儲的時間次序的左右圖像，并且，基于在連續(xù)拍攝中的變焦透鏡的變焦位置和與連續(xù)拍攝模式對應的畸變校正公式來校正畸變(步驟Sl 18)。隨后，計算或者從EEPROM 58讀出與在連續(xù)拍攝中的變焦透鏡的變焦位置、聚焦位置和連續(xù)拍攝模式對應的光軸偏離量，并且，從其中基于光軸偏離量校正了畸變的全視角的圖像切出用于校正光軸偏離的圖像(步驟S120)。壓縮處理等被應用到切出的圖像，并且，將圖像記錄在存儲卡40中(步驟S122)。[在連續(xù)拍攝中的圖像處理的第二實施例]圖17是示出在連續(xù)拍攝中的圖像處理的第二實施例的流程圖。使用相同的步驟編號來指定與在圖16中所示的連續(xù)拍攝中的成像處理的第一實施例共同的部分，并且將不重復詳細描述。在圖17中所示的連續(xù)拍攝中的圖像處理的第二實施例與第一實施例不同之處在于在步驟S116和S118之間增加了步驟S117的處理。更具體地，在步驟S117中，與每一個視角位置對應的陰影校正被應用到在RAM 54 中存儲的左右圖像，以均衡左右圖像的亮度。結果，可以形成在左右圖像之間在亮度上沒有差別的圖像，對于該圖像將執(zhí)行隨后階段的畸變校正和圖像的切出處理。[在連續(xù)拍攝中的圖像處理的第三實施例]圖18是在連續(xù)拍攝中的圖像處理的第三實施例的流程圖。使用相同的步驟編號來指定與在圖16中所示的連續(xù)拍攝中的圖像處理的第一實施例公共的部分，并且將不重復詳細描述。在圖18中所示的連續(xù)拍攝中的圖像處理的第三實施例與第一實施例不同之處在于在存儲卡40中僅存儲在多個連續(xù)的拍攝的時間次序的圖像中的用戶指示存儲的圖像。在圖18中，當關斷開關S2時(步驟S116)，以拍攝的順序來讀出和再現(xiàn)在RAM 54 中存儲的時間次序的左右圖像(步驟S130)?，F(xiàn)在，當通過連續(xù)拍攝執(zhí)行了 N次3D圖像的拍攝時，從N =指示拍攝順序的1至 N讀出第N個左右圖像，并且執(zhí)行圖像的畸變校正和切出(步驟S118和S120)。處理后的左右圖像在液晶監(jiān)視器16上顯示為3D靜止圖像(步驟S132)。
用戶在觀看在液晶監(jiān)視器16上顯示的3D靜止圖像的同時確定是否在存儲卡40 中存儲圖像(步驟S134)。如果“是”(例如，當接通菜單/OK按鈕時)，則在存儲卡40中存儲在液晶監(jiān)視器16上顯示的3D靜止圖像。另一方面，如果“否”(例如，通過十字鍵的左/右鍵來指示幀前進)，則處理移動到S130，以從RAM 54讀出接下來的左右圖像，并且，執(zhí)行相同的處理。雖然在實施例中在開關S2接通的同時執(zhí)行連續(xù)的拍攝，但是布置不限于此。當開關S2接通時，可以連續(xù)地拍攝預設數(shù)量的圖像。[成像/再現(xiàn)處理的第一實施例]圖19和20是示出根據(jù)本發(fā)明的立體成像設備10的拍攝/再現(xiàn)處理的第一實施例的流程圖。在圖19中，當立體成像設備10被設置到拍攝模式以開始拍攝時，在存儲卡40中記錄的圖像文件的標簽中寫入在拍攝時的拍攝模式(例如，3D活動圖像拍攝模式或3D靜止圖像拍攝模式)、變焦透鏡的變焦位置和光軸偏離量(步驟S140)?；谂臄z模式、變焦位置和聚焦位置來計算或者從EEPROM 48讀出光軸偏離量。在圖像文件中存儲拍攝的全視角的左右圖像(活動圖像或靜止圖像)(步驟 S142)。因此，在拍攝時不執(zhí)行圖像的畸變校正和切出處理，并且，在標簽中記錄校正之前的圖像和校正所需的信息。同時，如圖20中所示，當立體成像設備10被設置為再現(xiàn)模式以開始再現(xiàn)時，從在存儲卡40中存儲的要再現(xiàn)的圖像文件讀出左右圖像和標簽信息(步驟S150)。獲取由在標簽信息中包括的拍攝模式和變焦位置指定的畸變校正公式，并且，使用畸變校正公式來向讀出的左右圖像應用畸變校正(步驟S152)。隨后，基于在標簽信息中包括的光軸偏離量從畸變校正后的左右圖像切出用于校正光軸偏離的圖像(步驟S154)。顯示切出的左右圖像，使得切出中心在液晶監(jiān)視器16的屏幕的中心處(步驟 S156)，并且結果，顯示允許沒有光軸偏離的舒適的立體視覺的3D圖像。通過存儲全視角的圖像，當執(zhí)行2D畫面打印時，可以獲得具有較寬視場的畫面打印。當用戶選擇2D再現(xiàn)時，也可以再現(xiàn)切出的圖像之一。結果，即使眼睛在3D再現(xiàn)中疲倦并且用戶切換到2D再現(xiàn)時，也可以識別3D圖像的視角的大小。雖然在實施例中光軸偏離量被記錄為標簽信息，但是可以記錄光軸中心的坐標或切出范圍的對角的坐標來代替光軸偏離量。簡而言之，可以記錄任何信息，只要該信息是關于可以校正光軸偏離的圖像切出的信息。也可以在存儲卡40中記錄3D再現(xiàn)中進行了畸變校正和圖像的切出處理的圖像。 在該情況下，可以刪除原始圖像文件，或可以存在兩個圖像文件。[拍攝/再現(xiàn)處理的第二實施例]圖21和22是示出根據(jù)本發(fā)明的立體成像設備10的拍攝/再現(xiàn)處理的第二實施例的流程圖。在圖21中，當立體成像設備10被設置為拍攝模式以開始拍攝時，向拍攝的全視角的左右圖像(活動圖像或靜止圖像)應用各種校正處理(步驟S160)。在此的圖像處理是除了用于校正左右圖像的光軸偏離的圖像的切出處理之外的圖像處理，并且，該圖像處理包括白平衡校正、伽馬校正、陰影校正和畸變校正等。進行圖像處理的左右圖像被以預定的壓縮格式壓縮，并且被存儲在存儲卡40中 (步驟 S162)。同時，如圖22中所示，當立體成像設備10被設置為再現(xiàn)模式以開始再現(xiàn)時，從在存儲卡40中存儲的要再現(xiàn)的圖像文件讀出左右圖像(步驟S170)。隨后，執(zhí)行用于檢測左右圖像的對應特征點的對應點檢測，以獲取用于校正左右圖像的光軸偏離的信息(步驟S172)?？梢酝ㄟ^例如塊匹配方法來檢測對應點?；谧笥覉D像之一(例如，左圖像)，通過對應點檢測來獲得與另一圖像(右圖像)的像素對應的左圖像的像素。該對應點檢測可以獲得其中在左右圖像之間可以檢測到對應點的區(qū)域，并且可以獲得其中不能檢測到對應點的區(qū)域?？梢酝ㄟ^下述方式來獲取用于校正左右圖像的光軸偏離的信息檢測由其中可以檢測到左右圖像的對應點的區(qū)域的四個最外側圍繞的區(qū)域。更具體地，由四側圍繞的區(qū)域的中心是用于從整個視角的像素切出用于立體視覺的圖像的切出區(qū)域，并且被四側圍繞的區(qū)域的中心是切出中心?；讷@取的切出區(qū)域從全視角的左右圖像切出的左右圖像被顯示為切出中心在液晶監(jiān)視器16的屏幕的中心處(步驟S174)。結果，顯示允許沒有光軸偏離的舒適的立體視覺的3D圖像。例如，如圖23中所示地從全視角的左右圖像切出通過對應點檢測獲得的由虛線示出的切出區(qū)域(由切出起點或切出中心和切出大小指定的區(qū)域)，并且，在液晶監(jiān)視器16 上將切出圖像(左右重疊部分)顯示為用于立體視覺的圖像。在該情況下，左右圖像的切出中心被匹配和顯示。因此，校正了左右圖像的光軸偏離(在V方向上的偏離)。雖然在示例中僅顯示了左右圖像的重疊部分，但是布置不限于此。在下面的a)至 c)中所示的顯示也是可能的。a)在左右圖像中不重疊的部分被無改變地顯示。結果，三維地顯示重疊的部分，并且，二維地顯示不重疊的部分。b)在3D顯示中在左右圖像中不重疊的部分上布置了諸如畫面幀的圖案。C)在3D顯示中刪除(變黑或變白)左右圖像中不重疊的部分。[其他]基本上，同一對象存在于從其切出圖像的左右圖像的切出中心處。因此，執(zhí)行左右圖像的切出的中心部分的MTF(調制傳遞函數(shù))測量，以計算左右圖像之間的在分辨率上的差別。可以改變左右圖像的圖像質量設置(邊緣增強和伽馬校正)等，以均衡左右圖像的分辨率。立體成像設備10可以在液晶監(jiān)視器16上顯示3D直通圖像，并且，用戶在觀看3D 直通圖像的同時操作視差調整開關18B(圖1B)，以調整3D圖像(活動圖像或靜止圖像)的
視差量。更具體地，可以在+(加)方向或_(減)方向上操作視差調整開關18B，以增加或減少3D圖像的視差量(視差調整值)?？梢栽趫D像的切出處理中使用光軸偏離量和視差調整值(左右圖像的H方向上的移位量)的信息來切出圖像以記錄和再現(xiàn)具有用戶期望的立體效果而沒有在V方向上的光軸偏離的3D圖像。用于執(zhí)行具有不同的校正精度的畸變校正的多個拍攝模式不限于實施例。也可以包括不執(zhí)行畸變校正的拍攝模式或諸如魚眼拍攝模式的用于強調畸變的拍攝模式。在實施例中，圖像的切出處理被應用到畸變校正后的圖像。然而，相反地，可以在圖像經(jīng)過用于校正光軸偏離的切出處理后，將畸變校正應用到圖像。顯然，考慮由于之后的畸變校正的光軸偏離來執(zhí)行在該情況下的圖像的切出處理。顯然，本發(fā)明不限于實施例，并且，在不偏離本發(fā)明的精神的情況下，可以進行各種改變。附圖標記列表10...立體成像設備，11...快門按鈕，12...變焦按鈕，14_1、14_2...成像光學系統(tǒng)，16·.·液晶監(jiān)視器，20-1、20-2...成像單元，21...聚焦透鏡和變焦透鏡，24. .. CCD， 25...模擬信號處理單元，32...中央處理單元(CPU)，34...操作單元，44...數(shù)字信號處理單元，54. · · RAM, 56. · · ROM, 58. · · EEPROM
權利要求
1.一種立體成像設備，包括多個成像單元，其包括成像光學系統(tǒng)和成像元件，所述成像元件用于光電轉換通過所述成像光學系統(tǒng)形成的對象圖像，并且成像具有視差的多個圖像；存儲單元，其存儲預先檢測到的所述成像光學系統(tǒng)相對于多個聚焦位置的光軸偏離量；聚焦位置檢測單元，其檢測所述多個成像光學系統(tǒng)的當前聚焦位置； 光軸偏離獲取單元，其基于所述成像光學系統(tǒng)的所述光軸偏離量來獲取與由所述聚焦位置檢測單元檢測到的所述成像光學系統(tǒng)的當前聚焦位置對應的光軸偏離量； 成像控制單元，其從所述多個成像單元獲取用于立體圖像的多個圖像；以及， 圖像切出單元，其基于由所述光軸偏離獲取單元對應于所述當前聚焦位置所獲取的所述光軸偏離量，來執(zhí)行從由所述成像控制單元獲取的所述多個圖像中切出用于立體顯示的圖像的處理。
2.根據(jù)權利要求1所述的立體成像設備，其中所述存儲單元根據(jù)所述聚焦位置來存儲所述成像光學系統(tǒng)的各聚焦位置處的光軸偏離量，以作為所述成像光學系統(tǒng)的光軸偏離量，并且，所述光軸偏離獲取單元包括讀取單元，所述讀取單元基于當前聚焦位置從所述存儲單元讀出對應的光軸偏離量。
3.根據(jù)權利要求1所述的立體成像設備，其中所述存儲單元存儲指示兩個或更多聚焦位置處的光軸偏離量的信息或用于計算所述成像光學系統(tǒng)的聚焦位置處的光軸偏離量的公式，來作為所述成像光學系統(tǒng)的光軸偏離量，并且所述光軸偏離獲取單元包括計算單元，所述計算單元基于在所述存儲單元中存儲的所述信息和所述當前聚焦位置來計算光軸偏離量。
4.根據(jù)權利要求1所述的立體成像設備，進一步包括變焦位置檢測單元，其檢測所述多個成像光學系統(tǒng)的當前變焦位置，其中，所述存儲單元還存儲預先檢測到的所述成像光學系統(tǒng)相對于多個變焦位置的光軸偏1 里。
5.根據(jù)權利要求4所述的立體成像設備，其中所述存儲單元根據(jù)變焦位置和聚焦位置來存儲所述成像光學系統(tǒng)的各聚焦位置和各變焦位置處的光軸偏離量，以作為所述成像光學系統(tǒng)的光軸偏離量，并且，所述光軸偏離獲取單元包括讀取單元，所述讀取單元基于當前變焦位置和聚焦位置從所述存儲單元讀出對應的光軸偏離量。
6.根據(jù)權利要求4所述的立體成像設備，其中所述存儲單元根據(jù)所述成像光學系統(tǒng)的變焦位置來存儲指示兩個或更多聚焦位置處的光軸偏離量的信息或用于計算所述成像光學系統(tǒng)的聚焦位置處的光軸偏離量的公式，以作為所述成像光學系統(tǒng)的光軸偏離量，并且所述光軸偏離獲取單元包括計算單元，所述計算單元基于根據(jù)所述成像光學系統(tǒng)的當前變焦位置從所述存儲單元讀出的信息和當前聚焦來計算所述光軸偏離量。
7.根據(jù)權利要求1至6中的任何一項所述的立體成像設備，包括畸變校正單元，其基于預定的畸變校正公式來校正由所述成像控制單元獲取的多個圖像的畸變，其中所述光軸偏離獲取單元獲取在基于所述預定的畸變校正公式的畸變校正后的光軸偏1 里。
8.根據(jù)權利要求7所述的立體成像設備，包括畸變校正公式獲取單元，其從與成像光學系統(tǒng)的變焦位置對應的畸變校正公式中獲取與當前的變焦位置對應的預定畸變校正公式。
9.根據(jù)權利要求8所述的立體成像設備，進一步包括變焦位置檢測單元，其檢測所述多個成像光學系統(tǒng)的當前變焦位置，其中， 所述畸變校正公式獲取單元包括存儲單元，其根據(jù)變焦位置來存儲與所述成像光學系統(tǒng)的變焦位置對應的畸變校正公式；以及，讀取單元，其基于當前變焦位置來從所述存儲單元中讀出對應的畸變校正公式。
10.根據(jù)權利要求7至9中的任何一項所述的立體成像設備，其中所述光軸偏離獲取單元包括存儲單元，其存儲所述畸變校正之前的光軸偏離量；以及計算單元，其向所述預定畸變校正公式賦值從所述存儲單元讀出的光軸偏離量，以計算所述畸變校正后的光軸偏離量。
11.根據(jù)權利要求7至10中的任何一項所述的立體成像設備，進一步包括 陰影校正單元，其校正由所述成像控制單元獲取的多個圖像的陰影，其中所述圖像切出單元向已經(jīng)由所述陰影校正單元進行了陰影校正的圖像應用圖像的切出處理。
12.根據(jù)權利要求7至11中的任何一項所述的立體成像設備，其中所述圖像切出單元向通過所述畸變校正單元的所述畸變校正后的圖像應用圖像的切出處理。
13.根據(jù)權利要求11或12所述的立體成像設備，包括單元，其選擇連續(xù)拍攝模式，所述連續(xù)拍攝模式用于從所述多個成像單元獲取預設數(shù)量的時間次序的圖像或獲取拍攝指令時間段期間的多個圖像；以及，內部存儲單元，其暫時存儲在所述連續(xù)拍攝模式中拍攝的圖像，其中， 所述陰影校正單元在所述連續(xù)拍攝模式中的拍攝完成后讀出在所述內部存儲單元中存儲的多個圖像，以執(zhí)行所述陰影校正。
14.根據(jù)權利要求7至10中的任何一項所述的立體成像設備，包括 模式選擇單元，其選擇拍攝模式或再現(xiàn)模式；以及，記錄單元，其在記錄介質中記錄由所述成像控制單元在由所述模式選擇單元選擇的拍攝模式期間獲取的多個圖像并且與多個獲取的圖像相關聯(lián)地記錄由所述畸變校正公式獲取單元獲取的畸變校正公式和由所述光軸偏離獲取單元獲取的光軸偏離量，其中，所述畸變校正單元和所述圖像切出單元在由所述模式選擇單元選擇的再現(xiàn)模式中從所述記錄介質讀出多個圖像以及與所述圖像相關聯(lián)地存儲的畸變校正公式和光軸偏離量， 并且基于所述畸變校正公式和所述光軸偏離量來向讀出的多個圖像應用畸變校正和應用圖像的切出處理。
15.根據(jù)權利要求14所述的立體成像設備，其中所述記錄單元在所述記錄介質中記錄已經(jīng)在所述再現(xiàn)模式中進行了圖像的畸變校正和切出處理的圖像。
16.根據(jù)權利要求1至15中的任何一項所述的立體成像設備，包括視差調整單元，其調整從所述多個成像單元輸出的多個圖像之間的視差量，其中， 在用于立體顯示的圖像的切出處理時，所述圖像切出單元進一步應用其中基于由所述視差調整單元調整的視差量來調整切出位置的圖像切出處理。
全文摘要
與左右成像光學系統(tǒng)的光軸偏離量對應的圖像的切出處理被應用到由左右成像單元獲取的左右圖像，以校正光軸偏離。在該情況下，從根據(jù)預先在存儲單元中存儲的聚焦位置檢測的光軸偏離量獲取與當前的聚焦位置對應的光軸偏離量(步驟S38)?；讷@取的光軸偏離量將用于立體顯示的圖像的切出處理應用到左右圖像(步驟S40)。結果，可以在與聚焦位置(對象距離)無關的情況下良好地校正左右成像光學系統(tǒng)的光軸偏離。
文檔編號H04N13/02GK102362487SQ20108001346
公開日2012年2月22日 申請日期2010年11月22日 優(yōu)先權日2010年3月31日
發(fā)明者星野謙治 申請人:富士膠片株式會社