專利名稱：攝像裝置、及圖像合成方法
技術領域：
以下優先權基礎申請的公開內容引用到本說明書中日本特許出愿2010-15%41 號(2010年7月14日申請)，日本特許出愿2010-15卯42號(2010年7月14日申請)。本發明涉及一種攝像裝置及圖像合成方法。
背景技術：
將主攝像分為多個連續的曝光來進行，合成每次獲得的圖像信號來獲得一個曝光圖像，這一技術為世人所知(日本特許公開No. 2001-86398)。但在現有技術中，當連續拍攝的圖像間的位置偏移量過大時，在圖像之間無法對齊位置，不能合成圖像。因此，可考慮將無法進行位置對齊的圖像從合成對象中排除，使用其他圖像來替代已排除的圖像。但這種情況下，如不能適當選擇基準圖像，則存在從合成對象排除的圖像變多的可能性。并且，當同一圖像用于多個合成時，產生在合成的圖像中，特定的圖像增益提升成分過大的問題。
發明內容
本發明的第1形態下的攝像裝置具有攝像部，拍攝被攝體圖像并取得圖像；選擇部，從由上述攝像部連續拍攝的多個圖像中，選擇一個圖像作為基準圖像；計算部，計算由上述選擇部選擇的上述基準圖像與、通過上述攝像部連續拍攝的多個圖像中的上述基準圖像以外的多個圖像的每一個圖像之間的位置偏移量；以及生成部，對上述基準圖像和上述多個圖像中由上述計算部算出的上述位置偏移量為規定偏移量以下的圖像進行位置對齊后合成，生成合成圖像。在該攝像裝置中優選上述選擇部以使上述位置偏移量為上述規定偏移量以下的圖像變多的方式選擇上述基準圖像。根據本發明的第2形態，在第1形態的攝像裝置中，上述選擇部可以從由上述攝像部連續拍攝的多個圖像中的、除了最初拍攝的圖像和最后拍攝的圖像以外的圖像中，選擇上述基準圖像。根據本發明的第3形態，在第2形態的攝像裝置中優選，上述選擇部在由上述攝像部連續拍攝的多個圖像的數量是奇數時，選擇以時間序列排列上述多個圖像時位于中央的 1張圖像作為上述基準圖像，在由上述攝像部連續拍攝的多個圖像的數量是偶數時，選擇以時間序列排列上述多個圖像時位于中央的2張圖像中的任意一個作為上述基準圖像。根據本發明的第4形態，在第3形態的攝像裝置中，上述選擇部可以在上述攝像部連續拍攝的多個圖像的數量是偶數時，選擇以時間序列排列上述多個圖像時位于中央的2 張圖像中的、較晚時刻拍攝的圖像作為上述基準圖像。根據本發明的第5形態，在第1形態的攝像裝置中，上述選擇部可以從由上述攝像部連續拍攝的多個圖像中，選擇與其他圖像的最大位置偏移量最小的圖像作為上述基準圖像。
根據本發明的第6形態，在第5形態的攝像裝置中，優選上述選擇部在選擇的上述基準圖像中產生抖動時，選擇與其他圖像的位置偏移量第二小的圖像作為替代的基準圖像。根據本發明的第7形態，在第1 第6的任意形態的攝像裝置中，優選由上述攝像部拍攝的圖像是進行了手抖動校正的圖像。根據本發明的第8形態，是一種攝像裝置，合成多個圖像，獲得根據拍攝時的情況確定的適當曝光的圖像，具有攝像部，拍攝被攝體圖像并取得圖像；選擇部，從由上述攝像部連續拍攝的多個圖像中，選擇一個圖像作為基準圖像；計算部，計算由上述選擇部選擇的上述基準圖像與、通過上述攝像部連續拍攝的多個圖像中的上述基準圖像以外的多個圖像的每一個圖像之間的位置偏移量；生成部，對上述基準圖像和上述多個圖像中由上述計算部算出的上述位置偏移量為規定偏移量以下的對象圖像進行位置對齊后合成，生成合成圖像；以及處理執行部，在上述基準圖像和上述對象圖像中無法獲得上述適當曝光的圖像時，對應于由上述生成部合成的上述基準圖像和上述對象圖像的張數，使得對上述合成圖像進行的曝光校正的處理不同。根據本發明的第9形態，在第8形態的攝像裝置中，優選上述處理執行部根據由上述攝像部連續拍攝的多個圖像的張數、及用于合成的上述對象圖像的張數，對上述合成圖像進行用于曝光校正的處理，以使上述合成圖像的曝光與合成所有上述多個圖像所獲得的圖像的曝光一致。根據本發明的第10形態，在第9形態的攝像裝置中，上述處理執行部可以對上述合成圖像附加和上述對象圖像的張數對應的數字增益，以使上述合成圖像的曝光與合成所有上述多個圖像所獲得的圖像的曝光一致。根據本發明的第11形態，在第9形態的攝像裝置中，上述處理執行部也可以使上述合成圖像以和上述對象圖像的張數對應的次數分別向不同方向以規定量偏移并相加合成，以使上述合成圖像的曝光與合成所有上述多個圖像所獲得的圖像的曝光一致。根據本發明的第12形態，在第9形態的攝像裝置中，優選上述處理執行部根據由上述攝像部連續拍攝的多個圖像的張數、及用于合成的上述對象圖像的張數，計算出為使上述合成圖像的曝光與合成所有上述多個圖像所獲得的圖像的曝光一致而必要的增益量， 當上述必要增益量為規定倍率以下時，對上述合成圖像附加和上述對象圖像的張數對應的數字增益，當上述必要增益量比規定倍率大時，使上述合成圖像以和上述對象圖像的張數對應的次數分別向不同方向以規定量偏移并相加合成。根據本發明的第13形態，是一種圖像合成方法，包括以下步驟攝像步驟，連續拍攝被攝體圖像并取得圖像；選擇步驟，從通過上述攝像步驟連續拍攝的多個圖像中，選擇一個圖像作為基準圖像；計算步驟，計算通過上述選擇步驟選擇的上述基準圖像與、通過上述攝像步驟連續拍攝的多個圖像中的上述基準圖像以外的多個圖像的每一個圖像之間的位置偏移量；以及生成步驟，對上述基準圖像和上述多個圖像中通過上述計算步驟算出的上述位置偏移量為規定偏移量以下的圖像進行位置對齊后合成，生成合成圖像。在該圖像合成方法中優選上述選擇步驟以使上述位置偏移量為上述規定偏移量以下的圖像變多的方式選擇上述基準圖像。根據本發明的第14形態，是一種圖像合成方法，合成多個圖像，獲得根據拍攝時的情況確定的適當曝光的圖像，包括以下步驟攝像步驟，連續拍攝被攝體圖像并取得圖像；選擇步驟，從通過上述攝像步驟連續拍攝的多個圖像中，選擇一個圖像作為基準圖像； 計算步驟，計算通過上述選擇步驟選擇的上述基準圖像與、通過上述攝像步驟連續拍攝的多個圖像中的上述基準圖像以外的多個圖像的每一個圖像之間的位置偏移量；生成步驟， 對上述基準圖像和上述多個圖像中通過上述計算步驟算出的上述位置偏移量為規定偏移量以下的對象圖像進行位置對齊后合成，生成合成圖像；以及處理執行步驟，在上述基準圖像和上述對象圖像中無法獲得上述適當曝光的圖像時，對應通過上述生成步驟合成的上述基準圖像和上述對象圖像的張數，使得對上述合成圖像進行的曝光校正的處理不同。根據本發明，可以將多個圖像適當地合成，獲得合成圖像。
圖1是表示照相機的一個實施方式的構成的框圖。圖2是示例分為6次進行連拍時的圖。圖3是將拍攝7張圖像時的各圖像的偏移量配置在二維坐標上表示的圖。圖4是表示第1實施方式中的基準圖像的選擇處理的流程的流程圖。圖5是表示第2實施方式中的基準圖像的選擇處理的流程的流程圖。圖6是表示第3實施方式中的手持夜景攝影模式時的圖像合成處理的流程的流程圖。圖7是示例計算機裝置的圖。
具體實施例方式第1實施方式圖1是表示第1實施方式中的照相機的一個實施方式的構成的框圖。在圖1中，照相機1具有攝影光學系統11、攝像元件12、圖像處理部13、緩存14、顯示部件15、CPU16、 閃存17、卡接口(I/F)18、操作部件19。CPU16、閃存17、卡接口 18、圖像處理部13、緩存14及顯示部件15分別通過總線
20連接。攝影光學系統11由包括變焦鏡頭、聚焦鏡頭的多個鏡頭組構成，使被攝體圖像成像于攝像元件12的受光面。此外，為簡化圖1，將攝影光學系統11作為單鏡頭圖示。攝像元件12由受光元件在受光面上二維排列的CMOS圖像傳感器等構成。攝像元件12對由通過了攝像光學系統11的光束形成的圖像進行光電變換，生成數字圖像信號。數字圖像信號輸入到圖像處理部13。圖像處理部13對數字圖像數據實施各種圖像處理(顏色內插處理、灰度變換處理、輪廓強調處理、白平衡調整處理等)。并且也進行下述手持夜景攝影模式中的合成處理 (位置對齊、相加)。顯示部件15由液晶面板等構成，對應來自CPU16的指示，顯示圖像、操作菜單畫面等。緩存14暫時存儲圖像處理部13進行圖像處理的在先步驟、后續步驟中的數字圖像數據。閃存17除了存儲由CPU16執行的方法外，存儲下述表格數據。CPU16通過執行閃存17存儲的方法，控制照相機1進行的動作。CPU16也進行AF(自動對焦)動作控制、自動曝光(AE)計算。AF動作例如使用對比度檢測方式根據通過透鏡圖像(through-the-lens image)的對比度信息，求出聚焦鏡頭(未圖示)的對焦位置。通過透鏡圖像是指，在釋放操作前由攝像元件12以規定的時間間隔(例如60幀/秒) 反復取得的監視用圖像。存儲卡接口 18具有連接器(未圖示)，存儲卡等存儲介質30連接到該連接器。存儲卡接口 18對所連接的存儲介質30進行數據寫入、或來自存儲介質30的數據的讀入。存儲介質30由內置了半導體存儲器的存儲卡、或硬盤驅動器等構成。操作部件19包括釋放按鈕(release button)、菜單開關等。操作部件19將和攝影操作、模式切換操作、菜單選擇操作等各種操作對應的操作信號發送到CPU16。本實施方式的照相機1具有被稱為手持夜景攝影模式的攝影模式。該攝影模式是不將照相機1固定于三腳架，而在手持狀態下輕松進行夜景拍攝的模式。本實施方式在手持夜景攝影模式時的攝影控制具有特征，因此以手持夜景攝影模式時的處理為中心進行以下說明。一般情況下，夜景攝影因被攝體較暗，所以需要較長的曝光時間。而在手持攝影中，在經過比被稱為手抖動界限的曝光時間Tlimit長的曝光時間時，攝影圖像中有可能產生抖動。曝光時間Tlimit例如在攝影光學系統11的焦點距離為f(mm)時，為1/f(秒)(換算為35mm版的照相機系統時)。在通常的夜景攝影中，需要比曝光時間Tlimit長的曝光時間，因此很難不產生手抖地進行手持攝影。因此，在手持夜景攝影模式中，將主攝影分為多次(N次)的連續的曝光來進行(連拍)，將各次攝影所得的N張圖像信號通過公知的數字計算技術進行相加，作為一個長時間曝光圖像。此外，手持夜景攝影模式時的連拍的攝影次數N可以是提前設定的固定次數，也可由使用者任意變更，或CPU16可根據攝影條件進行變更。CPU16對各次攝影中的曝光時間Tdiv，將必要的曝光時間T等分來決定，以使曝光時間Tdiv比上述曝光時間Tlimit短，且使連拍次數N最少。其中，曝光時間T是通過自動曝光計算(AE)可獲得適當曝光地決定的曝光時間。CPU16例如根據構成上述通過透鏡圖像的圖像信號值，進行自動曝光計算(AE)，根據該通過透鏡圖像的平均亮度決定曝光時間T。 并且，要求T = NXTdiv成立、各次曝光時間Tdiv比Tlimit短、且使連拍次數N最小的曝光時間Tdiv。CPU16對于分為N次連拍的N張圖像，在分別進行位置對齊的基礎上進行相加。例如，在各圖像中，根據規定區域(包括通用的被攝體的區域)中含有的圖像信號(約60像素)，進行邊沿檢測，使構成該邊沿的像素位置對齊地進行位置對齊。通過這樣合成多個圖像，可在照相機1中獲得根據攝像時的情況確定的適當曝光的圖像。但存在以下情況在分為N次連拍的N張圖像中，拍攝了和前后的圖像相比抖動較大的特殊圖像。這種情況下的CPU16將N張圖像中不特殊的其他圖像的復制品替換該特殊圖像用于相加。例如，CPU16將N張圖像中的至少一張作為基準圖像，將該基準圖像和其他圖像的位置偏移量大于規定的偏移量的圖像確定作為特殊圖像。例如，CPU16從連拍獲得的N張圖像中，選擇最初拍攝的圖像、中途拍攝的圖像等的任意一張作為基準圖像。并且， CPU16將確定的特殊圖像從相加對象排除，替代該特殊圖像，使用復制了其他圖像的任意一個的圖像例如基準圖像的復制圖像，將它們位置對齊并相加。
圖2是示例分為N = 6次連拍時的圖。在圖2中，假定第4張圖像產生較大抖動。 CPU16從N = 6張的圖像中不特殊的第1 3張及第5、6張圖像中，例如復制第1張圖像， 用該復制圖像替代第4張特殊圖像。這樣一來，復制的第1張圖像和其他幀的圖像相比相加次數多(本例中為2次)。一般情況下，照相機1形成的攝影圖像中包括被稱作模擬噪聲的隨機噪聲。因是隨機噪聲所以時刻變化，因此在連拍的各幀圖像中，包括在各不同時刻產生的不同狀態的噪聲。一般情況下，當將彼此不同的幀的圖像相加時，各幀中含有的隨機噪聲被其他幀的隨機噪聲抵消，因此隨機噪聲的影響降低。但如上所述，用其他幀的復制圖像替代抖動圖像時，復制所使用的幀的圖像和其他幀相比相加次數變多，因此復制所使用的幀中含有的隨機噪聲難以通過其他幀的隨機噪聲抵消。即，在相加后的圖像中，復制所使用的幀中含有的隨機噪聲可能變得明顯。在本實施方式中，為了降低這種隨機噪聲的影響，盡量防止同一幀被多次相加，對用于確定上述特殊圖像而使用的基準圖像的選擇方法進行了研究。換言之，CPU16對基準圖像的選擇方法進行了研究，以使與基準圖像的位置偏移量為規定偏移量以下的圖像變多。 即，在本實施方式中，CPU16從拍攝的N張圖像中的、除了最初拍攝的圖像和最后拍攝的圖像以外的圖像中，選擇基準圖像。例如如圖2所示，當拍攝6張圖像時，從除了第1張圖像和第6張圖像的第2 5張圖像中選擇基準圖像。此外，為盡量防止同一幀被多次相加，優選當以時間序列排列N張圖像時，盡量選擇位于中央的1張圖像作為基準圖像。例如，當N是奇數時，優選選擇以時間序列排列多張圖像時的位于中央的1張圖像作為基準圖像。并且，當N是偶數時，優選選擇以時間序列排列N張圖像時位于中央的2張圖像中的任意一個作為基準圖像。以下說明其理由。圖3是將拍攝7張圖像時的各圖像的偏移量配置在二維坐標上表示的圖。使用該圖3說明通過本實施方式中的基準圖像的選擇方法可獲得的益處。在圖3中，縱軸表示距基準圖像的在縱向的偏移量(像素)，橫軸表示距基準圖像的在橫向的偏移量(像素)。并且，圓3c表示用于判斷特殊圖像的閾值，與基準圖像的偏移量比該閾值大的圖像、即表示與基準圖像的偏移量的點位于圓3c的外側的圖像，判斷為特殊圖像。在該圖3中，點3a_l到點3a_7、及點北_1到點北_7表示拍攝7張圖像時的基準圖像和其他圖像的偏移量。此外，點3a_l到點3a_7表示以第4張圖像為基準圖像時的基準圖像和其他圖像的偏移量，及點北-1到點北-7表示以第1張圖像為基準圖像時的基準圖像和其他圖像的偏移量。即，拍攝的7張圖像在時間序列中向一定方向(在此是向右上方)偏移量增加。例如，在鏡頭11具有透鏡移位方式的手抖動校正機構時，進行了手抖動校正后的連拍圖像在時間序列上向一定方向偏移量有增加傾向。首先說明以點北-1到點北-7所示的第1張圖像為基準圖像時的特殊圖像的判斷例。這種情況下，基準圖像的偏移量是0，因此表示基準圖像的偏移量的點北-1位于原點。 并且，如表示第2張圖像的偏移量的點北-2、表示第3張圖像的偏移量的點北-3、表示第4 張圖像的偏移量的點北-4、表示第5張圖像的偏移量的點北-5、表示第6張圖像的偏移量的點北-6、表示第7張圖像的偏移量的點北-7所示，距基準圖像的偏移量向一定方向增加。此時，對距基準圖像的偏移量大于閾值的圖像、即表示距基準圖像的偏移量的點與圓3c相比位于外側的圖像，判斷為上述特殊圖像。其中，點北-5、點北-6、點北-7位于圓3c外側，因此第5張、第6張、第7張圖像判斷為特殊圖像。這樣一來，拍攝的圖像的偏移量在時間序列中向一定方向增加時，選擇第1張圖像作為基準圖像時，越是靠后拍攝的圖像， 距基準圖像的偏移量越大，因此易于判斷它們是特殊圖像。因此，將特殊圖像用其他圖像的復制圖像替代并相加的可能性也變大，如上所述，隨機噪聲增加的可能性也增大。這在以最后拍攝的圖像為基準圖像選擇時也同樣。接著說明以點3a_l、點3a_7所示的第4張圖像為基準圖像時的特殊圖像的判斷例。這種情況下，基準圖像的偏移量是0，因此表示基準圖像的偏移量的點3a_4位于原點。 并且，表示第1張圖像的偏移量的點3a-l、表示第2張圖像的偏移量的點3a-2、表示第3張圖像的偏移量的點3a-3、表示第5張圖像的偏移量的點3a-5、表示第6張圖像的偏移量的點3a_6、表示第7張圖像的偏移量的點3a_7，以位于原點的點3a_4為中心，向一定方向增加。這種情況下，表示距基準圖像的偏移量的所有點位于圓3c內，不存在被判斷為特殊圖像的圖像。因此，CPU16可將全部7張圖像位置對齊后進行相加。這樣一來，拍攝的圖像的偏移量在時間序列中向一定方向增加時，將7張圖像中的中途拍攝的圖像(在此是第 4張圖像)作為基準圖像選擇時，距其前后拍攝的圖像的基準圖像的偏移量變小，因此其他圖像難以被判斷為特殊圖像。所以將特殊圖像用其他圖像的復制圖像替代并相加的可能性降低，從而可防止隨機噪聲的增加。圖4是表示第1實施方式中的基準圖像的選擇處理的流程的流程圖。圖4所示的處理，由CPU16執行在手持夜景攝影模式中，多個圖像連拍時起動的方法。在步驟SlO中，CPU16判斷連拍是否結束。在步驟SlO中作出肯定判斷時，前進到步驟S20。在步驟S20中，CPU16判斷連拍獲得的圖像張數是否是奇數。在步驟S20中作出肯定判斷時，前進到步驟S30，CPU16選擇連拍獲得的多個圖像以時間序列排列時位于中央的1張圖像作為基準圖像，前進到步驟S50。與之相對，在步驟 S20中作出否定判斷時，前進到步驟S40，CPU16選擇連拍獲得的多個圖像在時間序列中排列時位于中央的2張圖像中的任意一張作為基準圖像，前進到步驟S50。在步驟S50中，CPU16如上所述，將與基準圖像的位置偏移量大于規定偏移量的圖像作為特殊圖像確定，將確定的特殊圖像從合成對象排除。之后前進到步驟S60，CPU16在將排除了的特殊圖像以其他的連拍圖像的復制圖像進行替換，將該圖像的組合進行位置對齊后進行相加，結束處理。根據以上說明的第1實施方式，可獲得以下作用效果。(DCPU16以使位置偏移量為規定偏移量以下的圖像變多的方式選擇基準圖像，以該基準圖像為基準進行位置對齊，將圖像相加。具體而言，CPU16從拍攝的N張圖像中的、 除了最初拍攝的圖像和最后拍攝的圖像以外的圖像中，選擇基準圖像。這樣一來，盡量防止了同一幀被多次相加，可降低合成圖像中的隨機噪聲的影響。(2)CPU16在連拍張數為奇數時，選擇多個圖像以時間序列排列時位于中央的1張圖像作為基準圖像，當連拍圖像的張數是偶數時，選擇多個圖像以時間序列排列時位于中央的2張圖像中的任意一張作為基準圖像。這樣一來，偏移量以時間序列向一定方向增加時，能夠以使與基準圖像的位置偏移量為規定偏移量以下的圖像變多的方式選擇基準圖像。
第2實施方式在上述第1實施方式中，說明了 CPU16為了使與基準圖像的位置偏移量為規定偏移量以下的圖像變多，在N張圖像以時間序列排列時盡量選擇位于中央的1張圖像作為基準圖像的例子。與之相對，在第2實施方式中，CPU16從連拍獲得的多個圖像中，選擇與其他圖像的最大位置偏移量最小的圖像作為基準圖像。此外，在第2實施方式中，圖1及圖2 和第1實施方式相同，因此省略說明。以下說明第2實施方式中的基準圖像的選擇方法。例如，通過連拍拍攝了 6張圖像時，CPU16將第1張圖像作為候選圖像，分別計算出該候選圖像和第2 6張圖像的各個位置偏移量，從中確定位置偏移量最大的圖像的組合(第1組合)。并且，將第2張圖像作為候選圖像，分別計算出該候選圖像和第3 6張圖像的各個位置偏移量，從中確定位置偏移量最大的圖像的組合(第2組合)。并且，將第3張圖像作為候選圖像，分別計算出該候選圖像和第4 6張圖像的各個位置偏移量，從中確定位置偏移量最大的圖像的組合(第3組合)。并且，將第4張圖像作為候選圖像，分別計算出該候選圖像和第5 6張圖像的各個位置偏移量，從中確定位置偏移量最大的圖像的組合(第4組合)。并且，將第5張圖像作為候選圖像，分別計算出該候選圖像和第6張圖像的位置偏移量，從中確定位置偏移量最大的圖像的組合(第5組合)ο并且，CPU16從第1組合 第5組合中確定兩個圖像間的位置偏移量最小的組合， 將確定的組合中的候選圖像作為基準圖像選擇。例如，兩個圖像間的位置偏移量最小的組合是第3組合時(例如第3張圖像和第6張圖像的組合)，選擇該第3組合中的候選圖像即第3張圖像作為基準圖像。這樣一來，可選擇與其他圖像的最大位置偏移量最小的圖像作為基準圖像，因此增加與基準圖像的位置偏移量為規定偏移量以下的圖像，盡量防止同一幀被多次相加。圖5是表示第2實施方式中的基準圖像的選擇處理的流程的流程圖。圖5所示的處理由CPU16執行手持夜景攝影模式中，當多個圖像連拍時起動的方法。并且在圖5中，對和圖4相同的處理，附加和圖4相同的步驟代碼，在此以和圖4的不同點為中心進行說明。在步驟S21中，如上所述，CPU16將各圖像分別設定為候選圖像，確定與其他圖像的位置偏移量最大的圖像的組合。之后前進到步驟S31，CPU16從第1組合 第5組合中， 確定兩個圖像間的位置偏移量最小的組合。之后前進到步驟S41。在步驟S41中，CPU16將在步驟S31中確定的組合中的候選圖像作為基準圖像選擇，前進到步驟S50。根據以上說明的第2實施方式，除了上述第1實施方式中的效果外，還可獲得以下作用效果。即，CPU16從通過連拍獲得的多個圖像中，將與其他圖像的最大位置偏移量最小的圖像作為基準圖像選擇。這樣一來，可盡量防止同一幀被反復相加，降低合成圖像中的隨機噪聲的影響。第3實施方式在上述第1及第2實施方式中，作為降低隨機噪聲的影響的方法，說明了為了使與基準圖像的位置偏移量為規定偏移量以下的圖像變多而研究基準圖像的選擇方法的例子。 與之相對，在第3實施方式中，作為降低隨機噪聲影響的方法，使用除了特殊圖像以外的圖像，將上述基準圖像作為位置對齊的基準使用，進行位置對齊，并進行相加(相加合成)。即，對基準圖像、及位置偏移量相對基準圖像為規定偏移量以下的圖像，位置對齊后進行合成，生成合成圖像。之后，對該相加后的合成圖像，為降低隨機噪聲進行曝光校正的處理。此外，在第3實施方式中，圖1及圖2和第1及第2實施方式相同，因此省略說明。以下說明第3實施方式中的曝光校正處理。在第3實施方式中，作為用于降低隨機噪聲的曝光校正處理，使用以下方法(A)、(B)。(A)附加數字增益在本實施方式中，作為降低隨機噪聲的第1方法，采用對相加后的合成圖像附加和相加的圖像張數對應的數字增益的方法。即，CPU16對除了特殊圖像以外的圖像進行相加合成而獲得的合成圖像，以使該合成圖像的曝光與不除去特殊圖像而相加合成時的圖像的曝光一致的方式，附加數字增益。例如，通過連拍拍攝6張，其中的第2張、第3張、第4張、 第6張共4張是特殊圖像，僅第1張和第5張是可合成相加的圖像時，在對第1張和第5張相加合成后，對合成圖像附加3倍的數字增益。通過這樣處理，同一圖像、例如基準圖像不會被多次相加，因此可減少相加后的圖像的隨機噪聲量。(B)像素移位合成在本實施方式中，作為降低隨機噪聲的第2方法，將相加后的合成圖像以和相加的圖像張數對應的個數復制。并且，對復制的合成圖像之間，在構成合成圖像的像素排列方向上向上下左右的任意一個方向分別錯開1像素并進行相加。在本實施方式中，將這種使多個合成像素分別錯開1像素并相加合成的方法稱為像素移位合成。例如，通過連拍拍攝 6張，其中的第2張、第3張、第4張、第6張共4張是特殊圖像，僅第1張和第5張是可相加合成的圖像。這種情況下，復制將第1張和第5張相加合成而獲得的合成圖像，準備出3 張，使第1張合成圖像和第2張合成圖像向上下左右的任意一個方向錯開1像素，進行像素移位合成。進一步，將通過該像素移位合成獲得的合成圖像和第3張合成圖像向上下左右的任意一個方向錯開1像素，進行像素移位合成。此時，在第1次像素移位合成和第2次像素移位合成中，改變1像素錯位的方向。通過這樣處理，同一圖像不會被多次相加，因此可減少相加后的圖像的隨機噪聲量。其中，通過上述第1方法對合成圖像附加數字增益時，可合成相加的圖像較少， 因此對合成圖像附加的數字增益的量變大時，因附加數字增益而產生的噪聲變大。因此， CPU16在對合成圖像附加的數字增益的必要增益量小于規定倍、例如小于2倍時，執行上述第1方法所示的處理，當對合成圖像附加的數字增益的必要增益量為規定倍以上、例如2倍以上時，執行上述第2方法所示的處理。這樣一來，根據生成合成圖像時合成的基準圖像、 及位置偏移量相對該基準圖像為規定偏移量以下的圖像的個數，可使對合成圖像進行的曝光校正的處理不同。因此使附加到合成圖像的數字增益的量變大，從而可防止因附加數字增益而產生的噪聲變大的情況。圖6是表示本實施方式中的手持夜景攝影模式時的圖像合成圖像的流程的流程圖。圖6所示的處理由CPU16執行手持夜景攝影模式時，當多個圖像連拍時起動的方法。在步驟SllO中，CPU16判斷連拍是否結束。在步驟SllO中作出肯定判斷時，前進到步驟S120。在步驟S120中，CPU16如上所述，將連拍獲得的N張圖像中的任意一張、例如最初拍攝的圖像，作為基準圖像，將該基準圖像和其他圖像的位置偏移量大于規定偏移量的圖像作為特殊圖像確定。并且，CPU16將確定的特殊圖像從相加對象排除。之后前進到步驟S130，CPU16將排除了在步驟S120中確定的特殊圖像的組合進行位置對齊并相加，前進到步驟S140。在步驟S140中，CPU16判斷為了使相加合成除了特殊圖像以外的圖像并進行合成圖像時的合成圖像的曝光、與不除去特殊圖像地進行相加合成時的圖像曝光一致的、必要的增益量是否為規定倍以上、例如2倍以上。在步驟S140中作出肯定判斷時，前進到步驟 S150。在步驟S150中，CPU16對通過步驟S130相加合成的合成圖像如上所述進行像素移位合成，結束處理。與之相對，在步驟S140中作出否定判斷時，前進到步驟S160。在步驟S160中， CPU16對通過步驟S130相加合成而獲得的合成圖像，如上所述附加數字增益，結束處理。根據以上說明的實施方式，可獲得以下作用效果。(1)CPU16為使將除了特殊圖像以外的圖像相加合成而獲得的合成圖像的曝光、與不除去特殊圖像地進行相加合成時的圖像曝光一致，附加了數字增益。這樣一來，可防止同一圖像被多次相加，可減少相加后的圖像的隨機噪聲量。(》CPU16為使將除了特殊圖像以外的圖像相加合成而獲得的合成圖像的曝光、與不除去特殊圖像地進行相加合成時的圖像曝光一致，復制和相加的圖像個數對應的數量， 對復制的合成圖像之間，在構成合成圖像的像素排列方向上向上下左右的任意一個方向錯開1像素進行相加。這樣一來，可防止同一圖像被多次相加，可減少相加后的圖像的隨機噪聲量。(3)CPU16在附加到合成圖像的數字增益的必要增益量小于規定倍數、例如小于2 倍時，對合成圖像附加數字增益，在必要增益量為規定倍以上、例如2倍以上時，進行像素移位合成。這樣一來，附加到合成圖像的數字增益的量變大，從而可防止因附加數字增益而產生的噪聲變大的情況。變形例此外，上述實施方式的照相機可如下變形。(1)在上述第1實施方式中，CPU16在連拍圖像的個數是偶數時，選擇以時間序列排列多個圖像時位于中央的2張圖像中的任意一張作為基準圖像。此時，CPU16也可以將這2張圖像中稍晚時刻拍攝的圖像作為基準圖像選擇。這是因為，使用者按下釋放按鈕而產生的圖像抖動在剛按下釋放按鈕時較大，隨著時間經過而變小，因此通過將這2張圖像中按下釋放按鈕后經過時間較長的圖像作為基準圖像，可選擇伴隨釋放按鈕按下而產生的圖像抖動較小的圖像作為基準圖像。(2)在上述第2實施方式中，說明了 CPU16從第1組合 第5組合中，確定兩個圖像間的位置偏移量最小的組合，選擇確定的組合中的候選圖像作為基準圖像的例子。但也可以是CPU16判斷兩個圖像間位置偏移量最小的組合中的候選圖像是否產生圖像抖動， 當產生圖像抖動時，從第1組合 第5組合中，確定兩個圖像間的位置偏移量第二小的組合，選擇確定的組合中的候選圖像作為基準圖像。這樣一來，可防止產生圖像抖動的圖像作為基準圖像被選擇。此外，兩個圖像間的位置偏移量第二小的組合中的候選圖像也產生圖像抖動時， 可選擇兩個圖像間的位置偏移量第三小的組合中的候選圖像作為基準圖像。并且，在第1 實施方式中同樣，CPU16在選擇的基準圖像產生圖像抖動時，可選擇該基準圖像的前或后拍攝的圖像(除了連拍中最初拍攝的圖像和最后拍攝的圖像)作為基準圖像。此外，判斷圖像中是否產生圖像抖動的方法是公知的，因此省略說明。(3)在上述第3實施方式中，CPU16對合成圖像附加的數字增益的必要增益量小于規定倍、例如小于2倍時，對合成圖像附加數字增益，當附加到合成圖像的數字增益的必要增益量為規定倍以上、例如2倍以上時，進行像素移位合成。但也可以是，CPU16無論必要增益量的大小如何，均對合成圖像附加數字增益，以防止隨機噪聲的發生。或者也可以是， CPU16無論必要增益量的大小如何，均對合成圖像進行像素移位合成，從而防止隨機噪聲的發生。(4)并且在上述第3實施方式中，對應根據合成圖像的生成所使用的圖像的張數確定的數字增益的必要增益量，如上所述決定采用第1方法和第2方法的哪一個。但也可以是，不根據數字增益的必要增益量，而根據合成圖像的生成所使用的圖像張數、即基準圖像和位置偏移量相對基準圖像為規定偏移量以下的圖像的總張數，決定采用第1方法和第 2方法的哪一個。例如，當合成圖像的生成所使用的圖像張數小于規定張數時，采用第2方法，進行像素移位合成，當是規定張數以上時，采用第1方法，對合成圖像附加數字增益。(5)并且在上述第3實施方式中，CPU16可組合像素移位合成處理和附加數字增益的處理。例如，當上述必要增益量是4倍時，對二個合成圖像進行像素移位合成后，可對獲得的圖像附加2倍的數字增益。(6)在上述第3實施方式中，說明了在像素移位合成中，CPU16使復制的合成圖像之間在構成合成圖像的像素排列方向上向上下左右的任意一個方向分別錯開1像素進行相加的例子。但是，CPU16在相加對象的合成圖像有多張時，如對至少一張合成圖像錯開1 像素，則和對所有合成圖像進行相加合成相比，可降低隨機噪聲。(7)在上述第1、第2及第3實施方式中，說明了將本發明適用于照相機的例子。但通過由圖7所示的計算機裝置100執行進行圖4、圖5或圖6所示處理的圖像合成方法，也可構成夜景圖像合成處理裝置。將圖像合成方法調入到個人計算機100并使用時，將方法下載到個人計算機100的數據存儲裝置中，并通過執行該方法，作為圖像合成處理裝置使用。此時的計算機裝置100的工作存儲器(未圖示)中暫時存儲連拍獲得的N張連拍攝影圖像。方法向個人計算機100的下載可將存儲了方法的⑶-ROM等記錄介質104設置到個人計算機100來進行，也可通過經由網絡等通信線路101的方法下載到個人計算機100。 在經由通信線路101時，將方法存儲到與通信線路101連接的服務器(計算機)102的硬盤裝置I03等中。圖像合成方法借助存儲介質104、通信線路101等來提供，可作為各種方式的計算機程序產品來提供。此外，只要無損于本發明的特征性功能，本發明不限上述實施方式中的構成的任何限制。并且，也可是組合了上述實施方式和多個變形例的構成。
權利要求
1.一種攝像裝置，其特征在于，具有 攝像部，拍攝被攝體圖像并取得圖像；選擇部，從由上述攝像部連續拍攝的多個圖像中，選擇一個圖像作為基準圖像； 計算部，計算由上述選擇部選擇的上述基準圖像與、通過上述攝像部連續拍攝的多個圖像中的上述基準圖像以外的多個圖像的每一個圖像之間的位置偏移量；以及生成部，對上述基準圖像和上述多個圖像中由上述計算部算出的上述位置偏移量為規定偏移量以下的圖像進行位置對齊后合成，生成合成圖像，上述選擇部以使上述位置偏移量為上述規定偏移量以下的圖像變多的方式選擇上述基準圖像。
2.根據權利要求1所述的攝像裝置，其中，上述選擇部從由上述攝像部連續拍攝的多個圖像中的、除了最初拍攝的圖像和最后拍攝的圖像以外的圖像中，選擇上述基準圖像。
3.根據權利要求2所述的攝像裝置，其中，上述選擇部在由上述攝像部連續拍攝的多個圖像的數量是奇數時，選擇以時間序列排列上述多個圖像時位于中央的1張圖像作為上述基準圖像，在由上述攝像部連續拍攝的多個圖像的數量是偶數時，選擇以時間序列排列上述多個圖像時位于中央的2張圖像中的任意一個作為上述基準圖像。
4.根據權利要求3所述的攝像裝置，其中，上述選擇部在上述攝像部連續拍攝的多個圖像的數量是偶數時，選擇以時間序列排列上述多個圖像時位于中央的2張圖像中的、較晚時刻拍攝的圖像作為上述基準圖像。
5.根據權利要求1所述的攝像裝置，其中，上述選擇部從由上述攝像部連續拍攝的多個圖像中，選擇與其他圖像的最大位置偏移量最小的圖像，作為上述基準圖像。
6.根據權利要求5所述的攝像裝置，其中，上述選擇部在選擇的上述基準圖像中產生抖動時，選擇與其他圖像的位置偏移量第二小的圖像作為替代的基準圖像。
7.根據權利要求1所述的攝像裝置，其中，由上述攝像部拍攝的圖像是進行了手抖動校正的圖像。
8.一種攝像裝置，合成多個圖像，獲得根據拍攝時的情況確定的適當曝光的圖像，其特征在于，具有攝像部，拍攝被攝體圖像并取得圖像；選擇部，從由上述攝像部連續拍攝的多個圖像中，選擇一個圖像作為基準圖像； 計算部，計算由上述選擇部選擇的上述基準圖像與、通過上述攝像部連續拍攝的多個圖像中的上述基準圖像以外的多個圖像的每一個圖像之間的位置偏移量；生成部，對上述基準圖像和上述多個圖像中由上述計算部算出的上述位置偏移量為規定偏移量以下的對象圖像進行位置對齊后合成，生成合成圖像；以及處理執行部，在上述基準圖像和上述對象圖像中無法獲得上述適當曝光的圖像時，對應于由上述生成部合成的上述基準圖像和上述對象圖像的張數，使得對上述合成圖像進行的曝光校正的處理不同。
9.根據權利要求8所述的攝像裝置，其中，上述處理執行部根據由上述攝像部連續拍攝的多個圖像的張數、及用于合成的上述對象圖像的張數，對上述合成圖像進行用于曝光校正的處理，以使上述合成圖像的曝光與合成所有上述多個圖像所獲得的圖像的曝光一致。
10.根據權利要求9所述的攝像裝置，其中，上述處理執行部對上述合成圖像附加和上述對象圖像的張數對應的數字增益，以使上述合成圖像的曝光與合成所有上述多個圖像所獲得的圖像的曝光一致。
11.根據權利要求9所述的攝像裝置，其中，上述處理執行部使上述合成圖像以和上述對象圖像的張數對應的次數分別向不同方向以規定量偏移并相加合成，以使上述合成圖像的曝光與合成所有上述多個圖像所獲得的圖像的曝光一致。
12.根據權利要求9所述的攝像裝置，其中，上述處理執行部根據由上述攝像部連續拍攝的多個圖像的張數、及用于合成的上述對象圖像的張數，計算出為使上述合成圖像的曝光與合成所有上述多個圖像所獲得的圖像的曝光一致而必要的增益量，當上述必要增益量為規定倍率以下時，對上述合成圖像附加和上述對象圖像的張數對應的數字增益，當上述必要增益量比規定倍率大時，使上述合成圖像以和上述對象圖像的張數對應的次數分別向不同方向以規定量偏移并相加合成。
13.一種圖像合成方法，其特征在于， 包括以下步驟攝像步驟，連續拍攝被攝體圖像并取得圖像；選擇步驟，從通過上述攝像步驟連續拍攝的多個圖像中，選擇一個圖像作為基準圖像；計算步驟，計算通過上述選擇步驟選擇的上述基準圖像與、通過上述攝像步驟連續拍攝的多個圖像中的上述基準圖像以外的多個圖像的每一個圖像之間的位置偏移量；以及生成步驟，對上述基準圖像和上述多個圖像中通過上述計算步驟算出的上述位置偏移量為規定偏移量以下的圖像進行位置對齊后合成，生成合成圖像，上述選擇步驟以使上述位置偏移量為上述規定偏移量以下的圖像變多的方式選擇上述基準圖像。
14.一種圖像合成方法，合成多個圖像，獲得根據拍攝時的情況確定的適當曝光的圖像，其特征在于，包括以下步驟攝像步驟，連續拍攝被攝體圖像并取得圖像；選擇步驟，從通過上述攝像步驟連續拍攝的多個圖像中，選擇一個圖像作為基準圖像；計算步驟，計算通過上述選擇步驟選擇的上述基準圖像與、通過上述攝像步驟連續拍攝的多個圖像中的上述基準圖像以外的多個圖像的每一個圖像之間的位置偏移量；生成步驟，對上述基準圖像和上述多個圖像中通過上述計算步驟算出的上述位置偏移量為規定偏移量以下的圖像進行位置對齊后合成，生成合成圖像；以及處理執行步驟，在上述基準圖像和上述對象圖像中無法獲得上述適當曝光的圖像時， 對應通過上述生成步驟合成的上述基準圖像和上述對象圖像的張數，使得對上述合成圖像進行的曝光校正的處理不同。
全文摘要
本發明提供攝像裝置、及圖像合成方法，攝像裝置具有攝像部，拍攝被攝體圖像并取得圖像；選擇部，從由上述攝像部連續拍攝的多個圖像中，選擇一個圖像作為基準圖像；計算部，計算上述基準圖像與上述基準圖像以外的多個圖像的每一個圖像之間的位置偏移量；生成部，對上述基準圖像和上述多個圖像中上述位置偏移量為規定偏移量以下的圖像進行位置對齊后合成，生成合成圖像。上述選擇部以上述位置偏移量為上述規定偏移量以下的圖像變多的方式，選擇上述基準圖像。
文檔編號H04N5/225GK102340626SQ20111020465
公開日2012年2月1日 申請日期2011年7月13日 優先權日2010年7月14日
發明者梅山一也, 篠田兼崇 申請人:株式會社尼康