圓的大小，能夠將式(7)改寫 為下面的式(8)。
[0223]
[0224]
[0225] 接下來，考慮如下的一般情況:單視點圖像與組合圖像的分辨率之比不為1。組合 圖像和用于組合的單視點圖像的視場角是相同的，因此，在分辨率之比不為1的情況下，Ay 在兩者之間是不同的。一般而言，A y越小，則容許彌散圓越小，而Δ y越大，則容許彌散圓越 大。因為運樣，能夠通過慮及單視點圖像與組合圖像的Ay之比，而將上述的式(8)擴展為下 面的式(9)。
[0226]
[0227]在此，Rm。。。表示用于組合的單視點圖像的分辨率，并且Rcomb表示組合圖像的分辨 率。通過計算Rm。。。與Rwmb之比的平方根，而獲得Ay之比。從圖27中能夠知道，單視點圖像的 分辨率Rm。。。用下面的式(10 )來表示。
[022引
[0229] 在此，Rtntai表示圖像感測元件1604的有效像素數。由式(9)及式（10)，獲得圖像側 焦點控制范圍需要滿足的如下條件表達式(11)。
[0230]
[0231] 在上述的條件表達式（11)中，范圍被設置在±10.0之間，然而，通過將范圍設置在 ±6.0之間，能夠獲得更清晰的組合圖像。更理想的是，通過將范圍設置在±3.0之間，能夠 獲得還要更加清晰的組合圖像。
[0232] 在下文中，示出了各值的具體示例。
[023引 ?圖像感ii元件1604的有效像素數Rt0tai:46.7X 106(pix)
[0234] ?透鏡陣列1603的圖像側主平面與圖像感測元件1604之間的間隔〇:〇.〇374(mm)
[0235] ?圖像感測元件1604的像素間距Δ :〇.〇〇43(mm)
[0236] ?透鏡陣列 1603的間距 ALA:0.0129(mm)
[0237] ?圖像形成光學系統1602的焦距：14.0(mm)
[023引·F數：2.9
[0239] ?一維劃分的光瞳數N: 3
[0240] ?每個單視點圖像的分辨率Rm〇n〇:5.2X106(pix)
[0241] .條件表達式（11)的范圍、與條件表達式（11)的各范圍相對應的組合圖像的分辨 率Rcomb W及與組合圖像的各分辨率相對應的山ef DCUS例如如下面的表(1 )所示。
[0242]
[024引 表(1)
[0244] 通過經由操作單元1505的用戶輸入，例如從上述3種類型之中選擇組合圖像的分 辨率Rcomb。
[024引在上述示例中，已知因為每個單視點圖像的分辨率Rmnn。是5.2X106pix，所W為了 生成例如8.0X106pix的組合圖像，需要通過基于像素移位的超析像等來提高分辨率。上述 的組合圖像的各分辨率RcDmb的值是作為示例，并且種類數不局限于巧巾。僅需要適當地確定 滿足上述條件表達式（11 )的Rcomb及山ef OCUS。
[0246] 能夠通過利用圖像側焦點控制范圍W及圖像形成光學系統1602的焦距及焦點位 置，由圖像形成公式來計算焦點控制范圍。W運種方式獲取的焦點控制范圍的信息可W作 為標簽信息，被附加至視差圖像數據或組合圖像數據，并且被存儲在ROM 1503中。作為另一 選擇，也可W創建與各種條件相對應的焦點控制范圍的表格，并將該表格存儲在ROM 1503 中，然后讀取與輸入的條件相對應的數據，而不是進行上述的算術運算來推導焦點控制范 圍。
[0247] 作為用于獲取焦點控制范圍的另一方法，可W設想如下的方法:通過實際生成進 行了再聚焦的組合圖像，來評價存在于焦點位置的被攝體的對比度等。然而，利用該方法， 需要在移動焦點位置的同時生成組合圖像，并依次確定是否能夠成功進行再聚焦，因此，要 花費時間來進行處理。此外，在進行再聚焦的焦點位置不存在被攝體的情況下，不能實施評 價，因此，無法獲取準確的焦點控制范圍。因此，期望使用前述的方法，W便獲取焦點控制范 圍。
[0248] 返回到圖23中的流程圖的說明。
[0249] 在步驟S2307,顯示圖像生成單元2209生成作為在步驟S2305生成的再布置圖像 的、并且反映了關于聚焦狀態的信息(焦點位置、焦點控制范圍、景深等)的聚焦信息顯示圖 像。在進行生成時，使用在步驟S2302獲取到的光學參數及圖像組合參數、W及在步驟S2306 推導出的焦點控制范圍。
[0250] 圖28A及圖28B分別是基于圖26A中所示的再布置圖像而生成的聚焦信息顯示圖像 的示例，并且，顯示了焦點位置2801、焦點控制范圍2802及景深2803各信息。在滑動條上用 矩形黑色標記表示的焦點位置2801表示光學參數中包括的在圖像拍攝時的透鏡的焦點位 置，或是后述的通過用戶輸入而指定的焦點位置。分別地，在圖28A中的聚焦信息顯示圖像 中，將焦點位置2801設置在被攝體距離do的位置(人的位置），并且在圖28B中的聚焦信息顯 示圖像中，將焦點位置2801設置在被攝體距離do '的位置(建筑物的位置）。在滑動條上用斜 線表示的焦點控制范圍2802表示從被攝體距離dl(dl'）到被攝體距離d2(d2'）的范圍，并且 在本實施例中，已知"人"和"建筑物"位于該焦點控制范圍內的距離處。在下文中，假設在簡 單地稱作"焦點控制范圍"的情況下，是指該物體側焦點控制范圍。在再布置圖像上用斜線 表示的景深2803是從被攝體距離d3(d3'）到被攝體距離d4(d4'）的范圍，并且，在圖28A中的 聚焦信息顯示圖像中，示出了人對焦的焦點位置do的景深，并且在圖28B中的聚焦信息顯示 圖像中，示出了建筑物對焦的焦點位置do'的景深。
[0251] 通過如上所述顯示聚焦信息顯示圖像，使得用戶能夠直觀地掌握關于場景中的被 攝體的信息和關于聚焦狀態的信息運兩者。在圖28A及圖28B中，為了便于說明，還示出了圖 像拍攝裝置的示意圖、w及能夠通過圖像拍攝裝置進行圖像拍攝的視野范圍（視場角） 2804,然而，在該步驟生成的聚焦信息顯示圖像中，不一定必須包括運些信息。
[0252] 返回到圖23中的流程圖的說明。
[0253] 在步驟S2308，顯示圖像生成單元2209向顯示單元1506，輸出在步驟S2307生成的 聚焦信息顯示圖像的數據。
[0254] 在步驟S2309，CPU 1501確定是否新進行了與再聚焦處理時的焦點位置相關的用 戶輸入。經由觸摸屏或者圖像拍攝裝置的操作單元1505,來進行運種情況下的用戶輸入。例 如，可W設想在再布置圖像上直接指定被期望新對焦的被攝體的方法、直接指定到新焦點 位置的被攝體距離的方法，或者通過操作滑動條上表示焦點位置2801的標記來進行指定的 方法。在進行了新焦點位置的輸入的情況下，過程返回到步驟S2307,并且重復在步驟S2307 至步驟S2309的運一系列處理。例如，在顯示了 "人"被設置在焦點位置的聚焦信息顯示圖像 (圖28A)的狀態下、進行了用來將"建筑物"設置為新焦點位置的用戶輸入的情況下，結果新 顯示前述的圖28B中所示的聚焦信息顯示圖像。如前所述，在圖28B中，景深2803也依照新設 置的焦點位置(被攝體距離do'）而改變。亦即，在輸入了再聚焦處理時的新焦點位置的情況 下，結果焦點控制范圍2802不改變，而主要是聚焦位置2801W及該焦點位置的景深2803改 變。
[0255] 可W設想新輸入的焦點位置超出焦點控制范圍的情況。在運種情況下，也可W進 行警告通知，W提示用戶輸入焦點控制范圍內的焦點位置。作為另一選擇，也可W限制用戶 能夠輸入的范圍，W便不接收超出焦點控制范圍的焦點位置。
[0256] 另一方面，在不存在新焦點位置的輸入的情況下，退出本處理。
[0257] 在上述的示例中，說明了基于從正上方俯視場景的再布置圖像的聚焦信息顯示圖 像。然而，聚焦信息顯示圖像不局限于上述的示例，并且可W設想各種方面。圖29A至圖29C 分別示出了聚焦信息顯示圖像的變化的示例。圖29A是基于從橫向俯視場景的再布置圖像 的聚焦信息顯示圖像。圖29B是基于從斜上方俯視場景的再布置圖像的聚焦信息顯示圖像。 圖29C是基于從斜橫方向俯視場景的再布置圖像的聚焦信息顯示圖像。如上所述，充當聚焦 信息顯示圖像的基礎的再布置圖像，可W是基于距離信息而在深度方向上按次序布置了被 攝體的任何圖像。
[0巧引在步驟S2308,顯示聚焦信息顯示圖像，并且此時，也可W同時顯示由拍攝單元 1500獲取的單視點圖像、W及/或者在顯示圖像生成單元2209中組合的組合圖像。圖30A至 圖30C分別示出了在聚焦信息顯示圖像中一起顯示了單視點圖像和/或組合圖像的情況的 示例。
[0259]圖30A示出了如下的情況:除了基于從橫向俯視場景的再布置圖像的聚焦信息顯 示圖像(參見前述的圖29A)之外，還顯示了單視點圖像和兩種組合圖像。圖30A中的組合圖 像1是在通過將"人"作為關注被攝體而設置了焦點位置的狀態(作為關注被攝體之外的被 攝體的"建筑物"及"山"因為位于景深范圍之外而處于模糊狀態)下的組合圖像。圖30A中的 組合圖像2是在通過將"建筑物"作為關注被攝體而設置了焦點位置的狀態(作為關注被攝 體之外的被攝體的"人"及"山"因為在景深范圍之外而處于模糊狀態）下的組合圖像。在諸 如此類的再聚焦后的組合圖像被同時顯示的情況下，通過僅有關注被攝體對焦的組合圖 像，使得用戶能夠更直觀地檢查指定的關注被攝體。在圖30A中，從橫向俯視場景的再布置 圖像被用作基礎，然而毫無疑問，可W將任何類型的再布置圖像用作基礎。此外，在圖30A中 的示例中，顯示了兩種組合圖像，然而，也可W顯示僅一種組合圖像，或者Ξ種或更多種組 合圖像。
[0260] 圖30B示出了如下的情況:除了基于從正上方俯視場景的再布置圖像的聚焦信息 顯示圖像之外，還在通過將"人"作為關注被攝體而設置了焦點位置的情況下顯示了組合圖 像。通過W運種方式產生顯示，使得能夠在有限的顯示畫面內，高效地顯示再布置圖像、關 于聚焦狀態的信息W及組合圖像。圖30B中的聚焦信息顯示圖像是基于圖26A中所示的從正 上方俯視場景的再布置圖像，其中省略了橫向方向上的信息，并且僅保留了深度方向上的 信息。圖30C示出了如下的情況:除了基于從正上方俯視場景的再布置圖像的聚焦信息顯示 圖像之外，還顯示了單視點圖像。通過W運種方式同時顯示單視點圖像，能夠在檢測圖像拍 攝時的圖像的同時，直觀地掌握聚焦狀態。圖30C中的聚焦信息顯示圖像是基于圖26D中所 示的從正上方俯視場景的再布置圖像，其中用矩形包圍了被攝體區域，省略了橫向方向上 的信息，并且僅保留了深度方向上的信息。
[0261] 如同上述，也可W連同聚焦信息顯示圖像一起，顯示單視點圖像及組合圖像。
[0262] 在圖28至圖30中所示的聚焦信息顯示圖像中，能夠與關于聚焦狀態的信息同時 地，了解焦點位置、焦點控制范圍及景深各信息。然而，沒有必要同時示出所有信息，并且運 些信息可W單獨顯示。例如，也可W在開始時僅顯示焦點位置及景深，然后響應于用戶的指 令而顯示焦點控制范圍的信息。
[0263] 如上所述，根據本實施例，在圖像拍攝時或者在編輯圖像時，基于在深度方向上按 次序布置了被攝體的再布置圖像，來顯示關于聚焦狀態的信息，諸如圖像組合時的焦點位 置、焦點控制范圍及景深等。由此，能夠讓用戶在圖像拍攝時W及/或者在編輯圖像時，直觀 地掌握被攝體的聚焦狀態。
[0264] [第四實施例]
[0265] 在第Ξ實施例中，W圖像拍攝裝置包括具有圖16中所示的結構的圖像拍攝單元為 前提，而給出了說明。接下來，說明W圖像拍攝裝置包括具有圖17及圖18中所示的結構的圖 像拍攝單元為前提的方面，作為第四實施例。在下文中，主要說明本實施例的特有之處。
[0266] 通過圖17及圖18中所示的結構，由圖像感測元件1604來獲取視差圖像的數據，在 該視差圖像的數據中，按次序布置了來自不同圖像拍攝視點并且具有不同圖像拍攝范圍的 多個小圖像。在圖17中的結構中，透鏡陣列1603被布置在圖像形成光學系統與圖像側共輛 面之間（圖像側共輛面的左側）。相反，在圖18中的結構中，透鏡陣列1603不是被布置在圖像 形成光學系統與圖像側共輛面之間，而是布置在外面（圖像側共輛面的右側）。因為運樣，在 圖18中的結構的情況下，透鏡陣列1603將由圖像形成光學系統1602形成的圖像視為真實物 體，并且在圖像感測元件1604上再次形成圖像。然而，在運兩種結構中，透鏡陣列1603均將 由圖像形成光學系統1602形成的圖像視為物體，并在圖像感測元件1604上形成該物體的圖 像，因此，運兩種結構在本質上是相同的。在下文中，說明圖17中的結構作為示例，然而，該 說明的內容同樣適用于圖18中的結構。
[0267] 首先，說明本實施例中的圖像組合(再聚焦)處理。
[0268] 定性地講，該處理與第Ξ實施例中類似，并且在該處理中，W與被期望對焦的被攝 體的距離相對應的移位量，將圖像形成光學系統1602的劃分的光瞳的圖像彼此疊加。
[0269]圖31是作為圖17中的結構中的主要部分的、透鏡陣列1603及圖像感測元件1604的 部分的放大圖。在本實施例中，由物體側的面是平的并且圖像側的面是凸面的微透鏡，構成 透鏡陣列1603。當然，透鏡陣列1603的形狀不局限于此。在圖31中，單點劃線代表各微透鏡 的視場角。通過將由圖像感測元件1604獲得的像素值，經由與各像素相對應的微透鏡投影 到虛擬圖像形成面上，并組合運些像素值，能夠生成虛擬圖像形成面對焦的組合圖像。在 此，虛擬圖像形成面是指與被期望通過圖像組合而被對焦的物體側的面共輛的面(經由圖 像形成光學系統1602共輛的面）。例如，為了在圖17中生成被攝體面1601對焦的圖像，將虛 擬圖像形成面設置為圖像側共輛面1701。在圖31中，為了易于理解，用W各微透鏡的視場角 為單位移位的虛線，來代表在組合圖像生成時投影的像素。也可W通過用于通過平移各像 素來組合圖像的方法來生成組合圖像，只要W與上述方法(將由圖像感測元件1604獲得的 像素值經由與各像素相對應的微透鏡投影到虛擬圖像形成面上的組合方法)相同的方式使 像素彼此疊加即可。此時，在入射于像素上的光束所穿過的透鏡陣列1603的區域相同的情 況下，運些像素的平移量是相同的。亦即，依照入射于像素上的光束所穿過的透鏡陣列1603 的區域，來確定在圖17及圖18中的組合圖像生成時的像素的操作。
[0270]接下來，說明本實施例中的焦點控制范圍。
[0271] 也通過與第Ξ實施例中相同的式(4)，來描述本實施例中的焦點控制范圍。亦即， 與使用前述式(4)表示的圖像側的再聚焦范圍a+s2至a-s2共輛的范圍（相對于圖像形成光 學系統1602共輛的范圍），是作為物體側的再聚焦范圍的焦點控制范圍。圖32是與根據第Ξ 實施例的圖21相對應的圖。圖32中的Ay代表光的二維強度分布的采樣間距，并且Δγ=Δ σι/〇2成立(01:圖像側共輛面1701與透鏡陣列1603的物體側主平面之間的間隔，02:透鏡陣 列1603的圖像側主平面與圖像感測元件1604之間的間隔）。運是因為，透鏡陣列1603將由圖 像形成光學系統1602形成的圖像視為虛擬物體，因而W〇2/〇i的倍率在圖像感測元件1604上 形成縮小圖像。然后，在本實施例中同樣地，因為A <<P(P:圖像形成光學系統1602的出射 光瞳距離），所W式(4)可W近似為式(5)。
[0272] 根據本實施例的圖像處理單元1512中的處理的流程與根據第Ξ實施例的圖23中 的流程圖中相同，然而，圖像拍攝單元1500的結構是不同的，因此，焦點控制范圍被推導如 下（步驟S2306)。
[0273] 從圖32中明顯能夠看出，NF = 〇i/ Δ laW及Δ y= Δ 〇ι/σ油幾何學的角度成立，因 此，下面的式（12)成立。
[0274]
[0275] 由式（12)等，求出本實施例中的圖像側焦點控制范圍drefwus應當滿足的條件表達 式(13)。
[0276]
[0277] 如同在第Ξ實施例中一樣，通過將上述條件表達式（13)中的±10.0的范圍替換為 ± 6.0或± 3.0，能夠獲得更清晰的組合圖像。
[0278] 在下文中，示出具體示例。
[0279] ?圖像感 ii 元件 1604 的有效像素數 RtDtai:150.0X 106(pix)
[0280] . 〇i；〇.3712(mm)
[0281] · (52:0.0740(mm)
[0282] ?圖像感測元件1604的像素間距Δ :〇.〇〇24(mm)
[028引 ?透鏡陣列1603的間距ALA:0.0256(mm)