道I(Chl)時的幀率(電子快門速度)與讀出通道2(Ch2)時的幀率(電子快門速度)不同。另外,后面描述圖像傳感器I的像素電路詳細結構和作用。
[0035]因此,在本實施方式中,在全像素靜態圖像攝影時,使用圖像傳感器I具有的全部輸出通道(圖2的Chl?Chm)進行輸出。另一方面,在實時取景顯示時、動態圖像記錄時和高速相機動作時,輸出數據的帶域與全像素靜態圖像攝影時相比較小即可,因而使用圖像傳感器I具有的輸出通道中的一部分(例如,僅圖2的Chl和Ch2)輸出數據。在本實施方式中,圖像傳感器I作為具有多個AD轉換器的攝像元件發揮功能,該多個AD轉換器將輸出信號分別同時并列地轉換為數字信號,該輸出信號是通過呈二維狀排列的由第I像素群和第2像素群構成的多個像素以及與第I像素群和第2像素群對應的像素分別生成的。
[0036]在本實施方式中,以在實時取景顯示時、動態圖像記錄時、高速相機動作時能夠實現進行適當的閃爍校正的方式,將圖像傳感器I的輸出劃分為2個系統進行驅動,進行校正動作。
[0037]即,在拍攝全像素靜態圖像時,使用系統I (例如Chl和Ch2)和系統2(例如Chn和Chm)雙方進行數據轉發。另一方面,在實時取景顯示時、動態圖像攝影時、高速相機動作時,從系統I取得主要的動態圖像的圖像數據。然后從系統2取得閃爍校正用的圖像數據。進而,取得對動態圖像實時地校正了閃爍后的圖像并進行實時取景顯示。然后,將所取得的校正了閃爍后的圖像作為動態圖像的圖像數據進行記錄。此外,還將來自系統2的圖像數據用于AE(Auto Exposure:自動曝光)和AF(Auto Focus:自動對焦)。在本實施方式中,圖像傳感器I具有圖像信號讀出部(系統I和系統2),該圖像信號讀出部(系統I和系統
2)用于從與攝像元件的第I像素群和第2像素群對應的像素中分別獨立讀出圖像信號。
[0038]此外,如上所述,關于本實施方式的攝像部內的圖像傳感器I的輸出,設有輸出第I圖像群的數據的系統1、輸出第2像素群的數據的系統2這2個系統。作為這2個系統的輸出,能夠分別獨立設定讀出的幀率。換言之,能夠分別獨立設定電子快門速度。
[0039]在實時取景顯示時、動態圖像攝影時、高速相機動作時,使用以高速幀率讀出的系統2的圖像數據,從存在面閃爍的圖像中檢測閃爍頻率。使用該檢測出的閃爍頻率,對由系統I取得的實時取景圖像和動態圖像實時地進行光源閃爍的校正。
[0040]接著,使用圖3來說明受到光源閃爍的影響的高速攝影時的攝影圖像(包括實時取景顯示)的變化。圖3示出作為光源的照明的閃爍周期與幀率之間的關系。
[0041]圖3的最上層的(a)是表示光源以商用頻率60Hz點亮的熒光燈的亮度變化的波形圖。在下一層所示的(b)是表示以商用頻率50Hz點亮的熒光燈的亮度變化的波形圖。施加給熒光燈的商用頻率的施加電壓按照對應于商用頻率的周期,具備正負的符號。另一方面,熒光燈的亮度按照與施加電壓的絕對值成比例的關系進行變化。因此,如(a)、(b)中實線所示,例如,在以60Hz驅動的情況下,將以2倍的頻率(120Hz)重復明暗。
[0042]從圖3的第3層至第5層所示的(C)?(e)表示根據熒光燈的閃爍變化而由圖像傳感器I取得的各幀圖像的亮度變化。(C)表示攝影時(包括實時取景顯示時)的幀率為480fps的情況下的亮度變化。(d)表示幀率為120fps的情況下的亮度變化。(e)表示幀率為60fps的情況下的亮度變化。另外,在各圖中,在各個幀率的條件下,在上下并列表示熒光燈的施加電壓為60Hz、50Hz的情況下的亮度變化。
[0043]如圖3的(C)?(e)所示,越通過成為比光源的閃爍周期快的頻率的幀率使圖像傳感器I進行攝影動作,則面閃爍相比行閃爍越處于主導地位。這里,面閃爍是在所攝像的各幀圖像內整體的亮度按照每幀周期性變化的現象。此外,行閃爍是在幀內的圖像上產生明暗的亮度分布的現象。
[0044]按照圖像傳感器I進行圖像數據的讀出的幀率,處于主導地位的閃爍的種類不同,這是因為基于以下的作用。(I)在各幀取得的圖像是按照每個幀周期由圖像傳感器I蓄積被攝體光而形成的。(2)因此,在幀率的周期短于光源的閃爍周期的情況下,(即幀率越為高速的情況),各幀內的圖像的亮度分布越大致均勻,因位置導致的亮度變化變少。因此,面閃爍為成為主導。
[0045]此外,關于行閃爍,在光源的閃爍頻率與幀率同步的條件下(例如,圖3的(e)的幀率120fps、熒光燈的驅動頻率60Hz),觀察幀圖像的亮度分布,則成為明暗的峰值的位置一定成為相同圖像的位置。另一方面,在光源的閃爍頻率不與幀率同步的情況下,在通過各幀取得的圖像的亮度分布中,成為明暗的峰值的位置按照每幀而移動。
[0046]作為低速幀率時的行閃爍的校正,通常以規定的幀率讀出圖像,檢測該讀出的幀圖像的亮度分布是否隨時間而變化。根據該檢測結果,檢測光源的驅動頻率(通常為商用頻率),根據該檢測結果,以使得幀圖像的亮度均勻的方式,根據圖像的位置進行行閃爍校
IHo
[0047]高速幀率時的面閃爍的校正通過光源的閃爍使得各幀圖像的亮度分布變為均勻。因此,針對各幀圖像的一部分線輸出的亮度,根據每幀的亮度變化檢測光源的閃爍頻率。使用該閃爍頻率,以使得幀圖像的亮度均勻的方式,進行面閃爍校正。
[0048]另外,在靜態圖像的數字相機中,已知以高速幀率連續拍攝靜態圖像的高速相機。作為高速相機的幀率,例如能夠以500fps (flame per second:幀每秒)實現各種運動的慢動作記錄。
[0049]此外,作為熒光燈的閃爍,商用頻率的2倍頻率為主流。因此,在本實施方式中,在以商用頻率驅動的光源(50Hz/60Hz)環境下,實時消除實時取景顯示、動態圖像記錄時等中的閃爍。
[0050]接著,使用圖4,說明用于實時校正閃爍的電路的結構。前述的圖像傳感器I配置于通過攝影鏡頭11形成的被攝體像的成像位置附近。攝影鏡頭11通過按照來自鏡頭控制部13的控制信號被驅動的電動機12在光軸方向上移動。
[0051]圖像傳感器I的圖像數據經由系統I和系統2輸出給DSP(數字信號傳感器:Digital Signal Processor) 20。即,圖像傳感器I的圖像數據經由系統I被輸出至DSP20內的重排電路A 31,經由系統2被輸出至DSP20內的重排電路B 26。此外,圖像傳感器I輸入來自DSP20的控制模塊27的讀出控制信號等信號。另外,從系統I和系統2讀出的讀出頻率(幀率)可以在動態圖像攝影時和實時取景顯示時設定為彼此不同的頻率。例如,關于動態圖像攝影時的各幀率,可以設定得比實時取景顯示時的各幀率快。這種情況下,能夠通過不進行動態圖像記錄的實時取景顯示時的動作抑制攝像裝置的消耗功率。
[0052]DSP20具有重排電路B26、控制模塊27、開關28,AE/AF29、重排電路A31、閃爍檢測部32、電平設定部33、圖像處理器34、CPU (Central Processing Unit:中央處理單元)21。重排電路B26對以高速從圖像傳感器I的讀出系統2中讀出的圖像數據進行重排處理(並
替尤処理)。在該重排處理中,通過對從系統2中讀出的每行的讀出圖像進行間疏處理而進行重排的處理。
[0053]開關28將從重排電路B26輸出的圖像數據切換至后述的AE/AF(Auto Exposure/Auto focus)29、重排電路A31、閃爍檢測部32中的任意一個而輸出。此外,重排電路B26還具有直通(/《只只少一)功能。通過該直通功能,重排電路B26的圖像數據輸出不必對以高速從圖像傳感器I中讀出的圖像數據進行重排處理,能夠獨立于向前述的開關電路28的輸出而暫時存儲于DRAM51中。
[0054]AE/AF29輸入經由開關28輸入的系統2的圖像數據或從重排電路A31輸入的系統I的圖像數據,計算曝光控制用的亮度值。根據該計算的亮度值控制圖像傳感器I的電子快門的快門速度。此外,AE/AF29對來自系統I或系統2的圖像數據提取空間頻率中的高頻成分,計算對比度信號的評價值。然后,鏡頭控制部13以使得對比度信號的評價值成為峰值的方式,進行攝影鏡頭11的焦點調節。
[0055]重排電路A31輸入來自圖像傳感器I的系統I的圖像數據和來自開關28的系統2的圖像數據,進行圖像數據的重排,并輸出給圖像處理器34。該重排電路A31在實時取景顯示時和動態圖像攝影時等,使用來自系統I的圖像數據,將與顯示設備對應的圖像尺寸的圖像數據輸出給圖像處理器34。此外,在全像素靜態圖像攝影時,重排電路A31使用來自系統I和系統2的圖像數據,重排成由全部像素構成的圖像數據,并輸出給圖像處理器34。此外,重排電路A31的輸出能夠獨立于向圖像處理器34的輸出,暫時存儲于DRAM51中。
[0056]閃爍檢測部32輸入以高速幀率讀出的系統2的圖像數據,檢測該圖像輸出的每幀的平均亮度的變化,并檢測基于面閃爍而引起的閃爍亮度變化的幀周期以及閃爍頻率。此夕卜,改變讀出所述系統2的幀率設定,檢測該圖像輸出的每行的平均亮度的變化。通過檢測該平均亮度的變化,從而確定從系統2得到的圖像數據在各幀內產生明暗的行閃爍的閃爍頻率。后面使用圖4描述閃爍檢測部32的詳細結構。該閃爍檢測部32作為閃爍檢測部發揮功能,該閃爍檢測部通過攝像元件(圖像傳感器I)對包含被攝體中包含的光源的周期性閃爍的被攝體像進行光電轉換,根據與對應于第2像素群的像素對應的圖像輸出來檢測攝影圖像整體的明狀態和暗狀態,從而檢測光源的閃爍周期。
[0057]DRAM51是易失性的可改寫存儲器,輸入從重排電路B26和重排電路A31輸出的圖像數據等并存儲。此外,DRAM51將存儲的圖像數據等輸出給圖像處理器34。
[0058]圖像處理器34輸入從重排電路A31輸出的圖像數據,根據來自閃爍檢測部32的檢測結果,對圖像數據實施閃爍校正。此外,還進行白平衡、OB(OptiCal Black:光學黑體)校正、伽馬校正、圖像壓縮等各種圖像處理,以及實時取景顯示用圖像數據、靜態圖像記錄用圖像數據、動態圖像記錄用圖像數據、再生顯示用圖像數據等的生成。
[0059]顯不設備52具有液晶面板、有機EL等顯不設備。顯不設備52輸入從圖像處理器34輸出的實時取景顯示用圖像數據和