再現顯示用圖像數據等圖像數據，進行實時取景顯示和再現顯不等圖像顯不。
[0060]CPU21從DSP20內的各部等輸入數據等，向各部等輸出控制信號，進行DSP20的整體控制。
[0061]接著，使用圖5，說明圖4所示的閃爍檢測部32的詳細結構。另外，圖5中除了閃爍檢測部32以外，還一并示出與閃爍檢測有關的重排電路A31、開關28和圖像處理器34的一部分。
[0062]在本實施方式中，根據圖像傳感器I的系統I和系統2的兩個輸出取得全像素靜止圖像。另一方面，在動態圖像和實時取景顯示圖像的取得時，取得作為系統I的輸出的圖像輸出，基于來自系統2的圖像輸出，根據亮度信息(AE)、對比度信息(AF)、亮度信息的時間變化來檢測閃爍頻率和校正值。
[0063]水平有效像素亮度值平均化部61經由開關28輸入系統2的圖像數據。該水平有效像素亮度值平均化部61按照圖像數據的每個水平行計算平均亮度，并將其輸出給水平有效行亮度值平均化部62和亮度比較部71。
[0064]水平有效行亮度值平均化部62使用由水平有效像素亮度值平均化部61計算出的多個水平行的平均亮度，計算幀整體的平均亮度，并將其輸出給I次存儲存儲器63和幀亮度平均值閃爍周期判定部64。
[0065]I次存儲存儲器63存儲由水平有效行亮度值平均化部62取得的I個幀的平均值。幀亮度平均值閃爍周期判定部64使用存儲于I次存儲存儲器63中的I個幀的平均值(以往的值)和由水平有效行亮度值平均部62計算出的I個幀的平均值(當前的值)，檢測閃爍周期。然后，將該檢測出的閃爍周期的信息輸出給幀亮度校正增益計算部65。另外，在I次存儲存儲器63中存儲足夠數量(例如，3?4幀以上)的幀數的平均值，用于判定閃爍周期。如圖3的(c)所示，例如，在以480fps讀出圖像傳感器I的系統2的輸出的情況下，各取得的每幀的平均亮度的幀周期若存在16幀，則能夠確定光源的閃爍周期(50Hz或60Hz)。
[0066]幀亮度校正增益計算部65按照由幀亮度平均值閃爍周期判定部64檢測出的閃爍周期的定時，計算幀間的亮度校正增益。即，在產生了面閃爍的情況下，計算用于使各幀的平均亮度均勻的亮度校正增益，將該計算出的亮度校正增益輸出給校正值增益調整部81。
[0067]亮度比較部71根據由水平有效像素亮度值平均化部61計算出的水平行平均亮度，檢測最大亮度值(包括MAX亮度地址)和最小亮度值(包括min亮度地址)。I次存儲存儲器72根據在亮度比較部71中的檢測結果，暫時存儲各行的亮度平均值、最大亮度值、最小亮度值。
[0068]而且，亮度比較部71對存儲于I次存儲存儲器72中的最大亮度值、最小亮度與從水平有效像素亮度值平均化部61輸出的每行的亮度平均值，更新最大亮度值或最小亮度值。I次存儲存儲器72按照每行將亮度平均值、最大亮度值(包括MAX亮度地址)、最小亮度值(包括min亮度地址)輸出給行亮度校正增益計算部73。
[0069]行亮度校正增益計算部73計算用于對行閃爍導致的亮度閃爍進行校正的增益量。即，為了使用存儲于I次存儲存儲器72中的最大亮度值和最小亮度值、每行的平均亮度值，去除在每行上產生的行閃爍的影響，計算將各行的亮度校正為均勻的情況下所需的增益量。將該計算出的增益量輸出給行地址轉換部74。
[0070]行地址轉換部74進行轉換，以示出由系統2實時讀出的行對應于由系統I讀出的記錄用圖像的哪行。如上所述，來自系統2的圖像數據以高速幀率被讀出。然后，通過行亮度校正增益計算部73計算用于校正行閃爍的校正增益量。使用該計算出的校正增益量校正來自系統I的圖像數據的行閃爍。此時，由于在幀率和讀出圖像數據尺寸(行數)不同的圖像間進行校正，因而由行地址轉換部74進行行地址的轉換，以使得來自系統I的圖像數據的像素位置(行位置)與來自系統2的圖像數據的像素位置(行位置)適當一致。行地址轉換部74的轉換結果被輸出給校正值增益調整部81。
[0071]校正值增益調整部81在產生行閃爍的情況下，從行地址轉換部74被輸入行閃爍的閃爍周期、各幀圖像中的行內的亮度校正量等。另外，在產生面閃爍的情況下，校正值增益調整部81從幀亮度校正增益計算部65輸入面閃爍的閃爍周期、幀亮度校正增益量等。然后，校正值增益調整部81將用于校正來自系統I的圖像數據的增益校正量等輸出給校正運算部82。
[0072]例如，在從系統I中讀出的記錄用圖像尺寸為從系統2中讀出的閃爍檢測圖像尺寸的2以上的整數倍的情況下，基于閃爍的亮度校正會產生過校正。其原因在于，將由行亮度校正增益計算部73計算的“由系統2讀出的任意的I行的亮度校正增益量”直接反映于系統I的2以上的整數倍的行上所致。因此，輸入行地址轉換部74的行閃爍周期、各幀圖像的行內的亮度校正量等，按照由系統I讀出的每行，對亮度校正增益的校正值進行微調，并輸出給校正運算部82。通過使用幀亮度校正增益計算部65的輸出和行地址轉換部74的輸出雙方，從而能夠針對面閃爍極為細致地微調校正增益值。
[0073]校正運算部82根據來自校正值增益調整部81的輸出，對系統I的圖像數據進行閃爍校正。然后，校正運算部82將閃爍校正后的系統I的圖像數據輸出給彩色化及其他圖像處理部83。彩色化及其他圖像處理部83對進行了閃爍的校正處理后的圖像數據進行彩色化圖像處理等圖像處理。
[0074]當在閃爍檢測部中，通過與第2像素群對應的像素取得的圖像由于周期性閃爍而入射了明狀態的亮度的光時，校正運算部82等降低基于與第2像素群對應地配置的第I像素群得到的攝影圖像的亮度輸出。另一方面，當通過與第2像素群對應的像素取得的圖像入射了暗狀態的亮度的光時，校正運算部82等增加基于與第2像素群對應地配置的所述第I像素群得到的攝影圖像的亮度輸出。通過進行這種亮度校正的運算，校正運算部82作為閃爍校正部發揮功能，其校正與對應于第I像素群的多個像素的各像素對應的亮度輸出增益。
[0075]另外，在本實施方式的一例中，關于校正運算部82等的亮度輸出增益的校正量，將因閃爍而導致的亮度變化的平均亮度輸出的值作為校正目標值。然而，亮度輸出增益的校正量不限于此，例如也可以是，亮度輸出以明狀態的亮度輸出為基準，以增加基于與第2像素群對應地配置的第I像素群得到的攝影圖像的亮度輸出的方式進行校正。另外，反之也可以是，亮度輸出以暗狀態的亮度輸出為基準，以減少基于與第2像素群對應地配置的第I像素群得到的攝影圖像的亮度輸出的方式進行校正。
[0076]本實施方式的閃爍檢測用的電路設置了水平有效像素亮度值平均化部61，該水平有效像素亮度值平均化部61針對以高速幀率讀出的來自系統2的圖像數據，按照每個水平行求出平均亮度值。進而，通過輸入水平有效像素亮度值平均化部61的輸出的水平有效行亮度值平均化部62、I次存儲存儲器63、幀亮度平均值閃爍周期判定部64、幀亮度校正增益計算部65來計算面閃爍的檢測和校正增益量。此外，通過輸入每個水平行的平均亮度值的亮度比較部71、I次存儲存儲器72、行亮度校正增益計算部73、行地址轉換部74來計算行閃爍的檢測和校正增益量。通過輸入面閃爍和行閃爍的檢測結果的校正值增益調整部81和校正運算部82對來自系統I的圖像數據進行閃爍校正。而且，通過校正值增益調整部81和校正運算部82生成去除了閃爍的影響后的圖像數據，輸出閃爍校正后的圖像數據。
[0077]此外，圖像傳感器I的圖像信號讀出部在來自系統I的第I像素群的I幀的圖像信號的讀出期間內，從系統2中讀出第2像素群的圖像信號。閃爍檢測部34(從水平有效像素亮度值平均化部61到行地址轉換部74的各部)通過第2像素群的圖像信號，根據周期性產生的閃爍幀數檢測光源的閃爍頻率。閃爍校正部(校正運算部82等)對在包含來自系統2的第2像素群的讀出期間的期間內讀出的第I像素群的圖像信號進行增益校正。
[0078]此外，閃爍檢測部(水平有效像素亮度值平均化部61?幀亮度平均值閃爍周期判定部64的各部)根據周期性產生的閃爍幀數檢測光源的閃爍頻率。然后，閃爍檢測部對由來自系統I的第I像素群構成的圖像的讀出周期與所檢測出的光源的閃爍頻率進行比較，從而判定來自第I像素群的取得圖像是否產生了面閃爍。閃爍校正部(校正運算部82)在通過閃爍檢測部的判定而判定為來自第I像素群的取得圖像產生面閃爍的情況下，對處于與從系統2讀出的圖像對應的時間內的從第I像素群讀出的圖像信號的亮度輸出統一進行增益校正。
[0079]此外，閃爍檢測部(水平有效像素亮度值平均化部61、亮度比較部73、1次存儲存儲器72)根據周期性產生的閃爍幀數檢測光源的閃爍頻率。然后，閃爍檢測部對由來自系統I的第I像素群構成的圖像的讀出周期與所檢測出的光源的閃爍頻率進行比較，判定來自第I像素群的取得圖像是否產生了行閃爍。閃爍校正部(校正運算部82)在通過閃爍檢測部的判定而判定為來自第I像素群的取得圖像產生了行閃爍的情況下，針對處于與通過來自系統2的第2像素群讀出的圖像對應的配置的從第I像素群讀出的各幀圖像信號的亮度輸出，進行幀內的亮度增益校正。
[0080]如上，在本實施方式中，從圖像傳感器I進行系統I的圖像數據的讀出。這種情況下，在動態圖像攝影時和實時取景顯示用圖像取得時，與攝影用的幀率同步地進行圖像數據的讀出。另一方面，與系統I的讀出幀率相比，以高速從圖像傳感器I進行系統2的圖像數據的讀出。使用圖6所示的時序圖說明此時的讀出動作。
[0081]圖6是示出在圖像傳感器I的系統I和系統2中的圖像數據的讀出定時的時序圖。圖6的最上層的(a)表示外部輸入垂直同步信號的定時，下一層的(b)表示系統I的垂直同步信號。而且，第3層的(C)表示從系統I輸出的圖像數據。系統I的圖像數據在期間tlO?t20、t20?t30、t30?t40、..?中分別為I幀的圖像。
[0082]此外，圖6的第4層的⑷表示系統2的垂直同步信號。而且，第5層的(e)表示從系統2輸出的圖像數據。系統2的圖像數據在期間tlO?tll、til?tl2、tl2?tl3、..?中分別為I幀的圖像。因此，在圖6所示的例子中，在從系統I中讀出I幀的圖像數據的期間內，從系統2中讀出4幀的圖像數據。為了簡化圖像處理，優先在從系統I讀出I幀圖像數據的期間內，從系統2中讀出整數倍的幀。
[0083]在閃爍的校正時，首先，使用圖6的最下層的(e)所示的