閃光帶處理電路和處理方法、成像裝置和成像處理方法

專利名稱：閃光帶處理電路和處理方法、成像裝置和成像處理方法
技術領域：
本公開涉及可被應用在檢測到閃光帶的情形中的閃光帶(flash band)處理電路、 處理閃光帶的方法、成像裝置和成像處理方法，該閃光帶生成在例如通過向對象發射強光 (以下，稱為“閃光”)來將對象成像所獲得的視頻內。
背景技術：
在相關技術中，作為在相機中所使用的成像設備，利用滾動快門系統的成像設備是公知的，其中，針對每個水平線(以下，稱為“行”)曝光被順序啟動，并且，通過順序讀出每行的視頻信號，幀被順序生成。在利用滾動快門系統的成像設備中，針對每行，曝光時段是不同的。因此，在閃光等在比成像設備讀出視頻信號的幀率更短的時段期間中出現的情形中，存在如下情形在亮度等級中的帶形區別(閃光帶)被生成在根據讀出幀內的視頻信號所顯示的視頻中。以下，亮度等級被縮寫為“等級”，而閃光帶被縮寫為“FB”。圖15A和圖15B是示出了在相關技術中的生成在幀中的FB的示例的示意圖。在圖15A中，縱軸代表在垂直方向上的行的數量，橫軸代表時間(秒)，并且，示出了連續幀和閃光之間的關系。成像設備以從在垂直方向上的行的數量少的一側(在本示例中，是從幀的上部到下部的方向)的次序讀出視頻信號并輸出視頻信號。從第一幀到第二幀，閃光出現。圖15B示出了每個幀的視頻的示例。當閃光從第一幀到第二幀出現時，閃光對已經被讀出的第一幀的上部行沒有影響，但是，由于閃光的影響，等級差異被在第一幀的下部行中生成。在第二幀中，在第一幀的最低行的視頻信號被讀出之前，第二幀的上部行的視頻信號被讀出。因此，由于閃光在第二幀的上部行中的影響，等級差異被生成，但是，閃光對第二幀的下部行沒有影響。如以上，當 FB被在幀中生成時，視頻的下部被在第一幀中照亮，而視頻的上部被在第二幀中照亮。由于FB被在多個幀中生成，并且，當視頻被再現或靜止屏幕被捕捉時，FB被看到，因此，視頻的質量可變壞。在相關技術中，為了抑制其中FB被生成在視頻上的幀的影響，采用諸如校正幀以用于移除等級差異或丟棄幀之類的對策。作為這種對策的前提，檢測是否存在FB的方法已被審查。在JP-A-2010-135921中，作為檢測FB的方法，公開了利用第一條件的方法，該第一條件是檢測到其中出現像素等級在第一幀的下部和第二針幀的上部增加(其作為FB的典型特征)的區域。在該方法中，在第一幀中等級增加的區域的等級在第二幀中降低被設置為第二條件。通過將第二條件添加到第一條件，可防止在僅由于目標的構成而使第一條件被滿足的情形中對FB的生成的錯誤檢測。另外，作為另一方法，在JP-A-2007-306225中，公開了一種方法，其中，從通過在適當的曝光下成像所獲得的一組連續幀中檢測到曝光飽和的幀。

發明內容
在JP-A-2010-135921中所公開的檢測FB的方法中，很難檢測FB的開始行和結束行落入一幀(以下，這種FB狀態被稱為“FB被完成”)的情形或FB在三幀或更多幀上連續的情形。另外，在該方法中，一行的視頻信號從幀的上部至下部被讀出。因此，當具有高亮度的對象從幀的下部移動到上部時，由于顯示在第一幀的下部的對象和顯示在第二幀的上部的對象，FB可能被錯誤地檢測。另外，即便當如在新聞報告節目等中的短時段中存在許多目標的閃光，因而FB在連續幀的多個地方生成時，也很難指定幀中的FB的位置。另外，在公開在JP-A-2007-306225中的檢測FB的方法中，在運動體的位置或具有高亮度的光源變化時，由于運動體或光源的位置已經改變，因此將可能錯誤地檢測FB的生成。因此，希望合適地檢測在幀中所生成的FB。在本公開的實施例中，基于由包括在滾動快門系統的成像設備中的像素針對每幀所輸出的每行的視頻信號的曝光時段差來檢測閃光帶的開始行和結束行。因此，可檢測在幀中所生成的FB的開始行和結束行。根據本公開的實施例，通過檢測在幀中所生成的FB的開始行和結束行，可獲得用于校正FB所必須的詳細信息。因此，存在如下優點僅可針對作為目標的所檢測到的FB執行合適的FB校正處理。


圖I是示出了根據本公開的實施例的成像裝置的內部配置的示例的框圖。圖2示出了根據本公開的實施例的檢測在幀內生成的FB的閃光帶檢測電路的內部配置的示例。圖。圖。
圖3是示出了根據本公開的實施例的等級比較電路的內部配置的示例的框圖。
圖4是示出了根據本公開的實施例的水平方向積分單元的內部配置的示例的框
圖5是示出了根據本公開的實施例的判定保持單元的內部配置的示例的框圖。
圖6是示出了根據本公開的實施例的區域判定單元的內部配置的示例的框圖。
圖7是示出了根據本公開的實施例的垂直方向積分單元的內部配置的示例的框
圖8是示出了根據本公開的實施例的FB校正處理的操作示例的流程圖。
圖9是示出了根據本公開的實施例的全面臉部閃光處理的操作示例的流程圖。
圖10是示出了根據本公開的實施例的閃光去除處理的操作示例的流程圖。
圖11是示出了在FB在兩個幀中連續生成的情形中的根據本公開的實施例的輸出中貞的示例的示意圖。圖12A和圖12B是示出了 FB在三個幀中連續生成的情形中的根據本公開的實施例的輸出幀的示例的示意圖。圖13A至圖13C是示出了 FB在四個或更多個幀中連續生成的情形中的根據本公開的實施例的輸出幀的示例的示意圖。圖14是示出了在FB在一幀中完成的情形中的根據本公開的實施例的輸出幀的示例的示意圖。圖15A和圖15B是示出了在相關技術中生成在幀中的FB的示例的示意圖。
具體實施例方式以下，將描述實現本公開(以下，稱為實施例)的模式。將以如下的次序呈現該描述。I.實施例(檢測到FB并校FB的處理的示例)2.修改后的示例〈I.實施例 >[檢測到FB并校正FB的處理的示例]以下，將參照圖I至圖14來描述本公開的實施例。在本實施例中，將描述檢測在幀中所生成的FB并校正所檢測到的FB的視頻信號處理電路3以及包括該視頻信號處理電路3的成像裝置I的示例(以下，稱為“本示例”)。圖I示出了本示例的成像裝置I的內部配置的示例。首先，將描述利用通用相機系統的成像裝置I。與本公開相關的技術也被應用于在成像裝置I中所使用的成像處理方法。成像裝置I包括成像單元2和對從成像單元2接收的視頻信號執行預定處理的視頻信號處理電路3，該成像單元2包括成像設備的滾動快門系統、透鏡系統等，以及三原色的輸出視頻信號。關于該成像設備，例如使用CMOS(互補金屬氧化物半導體)傳感器。在圖中并未示出包括在成像單元2中的成像設備、透鏡系統等。成像設備針對每個像素對通過透鏡系統入射到目標的圖像光進行曝光，并且，針對每行讀出視頻信號。存在如下的情形由于閃光，針對每幀，在幀中的行等級差異FB基于在由包括在成像設備中的像素所輸出的視頻信號的曝光時段中的針對每行的差異而生成。 然后，通過利用A/D (模擬/數字)轉換單元，成像單元2將由成像設備所讀出的視頻信號從模擬信號轉換成數字信號，從而生成量化的視頻信號。視頻信號處理電路3包括校正從成像單元2所接收的視頻信號的缺陷的成像系統校正單元31，以及根據指令調整視頻信號的增益等的增益調整單元32，該指令由用戶等做出，從在圖中未示出的操作單元發送出來。在本示例中，成像系統校正單元31和增益調整單元32被組合，以被用作執行對視頻信號的線性校正的線性校正單元。將稍后描述的閃光帶檢測電路10 (參見圖2)檢測FB的出現以及FB的開始行和結束行，并且，優選地被安裝在成像系統校正單元31或增益調整單元32中。根據本公開的實施例的閃光帶檢測電路10和包括在線性校正單元中的閃光帶校正電路17檢測在幀中所生成的FB的開始行和結束行，并被用作校正FB的閃光帶處理電路和處理閃光帶的方法。另外，閃光帶校正電路17被用作閃光帶校正單元。另外，閃光帶處理電路檢測當前由成像設備輸出的當前幀中的FB的出現。另外， 在當前幀之前的預定數量幀到當前幀之間，閃光帶處理電路檢測由成像設備輸出的過去的幀中的FB的生成。在以下所呈現的描述中，當前幀的視頻被縮寫為“當前幀”，而過去幀的視頻被縮寫為“過去幀”。另外，視頻信號處理電路3包括執行對視頻信號的拐點校正(knee correction)的拐點校正單元33和對視頻信號執行伽瑪校正的伽瑪校正單元34。拐點校正單元33和伽瑪校正單元34被組合，以便被用作對視頻信號執行非線性校正的非線性校正單元。另外， 視頻信號處理電路3包括輸出信號生成單元35，該輸出信號生成單元將用于輸出從伽瑪校正單元34接收的視頻信號的輸出信號輸出到外部記錄介質(閃存、HDD等)。由成像單元2輸出的三原色R、G和B的視頻信號被成像系統校正單元31和增益調整單元32適當地線性處理，并且然后，其等級被拐點校正單元33壓縮，以便被設置在預定信號規格中。另外，為了對應于諸如CRT(陰極射線管)之類的監視器(視頻信號從該監視器輸出)的伽瑪(gamma)，伽瑪校正單元34執行對視頻信號的伽瑪校正。之后，輸出信號生成單元35將視頻信號轉換成最終輸出格式，以用于將其輸出到監視器等，并且，將已轉換的視頻信號輸出。圖2示出了檢測在幀中生成的FB的閃光帶檢測電路10的內部配置和閃光帶校正電路17的示例。閃光帶檢測電路10比較幀之間的等級，其中，當前幀和過去幀針對每個像素是連續的，以便獲得對比結果，其指定等級線，其中，基于比較結果，等級的變化量很大，并且，檢測變化量大的連續等級線和變化量小的等級線之間的邊界線，從而檢測閃光帶的生成。閃光帶檢測電路10包括記錄過去幀的記錄單元11和比較當前幀和過去幀的等級的等級比較單元12。另外，閃光帶檢測電路10包括水平方向積分單元13，該水平方向積分單元接收作為針對每個像素從等級比較單元12判定的每個像素的等級的變化的結果的變化量判定值(O或I)并計算在水平方向上的每行的當前幀的積分。以下，等級的變化被稱為“等級變化”，而等級的變化量被稱為“等級變化量”。水平方向積分單元13包括兩種類型的水平方向積分部件13a和13d。水平方向積分部件13a直接將從在水平方向上的等級比較單元12輸出的變化量判定值進行積分。在另一方面，水平方向積分部件13d包括一行延遲部件13b和減法部件13c，該一行延遲部件 13b存儲在水平方向上的一行的變化量判定值，減法部件13c從作為處理目標從等級比較單元12讀出的當前行的變化量判定值中減去由一行延遲部件13b所延遲的一行的變化量判定值。另外，閃光帶檢測電路10包括區域判定單元14，該區域判定單元14基于從稍后描述的判定保持單元16所接收的在水平方向上的積分值判定值和FB開始行判定值以及FB 結束行判定值從過去幀的等級來判定其中生成了 FB的區域的等級的增加或減少。另外，包括垂直方向積分單元15，該垂直方向積分單元15將行數進行積分，該行所在區域被判定為關于每個各種量判定值的由區域判定單元14輸出的增加區域判定值或減少區域判定值(參見圖7，其將稍后描述)。垂直方向積分單元15將指示對FB的開始的判定的“FB開始判定值”和指示對FB的結束的判定的“FB結束判定值”輸出到判定保持單元16和閃光帶校正電路17。用O或I來表示FB開始判定值。當FB開始判定值是O時，其指示FB還未開始。在另一方面，當FB開始判定值是I時，其指示FB已經開始。另外，用O 或I來表示FB結束判定值。當FB結束判定值是O時，其指示FB還未結束。在另一方面， 當FB結束判定值是I時，其指示FB已經結束。另外，閃光帶檢測電路10包括判定保持單元16，該判定保持單元基于FB開始判定值或FB結束判定值(以下，被縮寫為“FB開始/結束判定值”)來判定當前幀是否在FB
7時段中間。該判定保持單元16在一行或一幀時段中保持判定結果。然后，判定保持單元16 獲得作為對FB的開始行和結束行的判定結果的“FB開始行判定值”和“FB結束行判定值”， 并且，將FB開始行判定值和FB結束行判定值輸出到區域判定單元14。閃光帶處理電路包括閃光帶校正電路17，該閃光帶校正電路輸出通過基于從垂直方向積分單元15接收的FB開始/結束判定值來校正包括在當前幀和過去幀中的FB所獲得的輸出幀。閃光帶校正電路17基于預先設置的清除模式或復制模式來執行FB校正。此處，其中執行了全面臉部閃光處理、刪除去除處理和通過輸出(through output)(稍后描述)的處理模式被稱為“清除模式”，而其中執行了全面臉部閃光處理和通過輸出的處理模式被稱為“復制模式”。然后，閃光帶校正電路17將其FB根據處理模式被校正的幀作為輸出中貞輸出。接下來，將描述每個單元的操作示例。等級比較單元12將位于當前幀和過去幀的特定位置處(在本示例中，是相同的位置(x，y))的像素的亮度等級的比率作為等級變化比而獲得。然后，作為指示位于當前幀和之前幀中的相同位置(X，y)處的像素的等級變化量是否大于預定閾值的值，等級比較單元 12在變化量小的情形中將“變化量判定值”輸出為“0”，而在變化量大的情形中將“變化量判定值”輸出為“I”。作為指示通過對每行進行積分所獲得的積分值的絕對值是否大于預定閾值的值， 水平方向積分部件13a在積分值小于閾值的情形中輸出為O的“積分值判定值”，而在積分值大于閾值的情形中輸出為I的“積分值判定值”。另外，水平方向積分單元13輸出“積分值符號”，其表示積分值的符號是正的還是負的。區域判定單元14基于如下值來獲得增加區域或減少區域從水平方向積分單元 13輸入的積分值判定值和積分值符號、表示FB的開始行或結束行并從判定保持單元16輸入的“FB開始行判定值”或“FB結束行判定值”等等。以下，“FB開始行判定值”或“FB結束行判定值”被縮寫為“FB開始/結束行判定值”。區域判定單元14在當前幀中包括增加區域的情形中輸出“增加區域判定值”，而在當前幀中包括減少區域的情形中輸出“減少區域判定值”。此處，其中當前幀中的像素等級高于之前幀中相同位置處的像素等級的區域被稱為“增加區域”，而其中當前幀中的像素等級低于過去幀中的像素等級的區域被稱為“減少區域”。垂直方向積分單元15累加被判定為當前幀的垂直方向上的增加區域的行數或被判定為減少區域的行數。然后，當所累加的行數超過預定閾值時，垂直方向積分單元15將指示對FB的開始或結束的判定的FB開始/結束判定值輸出到判定保持單元16和閃光帶校正電路17。將稍后描述判定其是否在FB時段期間中的處理。判定保持單元16基于從垂直方向積分單元15輸入的FB開始/結束判定值，將 FB開始/結束行判定值輸出到區域判定單元14。另外，判定保持單元16將判定FB開始/ 結束行判定值是“在FB時段期間中”還是“不在FB時段期間中”的值輸出到區域判定單元14。閃光帶校正電路17通過利用從記錄單元11讀出的當前巾貞和過去巾貞，基于從垂直方向積分單元15接收的FB開始/結束判定值，來對FB進行校正并輸出一輸出幀。稍后， 將參照稍后描述的圖8至圖14來詳細描述由閃光帶校正電路17執行的FB校正處理。
在本公開的實施例中，用于判定FB的條件是以下四個條件。第一條件位于當前幀和之前幀(過去幀)中相同位置處的像素的等級變化大 (等級比較單元12)。第二條件在一行中存在許多滿足第一條件的像素(水平方向積分單元13)。第三條件滿足第二條件的行在垂直方向上是連續的(垂直方向積分單元15)。第四條件在垂直方向上的高頻率分量出現在滿足第三條件的一組行中的首行 (leading line)中(區域判定單元14)。在幀中生成FB的情形中，在其在從過去幀的等級增加了亮度等級的正方向上的等級變更的一組行(其中閃光被成像的區域)出現在當前幀中之后，在其在減少了亮度等級的負方向上的等級變更(恢復到原始等級)的一組行出現在當前幀中。因此，在滿足第一到第四條件的一組行中，可估計FB的生成，在其生成在區域所具有的邊界處，等級從正方向變化到負方向。第四條件是用于防止錯誤地將高亮度移動體檢測為FB，該高亮度移動體的等級由于其跨越多個幀的移動而在幀中變化。在第四條件中，在存在FB的情形中，存在的如下差異被使用在存在閃光的時段期間被成像的行的等級與不存在閃光的時段期間被成像的行的等級之間的差異。因此，通過利用第四條件，通過檢測幀的垂直方向上的高頻分量的存在，可彼此識別閃光和移動體。接下來，將描述閃光帶檢測電路10的每個單元的內部配置的示例和其操作的示例。圖3是示出了等級比較單元12的內部配置的示例的框圖。等級比較單元12比較在當前幀和過去幀中的每個像素的等級，從而判定第一條件。等級比較單元12包括將針對每個像素輸出的當前幀的視頻信號轉換成每個像素的像素值Y的Y轉換部件12a，以及將針對每個像素輸出的過去幀的視頻信號轉換成每個像素的像素值Y的Y轉換部件12b。另外，等級比較單元12包括減法電路12c，該減法電路 12c將從Y轉換部件12a輸入的亮度值Y從Y轉換部件12b輸入的亮度值Y中減去。另外， 等級比較單元12包括選擇部件12d和12e，其每一個選擇由Y轉換部件12a和12b輸出的亮度值Y中的一個并輸入所選擇的亮度值，以及除法電路12f，該除法電路12f通過將由選擇部件12d輸出的亮度值Y的等級除以由選擇部件12e輸出的亮度值Y的等級來獲得“等級變化比”。另外，等級比較單元12包括減法電路12g，該減法電路12g基于當前幀和過去幀，通過從第一閾值TH_LV中減去由除法電路12f所獲得的等級變化比，輸出針對每個像素的像素值Y判定變化量的判定結果。接下來，將描述等級比較單元12的操作示例。等級比較單元12將在當前幀和過去幀中特定位置處的像素的亮度等級比率作為等級變化比獲得，并且將表示等級變化比是等于還是高于第一閾值(TH_LV)的等級變化量作為變化量判定值獲得。更具體地，Y轉換部件12a和12b將輸入到等級比較單元12的當前幀和過去幀的每個像素的視頻信號轉換成亮度值Y，并且，減法電路12C減少在當前幀和過去幀中的每個像素的亮度值Y。此處，減法電路12c在減法結果為正的情形中將“O”作為符號位輸出，而在減法結果為負的情形中輸出“I”。然后，Y轉換部件12a將亮度值Y輸入到選擇部件12s 的輸入端口 O和選擇部件12e的輸入端口 I。另外，Y轉換部件12b將亮度值Y輸入到選擇部件12d的輸入端口 I和選擇部件12e的輸入端口 O。選擇部件12d和12e中的每一個基于減法電路12c的減法結果，選擇并輸出從Y轉換部件12a或12b輸入到輸入端口 O或I的當前幀或過去幀中的每個像素的亮度值Y。此處，當從減法電路12c輸入的符號位是“I”時，當前幀的亮度值Y的大小大于過去幀的亮度值Y的大小，并且因此，選擇部件12d輸出當前幀的亮度值Y，而選擇部件12e輸出過去幀的亮度值Y。選擇部件12d在從減法電路12c輸入的符號為“O”的情形中將輸入到輸入端口 O的亮度值Y輸出，而在符號為“I”的情形中將輸入到輸入端口 I的亮度值Y輸出。在另一方面，當輸入符號位是“I”時，過去幀的亮度值Y大于當前幀的亮度值Y，并且因此，選擇部件12d輸出過去幀的亮度值Y，而選擇部件12e輸出當前幀的亮度值Y。在從減法電路 12c輸入的符號為“O”的情形中，選擇部件12e將輸入到輸入端口 O的亮度值Y輸出，而在符號為“ I ”的情形中，將輸入到輸入端口 I的亮度值Y輸出。除法電路12f將如下值作為“等級變化比”獲得從選擇部件12d輸出的具有更高等級的像素的亮度值Y的等級與從選擇部件12W輸出的具有更低等級的像素的亮度值Y的等級的比率。在圖中所示的等級變化比被近似地記錄為“更高等級/更低等級”。然后，除法電路12f不僅將等級變化比輸出到減法電路12g，還其輸出到閃光帶校正電路17。在等級變化比高于閾值TH_LV的情形中，減法電路12g輸出像素的存在，該像素滿足包括在變化量判定值中的第一條件。在當前幀和過去幀中相同位置處的像素的等級的變化量小的情形中，該變化量判定值被輸出為“0”，而在變化大的情形中，被輸出為“I”。另外，減法電路12C將“變化量符號”作為變化方向輸出，該變化方向表示正等級變化量和負等級變化量中的一個。在包括在當前幀中的像素等級高于過去幀中的像素等級的情形中， 變化量符號是正的，并且被設置為“O”。在另一方面，在包括在過去幀中的像素等級高于當前幀中的像素等級的情形中，變化量符號是負的，并且被設置為“ I ”。接下來，水平方向積分單元13針對在水平方向上的每行，對由等級比較單元12輸出的變化量判定值進行積分，以便判定第二條件。圖4是示出了水平方向積分單元13的內部配置示例的框圖。水平方向積分單元13包括水平方向積分部件13a，該水平方向積分部件13a通過對在水平方向上的每一行具有更大變化量的像素的變化量判定值進行積分來獲得積分值。 另外，水平方向積分單元13包括水平方向積分部件13d，該水平方向積分部件13d通過對經過每一行的高通濾波器的變化量判定值進行積分來獲得積分值。在變化量判定值是“O”的情形中，通過利用水平方向積分部件13a來對每行進行積分所獲得的積分值是“O”。在另一方面，在變化量判定值是“ I ”的情形中，作為對變化量判定值進行積分的結果，積分值與具有更大變化量的像素數相同。水平方向積分部件13a包括乘法部分13al，該乘法部分13al將從等級比較單元 12輸入的變化量判定值乘以-I。另外，水平方向積分部件13a包括選擇部分13a2，該選擇部分13a2輸入通過利用乘法部分13al將從等級比較單元12輸入的變化量判定值乘以_1 所獲得的變化量判定值，并且，基于從等級比較單元12輸入的變化量符號，將所選擇的變化量判定值輸出。另外，水平方向積分部件13a包括相加電路13a3，該相加電路13a3對由選擇部分13a2輸出的對應于在水平方向上的一行的變化量判定值進行積分，和絕對值轉換部分13a4，該絕對值轉換部分13a4將積分值轉換成絕對值。另外，水平方向積分部件13a 包括減法電路13a5，該減法電路13a5通過將由絕對值轉換部分13a4輸出的絕對值減去閾值TH_INTEG來輸出“積分值判定值”，該“積分值判定值”用于判定積分值的大小關系。接下來，將描述水平方向積分單元13的操作示例。水平方向積分單元13的水平方向積分部件13a通過對變化量判定值進行積分來獲得水平方向積分值，該變化量判定值的等級變化比等于或高于包括在當前幀的等級線中的每個像素的第一閾值(TH_LV)。然后，水平方向積分部件13a獲得指示在水平方向上的積分值是否等于或大于第二閾值(TH_INTEG)的積分值判定值，并且獲得表示正號或負號之一的積分值符號。包括在水平方向積分部件13a中的乘法部分13al將通過把可變量判定值乘以_1 所獲得的值輸入到選擇部分13a2的輸入端口 I。此處，在滿足第一條件的像素的變化量判定值是I的情形中，乘法部分13al將把其乘以-I所獲得的-I輸出到選擇部分13a2。在另一方面，在滿足第一條件的像素的變化量判定值是O的情形中，乘法部分13al將把其乘以-I所獲得的O輸出到選擇部分13a2。變化量判定值被直接輸入到選擇部分13a2的輸入端口 O。在變化量符號是O的情形中，選擇部分13a2將變化量判定值輸出到輸入端口 0， 而在變化量符號是I的情形中，選擇部分13a2將變化量判定值輸出到輸入端口 I。加法電路13a3通過將由對應于一行的選擇部分13a2所輸出的變化量判定值進行積分來獲得積分值。此處，在變化量小的情形中，變化量判定值是0，并且變化量符號是0，由加法電路13a3 所積分的積分值是O。在變化量大的情形中，根據變化量符號由選擇部分13a2所輸出的變化量判定值是積分帶有正號或負號的積分值。加法電路13a3將“積分值符號”作為知識積分值是正的還是負的的符號輸出。在積分值是正的的情形中，積分值符號被輸出為0，而在積分值是負的的情形中，積分值符號被輸出為I。絕對值轉換部分13a4計算帶有正號或負號的積分值的絕對值，并且，減法電路 13a5從閾值TH_INTEG中減去絕對值并判斷絕對值的大小關系。在絕對值比閾值TH_INTEG 足夠大得多的情形中，減法電路13a5將判定結果作為“積分值判定值”輸出。此處，在積分值的絕對值小于閾值TH_INTEG的情形中，減法電路13a5將積分值判定值輸出為0，而在積分值的絕對值等于或大于閾值TH_INTEG的情形中，減法電路13a5將積分值判定值輸出為 I。水平方向積分單元13的水平方向積分部分13d執行類似于上述的水平方向積分部分13a的處理的處理，并且因此，對省略了對每個框的詳細描述，與配置水平方向積分部分13a的框相同的參考標號被指派給該每個框。但是，為了在水平方向積分部件13d中判定增加區域或減少區域的開始行(第四條件)，一行延遲部件13b被布置在選擇部分13a2 和加法電路13a3之間。換言之，水平方向積分部件13d獲得“HPF積分值”，該HPF積分值是通過從對包括在垂直方向中的彼此鄰接的行中并位于水平方向中的相同位置處的每個像素的其他變化量判定值中減去一個變化量判定值的結果進行積分所獲得的。此時，減法部件13c通過從出現在輸入到水平方向積分部件13d的坐標X的位置處的像素所獲得的變化量判定值中減去位于在X方向上的相同位置處并在y方向上被延遲一行的像素所獲得的變化量判定值來獲得差值。然后，加法電路13a3通過對一行的差值進行積分而獲得HPF積分值。另外，水平方向積分部件13d獲得HPF積分值判定值，該HPF積分值判定值指示HPF 積分值是等于還是大于第五閾值(TH_HPF_INTEG)，并且，水平方向積分部件13d獲得HPF積分值符號，該HPF積分值符號表HPF積分值的符號是正號還是負號。將一行延遲部件13b和減法部件13c布置在水平方向積分部件13d中的原因是識別FB和視頻，該視頻通過利用某現象來捕獲彼此具有高亮度的運動體而被獲得，在該現象中，在通過對具有高亮度的運動體進行成像所獲得的視頻幀的每行中，彼此的亮度不同。當 FB被生成，包括在垂直方向上彼此鄰接的行中的像素的亮度值Y的變化量相當大。但是，在對具有高亮度的運動體進行成像的情形中，包括在垂直方向上彼此鄰接的行中的像素的亮度值Y的變化量小。因此，通過將一行延遲部件13b、減法部件13c和加法電路13a3用作高通濾波器，判定在垂直方向上是否出現高頻分量，并且，僅有FB能被正確識別，而不將通過對具有高亮度的運動體進行成像所獲得的識別錯誤地識別為FB。之后，減法電路13a5比較由絕對值轉換部分13a4所轉換的絕對值和閾值TH_HPF_ INTEG，并且，輸出“HPF積分值判定值”，以用于判定經過高通濾波器的積分值的大小關系。 另外，加法電路13a3將“HPF積分值符號”作為指示HPF積分值的符號是正的還是負的的符號輸出。由于當前行的變化量判定值和位于當前行之前的一行的變化量判定值的差值是積分目標，因此，HPF積分值判定值可被用于判定在垂直方向是否存在高頻分量。在HPF積分值的絕對值小于閾值TH_HPF_INTEG的情形中，HPF積分值判定值被輸出為0，而在HPF積分值的絕對值等于或大于閾值TH_HPF_INTEG的情形中，HPF積分值判定值被輸出為I。另外， 在HPF積分值是正的的情形中，HPF積分值的符號被輸出為0，而在HPF積分值是負的的情形中，HPF積分值的符號被輸出為I。接下來，區域判定單元14基于水平方向積分單元13的輸出結果判定第四條件是否滿足。此時，保持在判定保持單元16中的FB判定結果被使用。因此，首先，將描述配置的示例和判定保持單元16的操作。圖5是示出了判定保持單元16的內部配置的示例的框圖。判定保持單元16包括與(AND)電路16a，該與電路16a獲得從垂直方向積分單元 15輸入的FB開始判定值和行時段的重置信號的邏輯積，并且，針對每行輸出FB開始判定值。另外，判定保持單元16包括與電路16b，該與電路16b獲得從垂直方向積分單元15輸入的FB結束判定值和行時段的重置信號的邏輯積，并且，針對每行輸出FB結束判定值。另外，判定保持單元16包括具有S (設置)端子的鎖存電路16c和16f，由與電路輸出的FB開始判定值被輸入到該S端子。鎖存電路16f的輸出被用作表示FB開始行的FB開始行判定值。另外，判定保持單元16包括與電路16d，該與電路16d獲得鎖存電路16c的輸出信號的反向信號和幀時段的重置信號的邏輯積。另外，判定保持單元16包括或電路16e，該或電路16e獲得與電路16b和16d的信號的邏輯和，并且，將結果信號輸出到鎖存電路16f的 R(重置)端子。另外，判定保持單元16包括或電路16g，與電路16a的輸出信號和幀時段的重置信號被輸入到該或電路16g，并且，判定保持單元16包括鎖存電路16h，該鎖存電路 16h具有S端子(與電路16b的輸出信號被輸入到該端子)和R端子(或電路16g的輸出信號被輸入到該端子)。鎖存電路16h的輸出被用作表示FB結束行的FB結束行判定值。
另外，判定保持單元16包括與電路16i，該與電路16i獲得鎖存電路16f的輸出信號和幀時段的重置信號的邏輯積，并且，判定保持單元16包括鎖存電路16j，該鎖存電路 16 j包括S端子(與電路16i的輸出信號被輸入到該端子)。O被輸入到鎖存電路16 j的R 端子。另外，判定保持單元16包括與電路16k，該與電路16k獲得鎖存電路16f的輸出信號和鎖存電路16j的反向信號的邏輯積，并且，判定保持單元16包括與電路161，該與電路 161獲得鎖存電路16h和16j的輸出信號的邏輯積。與電路16k的輸出信號被用作表不“不在FB時段期間和FB開始行判定值”。由與電路161所輸出的輸出值被用于表示“在FB時段期間和FB結束行判定值”。接下來，將描述判定保持單元16的操作的示例。判定保持單元16基于幀的行時段和根據行時段的幀時段以及幀時段，針對預定時段保持FB開始判定值和FB結束判定值。然后，判定保持單元16基于FB開始判定值將表示對FB開始行的位置的判定的FB開始行判定值輸出到區域判定單元14，并且，基于FB 結束判定值將表示對FB結束行的位置的判定的FB結束行判定值輸出到區域判定單元14。更具體地，判定保持單元16保持在行時段和幀時段處的FB開始/結束判定值(其為垂直方向積分單元15的輸出結果)，并且，基于在行時段處所保持的FB開始/結束判定值，將FB開始/結束行判定值輸出。然后，判定保持單元16通過組合在幀時段處所保持的 FB開始/結束行判定值，一起輸出“不在FB時段期間和FB開始行判定值”和“在FB時段期間和FB結束行判定值”。“不在FB時段期間和FB開始行判定值”被用于檢測FB (參見圖14)，該FB在一幀中完成。在這種情形中，對應于FB提示結束(tip end)的當前幀的像素等級并未從過去幀的等級中改變。因此，FB的提示結束并不是等級在負方向上變化的行，而是等級不變化的行。“在FB時段期間和FB結束行判定值”被用于檢測FB是連續的，并且，在一幀中FB的結束緊接其后，下一 FB開始(參見圖12A和圖12B)。在這種情形中，對應于在當前幀中所開始的FB的開始結束的行的像素等級并未從當前幀的等級中改變。因此，FB的開始結束并不是等級在正方向上變化的行，而是等級不變化的行。接下來，將描述區域判定單元14的配置和操作的示例。圖6是示出了區域判定單元14的內部配置的示例的框圖。區域判定單元14包括與電路14a，該與電路14a獲得從水平方向積分部件13a輸入的積分值判定值和反向積分值符號的邏輯積，并且，區域判定單元14包括與電路14b，該與電路14b獲得積分值判定值和積分值符號的邏輯積。另外，區域判定單元14包括與電路 14c，該與電路14c獲得從水平方向積分部件13d輸入的HPF積分值判定值和反向HPF積分值符號的邏輯積，并且，區域判定單元14包括與電路14d，該與電路14d獲得HPF積分值判定值和HPF積分值符號的邏輯積。另外，區域判定單元14包括或電路14e，該或電路14e將與電路14c的輸出信號和從稍后描述的與電路14m輸出的增加區域判定值作為輸入接收，并且，獲得其邏輯積。另外，區域判定單元14包括或電路14f，該或電路14f將與電路14d的輸出信號和由稍后描述的與電路14η輸出的增加的區域判定值作為輸入接收，并且，獲得其邏輯積。另外，區域判定單元14包括與電路14g，該與電路14g將與電路14a和或電路14e 的輸出信號作為輸入接收，并且，獲得其邏輯積，并且，區域判定單元14包括與電路14h，該與電路14h將與電路14b的方向輸出信號和或電路14e的輸出信號作為輸入接收，并且，獲得其邏輯積。另外，區域判定單元14包括與電路14i，該與電路14i將與電路14a的反向輸出信號和或電路Hf的輸出信號作為輸入接收，并且，獲得其邏輯積，并且，區域判定單元 14包括與電路14 j，該與電路14 j將與電路14b和或電路14f的輸出信號作為輸入接收，并且，獲得其邏輯積。另外，區域判定單元14包括選擇部件14k，該選擇部件14k選擇將與電路14g和 14h的輸出信號輸入到輸入端口 O和1，并且，基于“在FB時段期間和FB結束行判定值”的輸入，將所選擇的輸出信號輸出。另外，區域判定單元14包括選擇部件141，該選擇部件141 選擇將與電路14i和14j的輸出信號輸入到端口 I和0，并且，基于“不在FB時段期間和FB 開始行判定值”的輸入，將所選擇的輸出信號輸出。另外，區域判定單元14包括與電路14m， 該與電路14m獲得選擇部件14k的輸出信號和反向“FB開始行判定值”的邏輯積，并且，區域判定單元14包括與電路14η，該與電路14η獲得選擇部件141的輸出信號和反向“FB結束行判定值”的邏輯積。與電路14m將增加區域判定值輸出到垂直積分單元15，并且，與電路14η將增加區域判定值輸出到垂直方向積分單元15。接下來，將描述區域判定值14的操作的示例。基于積分值判定值和積分值符號，在積分值符號是正的的情形中，區域判定單元 14輸出表示對增加區域的判定的增加區域判定值，在該增加區域中，包括在當前幀中的像素的亮度高于包括在過去幀中的像素的亮度。在另一方面，在積分值符號是負的的情形中， 區域判定單元14輸出表示對減少區域的判定的減少區域判定值，在該減少區域中，包括在當前幀中的像素的亮度低于包括在過去幀中的像素的亮度。另外，區域判定單元14通過基于HPF積分值判定值和HPF積分值符號來判定在垂直方向上是否出現高頻分量，從而基于閃光來檢測是否出現FB。在如下情形中，區域判定單元14判定增加區域“在FB時段期間和FB結束行判定值”為1、HPF積分值判定值為1，以及HPF積分值符號是O (正的)。該增加區域是一組行， 該行到達至積分值是I (積分值在負方向上大)的行，并且，在該行之后，積分值判定值是I。 另外，在如下情形中，增加區域在判定“在FB時段期間和FB結束行判定值”是0、HPF積分值判定值是1，并且HPF積分值符號是O (正的)。該增加區域是一組行，在該組行之后，積分值判定值是1，并且，積分值符號是0(積分值在正方向上大)。增加區域是滿足第一、第二和第四條件的區域，并且，具有在正方向上變化的等級(等級在負方向上不變化)。在另一方面，在如下情形中，在到達積分值在正方向上增加的行之后的一組行被判定為減少區域“不在FB時段期間和FB開始行判定值”是I、HPF積分值判定值是1，并且，HPF積分值符號是I。另外，在如下情形中，在到達積分值在負方向上增加的行之后的一組行被判定為減少區域“不在FB時段期間和FB開始行判定值”是0、HPF積分值判定值是 1，并且，HPF積分值符號是I。減少區域是滿足第一、第二和第四條件的區域，并且，具有在負方向上變化的等級(或不在正方向上變化的等級)。接下來，垂直方向積分單元15判定通過基于區域判定單元14的輸出結果對一組連續行進行積分(計數)來判定是否滿足第三條件。以下，將描述垂直方向積分單元15的配置和操作示例。圖7是示出了垂直方向積分單元15的內部配置的示例的框圖。
垂直方向積分單元15包括計數器15a，該計數器15a在從區域判定單元14輸入的區域判定值是I的情形中，對計數值進行積分，而在增加區域判定值是O的情形中，將計數值重置，并且，垂直方向積分單元15包括減法部件15b，該減法部件15b通過從閾值TH_UP_ LINES中減去計數值而獲得相減值。當認識到增加區域的數量大于由閾值TH_UP_LINES所定義的行數時，減法部件15b輸出FB開始判定值。另外，垂直方向積分單元15包括計數器 15c，該計數器15c在從區域判定單元14輸入的增加區域判定值是I的情形中，對計數值進行積分，而在減少區域判定值是O的情形中，將計數值重置，并且，垂直方向積分單元15包括減法部件15d，該減法部件15d從閾值TH_DN_LINES中減去計數值。當認識到增加區域的數量大于由閾值TH_DN_LINES所定義的行數時，減法部件15d輸出FB結束判定值。接下來，將描述垂直方向積分單元15的操作的示例。此時，在通過針對在垂直方向上的每行的增加區域判定值進行積分所獲得的增加區域判定值積分值等于或大于第三閾值(TH_UP_LINES)的情形中，垂直方向積分單元15輸出表示FB在幀中開始的FB開始判定值。另外，在通過針對在垂直方向上的每行的減少區域判定值進行積分所獲得的減少區域判定值積分值等于或大于第四閾值(TH_DN_LINES)的情形中，垂直方向積分單元15輸出表示FB在幀中結束的FB結束判定值。更具體地，計數器15a對其增加區域判定值是I (等級在滿足第一、第二和第四條件的區域中的正方向上變化)的連續行的數量進行計數。在所計數的值大于閾值TH_UP_ LINES的情形中，減法部件15b判定FB的開始，并且，將增加區域判定值重置為O。在另一方面，計數器15c對減少區域判定值是I的行的數量進行計數。然后，在所計數的值大于閾值TH_DN_LINES的情形中，減法部件15d判定FB的結束，并且，將減少區域判定值重置為O。閃光帶校正電路17判定一組行，該組行開始于垂直方向積分單元15輸出FB開始判定值的行，并結束于FB結束判定值被作為“FB估計部件”輸出的行，該部件被估計為其中 FB是連續的的部件。另外，在如下情形中，FB結束判定值是無效的FB的結束是在未判定 FB的開始的狀態中判定的。然后，將描述基于FB開始/結束判定值利用當前幀和過去幀來執行FB校正的閃光帶校正電路17的處理的示例。圖8是示出了 FB校正處理的操作示例的流程圖。首先，閃光帶校正電路17基于由閃光帶檢測電路10輸出的FB開始/結束判定值來判定FB開始判定值是否出現在幀中(步驟SI)。在未出現FB開始判定值的情形中，過去幀(用于檢測FB的目標幀)被直接輸出(以下，稱為“通過輸出“)，而不執行對其的任何校正處理(步驟S2)。在該通過輸出中，不僅輸出通過復制過去幀所獲得的輸出陣，而且存在通過復制當前幀所獲得的輸出幀被輸出的情形。在出現FB開始判定值的情形中，判定FB結束判定值是否出現在幀中(步驟S3)。 在未出現FB結束判定值的情形中，可以估計，其當前在FB時段期間內。在這種情形中，“全面臉部閃光處理”被執行，其中，比較包括在當前幀和過去幀中的像素的亮度值，并且，輸出將要替換到具有更大亮度值的像素中的輸出幀，從而決定由于FB而導致的等級中差異(步驟S4)。通過全面臉部處理，在特定幀中的像素的等級可被提升，以便在整個臉部上均勻。 另外，在包括當前幀和過去幀的兩幀中，可添加(平均)像素。但是，通過平均而進行閃光校正之后的等級是原始等級的1/2。
在步驟S3的處理中，在出現FB開始判定值和FB結束判定值的情形中，可以估計， 當前行在FB的結束之后。在這種情形中，執行“閃光去除處理”(步驟S4)，其中，通過比較包括在當前幀和過去幀中的像素的亮度值以及輸出將要替換到具有更低亮度的像素中的輸出幀，閃光的影響被去除。另外，“復制模式”可被選擇，其中，當前幀是通過輸出(參見圖 11至圖14)。但是，在下一個將要開始的FB被包括在完成FB的當前幀中的情形中，當通過輸出被執行時，以下所公開的FB被直接表示。針對在一幀中完成的FB (圖14)，在其中開始了 FB的幀緊接其后的幀被估計為在 FB的結束之后。因此，通過降低幀中的等級以在整個臉部均勻，用于排除閃光的閃光去除處理被執行。在一幀中完成的FB的情形中，由于閃光被成像的區域并未出現在過去幀中，并且因此，很難執行組合了當前幀和過去幀的全面臉部閃光處理。因此，FB被從當前幀中去除的“閃光去除處理”是有效的校正方法。圖9是示出了在圖8中所示出的步驟S4中所描述的全面臉部閃光處理的操作示例的流程圖。在全面臉部閃光處理中，如下處理被執行包括在當前幀和過去幀中的具有高等級的亮像素被在輸出幀中收集。首先，閃光帶校正電路17比較在當前幀和過去幀中的每個像素的等級(步驟 Sll)。然后，判定包括在當前幀中的像素的等級是否高于包括在過去幀中的像素的等級 (步驟S12)。接下來，在包括在當前幀中的像素的等級高于包括在過去幀中的像素的等級的情形中，判定通過將當前幀的像素的等級除以過去幀的像素的等級所獲得的“等級變化率”是否大于閾值TH_LV(步驟S13)。在該等級變化率大于閾值TH_LV的情形中，輸出幀被輸出 (步驟S14)，其中，其等級低的像素被替換為過去幀中具有高等級的像素。在另一方面，在等級變化率低(等于或小于閾值TH_LV)的情形中，根據等級變化率，當前幀的等級和過去幀的等級通過α被混合。在變化率是I的情形(等級相同)中， 此時的混合率α被設置為O. 5，而在變化率是TH_LV的情形中，被設置為1.0。當具有更高等級的像素的等級是H并且具有更低等級的像素的等級式L的情形中，以下計算方程滿足上述混合率α。在以下呈現的描述中，為了簡化方程，存在如下情形包括在當前幀中的像素的等級被縮寫為“當前的”，而包括在過去幀中的像素的等級被縮寫為“過去的”。
\.0(H>LxTH _LV)
a =—————+ 0.5(其他情形)……⑴
2Lx(TH _LV-l)在本示例的閃光帶校正電路17中，α =(當前的-過去的)/(2Χ過去的X (ΤΗ_ LV-l)+l/2)，并且，當前的X α+過去的X (l-α)的處理被執行(步驟S15)。另外，優選的是，應用低通濾波器(LPF)，使得混合率α在幀的空間方向上是平滑的。因此，通過生成圖像(其中，閃光在整個臉部上成像)，輸出幀被輸出。同樣，在當前幀的像素等于或低于過去幀的像素的情形中，類似于步驟S13，閃光帶校正電路17判定等級變化率是否高于在步驟S12的處理中的閾值TH_LV(步驟S16)。在等級變化率高于閾值TH_LV的情形中，通過將在過去幀中具有低等級的像素替換為在當前幀中具有高等級的像素，輸出幀被輸出(步驟S17)。
16
在等級變化率低(等于或低于閾值TH_LV)的情形中，閃光帶校正電路17根據等級變化率通過a混合等將像素等級混合。在本示例中，α =(過去的-當前的)/(2χ當前的x(TH_LV-l))+l/2，并且，當前的Χ(1-α) +過去的χα的處理被執行(步驟S15)。另外， 希望應用低通濾波器，使得混合率α在幀的空間方向上是平滑的。因此，輸出幀被輸出，其中，閃光在整個臉部上被成像的視頻被生成。圖10是示出了在圖8中所示的步驟S5中所描述的閃光去除處理的操作示例的流程圖。在該閃光去除處理中，如下處理被執行具有包括在當前幀和過去幀中的低等級的黑像素被在輸出幀中收集。不同于參照圖9所描述的全面臉部閃光處理，閃光帶校正電路17將在當前幀中具有高等級的像素替換為在過去幀中具有低等級的像素。更具體地，針對在全面臉部閃光處理中所計算的混合率α，可將l-α設置為混合率。因此，可生成其中閃光未被包括在幀的整個臉部中的視頻，換言之，可生成其中FB被去除的視頻。首先，閃光帶校正電路17比較在當前幀和過去幀中的每個像素的等級(步驟 S21)。然后，閃光帶校正電路17判定包括在當前幀中的像素的等級是否高于包括在過去幀中的像素的等級(步驟S22)。接下來，在包括在當前幀中的像素的等級高于包括在過去幀中的像素的等級的情形中，閃光帶校正電路17判定等級變化率是否高于閾值TH_LV(步驟S23)。在等級變化率高于閾值TH_LV的情形中，通過將在過去幀中具有高等級的像素替換為在當前幀中具有低等級的像素，輸出幀被輸出(步驟S24)。在等級變化率低(等于或低于閾值TH_LV)的情形中，閃光帶校正電路17根據等級變化率通過a混合等將等級混合。在變化率是I (等級相同)的情形中，此時的混合率a 被設置為值O. 5，而在變化率是TH_LV的情形中，被設置為I. O。在本示例的閃光帶校正電路17中，α =(當前的-過去的)/(2χ過去的χ(ΤΗ_ LV_l))+l/2，并且，當前的χ(Ι-α)+過去的χα的處理被執行(步驟S25)。另外，優選的是，應用低通濾波器，使得混合率α在幀的空間方向上是平滑的。因此，通過生成在整個臉部上去除了 FB的圖像，輸出巾貞被輸出。在步驟S22的處理中，同樣，在當前幀的像素的等級等于或低于過去幀的像素的等級的情形中，類似于步驟S23，閃光帶校正電路17判定等級變化率是否高于閾值ΤΗ_ LV(步驟S26)。在等級變化率高于閾值TH_LV的情形中，通過將在過去幀中具有高等級的像素替換為在當前幀中具有低等級的像素，輸出幀被輸出(步驟S27)。在等級變化率低(等于或低于閾值TH_LV)的情形中，閃光帶校正電路17根據等級變化率通過α混合等將像素的等級混合(步驟S26)。閃光帶校正電路17將α設置為α =(過去的-當前的)/(2χ當前的x(TH_LV_l))+l/2，并且，執行當前的χα +過去的 x(l-a)的處理(步驟S25)。另外，希望應用低通濾波器，使得混合率α在幀的空間方向上是平滑的。因此，輸出幀被輸出，其中，視頻被在與當閃光在整個臉部上時的狀態相同的狀態中成像。接下來，將參照圖11至圖14來描述操作示例，其中，閃光帶檢測電路10檢測在幀中所生成的FB，并且，閃光帶校正電路17對FB進行校正。圖11示出了在FB在兩幀中連續生成的情形中的輸出幀的示例。
在圖11中，從第一幀到第五幀，示出了輸入到閃光帶檢測電路10的視頻幀。在本示例中，FB在第二幀的下部和第三幀的上部生成。閃光帶檢測電路10從FB的第二幀的開始行在輸入的視頻幀中檢測增加區域，并且，從FB的第三幀的結束行檢測減少區域。然后，閃光帶校正電路17將第一幀作為也在去除模式和復制模式之中的一個中的通過輸出輸出。接下來，閃光帶校正電路17執行全面臉部閃光處理，其中，第二幀和第三幀的增加區域被組合，并且，輸出結果。接下來，在去除模式中，第三幀和第四幀的減少區域被組合和輸出，閃光被去除。在另一方面，在復制模式中， 第四幀被作為通過輸出輸出。由于在那之后FB校正對輸出幀而言不是必須的，因此，輸出幀別直接作為通過輸出輸出。另外，當通過輸出被執行時，閃光帶校正電路17將在當前幀之前一幀的過去幀設置為輸出幀。但是，在FB包括在當前幀的前一幀中的幀之中并且全面臉部閃光處理或閃光去除處理未執行的情形中，作為通過輸出而被輸出的幀被變更，使得當前幀被設置為輸出幀，并且之后，過去幀被設置為輸出幀。圖12A和12B是示出了 FB在三幀中連續生成的情形中的輸出幀的示例的示意圖。在圖12A和圖12B中，從第一幀到第六幀示出了輸入到閃光帶檢測電路10的視頻幀。在本示例中，從第二幀到第四幀，FB被生成兩次。圖12A示出了在FB中存在中斷的情形中的FB檢測處理和FB校正處理的示例。在本示例中，雖然FB從第二幀到第四幀中生成，閃光在短時間內連續，但是，FB被在第三幀中中斷。在這種情形中，閃光帶檢測電路10從包括在第一次出現閃光的第二幀中的FB開始行檢測增加區域，并且，識別到FB結束行，在該行處，減少區域被檢測為FB估計部分。另外，在第三幀中，從閃光結束處的FB結束行檢測減少區域，并且接下來，從包括在閃光再次出現的區域中的FB開始行檢測增加區域。然后，在第四幀中，從閃光被中斷處的 FB結束行識別減少區域，并且，還在第五幀中識別減少區域。然后，在去除模式和復制模式中的任意一個中的閃光帶校正電路17將第一幀作為通過輸出而輸出，并且通過組合增加區域，將第二幀和第三幀以及第三幀和第四幀作為整個臉部閃光輸出。另外，在去除模式中，第四幀和第五幀的減少區域被組合并通過去除閃光而輸出。另外，在復制模式中，第五巾貞被作為通過輸出而輸出。針對在那之后的輸出中貞， FB校正不是必須的，并且，輸出幀被直接作為通過輸出而輸出。圖12B示出了在FB中不存在中斷的情形中的FB檢測處理和FB校正處理的示例。圖12B與圖12A的不同之處在于在第三幀中不存在FB中斷。因此，閃光帶檢測電路10通過在每幀中檢測增加區域和減少區域而檢測FB的生成。然后，如在圖12A中所示，閃光帶校正電路17輸出其中FB被作為通過輸出生成的幀，并且，輸出其中通過組合增加區域而生成FB的幀。另外，閃光帶校正電路17輸出其中包括了 FB結束行和通過組合下一幀的減少區域而被去除的閃光的幀。圖13A至圖13C示出了 FB在四個或更多個幀中被連續生成的情形中的輸出幀的示例。在圖13A至圖13C中，從第一幀到第七幀示出了輸入到閃光帶檢測電路10的視頻幀。在本示例中，從第二幀到第五幀，FB被生成兩次。圖13A示出了在FB在四幀上連續生成并且在一幀上存在FB中斷的情形中的FB檢測處理和FB校正處理的示例。在本示例中，雖然從第二幀到第五幀中生成FB，閃光在短時間內連續，但是，從第三幀到第四幀，FB被中斷。FB被中斷的時段具有等于或長于一幀的長度。在這種情形中， 閃光帶檢測電路10識別區域，其中，從第二幀到第三幀并從第四幀到第五幀，增加區域被檢測為FB估計部分。另外，閃光帶檢測電路10將從第三幀的FB結束行到第四幀和第五幀以及之后處閃光被中斷的區域識別為減少區域。然后，在去除模式和復制模式中的任意一個中的閃光帶校正電路17將第一幀作為通過輸出而輸出，并且，執行全面臉部閃光處理，其中，針對第二幀、第三幀、第四幀和第五幀，增加區域被組合，并且，輸出經過處理后的幀。另外，在去除模式中，針對第三幀和第四幀執行全面臉部閃光處理，并且，通過組合其減少區域并執行針對其的閃光去除處理來輸出第五幀和第六幀。另外，在復制模式中，第四幀和第五幀被作為通過輸出而輸出。針對在那之后的輸出幀，FB校正不是必須的，并且，輸出幀被直接輸出為通過輸出。圖13B示出了 FB在四幀或更多幀中連續生成并在少于一幀中存在FB中斷的情形中的FB檢測處理和FB校正處理的示例。在本示例中，雖然從第二幀到第五幀生成了 FB，閃光在短時間內是連續的，但是， 從第三幀到第四幀，FB被中斷。FB被中斷的時段具有少于一幀的長度。在這種情形中，閃光帶檢測電路10將從第二幀到第三幀和從第四幀到第五幀中檢測到增加區域的部分識別為FB估計部分。另外，閃光帶檢測電路10從FB結束行(其中，閃光被從第三幀中斷)到第四幀和第五幀和之后幀識別減少區域。然后，在去除模式和復制模式中的任意一個中的閃光帶校正電路17將第一幀作為通過輸出而輸出，并且，執行全面臉部閃光處理，其中，針對第二幀、第三幀、第四幀和第五幀，增加區域被組合，并且，輸出經過處理后的幀。另外，在去除模式中，針對第三幀和第四幀執行全面臉部閃光處理，并且，通過組合其減少區域并執行針對其的閃光去除處理來輸出第五幀和第六幀。另外，在復制模式中，第四幀和第五幀被作為通過輸出而輸出。針對在那之后的輸出幀，FB校正不是必須的，并且，輸出幀被直接輸出為通過輸出。圖13C示出了 FB在四幀或更多幀上連續生成并在FB中不存在中斷的情形中的FB 檢測處理和FB校正處理的示例。在本示例中，雖然FB從第二幀到第五幀被生成，閃光存在了很長時間，但是，在FB 中不存在中斷。在這種情形中，閃光帶檢測電路10將從第二幀到第五幀檢測到增加區域的部分識別為FB估計部分。另外，閃光帶檢測電路10從FB結束行識別減少區域，閃光被在第五幀和第六幀中中斷。然后，在去除模式和復制模式中的任意一個中的閃光帶校正電路17將第一幀作為通過輸出而輸出，并且，執行全面臉部閃光處理，其中，針對第二幀、第三幀、第四幀，增加區域被組合，并且，將經過處理后的幀作為全面臉部閃光輸出。另外，在第四幀之后的輸出中貞被直接作為通過輸出而輸出。圖14示出了 FB在一幀中完成的情形中的惡輸出幀的示例。在圖14中，從第一幀到第四幀示出了輸入到閃光帶檢測電路10的視頻幀。在本示例，雖然FB在第二幀中生成，但是，該FB在第二幀中完成。在這種情形中，閃光帶檢測電路10將在第二幀中檢測到增加區域的部分識別為FB估計部分。另外，在第三幀中，閃光帶檢測電路10從FB結束行識別減少區域，在第二幀中檢測到減少區域。然后，閃光帶檢測電路17將第一幀作為通過輸出而輸出。在去除模式中，通過組合第二幀和第三幀并對其執行去除處理，第二幀和第三幀被輸出，而在復制模式中，第二幀被作為通過輸出而輸出。針對在那之后的輸出巾貞，對FB的校正不是必須的，并且,輸出巾貞被直接作為通過輸出而輸出。根據實施例的上述閃光帶檢測電路10通過檢測在幀中所生成的FB的開始行和結束行可檢測其中實時地生成了 FB的幀。因此，通過執行所檢測的FB所適合的校正處理，視頻處理所必須的時間被縮短，因而存在如下優點輸出幀可實時地輸出。除了兩幀連續的FB之外，三幀或更多幀連續的FB或在一幀中完成的FB被檢測， 并且，所檢測到的FB可被校正。另外，不僅可檢測到從過去幀到當前幀的FB的生成，還可檢測到僅在當前幀中生成的FB，該FB在相關技術中很難檢測和校正。由于閃光帶校正電路 17校正所檢測到的FB，僅在一幀或多幀上的FB被有效地校正，因而，可改善輸出幀的視頻質量。另外，閃光帶校正電路17可通過利用基于由閃光帶檢測電路10所獲得的FB開始 /結束判定值的全面臉部閃光處理或閃光去除處理來根據幀中的增加區域和減少區域校正 FB。此時，根據如下情形，選擇合適的校正方法FB在兩幀或更多幀中連續的情形中的全面臉部閃光或FB在一幀中完成的情形中的閃光去除。另外，通過像素在當前幀和過去幀之間交換的FB校正，與包括在校正前的幀中的原始閃光的等級相比，包括在校正后的輸出幀中的閃光視頻的等級并未減少。另外，通過任意設置去除模式或復制模式，閃光帶校正電路17 可選擇輸出一幀，其中，FB作為通過輸出而生成。另外，當執行FB檢測和FB校正時，閃光帶檢測電路10和閃光燈校正電路17 二者可僅參照兩幀，該兩幀包括當前幀和緊接當前幀之前的過去幀。因此，可包括作為對應于一幀的幀存儲器的記錄單元11，并且因此，可以以低成本實現閃光帶處理電路。〈2.修改后的示例〉另外，在幀中檢測到FB之后，閃光帶檢測電路10可將指示對FB的檢測的符號指派給檢測到FB的幀的輔助數據區域。基于該符號，閃光帶校正電路17可校正該FB。因此， 在由閃光帶檢測電路10檢測到FB的幀被一次記錄在記錄單元11中之后，閃光帶校正電路 17可從記錄單元11讀出幀，并且，根據符號來校正FB。在相關技術中，作為校正所檢測到的FB的方法，存在一般的方法，其中，FB出現在底部和上部的兩幀被添加和平均。因此，通過利用將包括在當前幀和過去幀中的像素的亮度值進行添加和平均的方法，可以以靈活的方式回應成像環境。另外，根據上述實施例的一系列處理可以由硬件或軟件執行。在由軟件來執行一系列處理的情形中，其可由其中配置軟件的程序被嵌入到專用硬件的計算機來執行，或者可由安裝了執行各種功能的程序的計算機來執行。例如，可通過將配置所希望的軟件的程序安裝到通用個人計算機等來執行一系列處理。另外，其上記錄了實現上述實施例的功能的軟件的程序代碼的記錄介質可被提供給系統或裝置。另外，很顯然，通過利用系統的計算機(或諸如CPU之類的控制設備)或裝置，通過讀出并執行存儲在記錄介質上的程序代碼，可實現功能。作為在這種情形中的用于提供程序代碼的記錄介質，例如可使用靈活盤、硬盤、光盤、磁光盤、CD-ROM、CD-R、磁帶、非易失性存儲卡、ROM等。另外，計算機執行所讀出的代碼，從而實現上述實施例的功能。另外，基于程序代碼的指令，操作計算機的OS等執行部分或全部的實際處理。這里包括由處理來實現上述實施例的功能的情形。另外，本公開并不限于上述實施例，并且，很顯然，可使用其他各種應用和修改后的示例，只要它們不偏離由所附權利要求所定義的本公開的概念即可。另外，本公開還可具有以下配置。(I)提供了一種閃光帶處理電路，包括閃光帶檢測電路，該閃光帶檢測電路基于由包括在利用滾動快門系統的成像設備中的像素針對每幀所輸出的每行的視頻信號的曝光時段差來檢測閃光帶的開始行和結束行，該閃光帶是在幀中根據閃光所生成的每行的等級差。(2)在(I)中所描述的閃光帶處理電路，其中，所述閃光帶檢測電路檢測由所述成像設備輸出的當前幀中的閃光帶的生成，或由所述成像設備輸出的、從所述當前幀之前的預定數量的幀到所述當前幀中的一過去幀的閃光帶的生成。(3)在⑵中所描述的閃光帶處理電路，其中，所述閃光帶檢測電路通過執行以下操作來檢測所述閃光帶的生成通過比較在針對每個像素當前幀和過去幀連續的幀之間的等級來獲得比較結果，基于所述比較結果指定變化量大的水平行，并且檢測作為在所述變化量大的連續水平行和所述變化量小的連續水平行之間的邊界的行。(4)在(3)中所描述的閃光帶處理電路，還包括等級比較單元，該等級比較單元獲得出現在所述當前幀和過去幀的特定位置處的像素的亮度等級的比率作為等級變化率， 并且，獲得指示所述等級變化率是否是等于或高于第一閾值的等級變化量作為變化量判定值；水平方向積分單元，該水平方向積分單元獲得積分值判定值，該積分值判定值指示通過針對包括在所述當前幀的水平方向上的行中的每個像素對所述等級變化率等于或高于第一閾值的所述變化量判定值進行積分所獲得的水平方向積分值是否是等于或大于第二閾值，并且，該水平方向積分單元獲得表示所述積分值的正號或負號的積分值符號；區域判定單元，該區域判定單元基于所述積分值判定值和所述積分值符號，在所述積分值符號為正的情形中，輸出判定增加區域的增加區域判定值，在所述增加區域中，包括在所述當前幀中的像素的亮度高于在所述過去幀中的像素的亮度，并且，在所述積分值符號為負的情形中， 輸出判定減少區域的減少區域判定值，在所述減少區域中，包括在所述當前幀中的像素的亮度低于在所述過去幀中的像素的亮度；垂直方向積分單元，在通過針對在垂直方向上的每行對所述增加區域判定值進行積分所獲得的增加區域判定值積分值等于或大于第三閾值的情形中，該垂直方向積分單元輸出表示幀中的閃光帶的開始的閃光帶開始判定值，并且，在通過針對在垂直方向上的每行對所述減少區域判定值進行積分所獲得的減少區域判定值積分值等于或大于第四閾值的情形中，該垂直方向積分單元輸出表示幀中的閃光帶的結束的閃光帶結束判定值；以及判定保持單元，該判定保持單元基于幀的行時段和幀時段、 按照行時段和幀時段，將所述閃光帶開始判定值和所述閃光帶結束判定值保持預定時段， 基于所述閃光帶開始判定值將判定所述閃光帶的開始行的閃光帶開始行判定值輸出到所述區域判定單元，并且，基于所述閃光帶結束判定值將判定所述閃光帶的結束行的閃光帶結束行判定值輸出到所述區域判定單元。
21
(5)在(4)中所描述的閃光帶處理電路，其中，所述水平方向積分單元針對包括在在垂直方向上彼此鄰接的行中的、在水平方向上位于相同位置處的每個像素，獲得第二積分值判定值，該第二積分值判定值表示通過將一個變化量判定值從其他變化量判定值中減去的結果進行積分所獲得的積分值是否是等于或大于第五閾值，并且，所述水平方向積分單元獲得表示所述積分值是具有正號還是負號的第二積分值符號，并且其中，所述區域判定單元基于所述第二積分值判定值和所述第二積分值符號，通過判定在幀中是否出現在垂直方向上的高頻分量，來檢測是否出現由于閃光所導致的所述閃光帶。(6)在⑴到(5)中的任一項中所描述的閃光帶處理電路，其中，表示檢測到所述閃光帶的符號被附接到檢測到所述閃光帶的幀的輔助數據區域。(7)在(I)到(6)中的任一項中所描述的閃光帶處理電路，還包括閃光帶校正單元，該閃光帶校正單元輸出一輸出幀，在該輸出幀中所生成的閃光帶基于所述閃光帶開始判定值和所述閃光帶結束判定值被校正。(8)在(7)中所描述的閃光帶處理電路，其中，所述閃光帶校正單元比較包括在所述當前幀和所述過去幀中的像素的亮度值，并且，輸出具有較大亮度值的像素被替換的輸出幀。(9)在(7)或⑶中所描述的閃光帶處理電路，其中，所述閃光帶校正單元比較包括在所述當前幀和所述過去幀中的像素的亮度值，并且，輸出具有較小亮度值的像素被替換的輸出中貞。(10)在(7)到(9)中的任一項中所描述的閃光帶處理電路，其中，所述閃光帶校正單元輸出通過復制所述過去幀所獲得的輸出幀。(11)在(7)到(10)中的任一項中所描述的閃光帶處理電路，其中，所述閃光帶校正單元輸出通過對包括在所述當前幀和所述過去幀中的像素的亮度值相加和取平均所獲得的輸出中貞。(12)提供了一種處理閃光帶的方法，所述方法包括基于由包括在利用滾動快門系統的成像設備中的像素針對每幀所輸出的每行的視頻信號的曝光時段差來檢測閃光帶的開始行和結束行，該閃光帶是在幀中根據閃光所生成的每行的等級差。(13)提供了一種成像裝置，包括閃光帶檢測電路，該閃光帶檢測電路基于由包括在利用滾動快門系統的成像設備中的像素針對每幀所輸出的每行的視頻信號的曝光時段差來檢測閃光帶的開始行和結束行，該閃光帶是在幀中根據閃光所生成的每行的等級差；以及閃光帶校正電路，該閃光帶校正電路輸出被校正成幀中沒有閃光帶生成的視頻的輸出幀。(14)提供了一種成像處理方法，包括基于由包括在利用滾動快門系統的成像設備中的像素針對每幀所輸出的每行的視頻信號的曝光時段差來檢測閃光帶的開始行和結束行，該閃光帶是在幀中根據閃光所生成的每行的等級差；以及輸出被校正成幀中沒有閃光帶生成的視頻的輸出幀。本公開包括與2011年I月24日遞交日本專利局的日本優先權專利申請JP 2011-012034公開的內容有關的主題，該申請的全部內容通過引用被結合于此。本領域技術人員應當理解，取決于設計要求和其他因素，可以發生各種修改、組合、子組合和變更，只要它們在所附權利要求或其等同物的范圍內即可。
權利要求
1.一種閃光帶處理電路，包括閃光帶檢測電路，該閃光帶檢測電路基于由包括在利用滾動快門系統的成像設備中的像素針對每幀所輸出的每行的視頻信號的曝光時段差來檢測閃光帶的開始行和結束行，該閃光帶是在幀中根據閃光所生成的每行的等級差。
2.根據權利要求I所述的閃光帶處理電路，其中，所述閃光帶檢測電路檢測由所述成像設備輸出的當前幀中的閃光帶的生成，或由所述成像設備輸出的、從所述當前幀之前的預定數量的幀到所述當前幀中的一過去幀的閃光帶的生成。
3.根據權利要求2所述的閃光帶處理電路，其中，所述閃光帶檢測電路通過執行以下操作來檢測所述閃光帶的生成通過比較在針對每個像素當前幀和過去幀連續的幀之間的等級來獲得比較結果，基于所述比較結果指定變化量大的水平行，并且檢測作為在所述變化量大的連續水平行和所述變化量小的連續水平行之間的邊界的行。
4.根據權利要求3所述的閃光帶處理電路，還包括等級比較單元，該等級比較單元獲得出現在所述當前幀和過去幀的特定位置處的像素的亮度等級的比率作為等級變化率，并且，獲得指示所述等級變化率是否是等于或高于第一閾值的等級變化量作為變化量判定值；水平方向積分單元，該水平方向積分單元獲得積分值判定值，該積分值判定值指示通過針對包括在所述當前幀的水平方向上的行中的每個像素對所述等級變化率等于或高于第一閾值的所述變化量判定值進行積分所獲得的水平方向積分值是否是等于或大于第二閾值，并且，該水平方向積分單元獲得表示所述積分值的正號或負號的積分值符號；區域判定單元，該區域判定單元基于所述積分值判定值和所述積分值符號，在所述積分值符號為正的情形中，輸出判定增加區域的增加區域判定值，在所述增加區域中，包括在所述當前幀中的像素的亮度高于在所述過去幀中的像素的亮度，并且，在所述積分值符號為負的情形中，輸出判定減少區域的減少區域判定值，在所述減少區域中，包括在所述當前幀中的像素的亮度低于在所述過去幀中的像素的亮度；垂直方向積分單元，在通過針對在垂直方向上的每行對所述增加區域判定值進行積分所獲得的增加區域判定值積分值等于或大于第三閾值的情形中，該垂直方向積分單元輸出表示幀中的閃光帶的開始的閃光帶開始判定值，并且，在通過針對在垂直方向上的每行對所述減少區域判定值進行積分所獲得的減少區域判定值積分值等于或大于第四閾值的情形中，該垂直方向積分單元輸出表示幀中的閃光帶的結束的閃光帶結束判定值；以及判定保持單元，該判定保持單元基于幀的行時段和幀時段、按照行時段和幀時段，將所述閃光帶開始判定值和所述閃光帶結束判定值保持預定時段，基于所述閃光帶開始判定值將判定所述閃光帶的開始行的閃光帶開始行判定值輸出到所述區域判定單元，并且，基于所述閃光帶結束判定值將判定所述閃光帶的結束行的閃光帶結束行判定值輸出到所述區域判定單元。
5.根據權利要求4所述的閃光帶處理電路，其中，所述水平方向積分單元針對包括在在垂直方向上彼此鄰接的行中的、在水平方向上位于相同位置處的每個像素，獲得第二積分值判定值，該第二積分值判定值表示通過將一個變化量判定值從其他變化量判定值中減去的結果進行積分所獲得的積分值是否是等于或大于第五閾值，并且，所述水平方向積分單元獲得表示所述積分值是具有正號還是負號的第二積分值符號，并且其中，所述區域判定單元基于所述第二積分值判定值和所述第二積分值符號，通過判定在幀中是否出現在垂直方向上的高頻分量，來檢測是否出現由于閃光所導致的所述閃光帶。
6.根據權利要求5所述的閃光帶處理電路，其中，表示檢測到所述閃光帶的符號被附接到檢測到所述閃光帶的幀的輔助數據區域。
7.根據權利要求6所述的閃光帶處理電路，還包括閃光帶校正單元，該閃光帶校正單元輸出一輸出幀，在該輸出幀中所生成的閃光帶基于所述閃光帶開始判定值和所述閃光帶結束判定值被校正。
8.根據權利要求7所述的閃光帶處理電路，其中，所述閃光帶校正單元比較包括在所述當前幀和所述過去幀中的像素的亮度值，并且，輸出具有較大亮度值的像素被替換的輸出幀。
9.根據權利要求7所述的閃光帶處理電路，其中，所述閃光帶校正單元比較包括在所述當前幀和所述過去幀中的像素的亮度值，并且，輸出具有較小亮度值的像素被替換的輸出幀。
10.根據權利要求7所述的閃光帶處理電路，其中，所述閃光帶校正單元輸出通過復制所述過去幀所獲得的輸出幀。
11.根據權利要求7所述的閃光帶處理電路，其中，所述閃光帶校正單元輸出通過對包括在所述當前幀和所述過去幀中的像素的亮度值相加和取平均所獲得的輸出幀。
12.一種處理閃光帶的方法，所述方法包括基于由包括在利用滾動快門系統的成像設備中的像素針對每幀所輸出的每行的視頻信號的曝光時段差來檢測閃光帶的開始行和結束行，該閃光帶是在幀中根據閃光所生成的每行的等級差。
13.一種成像裝置，包括閃光帶檢測電路，該閃光帶檢測電路基于由包括在利用滾動快門系統的成像設備中的像素針對每幀所輸出的每行的視頻信號的曝光時段差來檢測閃光帶的開始行和結束行，該閃光帶是在幀中根據閃光所生成的每行的等級差；以及閃光帶校正電路，該閃光帶校正電路輸出被校正成幀中沒有閃光帶生成的視頻的輸出幀。
14.一種成像處理方法，包括基于由包括在利用滾動快門系統的成像設備中的像素針對每幀所輸出的每行的視頻信號的曝光時段差來檢測閃光帶的開始行和結束行，該閃光帶是在幀中根據閃光所生成的每行的等級差；以及輸出被校正成幀中沒有閃光帶生成的視頻的輸出幀。
全文摘要
本發明公開了閃光帶處理電路和處理方法、成像裝置和成像處理方法。一種閃光帶處理電路包括閃光帶檢測電路，該閃光帶檢測電路基于由包括在利用滾動快門系統的成像設備中的像素針對每幀所輸出的視頻信號的曝光時段差來檢測閃光帶的開始行和結束行，該閃光帶是在幀中根據閃光所生成的每行的等級差。
文檔編號H04N5/225GK102611837SQ20121002497
公開日2012年7月25日 申請日期2012年1月17日 優先權日2011年1月24日
發明者五味田遵 申請人:索尼公司