圖像處理設備、圖像處理方法和程序的制作方法

專利名稱：圖像處理設備、圖像處理方法和程序的制作方法
技術領域：
本公開涉及一種圖像處理設備、一種圖像處理方法和程序。具體而言，本公開涉及生成具有高動態范圍(寬動態范圍)的圖像的圖像處理設備、圖像處理方法和程序。
背景技術：
固態圖像拾取裝置，諸如在攝像機或數字照相機中使用的CCD圖像傳感器或CMOS(互補金屬氧化物半導體)圖像傳感器，通過積累與入射光照量一致的電荷并輸出與積累的電荷相應的電信號來進行光電轉換。然而，光電轉換兀件中能夠積累的電荷量是有局限的，使得在已接收了一定量的光線時就達到了飽和水平，造成對象具有一定亮度或更亮的區域處于飽和亮度水平，這個問題被稱作“高光部分過曝”或“裁剪”。
為了防止裁剪，要進行處理以根據外來光線變化等控制光電轉換元件的電荷積累時間段，從而調整曝光時長并由此優化敏感度。例如，通過使用高速快門來縮短對明亮對象的曝光時長，減少了光電轉換元件的電荷積累時間段，并且在積累的電荷量達到飽和水平之前輸出電信號。通過進行上述處理，有可能輸出適當再現對象色調的圖像。然而，若在對存在亮區和暗區的對象進行拍攝時使用了高的快門速度，曝光時間對于暗區則不足，這會造成信噪比降低和圖像質量下降。為了適當再現包括亮區和暗區的對象的拍攝圖像中的亮區和暗區的亮度水平，有必要對圖像傳感器上有很少入射光的像素進行長時曝光以實現高信噪比，并進行處理以避免具有大量入射光的像素飽和。一種實現該處理的已知方法是連續拾取多個具有不同曝光時間段的圖像，然后將這些圖像組合。也就是說，長時曝光圖像和短時曝光圖像是分開地連續拾取的，并且進行對暗圖像區使用長時曝光圖像和對亮圖像區使用短時曝光圖像(若使用長時曝光圖像會發生裁剪)的組合處理，以產生單個圖像。以此方式，通過將多個不同曝光的圖像組合，有可能產生具有高動態范圍的無裁剪的圖像，也就是說具有寬動態范圍的圖像(HDR圖像)。例如，日本專利特開平No. 2000-50151公開了一種用于通過連續拾取兩個具有不同曝光時間段的圖像然后將這些圖像組合而產生寬動態范圍圖像的配置。參照圖I說明該處理。圖像拾取裝置，例如在拍攝視頻時，在一視頻速率(30-60fps)內輸出具有不同曝光時間段的兩個圖像。此外，在拍攝靜態圖像時也產生和輸出具有不同曝光時間段的兩個圖像。圖I描繪了由圖像拾取裝置產生的具有不同曝光時間段的圖像(長時曝光圖像和短時曝光圖像)的特征。水平軸為時間(t)，垂直軸為在組成光電轉換元件的接收光線的光二極管(PD)中與固態圖像拾取元件的一個像素相應的積累電荷量(e)。例如，當接收光照的光二極管(PD)接收很多光線時，也就是說在明亮對象的情況下，積累的電荷量隨著時間流逝而急劇增加，如圖I所示的高亮度區11所示。同時，當接收光線的光二極管(PD)接收較少光線時，也就是說在暗對象的情況下，積累的電荷量隨著時間流逝而緩慢增加，如圖I所示的低亮度區12所示。時間t0至t3對應于曝光時間TL以產生長時曝光圖像。由低亮度區12示出為該長時曝光時間TL的線可以獲得精確色調，達到使用基于在不達到飽和水平(非飽和點Py)的條件下積累的電荷量(Sa)獲得的電信號而確定的色度。然而，由高亮度區11示出的線表明在時間t3之前，積累的電荷就已經達到了飽和水平(飽和點Px)。因此，該高亮度區11僅獲得與來自長時曝光圖像的飽和水平的電信號相應的像素值，并因此變為裁剪像素。在該高亮度區11中，接收光照的光二極管(PD)的積累電荷在到達時間t3之前，例如在圖I所示的時間tl(電荷掃描(sweeping)起始點Pl)時，被掃除一次。進行電荷掃描是達到光二極管(PD)中控制的保持中間電壓的水平，而不是對接收光照的光二極管(PD)中積累的所有電荷進行電荷掃描。在電荷掃描之后，再次進行短時曝光，持續曝光時間(tl至t2)。也就是說，進行了如圖所示的從短時曝光起始點P2至短時曝光結束點P3之間的短時曝光。通過該短時曝光獲得了積累的電荷量(Sb)，并且基于積累的電荷量(Sb)獲得了電信號，基于該電信號確定了像素的色度。另外，當通過在低亮度區12中的長時曝光獲得積累的電荷量(Sa)，基于積累的電 荷量(Sa)獲得電信號，并通過在高亮度區11中的短時曝光獲得積累的電荷量(Sb)，基于積累的電荷量(Sb)獲得電信號，基于這些電信號確定像素值時，計算出當已曝光了相同時間時的估計的積累電荷量或與估計的積累電荷量相應的電信號輸出值，并基于計算結果確定像素水平。以此方式，有可能通過將短時曝光圖像與長時曝光圖像組合而產生具有高動態范圍的無裁剪的圖像。然而，在日本專利平開No. 2000-50151中所述的配置中，有必要執行單獨拍攝長時曝光圖像和短時曝光圖像并將其組合的處理。以此方式，有可能使用多個具有不同曝光時間段的圖像產生寬動態范圍圖像(HDR圖像)，但是例如在基于所述多個圖像進行處理時產生了以下問題。問題I :有必要多次拍攝圖像，另外，有必要配備存儲器以存儲這些圖像。問題2 :由于將多個具有不同拍攝定時的圖像相組合，或者使用了通過長時曝光而獲得的拍攝數據，因此容易遭受相機抖動的危害。此外，在很多相機中使用的圖像拾取元件具有以下配置安裝了具有例如RGB陣列的濾色器，特定波長的光進入每個像素。具體而言,經常使用具有例如Bayer陣列的濾色器。具有Bayer陣列的拾取圖像變為馬賽克圖像，其中對拾取的圖像的每個像素只設置與RGB顏色中任一顏色相應的像素值。相機的信號處理單元執行各種信號處理，例如對這種馬賽克圖像進行像素值內插，對每個像素執行設置RGB的所有像素值的去馬賽克處理并產生和輸出相機圖像。可以說對于利用根據這種Bayer陣列的濾色器對拾取圖像進行信號處理，人們已作出很多研究，因此這在某種程度上來說已是技術上確立的。然而，關于對具有與Bayer陣列不同的陣列的圖像的信號處理的研究還不充足，這也是事實。而且，例如，除了作為與圖像拾取元件有關的濾色器的RGB的每個顏色之外，日本專利特平開No. 2011-55038還公開了對于具有RGBW陣列的濾色器的圖像拾取設備的拾取圖像的校正處理，這種陣列具有整個波長的透明W(白)像素。

發明內容
例如鑒于這種情形，作出了本公開，并且本公開的目的是提供能夠基于單次拍攝獲得的圖像產生寬動態范圍圖像的圖像處理設備、圖像處理方法和程序。另外，本公開的目的是提供能夠基于具有與例如Bayer陣列不同的陣列的拍攝圖像產生寬動態范圍圖像的圖像處理設備、圖像處理方法和程序。根據本公開的第一實施例，提供了一種圖像處理設備，包括對長時曝光像素和短時曝光像素執行像素值組合處理的圖像信息組合單元。所述像素信息組合單元基于多個不同曝光時間段的像素的像素值計算多個混合比，基于所述多個混合比確定適用于所述長時曝光像素和所述短時曝光像素的混合處理的適用混合比，并通過所述適用混合比所適用的對長時曝光像素和短時曝光像素的所述混合處理來確定輸出圖像或適用于產生輸出圖像的中間圖像的像素值。
另外，根據本公開的圖像處理設備的一個實施例，提供了所述像素信息組合單元基于待混合的所述多個不同曝光時間段的像素的像素值計算所述多個混合比，并基于計算的多個混合比確定所述適用混合比。另外，根據本公開的圖像處理設備的一個實施例，提供了所述像素信息組合單元，所述像素信息組合單元基于與所述待混合的多個不同曝光時間段的像素相鄰的像素的像素值計算所述多個混合比，并基于計算的多個混合比確定所述適用混合比。另外，根據本公開的圖像處理設備的一個實施例，提供了所述像素信息組合單元計算取決于混合比aL的長時曝光像素值和取決于混合比aS的短時曝光像素值，其中所述混合比a L取決于所述長時曝光像素的像素值，并且所述混合比a S取決于所述短時曝光像素的像素值；并確定計算的取決于所述混合比a L的長時曝光像素值和計算的取決于所述混合比a S的短時曝光像素值的乘積，S卩a = a LX a S，所述a被確定為表示所述短時曝光像素的混合量的適用混合比。另外，根據本公開的圖像處理設備的一個實施例，提供了所述像素信息組合單元，所述像素信息組合單元確定取決于長時曝光像素的混合比a L和取決于短時曝光像素的混合比a S，使得根據作為待混合的像素的顏色C的長時曝光像素的像素值CL，當CL
<THOL 時 a L = 0，當 THOL ^ CL ^ THlL 時 a L = (CL-THOL) / (TH1L-TH0L)，并且當 THlL
<CL時a L = I. 0，并使得根據作為待混合的像素的顏色C的長時曝光像素的像素值CS，當 CS < THOS 時 a S = 0，當 THOS 彡 CS 彡 THIS 時 a L = (CL-THOS) / (TH1S-TH0S)，并且當THIS < CL 時 a L = I. O。THOL、TH1L、THOS 和 THIS 為預定義閾值。另外，根據本公開的圖像處理設備的一個實施例，提供了所述像素信息組合單元，所述像素信息組合單元通過以下表達式CW = a XCSXGAIN+(1.0-a) XCL計算輸出圖像或中間圖像的顏色C的像素值CW，其中CL是顏色C的長時曝光像素的像素值，CS是顏色C的短時曝光像素的像素值，GAIN是長時曝光像素和短時曝光像素的曝光率，并且a是適用混合比。另外，根據本公開的圖像處理設備的一個實施例，提供了所述像素信息組合單元通過對適用混合比所適用的長時曝光像素和短時曝光像素的混合處理產生中間圖像，并通過對組成所產生的中間圖像的相同顏色的像素值的混合處理產生最終輸出圖像。另外，根據本公開的圖像處理設備的一個實施例，提供了所述像素信息組合單元接收具有RGB陣列的圖像數據，其中長時曝光像素和短時曝光像素混合在所述陣列中，并通過針對RGB的每種顏色，將顏色相同的長時曝光像素和短時曝光像素混合來確定所述輸出圖像或所述中間圖像的像素值。另外，根據本公開的圖像處理設備的一個實施例，提供了所述像素信息組合單元，所述像素信息組合單元通過只應用所述具有RGB陣列的圖像數據的G像素數據來確定適用混合比。根據本公開的第二實施例，提供了一種在圖像處理設備中執行的圖像處理方法，所述圖像處理方法包括由所述像素信息組合單元執行對長時曝光像素和短時曝光像素的像素值組合處理。所述像素值組合處理包括以下處理基于多個不同曝光時間段的像素的像素值計算多個混合比，基于所述多個混合比確定適用于所述長時曝光像素和所述短時曝光像素的混合處理的適用混合比，并通過所述適用混合比所適用的對長時曝光像 素和短時曝光像素的所述混合處理來確定輸出圖像或適用于所述輸出圖像的中間圖像的像素值。根據本公開的第三實施例，提供了一種用于使圖像處理在圖像處理設備中執行的程序。該程序使像素信息組合單元對長時曝光像素和短時曝光像素執行像素值組合處理。所述像素值組合處理包括以下處理基于多個不同曝光時間段的像素的像素值計算多個混合比，基于所述多個混合比確定適用于所述長時曝光像素和所述短時曝光像素的混合處理的適用混合比，并通過所述適用混合比所適用的對長時曝光像素和短時曝光像素的所述混合處理來確定輸出圖像或適用于所述輸出圖像的中間圖像的像素值。注意，根據本公開的程序是例如可以設置在存儲媒體和通信媒體中的、以計算機可讀形式為能夠執行各種類型的程序代碼的信息處理設備或計算機系統設置的程序。以計算機可讀形式設置這種程序使得有可能根據信息處理設備或計算機系統中的該程序執行處理。通過基于本公開的實施例和附圖進行的更詳細的說明，本公開的目的、特征和優點將會變得清楚。另外，說明書中的系統不限于邏輯上聚集了多個均都包含在同一殼體中的裝置的配置。根據本公開的實施例，實現了執行對長時曝光像素和短時曝光像素的像素值組合以產生寬動態范圍圖像的設備和方法。特別是，本公開包括用于通過執行對長時曝光像素和短時曝光像素的像素值的組合而產生輸出圖像的像素值的像素信息組合單元。所述像素信息組合單元計算基于多個不同像素的像素值計算的多個混合比，基于所述多個混合比確定最終長時曝光像素和最終短時曝光像素的最終混合比，并通過將所述最終混合比已適用的長時曝光像素和短時曝光像素混合來確定輸出圖像的像素值。有可能通過該處理產生寬動態范圍圖像。


圖I是描述了通過幾次圖像拍攝獲得的寬動態范圍圖像的一個拍攝示例的圖；圖2是描述了一個圖像拾取元件的配置的示例的圖；圖3是描述了一個圖像拾取設備的配置的示例的圖；圖4是描述了一個圖像拾取裝置的配置的示例的圖；圖5是描述了一種曝光控制配置的圖6是描述了一個像素信息組合示例的圖；圖7是描述了一個混合比的設置示例的圖；圖8是描述了一個混合比的設置示例的圖；圖9是描述了應用混合比a = a LX a S的效果的圖；圖10是描述了應用混合比a = a LX a S的效果的圖；圖11是描述了應用混合比a = a LX a S的效果的圖；圖12是描述了應用混合比a = a LX a S的效果的圖；圖13是描述了一個像素信息組合示例的圖； 圖14是描述了一個像素信息組合示例的圖；圖15是描述了一個像素信息組合示例的圖；并且圖16是描述了一個圖像處理設備的配置的示例的圖。
具體實施例方式以下將參照附圖對本公開的優選實施例進行詳細說明。注意，在說明書和附圖中，具有基本上相同功能和結構的結構元素以相同的參考數字表示，并且省略了對這些結構元素的重復說明。參照附圖，將對本公開的圖像處理設備、圖像處理方法和程序進行詳細說明。另夕卜，根據以下各項進行說明。I.圖像拾取元件的配置的示例2.圖像處理設備的配置的示例3.圖像拾取裝置的配置的示例4.像素單元的配置和曝光時間的設置示例5.產生圖像的實施例5-1.實施例I.曝光時間對于Bayer陣列中的每一行都變化的示例5-2.當應用混合比a = a LX a S時像素混合的效果5-3.實施例2.曝光時間對于Bayer陣列中的每一列都變化的示例5-4.實施例3.曝光時間在Bayer陣列中成對角線地變化的示例5-5.實施例4.曝光時間在四分區Bayer陣列中成對角線地變化的示例6.圖像處理設備的配置的其他示例7.本公開的構成的總結I.圖像拾取元件的配置的示例參照圖2，將對一個圖像拾取元件的配置的示例進行說明。在圖2中，示出了該圖像拾取元件的以下三個配置示例。(I)Bayer 陣列(2)四分區Bayer式RGB陣列(3) RGBff 陣列另外，對于RGB陣列的G，存在R列的G以Gr不出，并且B列中的G以Gb不出的情況。(I)在很多相機中使用Bayer陣列，并且利用具有這樣的Bayer陣列的濾色器對拾取圖像進行信號處理的技術是已確立的。然而，對于(2)四分區Bayer式RGB陣列和(3) RGBff陣列而言，不能說已對通過具有這種濾色器的圖像拾取元件拍攝的圖像進行信號處理的技術作出了足夠的研究。另外，(2)四分區Bayer式RGB陣列對應于其中(I)中示出的Bayer陣列的R、G和B的每個像素均設為四像素的陣列。以下將對通過配備了具有這種(2)四分區Bayer式RGB陣列的濾色器的圖像拾取元件拍攝的圖像進行信號處理的圖像處理設備進行說明。2·圖像處理設備的配置的示例在圖3中，示出了一個圖像拾取設備100的配置的示例，該設備為本公開的圖像處理設備的一個不例。 圖3是示出該圖像拾取設備的配置的一個示例的圖。通過光學透鏡101入射的光進入由圖像拾取單元(例如CMOS圖像傳感器等)組成的圖像拾取裝置102，并通過光電轉換輸出圖像數據。輸出的圖像數據被輸入到信號處理單元103。信號處理單元103在相機中執行一般信號處理，例如白平衡(WB)調整、伽瑪校正等，以產生輸出圖像120。輸出圖像被存儲在存儲單元中，該存儲單元未示出。輸出圖像可以被輸出到顯示單元。控制單元105根據存儲在例如未示出的存儲器中的程序輸出控制信號到每個單元，以控制各種處理。3·圖像拾取裝置的配置的示例然后，參照圖4將對一個圖像拾取裝置102的配置的示例進行說明。圖4示出了本公開的一個實施例的圖像拾取裝置102的配置。如圖4所示，該圖像拾取裝置102包括像素單元151和操作單元160。操作單元160包括AD轉換單元161、像素信息組合單元162和輸出單元163。另外，操作單元160可以與像素單元151在同一芯片上，即與之同在芯片上，并且可以設在除該像素單元151之外的芯片或裝置中。像素單元151基于對象光照積累多個像素的每一像素中的電荷，并輸出大量像素的圖像數據，這些數據為高分辨率圖像。另外，像素單元151包括高敏感度像素和低敏感度像素，高敏感度像素進行長時曝光，低敏感度像素進行短時曝光。高敏感度像素信息181和低敏感度像素信息182被從像素單元151輸入到圖像拾取裝置102的操作單元160。操作單元160的A/D轉換單元161執行輸入信號的A/D轉換，即模擬信號到數字信號的轉換，并且轉換后的數字值被輸入到像素信息組合單元162。像素信息組合單元162通過混合高敏感度像素信息181和低敏感度像素信息182計算輸出像素值。例如，基于四個像素信號來計算輸出圖像的一個像素值。執行該像素值組合并產生和通過輸出單元163輸出具有較少像素的寬動態圖像。4.像素單元的配置和曝光時間的設置示例參照圖5，將對像素單元151的配置和一個曝光時間的設置示例進行說明。在圖5中，呈現了以下四個示例。(I)Bayer陣列中每行曝光時間變化
(2) Bayer陣列中每列曝光時間變化(3) Bayer陣列中成對角線地曝光時間變化(4)四分區Bayer式RGB陣列中成對角線地曝光時間變化在圖5中每個陣列中呈現的像素中，灰色部分是曝光時間短的短時曝光像素，即低敏感度像素。白色部分是曝光時間長的長時曝光像素，即高敏感度像素。接下來，將對每種設置中基于拍攝的圖像產生寬動態圖像進行說明。5·產生圖像的實施例
以下將參照包括圖6的附圖對像素信息組合單元162中的一個具體處理示例進行說明。另外，雖然以下說明中的處理被描述為是由圖像拾取裝置102的操作單元160的像素信息組合單元162執行的，但可以是以下方案例如，其中像素信息組合單元162被設置到圖3所呈現的信號處理單元103，而不是將像素信息組合單元162設置到圖像拾取裝置102，而以下將進行說明的處理是在信號處理單元103中執行的。(5-1.實施例I.曝光時間對于Bayer陣列中的每一行都變化的示例)圖6示出了曝光時間對于Bayer陣列中的每一行都變化的一個示例。圖6示出了以下三個數據項(Ia)圖像拾取數據(Ib)中間數據(Ic)輸出數據。(Ia)圖像拾取數據是對于圖像拾取元件而言的，并且展示了當曝光時間對于Bayer陣列中的每一行都變化時拍攝的圖像。白色部分是長時曝光像素，灰色部分表示短時曝光像素。例如，GSOO是坐標位置(0，0)的G像素的短時(S)曝光像素。GL20是坐標位置(2,0)的G像素的長時(L)曝光像素。另外,坐標通過應用坐標(x,y)以例如GSxy,GLxy的格式表示,其中垂直向下方向以X示出，水平向右方向以y示出。在該示例中，長時曝光像素和短時曝光像素以兩行為基礎交替設置。另外，這種曝光時間控制是基于例如控制單元105的控制而進行的。在圖6(la)中呈現的圖像拾取數據呈現了一個4X4像素區域，該像素區域是組成圖4所示的圖像拾取裝置102的像素單元的部分像素區域。在圖6(lb)中呈現的中間數據表示由像素信息組合單元162基于該4X4(la)像素區域產生的中間數據。像素信息組合單元162首先在第I步基于該4X4(la)圖像拾取數據計算圖(Ib)中表示的4X2 (Ib)中間數據。在圖6(lc)中呈現的輸出數據表示由像素信息組合單元162基于該4X2(lb)中間數據產生的輸出數據。像素信息組合單元162首先在第I步基于該4X4(la)圖像拾取數據計算4X2(lb)中間數據，然后在第2步基于產生的中間數據產生2X2(lc)輸出數據。
(Ic)輸出數據作為寬動態圖像而產生。以此方式，像素信息組合單元162通過將4X4(la)圖像拾取數據中包含的長時曝光像素和短時曝光像素混合來計算中間數據，并通過將中間數據的組成像素混合而產生和輸出2X2(lc)輸出數據。將對步驟I和步驟2各自進行說明。(步驟I)在步驟I中根據(Ia)圖像拾取數據產生(Ib)中間數據是通過以下混合多個像素值進行的。混合對于G像素和對于R與B像素是單獨地進行的。
另外，對于RGB陣列的G像素，以下R列的G像素被描述為GR，B列的G像素被描述為GB。所執行的組合(混合)像素以根據本實施例的(Ia)圖像拾取數據產生(Ib)中間數據對于G像素(即GR/GB相的像素)和對R與B像素(即R/B相的像素)是單獨地進行的。以下將對該處理進行說明。(對GR/GB相的處理)例如，通過以下表達式計算在圖6(lb)中間數據的左上方呈現的GWOO的像素值(GWOO)，該表達式中應用了(Ia)圖像拾取數據中包含的多個像素的像素值和混合率a。GffOO = CL X GSOO X GAIN+(I. O- a ) X GL20這里，GSOO :作為在像素位置(0，0)的短時曝光像素的G像素的像素值。GL20:作為在像素位置(2，0)的長時曝光像素的G像素的像素值，GAIN :短時曝光像素的像素值以此倍增的增益(長時曝光像素和短時曝光像素的曝光比)α :長時曝光像素的像素值和短時曝光像素的像素值的混合比。這里,混合比α是兩個混合比aL和a S的乘積，取決于長時曝光像素值的混合比a L，取決于短時曝光像素值的混合比α S，α = a LX a S在計算圖6 (Ib)中呈現的中間數據的GWOO時，取決于長時曝光像素值的混合比a L，取決于短時曝光像素值的混合比α S，α = a LX α S，這些值均是通過以下表達式計算的a L = CalcBrate (GL20, THR0_LNG, THR1_LNG)a S = CalcBrate (GS00, THR0_SHT, THR1_SHT)α = a LXaS這里，CalcBrate (dat, THRO, THR1)的值為
當dat < THRO 時，CalcBrate (dat, THRO, THR1) = O,當THRO ( dat < THRl 時，CalcBrate (dat, THRO, THRI) = (dat-THRO) /(THR1-THR0),當THRl ^ dat 時，CalcBrate (dat, THRO, THRI) = I. 0。在圖7和圖8中呈現了兩個混合比a L和a S與兩個閾值THRO和THRl的關系的具體示例。另外，THR0_LNG, THR1_LNG 已應用于計算應用長時曝光像素的混合比a L的閾值，THR0_SHT, THR1_SHT :已應用于計算應用短時曝光像素的混合比a S的閾值，
另外，應用短時曝光像素的混合比a S對應于例如通過將上述GAIN減去應用長時曝光像素的混合比aL而獲得的值。以此方式，在產生圖6(lb)中呈現的中間數據時，其中該中間數據具有的像素數量為來自圖6(la)中呈現的包括長時曝光像素和短時曝光像素的圖像拾取數據的像素數量的一半，該中間數據的像素值(GWxy)決定了與目標像素在同一列中的短時曝光像素GSxy和長時曝光像素GLxy，以通過上述混合比α所適用的混合而獲得該目標像素值。這里，混合比α計算如下取決于長時曝光像素值的混合比a L，取決于短時曝光像素值的混合比α S，并且這兩個不同的取決于像素的混合比相乘，即α = a LX a S0另外，應用于計算混合比(a = aLX aS)的取決于長時曝光像素值的混合比a L和取決于短時曝光像素值的混合比a S分別是基于作為計算目標的G像素的α混合中應用的長時曝光像素的像素值和短時曝光像素的像素值計算的。換言之，取決于長時曝光像素值的混合比aL，a L = CalcBrate (GL20, THR0_LNG, THR1_LNG)是根據作為計算目標的G像素的α混合中應用的長時曝光像素的像素值計算的，如以上表達式所示。同樣，取決于短時曝光像素值的混合比aS，a S = CalcBrate (GS00, THR0_SHT, THR1_SHT)，是根據作為計算目標的G像素的α混合中應用的短時曝光像素的像素值計算的，如以上表達式所示。(R/B相的處理)以下將說明如何確定為圖6(lb)的中間數據設置的R像素和B像素的像素值。例如，通過以下表達式計算在圖6 (Ib)中呈現的RWOl的像素值(RW01)，該表達式中應用了(Ia)圖像拾取數據中包含的多個像素的像素值和混合率α。RffOl = α X RSOl XGAIN+(I. O-α ) XRL21
這里，RSOl :作為像素位置(0，I)的短時曝光像素的R像素RL21 :作為像素位置(2，I)的長時曝光像素的R像素GAIN :短時曝光像素的像素值以此倍增的增益(長時曝光像素和短時曝光像素的曝光比)α :長時曝光像素的像素值和短時曝光像素的像素值的混合比。這里，混合比α被作為以下兩個混合比a L和a S的乘積計算。a L = CalcBrate ((GL20+GL22) /2. O, THR0_LNG, THR1_LNG)
a S = CalcBrate ((GS00+GS02) /2. O, THR0_SHT, THR1_SHT)α = a LX a S這里，CalcBrate (dat, THRO, THR1)的值如上述圖 7 和圖 8 所示。當dat < THRO 時，CalcBrate (dat, THRO, THR1) = O當THRO ( dat < THRl 時，CalcBrate (dat, THRO, THRI) = (dat-THRO) /(THR1-THR0),當THRl ( dat 時，CalcBrate (dat, THRO, THR1) = I. O。以此方式，在產生圖6(lb)所呈現的中間數據時，其中該中間數據具有的像素數量為圖6(lb)中呈現的包括長時曝光像素和短時曝光像素的圖像拾取數據的像素數量的一半，當計算中間數據的R像素值(RWxy)時，通過上述混合比α所適用的混合來決定與目標像素在同一列中的短時曝光像素GSxy和長時曝光像素GLxy以獲得該目標像素值。同樣，當計算中間數據的B像素值(Bwxy)時，通過上述混合比α所適用的混合來決定與目標像素在同一列中的短時曝光像素BSxy和長時曝光像素BLxy以獲得該目標像素值。這里，混合比α計算如下取決于長時曝光像素值的混合比a L，取決于短時曝光像素值的混合比α S，并且這兩個不同的取決于像素的混合比相乘，即α = a LX α S。另外，應用于計算混合比(a = aLX aS)的取決于長時曝光像素值的混合比a L，取決于短時曝光像素值的混合比a S均利用G像素的像素值來計算。換言之，取決于長時曝光像素值的混合比aL，a L = CalcBrate ((GL20+GL22) /2. O, THR0_LNG, THR1_LNG)是利用與在作為計算目標的R像素和B像素的α混合中應用的長時曝光像素相鄰的兩個長時曝光像素G的平均值計算的，如以上表達式所示。同樣，取決于短時曝光像素值的混合比aS，a S = CalcBrate ((GS00+GS02) /2. O, THR0_SHT, THR1_SHT)
是利用與在作為計算目標的R像素和B像素的α混合中應用的短時曝光像素相鄰的兩個長時曝光像素G的平均值計算的，如以上表達式所示。以此方式，利用G像素數據對所有RGB像素計算混合比α。以此方式，通過執行統一處理，控制了混合比之間的差，使得能夠產生自然的圖像。(步驟2)以下將說明圖6中所示的步驟2。在步驟2中根據(Ib)中間數據產生(Ic)輸出數據是通過水平加上(Ib)中間數據中包含的一個像素值而進行的，這將在以下進行說明。例如，應用以下描述的I : I相加和I : 3/3 I相加。將說明圖6(lc)輸出數據中所呈現的像素值GOO、ROl的計算示例。
(I I 相加)在I : I相加中，(Ic)輸出數據中呈現的像素值G00、R01是通過以下表達式計算的GOO = (GW00+GW02)/2ROl = (RW01+RW03)/2(I 3/3 I 相加)在I : 3或3 I相加中，(Ic)輸出數據中呈現的像素值G00、R01是通過以下表達式計算的GOO = (3XGW00+GW02)/4ROl = (RW01+3XRW03)/4以此方式，在根據圖6所呈現的(Ib)中間數據產生(Ic)輸出數據時，輸出數據的像素值是通過將同一列中具有相同顏色的像素值與相鄰數據的像素值組合(混合)而獲得的。上述(I I相加)是計算兩個像素的平均值，(I 3相加)是根據距離加上權值。通過任一種上述處理，都根據圖6所呈現的(Ib)中間數據產生(Ic)輸出數據。(5-2.當應用混合比α = a LX a S時的像素混合效果)在上述實施例中，當根據圖6(la)所呈現的圖像拾取數據產生(Ib)中間數據時，中間數據的像素值是通過將圖像拾取數據中包含的長時曝光像素和短時曝光像素混合而計算的。在產生該中間數據時，長時曝光像素的像素值與短時曝光像素的像素值的混合比α是通過混合比a L與混合比aS的乘積計算的，其中根據圖7所示的圖表，長時曝光像素適用于混合比a L，根據圖8所示的圖表，短時曝光像素適用于混合比aS。換言之，a = a LX a S.例如，若通過應用像素位置(xl，yl)的長時曝光像素的像素值Lxlyl，和像素位置(x2，y2)的短時曝光像素的像素值Sx2y2，來計算一個像素值(中間數據的像素值)，則通過以下表達式計算a L、a S和α。
a L = CalcBrate (Lxlyl, THR0_LNG, THR1_LNG)a S = CalcBrate (Sx2y2, THR0_SHT, THR1_SHT)a = aLX a S這里，CalcBrate(dat, THRO, THR1)的值為當dat < THRO 時，CalcBrate (dat, THRO, THR1) = 0，當THRO ( dat < THRl 時，CalcBrate (dat, THRO, THRI) = (dat-THRO) /(THR1-THR0),當THRl ( dat 時，CalcBrate (dat, THRO, THR1) =1.0。
以此方式，將對計算和應用以長時曝光像素適用的混合比α L與短時曝光像素適用的混合比aS的乘積計算的混合比，SPa = a LX a S的效果進行說明。典型地，例如，曾將長時曝光像素適用的混合比a L，和短時曝光像素適用的混合比a S中的任一個，原封不動地用作混合比α。然而，若該混合比是以此方式基于長時曝光像素和短時曝光像素中的任一個的像素值確定的，則有可能在像素值由于對象在長時曝光像素的拍攝期與短時曝光像素的拍攝期之間移動而發生很大變化時將計算的混合比設為不希望的值。在圖9中示出了與拍攝圖像時發生亮度變化相應的長時曝光像素和短時曝光像素的像素值的一個示例。圖9所示的圖呈現了水平軸上的時間(t)，垂直軸上的像素值。對于長時曝光，時間TO至T4為曝光時間。對于短時曝光，時間T3至T4為曝光時間。作為拍攝環境，呈現了兩個模式作為示例。呈現了在兩種情況下長時曝光像素和短時曝光像素的像素值的過渡(a)在整個長時曝光期和短時曝光期沒有亮度變化的情況，和(b)在長時曝光期的前半期較亮，而在短時曝光期(長時曝光期的后半期)變暗。在兩種情況(a)和(b)中，長時曝光像素在曝光期達到了飽和水平(例如像素值=1023)。在情況(a)中在時間Tl實現飽和水平，在情況(b)中在時間T2實現飽和水平。另一方面,對于短時曝光像素，在沒有亮度變化的情況(a)中，像素值與長時曝光像素以相同斜率增長，在圖9所示的示例中，最終像素值達到320。另一方面，在情況(b)中，斜率比長時曝光像素的斜率小，并且在圖9的示例中，最終像素值變為80。以此方式，通過在拍攝環境下的亮度變化，有一種情況是只有長時曝光像素和短時曝光像素之一的像素值大幅變化。情況(b)的示例為在亮的背景下，例如在汽車經過時，移動的對象已移動了拍攝圖像的像素區域。參照圖10至圖12說明與像素亮度有變化的情況和無像素亮度變化的情況相應的上述混合比，即α = a LXa S的比較數據？上述根據本公開的混合比，和僅取決于應用于典型混合的長時曝光像素的像素值的相關技術的混合比a L0另外，在圖10至圖12中，
根據本公開的混合比以a LS( = a LX a S)表示，僅取決于典型長時曝光像素的像素值的相關技術的混合比以a L表示。圖10是呈現了拍攝圖9 (a)中無亮度變化的拍攝環境下的圖像的情況的兩個混合比為對比數據，即根據本公開的混合比a LS( = a LX a S)，僅取決于長時曝光像素的像素值的相關技術的混合比α L的圖表。水平軸代表長時曝光像素的像素值，垂直軸代表混合比a LS，a L。也就是說，圖10所示的示例是以下情況的一個示例DS = (DL/GAIN)其中DS :短時曝光像素的像素值，DL :長時曝光像素的像素值，GAIN :長時曝光像素時間和短時曝光像素時間的曝光比。在圖10的圖表中以實線示出的僅取決于典型長時曝光像素的像素值的相關技術的混合比aL的數據與前述的圖7所示的數據相同。另一方面，作為上述運算的結果，在圖10的圖表中以虛線示出的根據本公開的混合比aLS為aLXaS。由圖10的圖表可以理解，為了比較這兩種類型的數據，將根據本公開的混合比a LS設置為低于以閾值THO至THl之間的實線表示的相關技術的混合比a L。換言之，這意味著若在閾值THO至THl之間應用了根據本公開的混合比aLS，則應用了比以實線表示的相關技術的混合比a L低的混合比。如前述，混合比α被用作中間數據的像素值=a X (短時曝光像素的像素值XGAIN+(L O-a ) X (長時曝光像素的像素值)。因此，若應用根據本公開的混合比a LS，則將短時曝光像素的混合比設置為低于以實線表示的相關技術的混合比a L，并將長時曝光像素的混合比設置為高于以實線表示的相關技術的混合比a L0換言之，這意味著長時曝光像素的權值變高。圖11是呈現了在圖9(b)的拍攝環境下拍攝圖像的情況的兩個混合比，即在短時曝光像素的像素值由于在短時曝光期經過的移動對象的影響而變小的情況的數據的圖表。
該圖表呈現了根據本公開的混合比a LS( = aLXaS),僅取決于長時曝光像素的像素值的相關技術的混合比以aL，作為對比數據。水平軸代表長時曝光像素的像素值，垂直軸代表混合比a LS，a L。也就是說，圖11所示的示例是以下情況的一個示例DS = (DL/GAIN) X O. 75其中 DS :短時曝光像素的像素值，DL :長時曝光像素的像素值，GAIN :長時曝光像素時間和短時曝光像素時間的曝光比。換言之，與無亮度變化的情況相比，短時曝光像素的像素值DS減小，系數為O. 75。為了比較圖11所示的這兩種類型的數據，將根據本公開的混合比a LS設置為在閾值THO至THl之間(特別是超過閾值THl的部分)低于以實線表示的相關技術的混合比
a L0換言之，這意味著若在閾值THO至THl之間(特別是某些超過閾值THl的部分)應用了根據本公開的混合比a LS，則應用了比以實線表示的相關技術的混合比a L低的混合比。如上所述，混合比α被用作中間數據的像素值=a X (短時曝光像素的像素值XGAIN+(L O-a ) X (長時曝光像素的像素值)。因此，若應用根據本公開的混合比a LS，則將短時曝光像素的混合比設置為低于以實線表示的相關技術的混合比a L，并將長時曝光像素的混合比設置為高于以實線表示的相關技術的混合比a L0長時曝光像素的混合比的增加程度與前述的圖10的情況(無亮度變化的情況)下的增加程度相比變大。該示例對應于圖9(b)中的以下情況由于經過的移動對象的影響而突然變暗，并且當短時曝光像素的曝光期為暗時拍攝了該移動對象。在這種情況下，短時曝光像素具有在以下環境下獲得的像素值由于該移動對象的影響而突然變暗，并使得能夠拍攝到不同于長時曝光像素的拍攝對象的對象。在該情況下，通過降低短時曝光像素的像素值的權值(混合比)，將長時曝光像素的像素值的權值(混合比)設為高，并進行混合以設置輸出像素值(在該示例中為中間數據的像素值)。通過這種配置，實現了通過混合而計算組合的像素值，這種混合減小了由于拍攝環境中的變化造成的影響，例如由移動的對象造成的影響。圖12如同圖11是呈現了在圖9(b)的拍攝環境下拍攝圖像的情況的兩個混合比，即在短時曝光像素的像素值由于在短時曝光期經過的移動對象的影響而變小的情況的數據的圖表。然而，這種情況比圖11所示的示例具有更強烈的亮度變化DS = (DL/GAIN) X0. 5.
換言之，與無亮度變化的情況相比，短時曝光像素的像素值DS減小為其一半，系數為O. 5。為了比較圖12所示的這兩種類型的數據，根據本公開的混合比將a LS設置為在閾值THO至THl之間(特別是超過閾值THl的大部分區域)低于以實線表示的相關技術的混合比a L0換言之，這意味著若在閾值THO至THl之間(特別是超過閾值THl的某些部分)應用了根據本公開的混合比aLS，則應用了比以實線表示的相關技術的混合比aL低的混合比。混合比a被用作中間數據的像素值=a X (短時曝光像素的像素值XGAIN+(1. O-a ) X (長時曝光像素的像素值)。 因此，若應用根據本公開的混合比a LS，則將短時曝光像素的混合比設置為低于以實線表示的相關技術的混合比a L，并將長時曝光像素的混合比設置為高于以實線表示的相關技術的混合比a L0長時曝光像素的混合比的增長程度與前述的圖10和圖11的情況下的增加程度相比變大。另外，若短時曝光像素的輸出小，混合比a LS則增至O. 5。以此方式，若拍攝環境的亮度已發生變化，根據本公開的混合比a = a LX a S，則變為與相關技術中常用的典型混合比a L不同的一個值。具體而言，以如下方式進行調整若如圖9(b)所示的短時曝光期的拍攝環境變暗，則減小短時曝光像素的混合比，并增大長時曝光像素的混合比。通過這種配置，實現了通過混合而計算組合的像素值，這種混合減小了由于拍攝環境中的變化造成的影響，例如由移動的對象造成的影響。(5-3.實施例2.曝光時間對于Bayer陣列中的每一列都變化的示例)在圖13中示出了曝光時間對于Bayer陣列中的每一列都變化的一個示例。在圖13中呈現了以下三種類型的數據(2a)圖像拾取數據(2b)中間數據(2c)輸出數據(2a)圖像拾取數據是對于圖像拾取元件而言的，并且代表當曝光時間對于Bayer陣列中的每一列都變化時拍攝的圖像。白色部分是長時曝光像素并且深色部分代表短時曝光像素。在該示例中，長時曝光像素和短時曝光像素以兩列為基礎交替設置。另外，曝光時間控制是基于例如控制單元105的控制而進行的。(2a)圖像拾取數據呈現了 4X4像素區域。(2b)中間數據是在像素信息組合單元162處基于該4X4(2a)圖像拾取數據產生的。像素信息組合單元162首先在第I步基于該4X4(2a)圖像拾取數據計算4X2中間像素數據。(2c)輸出數據是在像素信息組合單元162處基于該4X2(2b)中間數據產生的。像素信息組合單元162首先在第I步基于該4X4(2a)圖像拾取數據計算4X2 (2b)中間像素數據，然后在第2步基于產生的中間數據產生2X2(2c)輸出數據。(2c)輸出數據作為寬動態圖像而產生。以此方式，像素信息組合單元162通過將4X4(2a)圖像拾取數據中包含的長時曝光像素和短時曝光像素混合來計算2X2 (2c)輸出數據的組成像素的每一像素值。將對步驟I和步驟2各自進行說明。(步驟I)
在步驟I中根據(2a)圖像拾取數據產生(2b)中間數據是通過以下混合多個像素值進行的。混合對于GR/GB相和對于R/B相是單獨地進行的。(GR/GB 相的處理)例如，通過以下表達式計算在圖13 (2b)中呈現的GWOO的像素值(GWOO)，該表達式中應用了(2a)圖像拾取數據中包含的多個像素的像素值和混合率α。GffOO = a X GSOO X GAIN+(I. O- a ) X GL02這里，GAIN :短時曝光像素的像素值以此倍增的增益(長時曝光像素和短時曝光像素的曝光比)α :長時曝光像素的像素值和短時曝光像素的像素值的混合比。這里，混合比α被計算為以下兩個混合比a L和a S的乘積。a L = CalcBrate (GL02, THR0_LNG, THR1_LNG)a S = CalcBrate (GS00, THR0_SHT, THR1_SHT)α = a LX a S這里，CalcBrate (dat, THRO, THR1)的值如圖7和圖8所示，如前文所述當dat < THRO 時，CalcBrate (dat, THRO, THR1) = O,當THRO ( dat < THRl 時，CalcBrate (dat, THRO, THRI) = (dat-THRO) /(THR1-THR0),當THRl ( dat 時，CalcBrate (dat, THRO, THR1) =1.0。(R/B相的處理)例如，通過以下表達式計算在圖13 (2b)中呈現的RWOl的像素值(BWOl)，該表達式中應用了(2a)圖像拾取數據中包含的多個像素的像素值和混合率α。BfflO = α XBSlOXGAIN+(I. O-α ) XBL12這里，GAIN :短時曝光像素的像素值以此倍增的增益(長時曝光像素和短時曝光像素的曝光比)α :長時曝光像素的像素值和短時曝光像素的像素值的混合比這里，混合比α被計算為以下兩個混合比a L和a S的乘積。
a L = CalcBrate ((GL02+GL22) /2. O, THR0_LNG, THR1_LNG)a S = CalcBrate ((GS00+GS20) /2. 0，THR0_SHT, THR1_SHT)a = a LX a S這里，CalcBrate (dat, THRO, THR1)的值如圖7和圖8所示，如上文所述當dat < THRO 時，CalcBrate (dat, THRO, THR1) = O,
當THRO ( dat < THRl 時，CalcBrate (dat, THRO, THRI) = (dat-THRO) /(THR1-THR0),當THRl ( dat 時，CalcBrate (dat, THRO, THR1) =1.0。(步驟2)以下將說明圖13中所示的步驟2。在步驟2中根據(2b)中間數據產生(2c)輸出數據是通過垂直加上(2a)中間數據中包含的一個像素值而進行的，這將在以下進行說明。例如，應用以下描述的I : I相加和I : 3/3 I相加。將說明圖13的(2c)輸出數據中所呈現的像素值GOO、ROl的計算示例。(I I 相加)在I : I相加中，(2c)輸出數據中呈現的像素值G00、R01是通過以下表達式計算的GOO = (GW00+GW20)/2ROl = (RW01+RW2D/2(I 3/3 I 相加)在I : 3或3 : I相加中，(2c)輸出數據中呈現的像素值G00、R01是通過以下表達式計算的GOO = (3XGW00+GW20)/4ROl = (RffO 1+3 X RW21)/4(5-4.實施例3.曝光時間在Bayer陣列中成對角線地變化的示例)在圖14中示出了曝光時間在Bayer陣列中成對角線地變化的一個示例。在圖14中呈現了以下三種類型的數據(3a)圖像拾取數據(3b)中間數據(3c)輸出數據(3a)圖像拾取數據是對于圖像拾取元件而言的，并且代表當曝光時間在Bayer陣列中成對角線地變化時拍攝的圖像。白色部分是長時曝光像素并且深色部分代表短時曝光像素。在該示例中，長時曝光像素和短時曝光像素以四像素塊為基礎交替設置。另外，曝光時間控制是基于例如控制單元105的控制而進行的。(3a)圖像拾取數據呈現了 4X4像素區域。(3b)中間數據是在像素信息組合單元162處基于該4X4(3a)圖像拾取數據產生的。像素信息組合單元162首先在第I步基于該4X4(3a)圖像拾取數據計算4X2中間像素數據。(3c)輸出數據是在像素信息組合單元162處基于該4X2(3b)中間數據產生的。像素信息組合單元162首先在第I步基于該4X4(3a)圖像拾取數據計算4X2 (3b)中間像素數據，然后在第2步基于產生的中間數據產生2X2(3c)輸出數據。(3c)輸出數據作為寬動態圖像而產生。以此方式，像素信息組合單元162通過將4X4(3a)圖像拾取數據中包含的長時曝光像素和短時曝光像素混合來計算2X2 (3c)輸出數據的組成像素的每一像素值。將對步驟I和步驟2各自進行說明。(步驟I) 在步驟I中根據(3a)圖像拾取數據產生(3b)中間數據是通過以下混合多個像素值進行的。混合對于GR/GB相和對于R/B相是單獨地進行的。(GR/GB 相的處理)例如，通過以下表達式計算在圖14 (3b)中呈現的GWOO的像素值(GWOO)，該表達式中應用了(3a)圖像拾取數據中包含的多個像素的像素值和混合率α。GffOO = α X GSOO X GAIN+(I. O-α ) XGL02這里，GAIN :短時曝光像素的像素值以此倍增的增益(長時曝光像素和短時曝光像素的曝光比)α :長時曝光像素的像素值和短時曝光像素的像素值的混合比。這里，混合比α被計算為以下兩個混合比a L和a S的乘積。a L = CalcBrate (GL02, THR0_LNG, THR1_LNG)a S = CalcBrate (GS00, THR0_SHT, THR1_SHT)α = a LX a S這里，CalcBrate (dat, THRO, THR1)的值如圖7和圖8所示，如前文所述當dat < THRO 時，CalcBrate (dat, THRO, THR1) = O,當THRO ( dat < THRl 時，CalcBrate (dat, THRO, THRI) = (dat-THRO) /(THR1-THR0),當THRl ( dat 時，CalcBrate (dat, THRO, THR1) =1.0。(R/B相的處理)例如，通過以下表達式計算在圖14 (3b)中呈現的BW12的像素值(BW12)，該表達式中應用了(3a)圖像拾取數據中包含的多個像素的像素值和混合率α。Bff12 = α X BS12 X GAIN+(I. O-α ) XBL32這里，GAIN :短時曝光像素的像素值以此倍增的增益(長時曝光像素和短時曝光像素的曝光比)α :長時曝光像素的像素值和短時曝光像素的像素值的混合比。這里，混合比α被計算為以下兩個混合比a L和a S的乘積。
a L = (CalcBrate(GSll, THR0_SHT, THR1_SHT)+CalcBrate (GL13, THR0_LNG,THR1_LNG))/2. 0a S = (CalcBrate(GL31, THR0_LNG, THR1_LNG)+CalcBrate (GS33, THR0_SHT,THR1_SHT))/2. 0a = aLXaS這里，CalcBrate (dat, THRO, THR1)的值如圖7和圖8所示，如上文所述當dat < THRO 時，CalcBrate (dat, THRO, THR1) = O,當THRO ( dat < THRl 時，CalcBrate (dat, THRO, THRI) = (dat-THRO) / (THR1-THR0),當THRl ( dat 時，CalcBrate (dat, THRO, THR1) =1.0。(步驟2)以下將說明圖14中所示的步驟2。在步驟2中根據(3b)中間數據產生(3c)輸出數據是通過水平加上(3b)中間數據中包含的一個像素值而進行的，這將在以下進行說明。例如，應用以下描述的I : I相加和I : 3/3 I相加。(I I 相加)在I : I相加中，(3c)輸出數據中呈現的像素值G00、R01是通過以下表達式計算的GOO = (GW00+GW02)/2ROl = (RW01+RW03)/2(I 3/3 I 相加)在I : 3或3 : I相加中，(3c)輸出數據中呈現的像素值G00、R01是通過以下表達式計算的GOO = (3XGW00+GW02)/4ROl = (RW01+3XRW03)/4(5-5.實施例4.曝光時間在四分區Bayer陣列中成對角線地變化的示例)在圖15中示出了曝光時間在四分區Bayer陣列中成對角線地變化的一個示例。在圖15中呈現了以下三種類型的數據(4a)圖像拾取數據(4b)中間數據(4c)輸出數據(4a)圖像拾取數據是對于圖像拾取元件而言的，并且代表當曝光時間在四分區Bayer陣列中成對角線地變化時拍攝的圖像。白色部分是長時曝光像素并且深色部分代表短時曝光像素。在該示例中，長時曝光像素和短時曝光像素成對角線地交替設置。另外，曝光時間控制是基于例如控制單元105的控制而進行的。(4a)圖像拾取數據呈現了 4X6像素區域。(4b)中間數據是在像素信息組合單元162處基于該4X6 (4a)圖像拾取數據產生的。
像素信息組合單元162首先在第I步基于該4X6 (4a)圖像拾取數據計算12項中間像素數據。(4c)輸出數據是在像素信息組合單元162處基于該12項(4b)中間像素數據產生的。像素信息組合單元162首先在第I步基于該4X6 (4a)圖像拾取數據計算12項(4b)中間像素數據，然后在第2步基于產生的中間數據產生2X3(4c)輸出數據。(4c)輸出數據作為寬動態圖像而產生。將對步驟I和步驟2各自進行說明。(步驟I)
在步驟I中根據(4a)圖像拾取數據產生(4b)中間數據是通過以下成對角線地加上多個像素值進行的。例如，根據以下表達式通過成對角線地相加而計算圖15 (4b)中呈現的GLAOO的像素值(GLAOO)和GSAOO的像素值(GSAOO)，該表達式中應用了(4a)圖像拾取數據中包含的多個像素的像素值和混合率α。GLAOO = (GL00+GL11)/2GSAOO = (GS01+GS10)/2(步驟2)以下將說明圖15中所示的步驟2。在步驟2中根據(4b)中間數據產生(4c)輸出數據是通過混合(4b)中間數據中包含的像素值而進行的，這將在以下進行說明。混合對于GR/GB相和對于R/B相是單獨地進行的。(GR/GB 相的處理)例如，通過以下表達式計算在圖15(4c)中呈現的GOO的像素值(GOO)，該表達式中應用了(4b)中間數據中包含的多個像素的像素值和混合率a。GOO = α X GSAOO X GAIN+(I. O- α ) X GLAOO這里，GAIN :短時曝光像素的像素值以此倍增的增益(長時曝光像素和短時曝光像素的曝光比)α :長時曝光像素的像素值和短時曝光像素的像素值的混合比。這里，混合比α被計算為以下兩個混合比a L和a S的乘積。a L = CalcBrate (GLA00, THR0_LNG, THR1_LNG)a S = CalcBrate (GSA00, THR0_SHT, THR1_SHT)α = a LX a S這里，CalcBrate (dat, THRO, THR1)的值如圖7和圖8所示，如前文所述當dat < THRO 時，CalcBrate (dat, THRO, THR1) = O,當THRO ( dat < THRl 時，CalcBrate (dat, THRO, THRI) = (dat-THRO) /(THR1-THR0),當THRl ( dat 時，CalcBrate (dat, THRO, THR1) =1.0。(R/B相的處理)
例如，通過以下表達式計算在圖15 (4c)中呈現的ROl的像素值(ROl)，該表達式中應用了(4b)中間數據中包含的多個像素的像素值和混合率a。ROl= α X RSAOl XGAIN+(I. O-α ) X RLAOl這里，GAIN :短時曝光像素的像素值以此倍增的增益(長時曝光像素和短時曝光像素的曝光比)α :長時曝光像素的像素值和短時曝光像素的像素值的混合比這里，混合比α被計算為以下兩個混合比a L和a S的乘積。a L = CalcBrate ((GLA00+GLA02) /2. O, THR0_LNG, THR1_LNG)
a S = CalcBrate ((GSA00+GSA02) /2. O, THR0_SHT, THR1_SHT)α = a LX a S這里，CalcBrate (dat, THRO, THR1)的值如圖7和圖8所示，如上文所述當dat < THRO 時，CalcBrate (dat, THRO, THR1) = O,當THRO ( dat < THRl 時，CalcBrate (dat, THRO, THRI) = (dat-THRO) /(THR1-THR0),當THRl ( dat 時，CalcBrate (dat, THRO, THR1) =1.0。另外，在上述實際示例中說明的輸出像素值的產生可以由圖4中的圖像拾取設備102中的像素信息組合單元162執行，并且可以由圖3中的信號處理單元103執行。另外，有可能通過在例如控制單元中執行的程序來執行曝光時間控制或上述實際示例中所述的運算。(6.圖像處理設備的配置的其他示例)首先，雖然如參照圖3所述的本公開中的圖像處理設備可以具有如圖3所示的配置，但它也可以具有其他配置。圖16示出一個圖像處理設備，其包括透鏡201、圖像拾取裝置202、信號處理單元(DSP) 203、記錄/再現單元204、用戶接口單元210和系統總線208。處理流程如下當通過按壓快門(用戶接口單元210)開始圖像拾取時，圖像拾取裝置202的固態圖像拾取元件(例如CCD(電荷耦合器件)或CMOS(互補金屬氧化物半導體))將從透鏡201 (光學)入射的光學圖像轉換成2D電信號(下稱圖像數據)。輸出為例如如以上參照圖5所述的通過空間上改變曝光時間而拾取的原始圖像。然后，在如下順序進行信號處理。(I)寬動態組合+像素相加(通過陣列的實際示例I至4，曝光技術))(2)相機信號處理(白平衡、去馬賽克、伽瑪校正等)(3)數據壓縮(對于靜態圖像為JPEG等，對于視頻為H. 264等)可以通過圖像拾取裝置202和信號處理單元(DSP) 203進行上述(I)至(3)的信號處理。另外，若在圖像拾取元件中進行像素相加(垂直相加、水平相加、對角線相加)，則可以應用模擬相加(FD(浮動擴散)相加、SF(源跟隨器)相加)、數字相加等。此外，前述實施例I至3中的步驟I和2的順序可以轉換。作為輸出圖像而產生的圖像被作為壓縮數據保持在記錄/再現單元204中。
7.本公開的構成的總結現在已參照一個具體實施例詳細說明了本公開的該實施例。然而，應注意的是，在不脫離本公開的范圍的條件下，各種變形和替代實施例對于本領域的技術人員來說將變得清楚。也就是說，應注意的是本公開是通過實施例公開的，不應以受這些實施例的限制的方式理解。為了確定本公開的范圍，有必要考慮權利要求的范圍。此外，本技術也可以按如下配置。(I) 一種圖像處理設備，包括圖像信息組合單元，所述圖像信息組合單元對長時曝光像素和短時曝光像素執行像素值組合處理，其中所述像素信息組合單元基于多個不同曝光時間段的像素的像素值計算多個混合比，基于所述多個混合比確定適用于所述長時曝光像素和所述短時曝光像素的混合處理的適用混合比，并通過所述適用混合比所適用的對長時曝光像素和短時曝光像素的所述 混合處理來確定輸出圖像或適用于產生所述輸出圖像的中間圖像的像素值。(2)根據⑴所述的圖像處理設備，其中所述像素信息組合單元基于待混合的所述多個不同曝光時間段的像素的像素值計算所述多個混合比，并基于計算的多個混合比確定所述適用混合比。(3)根據⑴或⑵所述的圖像處理設備，其中所述像素信息組合單元基于與待混合的所述多個不同曝光時間段的像素相鄰的像素的像素值計算所述多個混合比，并基于計算的多個混合比確定所述適用混合比。(4)根據⑴至(3)中任一項所述的圖像處理設備，其中所述像素信息組合單元計算取決于長時曝光像素值的混合比a L，所述混合比a L取決于所述長時曝光像素的像素值，和取決于短時曝光像素值的混合比α S，所述混合比a S取決于所述短時曝光像素的像素值，并且確定計算的取決于長時曝光像素值的混合比a L和計算的取決于短時曝光像素值的混合比aS的乘積，SPa = aLXaS，所述a被確定為表示所述短時曝光像素的混合量的適用混合比。(5)根據(4)所述的圖像處理設備，其中所述像素信息組合單元確定所述取決于長時曝光像素的混合比a L，使得根據作為待混合的像素的顏色C的長時曝光像素的像素值CL，當CL < THOL 時，a L = 0，當THOL ^ CL ^ THlL 時，a L = (CL-THOL) / (TH1L-TH0L)，并且當THlL < CL 時，a L = L 0，以及所述取決于短時曝光像素的混合比a S，使得根據所述作為待混合的像素的顏色C的短時曝光像素的像素值CS，當CS < THOS 時，a S = 0，當THOS 彡 CS 彡 THIS 時，a L = (CL-THOS) / (TH1S-TH0S)，并且
當THIS < CL 時，a L = I. 0，其中THOL、TH1L、THOS和THIS為預定義閾值。(6)根據⑴至(5)中任一項所述的圖像處理設備，其中所述像素信息組合單元通過以下表達式計算所述輸出圖像或所述中間圖像的顏色C的像素值CWCff= a XCSXGAIN+(1. O-α ) XCL其中
CL為顏色C的長時曝光像素的像素值，CS為顏色C的短時曝光像素的像素值，GAIN為長時曝光像素和短時曝光像素的曝光比，并且α是所述適用混合比。(7)根據⑴至(6)中任一項所述的圖像處理設備，其中所述像素信息組合單元通過對所述適用混合比所適用的長時曝光像素和短時曝光像素的所述混合處理產生中間圖像，并且通過對組成所產生的中間圖像的相同顏色的像素值的混合處理產生最終輸出圖像。(8)根據⑴至(7)中任一項所述的圖像處理設備，其中所述像素信息組合單元接收具有混合了所述長時曝光像素和所述短時曝光像素的RGB陣列的圖像數據，并通過針對RGB的每種顏色，將顏色相同的長時曝光像素和短時曝光像素混合來確定所述輸出圖像或所述中間圖像的像素值。(9)根據⑶所述的圖像處理設備，其中所述像素信息組合單元通過只應用所述具有RGB陣列的圖像數據的G像素數據來確定所述適用混合比。另外，一種在上述裝置或系統中執行的處理的方法、一種用于執行處理的程序和一種其上記錄了該程序的記錄媒體均包含在本公開的配置中。另外，在本說明書中說明的處理序列可以由硬件、軟件和結合了硬件與軟件的配置實現。在由軟件實現該處理的情況下，有可能將一個其中編碼了該處理序列的程序安裝在包含在專用硬件中的計算機內的存儲器中并執行該程序。還有可能在能執行各種處理的通用計算機中安裝程序并執行該程序。例如，該程序可以被預先安裝在一個存儲媒體中。該程序除了從該存儲媒體安裝在計算機中之外，還可以通過網絡例如局域網(LAN)或互聯網接收，并且可以安裝在置入計算機中的存儲媒體例如硬盤等中。注意，在本說明書中說明的各種類型的處理不僅可以按已描述的時間順序執行，還可以根據執行該處理的設備的處理能力或按照需要并行地或單獨地執行。另外，說明書中的系統不限于邏輯上聚集了多個均包含在同一殼體中的裝置的配置。如上所述，根據本公開的實際示例，實現了組合長時曝光像素和短時曝光像素的像素值并產生寬動態范圍圖像的裝置和方法。具體而言，例如，包含一種組合長時曝光像素和短時曝光像素的像素值并產生輸出圖像的像素值的圖像信息組合單元。該像素信息組合單元通過計算基于多個不同像素的像素值計算的多個混合比，通過基于所述多個混合比確定最終長時曝光像素和最終短時曝光像素的最終混合比，并通過將所述最終混合比所適用的長時曝光像素和短時曝光像素混合，來確定輸出圖像的像素值。有可能通過該處理產生寬動態范圍圖像。本領域的技術人員應理解的是，只要在所附權利要求或其等效物范圍內，可以根據設計要求和其他因素作出各種修改、組合、子組合和變動。
本公開包含與下述專利中公開的內容相關的主題2011年8月31日提交日本專利局的日本優先權專利申請JP2011-190051和2011年12月29日提交日本專利局的日本優先權專利申請JP2011-290257，這些專利申請的全部內容通過引用整體結合于此。
權利要求
1.一種圖像處理設備，包括圖像信息組合單元，所述圖像信息組合單元對長時曝光像素和短時曝光像素執行像素值組合處理， 其中所述像素信息組合單元基于多個不同曝光時間段的像素的像素值計算多個混合t匕，基于所述多個混合比確定適用于所述長時曝光像素和所述短時曝光像素的混合處理的適用混合比，并通過所述適用混合比所適用的對長時曝光像素和短時曝光像素的所述混合處理來確定輸出圖像或適用于產生所述輸出圖像的中間圖像的像素值。
2.根據權利要求I所述的圖像處理設備， 其中所述像素信息組合單元基于待混合的所述多個不同曝光時間段的像素的像素值計算所述多個混合比，并基于計算的多個混合比確定所述適用混合比。
3.根據權利要求I所述的圖像處理設備， 其中所述像素信息組合單元基于與待混合的所述多個不同曝光時間段的像素相鄰的像素的像素值計算所述多個混合比，并基于計算的多個混合比確定所述適用混合比。
4.根據權利要求I所述的圖像處理設備， 其中所述像素信息組合單元計算 取決于長時曝光像素值的混合比aL，所述混合比a L取決于所述長時曝光像素的像素值，和 取決于短時曝光像素值的混合比α S，所述混合比aS取決于所述短時曝光像素的像素值，并且 確定計算的取決于長時曝光像素值的混合比aL和計算的取決于短時曝光像素值的混合比a S的乘積，即a = a LX a S， 所述a被確定為表示所述短時曝光像素的混合量的適用混合比。
5.根據權利要求4所述的圖像處理設備， 其中所述像素信息組合單元確定 所述取決于長時曝光像素的混合比aL，使得 根據作為待混合的像素的顏色C的長時曝光像素的像素值CL，當 CL < THOL 時，a L = 0，當 THOL ^ CL ^ THlL 時，a L = (CL-THOL) / (TH1L-TH0L)，并且 當 THlL < CL 時，a L = I. 0，以及 所述取決于短時曝光像素的混合比a S，使得 根據所述作為待混合的像素的顏色C的短時曝光像素的像素值CS，當 CS < THOS 時，a S = 0，當 THOS 彡 CS 彡 THIS 時，a L = (CL-THOS) / (TH1S-TH0S)，并且當 THIS < CL 時，a L = I. 0， 其中THOL、TH1L、THOS和THIS為預定義閾值。
6.根據權利要求I所述的圖像處理設備，其中 所述像素信息組合單元 通過以下表達式計算所述輸出圖像或所述中間圖像的顏色C的像素值CW Cff = a XCSXGAIN+(1. O-a ) XCL其中 CL為顏色C的長時曝光像素的像素值， CS為顏色C的短時曝光像素的像素值， GAIN為長時曝光像素和短時曝光像素的曝光比，并且 α是所述適用混合比。
7.根據權利要求I所述的圖像處理設備，其中 所述像素信息組合單元通過對所述適用混合比所適用的長時曝光像素和短時曝光像素的所述混合處理產生中間圖像，并且 通過對組成所產生的中間圖像的相同顏色的像素值的混合處理產生最終輸出圖像。
8.根據權利要求I所述的圖像處理設備，其中 所述像素信息組合單元接收具有混合了所述長時曝光像素和所述短時曝光像素的RGB陣列的圖像數據，并通過針對RGB的每種顏色，將顏色相同的長時曝光像素和短時曝光像素混合來確定所述輸出圖像或所述中間圖像的像素值。
9.根據權利要求8所述的圖像處理設備，其中 所述像素信息組合單元通過只應用所述具有RGB陣列的圖像數據的G像素數據來確定所述適用混合比。
10.一種在圖像處理設備中執行的圖像處理方法，所述方法包括 利用所述像素信息組合單元執行對長時曝光像素和短時曝光像素的像素值組合處理， 其中所述像素值組合處理包括以下處理 基于多個不同曝光時間段的像素的像素值計算多個混合比； 基于所述多個混合比確定適用于所述長時曝光像素和所述短時曝光像素的混合處理的適用混合比，并且 通過所述適用混合比所適用的對長時曝光像素和短時曝光像素的所述混合處理來確定輸出圖像或適用于所述輸出圖像的中間圖像的像素值。
11.一種用于使圖像處理在圖像處理設備中被執行的程序， 其中所述程序使像素信息組合單元對長時曝光像素和短時曝光像素執行像素值組合處理，并且 其中所述像素值組合處理包括以下處理 基于多個不同曝光時間段的像素的像素值計算多個混合比； 基于所述多個混合比確定適用于所述長時曝光像素和所述短時曝光像素的混合處理的適用混合比，并且 通過所述適用混合比所適用的對長時曝光像素和短時曝光像素的所述混合處理來確定輸出圖像或適用于所述輸出圖像的中間圖像的像素值。
全文摘要
本發明公開了圖像處理設備、圖像處理方法和程序。一種包括圖像信息組合單元的圖像處理設備，所述圖像信息組合單元對長時曝光像素和短時曝光像素執行像素值組合過程。所述像素信息組合單元基于多個不同曝光時間段的像素的像素值計算多個混合比，基于所述多個混合比確定適用于對長時曝光像素和短時曝光像素的混合過程的適用混合比，并通過該適用混合比所適用的對長時曝光像素和短時曝光像素的混合過程來確定輸出圖像或適用于產生輸出圖像的中間圖像的像素值。
文檔編號H04N5/235GK102970487SQ20121030802
公開日2013年3月13日 申請日期2012年8月24日 優先權日2011年8月31日
發明者竹內悟 申請人:索尼公司