使用預(yù)覽圖像選擇曝光的攝像裝置的制作方法

專利名稱：使用預(yù)覽圖像選擇曝光的攝像裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及捕捉數(shù)字圖像的數(shù)字?jǐn)z像裝置，更具體而言，涉及識別要捕捉的場景 的類型以調(diào)整曝光的數(shù)字?jǐn)z像裝置。
背景技術(shù)：
數(shù)字?jǐn)z像裝置被越來越多的消費者和專業(yè)攝像師所使用。這些攝像裝置使用一個 或更多個CCD或CMOS圖像傳感器來捕捉圖像，并以數(shù)字方式處理這些捕捉到的圖像以生成 數(shù)字圖像文件，該數(shù)字圖像文件存儲于攝像裝置的數(shù)字存儲器中?，F(xiàn)有技術(shù)的Kodak (柯達(dá))數(shù)字?jǐn)z像裝置使用“智能場景”模式來自動識別場景類 型(例如，體育運動、肖像)并然后為識別出的場景類型自動選擇適當(dāng)?shù)钠毓獬绦?。曝光?序通常設(shè)置拍攝圖像時使用的f數(shù)、曝光時間、以及ISO速度。已知數(shù)字?jǐn)z像裝置中使用的圖像處理可以根據(jù)輸入圖像的動態(tài)范圍而適應(yīng)性調(diào) 整信號值。例如，轉(zhuǎn)讓給Apical 有限公司的 W02006018658“Image Processing Method and Computer Software for ImageProcessing”教導(dǎo)了圖像校正處理，其包括根據(jù)動態(tài)范圍壓 縮圖像轉(zhuǎn)換來改變圖像的區(qū)域圖像強(qiáng)度值。雖然該專利教導(dǎo)了此圖像處理可以用于數(shù)字?jǐn)z 像裝置中，但并未給出基于捕捉場景的類型設(shè)置攝像裝置中圖像傳感器的曝光度的建議。已知數(shù)字?jǐn)z像裝置可以提供圖像處理，以改進(jìn)由于光照情況不好或閃光不足而呈 現(xiàn)出曝光不足的圖像。例如，近來Nikon (尼康)CoolPix攝像裝置包括“D-Lighting”功能以 解決伴隨過度逆光和曝光不足的圖像出現(xiàn)的問題。用戶在回放模式期間選擇的D-Lighting 自動對圖像進(jìn)行修改，以補償閃光不足或逆光過度。攝像裝置把原始圖像和校正后的副本 保存到攝像裝置的內(nèi)部或可拆除存儲器中。已知數(shù)字?jǐn)z像裝置可以使用減小的曝光度(例如，高ISO設(shè)置)捕捉圖像以保留 更多的圖像高光。例如，一些Canon(佳能)DSLR攝像裝置包括“高光色調(diào)優(yōu)先”(HTP)設(shè) 置，其允許攝像裝置在以提高的ISO設(shè)置進(jìn)行拍攝時利用傳感器像素中可用的更大上動態(tài) 余量(headroom)，以恢復(fù)如若不然將會丟失的高光細(xì)節(jié)。已知可以對數(shù)字圖像(包括數(shù)字?jǐn)z像裝置捕捉的數(shù)字圖像)進(jìn)行數(shù)字處理以調(diào)整 中性濃度平衡和色彩平衡。具體地，可以執(zhí)行適應(yīng)性中性濃度平衡調(diào)整處理，如共同轉(zhuǎn)讓給 Spaulding、Gindele 禾口 Niederbaumer 的題為"Method for Automatic Scene Balance of Digital Images”的美國專利第6，243，133號中描述的，其公開內(nèi)容經(jīng)引用并入本文。可 以執(zhí)行自動色彩平衡，如共同轉(zhuǎn)讓給Adams、Hamilton、Gindele和Pillman的題為“Method for Automatic White Balance of Digital Images” 的美國專利第 6，573，932 號中描述 的，其公開內(nèi)容經(jīng)引用并入本文。這些實例是非限制性的，并且可使用許多其它的中性濃度 和色彩平衡調(diào)整處理方案。已知可以對數(shù)字圖像(包括數(shù)字?jǐn)z像裝置捕捉的數(shù)字圖像)進(jìn)行數(shù)字處理以補 償眩光的出現(xiàn)。具體地，可以執(zhí)行眩光補償處理，如共同轉(zhuǎn)讓給Gindele的題為“Method of Compensating a Digital Image for the Effectsof Flare Light，，的美國專利第6,912, 321號中描述的，其公開內(nèi)容經(jīng)引用并入本文。此實例是非限制性的，并且可使用許 多其它的眩光補償處理方案。已知可以對數(shù)字圖像(包括數(shù)字?jǐn)z像裝置捕捉的數(shù)字圖像)進(jìn)行數(shù)字處理以補償 場景的動態(tài)范圍。具體地，可以執(zhí)行適應(yīng)性色調(diào)標(biāo)度調(diào)整處理，如以下專利中描述的共同 轉(zhuǎn)讓給Gindele和Gallagher 的題為“Methodof Enhancing the Tone Scale of a Digital Image to Extend the LinearResponse Range Without Amplifying Noise，，的美國專利 第 6，937，775 號；共同轉(zhuǎn)讓給 Gindele 的題為 “Enhancing the Tonal Characteristics ofDigital Images”的美國專利第7，113,649號；共同轉(zhuǎn)讓給Gindele和Gallagher的 題為"Enhancing the Tonal and Color Characteristics ofDigital Images Using Expansive and Compressive Tone Scale Functions，，的美國專利第 7，130，485 號；共 同轉(zhuǎn)讓給 Gindele 和 Gallagher 的題為 “Enhancing the Tonal, Spatial, and Color Characteristics of DigitalImages Using Expansive and Compressive Tone Scale Functions”的美國專利第7,058, 234號；以及共同轉(zhuǎn)讓給Gindele和Gallagher的題 % "Enhancing the Tonal Characteristics of Digital Images Using Expansiveand Compressive Tone Scale Functions”的美國專利第7，043，090號；以及共同轉(zhuǎn)讓給 Gallagher 和 Gindele 的 2002 年 11 月 14 日提交的題為"Methodof Spatially Filtering a Digital Image Using Chrominance Information” 的美國專利公開第 US20040096103 號；以及共同轉(zhuǎn)讓給Gindele的2002年9月19日提交的題為“Enhancing the Tonal Characteristics of DigitalImages Using Inflection Points in a Tone Scale Function"的美國專利公開第US20040057632號，其公開內(nèi)容經(jīng)引用并入本文。已知可以使用灰度校正來校正在如下這種照明條件下捕捉的圖像的亮度和對比 度在該照明條件下，在亮光源旁邊對對象進(jìn)行攝像。伽瑪校正和直方圖校正是可以用來校 正這種圖像的灰度校正的典型實例。對于伽瑪校正和直方圖校正，然而，因為使用固定系數(shù) 執(zhí)行圖像校正，所以在由于曝光過度而把圖像剪裁成白色的情況下或者在曝光不足而剪裁 成黑色或被噪聲模糊的情形中會出現(xiàn)問題。已知可以使用適應(yīng)性灰度校正(適應(yīng)性增強(qiáng))來校正圖像，其中，使用要校正像 素的相鄰像素的灰度值確定校正系數(shù)。采用此方式，可以實現(xiàn)適應(yīng)于圖像內(nèi)容的校正。如 下文件中公開了適應(yīng)性灰度校正的實例Nosato等人的“Comparison of Retinex Models for HardwareImplementation",IEICE technical r印ort，SIS，2005-16，第19-24頁(2005 年6月)。此適應(yīng)性灰度校正基于Retinex理論，其假設(shè)輸入圖像以照明光和反射率的 乘積表示。從輸入圖像中分離出照明光從而獲得反射率圖像作為校正圖像。假定輸入圖 像I等于照明光L乘以反射率R(校正圖像)，則可以實現(xiàn)關(guān)系R(x，y) = exp{log(I(x, y))-log(L(X，y))}。偏差的計算用來估算照明光，并且產(chǎn)生分辨率為原始圖像的l/2k的多 個層k。從分辨率較低的層開始，重復(fù)用于更新照明光的計算。此處，使用表達(dá)式L(x，y)= L(x,y)-yNSDXG(x,y)執(zhí)行用于更新照明光的計算，其中G(x，y)是代價函數(shù)的梯度，并且 μ NSD是學(xué)習(xí)系數(shù)(learning coefficient)。具體地，重復(fù)如下這種處理其中，首先計算 G (X，y)，然后計算μ NSD (χ, y),并基于這些計算結(jié)果，計算L (x，y)。此外，JP2007-27967A公開了當(dāng)攝像師選擇肖像攝像模式時，在把曝光值設(shè)置為小 于AE(自動曝光)檢測器正常算出的曝光值的值的情況下捕捉圖像，并且通過使用伽瑪轉(zhuǎn)換表對來自圖像傳感器的圖像數(shù)據(jù)應(yīng)用灰度校正，從而校正圖像中位于對象中心附近的亮 度不足部分的亮度值，其中該伽瑪轉(zhuǎn)換表用于增加接受了灰度轉(zhuǎn)換處理的圖像數(shù)據(jù)的動態(tài) 范圍。注意，肖像攝像模式必須由攝像師手動選擇，而不是由攝像裝置通過分析預(yù)覽圖像數(shù) 據(jù)自動確定。

發(fā)明內(nèi)容
本發(fā)明的目的是提供如下這種數(shù)字?jǐn)z像裝置其使用預(yù)覽圖像數(shù)據(jù)基于場景類型 調(diào)整傳感器曝光，以改進(jìn)最終圖像的圖像質(zhì)量。此目的通過提供一種數(shù)字?jǐn)z像裝置來實現(xiàn)，該數(shù)字?jǐn)z像裝置包括圖像傳感器，用 于提供初始傳感器圖像數(shù)據(jù)和最終傳感器圖像數(shù)據(jù)；透鏡，用于把場景的圖像曝光到圖像 傳感器上；曝光控制系統(tǒng)，用于響應(yīng)于場景類型調(diào)整圖像傳感器上最終圖像的曝光度；以 及處理器，用于對初始傳感器圖像數(shù)據(jù)進(jìn)行處理以選擇多個場景類型中的一個場景類型， 在捕捉最終傳感器圖像數(shù)據(jù)之前把選擇的場景類型提供給曝光控制系統(tǒng)，以使得曝光控制 系統(tǒng)調(diào)整圖像傳感器上最終圖像的曝光度，其中曝光控制系統(tǒng)為不同場景類型設(shè)置不同的 最終圖像曝光度，以及響應(yīng)于場景類型對最終傳感器圖像數(shù)據(jù)進(jìn)行處理，以補償圖像傳感 器上最終圖像的曝光度。優(yōu)點本發(fā)明的優(yōu)點是提供了如下這種數(shù)字?jǐn)z像裝置其可以針對不同場景類型范圍生 成高質(zhì)量圖像。本發(fā)明另外的優(yōu)點是提供了如下這種數(shù)字?jǐn)z像裝置其可以自動確定場景類型， 并響應(yīng)于場景類型調(diào)整圖像傳感器上最終圖像的曝光度。本發(fā)明進(jìn)一步的優(yōu)點是提供了如下這種數(shù)字?jǐn)z像裝置其可以響應(yīng)于場景類型， 自動確定并向來自圖像傳感器的最終圖像數(shù)據(jù)應(yīng)用數(shù)字處理，以補償圖像傳感器上最終圖 像的曝光度。


圖1描繪了包括數(shù)字?jǐn)z像裝置300的數(shù)字?jǐn)z像系統(tǒng)的方框圖；圖2描繪了數(shù)字?jǐn)z像裝置300的處理器320采用的圖像處理圖；圖3描繪了示出了本發(fā)明實施例的流程圖；圖4描繪了用于圖2中的適應(yīng)性色調(diào)標(biāo)度處理塊453的圖像處理圖的實例；圖5是示出了如下場景類型的代表性列表的表有利于使用本發(fā)明把捕捉的場景 自動分類成這些場景類型；圖6是示出了針對不同場景類型的相對曝光度設(shè)置的表，其中既針對確定為含有 面部的場景也針對確定為不含任何面部的場景；圖7是示出了本發(fā)明替選實施例中信號流的流程圖；圖8是示出了場景類型分類過程的實例的流程圖；以及圖9是示出了根據(jù)本發(fā)明實施例的亮度直方圖與曝光校正量之間的關(guān)系的圖表。
具體實施例方式本發(fā)明提供了一種包括如下這種算法的數(shù)字?jǐn)z像裝置該算法在對圖像傳感器進(jìn) 行曝光以最終捕捉之前，處理初始傳感器圖像數(shù)據(jù)并選擇要捕捉場景的類型。初始傳感器 圖像數(shù)據(jù)也用于提供預(yù)覽圖像，以構(gòu)成要捕捉的最終圖像?；谟伤惴ù_定的場景類型自 動設(shè)置到傳感器上的場景曝光。針對這些不同場景類型使用不同的傳感器曝光偏移量。結(jié) 果，傳感器輸出信號等級基于場景類型而改變。數(shù)字適應(yīng)性色調(diào)標(biāo)度處理然后補償此曝光 偏移量。這使得數(shù)字?jǐn)z像裝置能夠捕捉針對不同場景類型范圍的較高質(zhì)量圖像。本發(fā)明把靜止圖像處理流水線和曝光程序的行為相關(guān)聯(lián)，以最佳地渲染(render) 每個場景類型的整個動態(tài)范圍。例如使具有平均光照條件的場景略微曝光不足以避免高 光信息丟失(剪裁)；亮的場景(包括逆光場景)使用低于正常的傳感器曝光度以保留高 光信息；以及文本/文件場景使用高于正常的傳感器曝光度以考慮文件中發(fā)現(xiàn)的高于平均 的反射率。數(shù)字圖像處理算法然后對色調(diào)再現(xiàn)進(jìn)行調(diào)整，以提供比沒有此相關(guān)聯(lián)的行為可 能有的情況更滿意的處理后最終圖像。圖5中列出的實例場景類型包括一般一用于“平均”場景，也作為默認(rèn)類型。高對比度場景一使場景曝光不足以捕捉高光細(xì)節(jié)，并且使用適應(yīng)性色調(diào)標(biāo)度調(diào) 節(jié)(tone scaling)以最佳地渲染場景的大動態(tài)范圍。低對比度場景一增大對比度以最佳地渲染場景的相對低動態(tài)范圍。(藍(lán)色)天空場景一對于藍(lán)色天空的敏感使得飽和色彩(包括天空色)得以保留。夜間場景一強(qiáng)制保留‘黑色’區(qū)域(包括晚間內(nèi)容)的保真度。色彩飽和場景一維持對比度以保留飽和色彩。文本場景一使用高于正常的傳感器曝光度，以考慮文件中發(fā)現(xiàn)的高于平均的反射率。這些實例是非限制性的，并且會發(fā)現(xiàn)如下這些其它的場景類型對于使用本發(fā)明進(jìn) 行檢測和處理是有用的這些其它場景類型具有特定的曝光和色調(diào)標(biāo)度特性，諸如對象位 于閃光使用距離之外的場景。圖1描繪了包括數(shù)字?jǐn)z像裝置300的數(shù)字?jǐn)z像系統(tǒng)的方框圖。優(yōu)選地，數(shù)字?jǐn)z像 裝置300是便攜式電池操作的設(shè)備，足夠小到在捕捉和瀏覽圖像時用戶容易手持。數(shù)字?jǐn)z 像裝置300生成使用圖像存儲器330存儲的數(shù)字圖像。數(shù)字?jǐn)z像裝置300包括具有可調(diào) 整孔徑和可調(diào)整快門306的變焦距透鏡304。變焦距透鏡304由變焦距和對焦電機(jī)驅(qū)動器 308控制。變焦距透鏡304把來自場景(未示出)的光對焦在圖像傳感器314(例如，單片 彩色CCD或CMOS圖像傳感器)上。圖像傳感器的輸出由模擬信號處理器(ASP)和A/D轉(zhuǎn) 換器316轉(zhuǎn)換為數(shù)字形式，并暫時存儲于DRAM緩沖存儲器318中。隨后由處理器320使用 固件存儲器328中存儲的固件程序?qū)RAM緩沖存儲器318中存儲的數(shù)據(jù)進(jìn)行處理?？商?選地，處理器320可以通過定制電路(例如，通過一個或更多個被設(shè)計成特定用于數(shù)字?jǐn)z像 裝置的定制集成電路(IC))、或者通過可編程處理器和定制電路的組合來提供。然后使用圖 像存儲器330存儲處理后的圖像。可以理解，圖像存儲器330可以是可拆除閃存卡、內(nèi)部閃 存芯片、磁存儲器、或者光存儲器。在替選實施例中，數(shù)字?jǐn)z像裝置300還可以捕捉運動視 頻圖像。在替選實施例中，數(shù)字?jǐn)z像裝置300可以包括其它功能，包括如下這些功能數(shù)字
7音樂播放器(例如，MP3播放器)、移動電話、或者可編程數(shù)字助理(PDA)。圖像傳感器314由定時生成器312控制。圖像傳感器314可以有例如10. 2兆 像素(3680像素乘2760像素)。為了提供彩色圖像，圖像傳感器覆蓋有顏色濾波陣列，其 提供了具有包括不同有色像素的像素陣列的圖像傳感器。不同彩色像素可以按許多不同 模式來布置。作為一個實例，可以使用公知的Bayer顏色濾波陣列布置不同彩色像素，如 共同轉(zhuǎn)讓給Bayer的“Color Imaging Array”的美國專利第3，971，065號中描述的，其 公開內(nèi)容經(jīng)引用并入本文。作為第二實例，可以把不同彩色像素布置如下如共同轉(zhuǎn)讓給 Compton 禾口 Hamilton 的 2007 年 7 月 28 曰提交的題為"ImageSensor with Improved Light Sensitivity”的美國公開第US2005191729號中描述的，其公開內(nèi)容經(jīng)引用并入本文。這些 實例是非限制性的，并且可使用許多其它的色彩模式。圖像傳感器314在由定時生成器312在第一模式中激勵時起作用以用于提供初始 傳感器圖像數(shù)據(jù)，其也用于預(yù)覽將在第二模式中捕捉的最終圖像。此預(yù)覽模式傳感器圖像 數(shù)據(jù)被提供作為低分辨率輸出，其可以有例如460像素乘345像素，這是比正常用于從10. 2 兆像素的傳感器中讀取出最終圖像的情況少8行8列像素的因子?？梢酝ㄟ^如下方式提 供預(yù)覽模式傳感器圖像數(shù)據(jù)通過組合具有相同色彩的相鄰像素的值，或者通過去除像素 值中的一些像素值，或者通過組合一些彩色像素值同時去除其它彩色像素值?？梢詫︻A(yù)覽 模式圖像數(shù)據(jù)如下進(jìn)行處理如共同轉(zhuǎn)讓的美國專利6，292，218 "Electronic camera for initiating capture of still images whilepreviewing motion images，，中描述的，其經(jīng) 引用并入本文。在替選實施例中，數(shù)字?jǐn)z像裝置300使用光學(xué)取景器，并且初始傳感器圖像 數(shù)據(jù)僅用來確定最終圖像的曝光度，而并不用來提供預(yù)覽圖像。圖像傳感器314在由定時生成器312在第二模式中激勵時也起作用以用于提供最 終傳感器圖像數(shù)據(jù)。此最終模式傳感器圖像數(shù)據(jù)被提供作為高分辨率輸出圖像數(shù)據(jù)，其對 于照明度高的場景包括圖像傳感器的所有像素，并且可以是例如有3680像素乘2760像素 的10. 2兆像素的最終圖像數(shù)據(jù)。在較低照明度，可以通過“合并(bin)”圖像傳感器上的一 些顏色相似的像素來提供最終傳感器圖像數(shù)據(jù)，以增加信號等級并從而增加傳感器的“ISO 速度”。變焦距和對焦電機(jī)308和定時生成器312由處理器320提供的控制信號控制。曝 光控制塊310通過控制可調(diào)整孔徑和可調(diào)整快門306的f數(shù)和曝光時間、以及ASP和A/D 轉(zhuǎn)換器316的增益(即，ISO速度)設(shè)置，控制圖像傳感器314的曝光度。曝光控制塊310 還控制可以對場景進(jìn)行照明的閃光302。雖然被示為單獨塊310，但是可以理解，曝光控制 塊310的功能中的一些功能或所有功能可以可替選地由處理器320執(zhí)行。處理器320還生成可以在彩色I(xiàn)XD圖像顯示器332上瀏覽的較低分辨率圖像。彩 色I(xiàn)XD圖像顯示器332上顯示的圖形用戶界面由用戶控制裝置334控制。用戶控制裝置334 用來選擇各種攝像裝置模式，諸如，將在后面參照圖3進(jìn)行描述的“預(yù)覽圖像分析”模式，以 及更傳統(tǒng)的模式，諸如，體育運動模式、夜間模式、風(fēng)景模式、以及特寫模式。用戶控制裝置 334還用來開啟攝像裝置、控制變焦距透鏡、以及啟動圖片拍攝過程。當(dāng)用戶把數(shù)字?jǐn)z像裝置300設(shè)置在“預(yù)覽圖像分析”模式中并開始拍攝圖片時，處 理器320自動對預(yù)覽傳感器圖像數(shù)據(jù)進(jìn)行處理以選擇將在后面參照圖5進(jìn)行描述的多個場 景類型中的一個場景類型。處理器320然后在啟動最終傳感器圖像數(shù)據(jù)的圖像捕捉之前把
8選擇的場景類型傳送給曝光控制塊310。曝光控制塊310然后通過設(shè)置適當(dāng)?shù)膄數(shù)、曝光 時間、以及ASP增益值，對圖像傳感器上最終圖像的曝光度進(jìn)行調(diào)整，以使得為不同場景類 型設(shè)置不同的最終圖像曝光度。在圖像傳感器314提供了最終傳感器圖像數(shù)據(jù)之后，處理 器320響應(yīng)于場景類型對此最終傳感器圖像數(shù)據(jù)進(jìn)行處理，以補償圖像傳感器上最終圖像 的曝光度。處理器320在預(yù)覽模式期間還提供額外的計算，諸如，用來使透鏡304對焦的對焦 計算。處理器320還使用圖2中描繪的“標(biāo)準(zhǔn)圖像流水線”，提供最終傳感器圖像數(shù)據(jù)的額 外處理，以生成存儲在圖像存儲器330中的“完成”圖像文件(諸如公知的Exif-JPEG圖像 文件)內(nèi)的渲染的RGB圖像數(shù)據(jù)。數(shù)字?jǐn)z像裝置300可以通過底座(dock)接口 362連接到與家庭計算機(jī)340相連 的底座/充電器364。底座接口 362可以符合例如公知的USB 2.0接口規(guī)范。可替選地，數(shù) 字?jǐn)z像裝置300與家庭計算機(jī)340之間的接口可以是無線接口，諸如公知的藍(lán)牙無線接口 或公知的802. 11無線接口。家庭計算機(jī)340可以通過因特網(wǎng)370把圖像上載到照片服務(wù) 提供者 372，諸如 Kodak EasyShare Gallery。處理器320耦合到無線調(diào)制解調(diào)器350，其使得數(shù)字?jǐn)z像裝置300 (其還可以包括 移動電話功能，如前面所描述的)能夠通過RF信道352發(fā)送和接收信息。無線調(diào)制解調(diào)器 350在射頻(例如，無線)鏈路上與移動電話網(wǎng)絡(luò)358(諸如3GSM網(wǎng)絡(luò))通信。移動電話網(wǎng) 絡(luò)358與可以存儲從數(shù)字?jǐn)z像裝置300上載的數(shù)字圖像的照片服務(wù)提供者372通信。這些 圖像可以由其它設(shè)備(包括家庭計算機(jī)340)通過因特網(wǎng)370訪問。圖2描繪了數(shù)字?jǐn)z像裝置300的處理器320采用的用以實現(xiàn)本發(fā)明的圖像處理 圖。預(yù)覽傳感器圖像400 (在用戶構(gòu)成要捕捉的圖像時，其還用來在彩色顯示器332上提供 電子取景器)向預(yù)覽圖像分析410圖像處理功能的組分提供輸入。在優(yōu)選實施例中，此處 理功能包括一套有區(qū)別的圖像分析能力，包括面部檢測411、運動分析412、自動對焦413、 自動白平衡414、以及自動曝光415?，F(xiàn)在這些有區(qū)別的圖像分析能力在許多商用數(shù)字?jǐn)z像 裝置系統(tǒng)中是標(biāo)準(zhǔn)的，并且本領(lǐng)域技術(shù)人員將會熟知它們的性能和它們提供的分析結(jié)果。 這些分析結(jié)果用來執(zhí)行場景類型分類416，從而得出對于給定場景的場景類型417的確定。 場景類型分類416還提供取決于場景類型的相對曝光度419，如將在后面參照圖6進(jìn)行描述 的。進(jìn)一步描述預(yù)覽圖像分析410的動機(jī)是有用的，以強(qiáng)調(diào)本設(shè)計的新穎性。曝光控 制310設(shè)置到圖像傳感器314上的場景的曝光，以把場景中的信息最好地映射到圖像傳感 器314的動態(tài)范圍。動態(tài)范圍是場景中最亮的可檢測物體除以最暗的可檢測物體的比率。 圖像傳感器314剪裁在動態(tài)范圍的亮端任何超出傳感器飽和度的信號，意味著在剪裁點之 外，添加更多光不增加傳感器輸出信號等級。更適度地限制了動態(tài)范圍的暗端。它逐漸變 成被噪聲包圍。預(yù)覽圖像分析410的目標(biāo)是檢測場景類型417并選擇在圖像中暗區(qū)域的噪 聲掩蓋和場景高光的剪裁之間進(jìn)行平衡的曝光設(shè)置。此方法是在現(xiàn)有技術(shù)的數(shù)字?jǐn)z像裝置 中采用的自動曝光系統(tǒng)上的創(chuàng)新，其中，選擇曝光設(shè)置使得輸出圖像具有正確的整體亮度， 而與場景的動態(tài)范圍無關(guān)?？紤]因剪裁或噪聲而丟失了什么圖像數(shù)據(jù)作為場景動態(tài)范圍的 函數(shù)并非這些現(xiàn)有技術(shù)攝像裝置自動曝光系統(tǒng)的一部分。如將進(jìn)一步參照圖3和圖4詳細(xì) 描述的，適應(yīng)性色調(diào)標(biāo)度處理453必須與場景曝光值418和相對曝光度419相一致地進(jìn)行
9工作，以生成具有高圖像質(zhì)量的完成圖像文件數(shù)據(jù)460。除了場景類型417的確定之外，預(yù)覽圖像分析功能410的輸出也控制數(shù)字?jǐn)z像裝 置300的其它子系統(tǒng)，包括變焦距和對焦電機(jī)驅(qū)動器308和曝光控制310。這些子系統(tǒng)的改 變使得彩色顯示器332上顯示的取景器圖像改變。如圖2中所示，曝光程序420使用傳統(tǒng) 場景曝光值418和與場景類型相關(guān)的相對曝光度419確定在最終傳感器圖像數(shù)據(jù)的捕捉期 間使用的適當(dāng)?shù)钠毓庠O(shè)置425，包括可調(diào)整孔徑和可調(diào)整快門306的f數(shù)和曝光時間、以及 ASP和A/D轉(zhuǎn)換器316的增益(即，ISO速度)設(shè)置。對應(yīng)于曝光設(shè)置425的曝光值等于傳 統(tǒng)場景曝光值418偏移如下量的值該量等于場景類型分類功能416確定的特定場景類型 417的相對曝光度419。渲染參數(shù)程序430使用場景曝光設(shè)置425和場景類型417確定靜止圖像處理流水 線450使用的一套渲染參數(shù)，以自動確定以及向最終傳感器圖像數(shù)據(jù)440應(yīng)用數(shù)字處理，從 而補償圖像傳感器上最終圖像的曝光度。渲染參數(shù)435還可以為其它處理動能(諸如，噪 聲消減和邊緣增強(qiáng))提供場景類型特定處理參數(shù)。本領(lǐng)域技術(shù)人員將會非常熟知數(shù)字?jǐn)z像裝置300中靜止圖像處理流水線450的 基本處理塊。標(biāo)準(zhǔn)圖像流水線452包括本領(lǐng)域中公知的操作，包括去馬賽克(也稱為彩色 像素插值)、噪聲消減、白平衡、邊緣增強(qiáng)、以及紅眼消減。然后與作為靜止圖像處理流水線 450 一部分的標(biāo)準(zhǔn)圖像流水線452相一致地把適應(yīng)性色調(diào)標(biāo)度處理453應(yīng)用于最終傳感器 圖像數(shù)據(jù)440。適應(yīng)性色調(diào)標(biāo)度處理453將在后面參照圖4進(jìn)行詳細(xì)描述。繼這些操作之 后，在塊454中，使用標(biāo)準(zhǔn)壓縮算法(例如，JPEG壓縮)對所得到的處理后圖像數(shù)據(jù)進(jìn)行壓 縮，并將其格式化以符合標(biāo)準(zhǔn)圖像格式(諸如公知的Exif-JPEG格式)，從而生成完成圖像 文件數(shù)據(jù)460。圖3描繪了示出了本發(fā)明第一實施例的流程圖。在塊500中，用戶使用用戶控制 裝置334設(shè)置攝像裝置模式，以使用預(yù)覽圖像分析功能410，從而使得數(shù)字?jǐn)z像裝置300將 會在后面確定場景類型417以及適合于該場景類型417的相關(guān)聯(lián)的曝光設(shè)置425以及渲染 參數(shù)435。在塊510中，處理器320確定要用來捕捉初始預(yù)覽傳感器圖像數(shù)據(jù)的大致曝光。 在塊520中，捕捉并使用預(yù)覽圖像來為彩色顯示器332上的電子取景器提供圖像。在塊524 中，預(yù)覽圖像分析處理功能410使用這些預(yù)覽傳感器圖像400確定場景類型。場景類型可以如下確定如共同轉(zhuǎn)讓的題為“Image CapturingApparatus”的美國 公開第US20070096024號(要求JP2007-121654A的優(yōu)先權(quán))中描述的，其公開內(nèi)容經(jīng)引用 并入本文。在用戶在塊530中按壓快門按鈕(用戶控制裝置334中的一個)之后，在塊526 中，使用場景類型417設(shè)置傳感器相對曝光度419。換言之，由于相對曝光度419取決于檢 測到的場景類型，所以曝光控制系統(tǒng)為圖6中所示的不同場景類型設(shè)置不同的最終圖像曝 光度。在塊540中，使用作為相對曝光度419的函數(shù)的曝光設(shè)置425設(shè)置用來捕捉最終傳 感器圖像數(shù)據(jù)440的曝光條件。繼在塊540中對最終曝光條件的設(shè)置之后，在塊550中，捕捉最終傳感器圖像數(shù) 據(jù)440。在對此捕捉的準(zhǔn)備中，在塊528中，對于低光場景選擇像素合并模式。在塊528中 選擇的合并模式響應(yīng)于場景類型，并且在捕捉最終傳感器圖像數(shù)據(jù)440時在塊550中被使 用。在高光等級，合并模式是“不合并”，并且輸出圖像傳感器314的所有像素作為最終傳感器圖像數(shù)據(jù)。隨著光等級減小到“3bin”閾值，在從圖像傳感器314讀取出信號時組合來自 同樣顏色的3個像素的信號，以增加信號等級，同時減小傳感器分辨率。隨著光等級進(jìn)一步 減小到“9bin”閾值，在從圖像傳感器314讀取出信號時組合來自同樣顏色的9個像素的信 號，以進(jìn)一步增加信號等級，同時減小傳感器分辨率。在本發(fā)明中，對于圖6中列出的不同 場景類型(有以及沒有檢測到面部)，設(shè)置不同的這些“3bin”和“9bin”閾值。在塊529中，渲染參數(shù)程序430執(zhí)行渲染算法分析，以確定在數(shù)字補償(例如，標(biāo) 準(zhǔn)圖像流水線452中的噪聲消減和邊緣增強(qiáng)處理以及適應(yīng)性色調(diào)標(biāo)度處理453)期間要使 用的適當(dāng)渲染參數(shù)435。在塊560中，標(biāo)準(zhǔn)圖像處理流水線452對最終傳感器圖像數(shù)據(jù)440進(jìn)行處理。這包 括執(zhí)行在前面參照圖2描述的標(biāo)準(zhǔn)圖像流水線452功能(例如，執(zhí)行噪聲消減、去馬賽克、 白平衡、邊緣增強(qiáng)和紅眼消減)。在塊570中，使用適應(yīng)性色調(diào)標(biāo)度處理功能453對已經(jīng)由標(biāo)準(zhǔn)圖像處理流水線452 處理過的最終傳感器圖像數(shù)據(jù)進(jìn)行處理，以調(diào)整對比度以及校正圖像傳感器上最終圖像的 曝光度，如將在后面參照圖4進(jìn)行描述的。在塊580中，壓縮處理后的最終圖像數(shù)據(jù)并將其作為完成圖像文件數(shù)據(jù)460存儲 在圖像存儲器330中。圖4描繪了圖2中適應(yīng)性色調(diào)標(biāo)度處理453的圖像處理圖的實例。在塊715中， 作為圖2中標(biāo)準(zhǔn)圖像處理流水線452的輸出的輸入分析圖像數(shù)據(jù)710接受到場景空間編碼 (例如，IS0/TS 22028-3 :2006標(biāo)準(zhǔn)中規(guī)定的ERIMM RGB)的轉(zhuǎn)換。在塊720中，取回根據(jù)選 擇的場景類型417確定的渲染參數(shù)435，并將其提供給組分分析操作，其包括場景平衡分 析塊725、眩光校正分析塊730、以及色調(diào)標(biāo)度分析塊735。在塊740中，使用場景平衡分析 塊725和眩光校正分析塊730的結(jié)果執(zhí)行場景空間轉(zhuǎn)換后的輸入分析圖像數(shù)據(jù)710的色彩 校正處理(例如，中性平衡、色彩平衡、以及眩光校正)，如例如共同轉(zhuǎn)讓給Gindele的題為 "Method ofCompensating a Digital Image for the Effects of Flare Light，，白勺美 15專 利第6，912，321號中描述的，其公開內(nèi)容經(jīng)引用并入本文。在塊760中，使用色調(diào)標(biāo)度分析 塊735的結(jié)果執(zhí)行基座(pedestal)圖像色調(diào)標(biāo)度應(yīng)用(例如，對比度調(diào)整)，如例如共同轉(zhuǎn) 讓給 Gindele 的題為"Enhancing the TonalCharacteristics of Digital Images，，的美 國專利第 , 113，649號中描述的，其公開內(nèi)容經(jīng)引用并入本文。通過如下方式產(chǎn)生基座圖像在塊745中對色彩校正后的圖像數(shù)據(jù)執(zhí)行亮度色度 (LCC)轉(zhuǎn)換，并隨后在亮度基座分割塊750中把數(shù)據(jù)的亮度部分分割成基座圖像753和紋 理圖像755。在基座圖像色調(diào)標(biāo)度應(yīng)用塊760中調(diào)整基座圖像753的色調(diào)標(biāo)度。在亮度基 座重組塊765中重組增強(qiáng)的基座圖像與亮度紋理圖像755，以生成增強(qiáng)的亮度圖像。RGB轉(zhuǎn) 換775模塊把增強(qiáng)的亮度圖像和色度圖像770共同色彩轉(zhuǎn)換為三色(例如，RGB)數(shù)據(jù)。在 塊780中，把圖像數(shù)據(jù)轉(zhuǎn)換到適合于完成圖像文件數(shù)據(jù)460的輸出色彩空間，諸如sRGB輸 出空間。圖6是示出了針對七種具體場景類型的相對曝光度419的表，其中既針對確定為 含有面部的場景也針對確定為不含任何面部的場景。以曝光值(EV)為單位(即，攝像停止 點(photographic stop))給出相對曝光度值。對于高對比度場景，當(dāng)在場景中檢測到面部時傳感器曝光不足(相對于攝像
11正常曝光而言)一個攝像停止點(即，-IEV個單位)，而當(dāng)未檢測到面部時相對曝光度 為-4/3EV。對于低對比度場景，當(dāng)在場景中檢測到面部時傳感器曝光過度+1/3EV個單位，而 當(dāng)未檢測到面部時相對曝光度為+2/3EV。對于包括藍(lán)色天空的顯著片(patch)的場景，當(dāng)在場景中檢測到面部時相對曝光 度為-2/3EV，而當(dāng)在場景中未檢測到面部時相對曝光度為-1EV。對于夜間場景，當(dāng)在場景中檢測到面部時相對曝光度為+2/3EV，而當(dāng)在場景中未 檢測到面部時相對曝光度為+1EV。對于包含高色彩飽和的顯著區(qū)域的場景，當(dāng)檢測到面部時相對曝光度為-2/3EV， 而當(dāng)在場景中未檢測到面部時相對曝光度為-1EV。對于文件和其他類型的文本場景，相對曝光度為+1EV。如果在場景中檢測到面部， 則絕不把它分類成文本類型場景。對于所有其它場景，使用“一般”類別，并且當(dāng)檢測到面 部時相對曝光度為-1/3EV，而當(dāng)在場景中未檢測到面部時相對曝光度為-2/3EV。如之前所討論的，把曝光控制系統(tǒng)耦合到適應(yīng)性色調(diào)標(biāo)度處理453是本發(fā)明的重 要方面。圖4中所示的實例是非限制性的，并且可使用許多其它類型的適應(yīng)性色調(diào)標(biāo)度處 理。另外，額外類型的適應(yīng)性處理操作可用于耦合到作為選擇的場景類型417的函數(shù)的曝 光控制設(shè)置，包括例如色彩飽和、銳度調(diào)整、以及噪聲消減。圖7是示出了本發(fā)明替選實施例中使用的信號流的流程圖。區(qū)域劃分和平均部件 12把圖像傳感器314 (見圖1)提供的預(yù)覽圖像數(shù)據(jù)20劃分成多個區(qū)域或塊，并計算和輸出 每個區(qū)域的平均像素值。例如，區(qū)域劃分和平均部件12可以把整個圖像數(shù)據(jù)劃分成nXm 個矩形區(qū)域(例如12X8個區(qū)域)并計算每個區(qū)域的R、G和B像素值的簡單平均。曝光評估(EA)部件14基于預(yù)覽圖像數(shù)據(jù)20執(zhí)行預(yù)覽模式的曝光評估，以生成適 當(dāng)?shù)钠毓庵??？梢酝ㄟ^在圖像的中心部分集中地對光進(jìn)行測量、或者使用多點光測量方法 來實現(xiàn)預(yù)覽曝光評估。另外，EA部件14使用預(yù)覽圖像20生成亮度直方圖，并把亮度直方 圖提供給曝光校正量計算部件16。更具體地，預(yù)覽曝光評估部件22計算用于控制預(yù)覽圖像曝光的評估值。把如此計 算出的評估值提供給預(yù)覽曝光控制部件32，以使得把預(yù)覽圖像20設(shè)置為適當(dāng)?shù)钠毓庵?。攝 像曝光預(yù)測直方圖生成部件28使用從預(yù)覽曝光評估部件22提供的數(shù)據(jù)生成亮度直方圖。 此直方圖是將從采用當(dāng)前曝光值捕捉的靜止圖像的圖像數(shù)據(jù)中獲得的。更具體地，攝像曝 光預(yù)測直方圖生成部件28把每個塊的R、G和B色彩值的平均值(來自區(qū)域劃分和平均部 件12)轉(zhuǎn)換成亮度Y，并然后把亮度Y轉(zhuǎn)換成等于log2的EV (曝光值)單位(亮度Y/適當(dāng) 曝光值)。在計算出每個塊的EV值之后，生成直方圖。直方圖的水平軸是相對于所謂“正 ?！睌z像曝光的偏離量(以EV為單位)，而豎直軸是具有此偏離量的塊數(shù)量。把曝光預(yù)測 直方圖生成部件28計算出的直方圖提供給曝光校正量計算部件16。曝光校正量計算部件16通過確定亮度直方圖是否滿足具體條件來計算相對于適 當(dāng)曝光的曝光校正量，并把曝光校正量提供給EA部件14和灰度校正部件18。曝光校正量 計算部件16基于捕捉圖像的圖像數(shù)據(jù)要受到灰度校正部件18的灰度校正的假設(shè)來計算曝 光校正量?；叶刃Ｕ考?8基于從曝光校正量計算部件16獲得的曝光校正量以及適當(dāng)?shù)钠毓庵?曝光的參考值)，對以曝光校正捕捉到的靜止圖像的圖像數(shù)據(jù)應(yīng)用適應(yīng)性灰度校正。 灰度校正部件18可以使用例如在前面結(jié)合圖4描述的適應(yīng)性色調(diào)標(biāo)度處理。在替選實施例中，可使用灰度校正方法通過使用適應(yīng)性伽瑪函數(shù)以及還通過對色 差數(shù)據(jù)進(jìn)行校正來向亮度數(shù)據(jù)應(yīng)用色調(diào)標(biāo)度校正轉(zhuǎn)換，從而執(zhí)行灰度校正?；叶刃Ｕ考?18執(zhí)行灰度校正，以使得對在曝光不足的情況下捕捉到的靜止圖像數(shù)據(jù)的曝光進(jìn)行補償， 從而在校正后的數(shù)字靜止圖像中實現(xiàn)適當(dāng)?shù)钠毓狻．?dāng)曝光校正量小時灰度校正的校正量減 少，而當(dāng)曝光校正量大時灰度校正的校正量增加。在后者的情形中，由于灰度校正而引起的 變形在一些類型的圖像中是明顯的。圖8是示出了根據(jù)本發(fā)明一些實施例的場景類型分類過程的實例的流程圖。在此 實例中，相對于“正?！逼毓獾倪m當(dāng)曝光值，把曝光校正量設(shè)置為六個等級中的一個等級。更 具體地，把曝光校正量Δ EV設(shè)置為OEV、-A1EVa-A 2EV、_ Δ 3EV、_ Δ 4EV、以及+A5EV中的一 個。此處，曝光校正量前面的正號表示相對于“正常”曝光值而言曝光過度，而曝光校正量前 面的負(fù)號表示相對于“正常”曝光值而言曝光不足。另外，滿足關(guān)系A(chǔ)1C Δ2< Δ3< Δ4。首先，在圖8的塊101中，數(shù)字?jǐn)z像裝置300 (見圖1)的處理器320確定預(yù)覽圖像 (如果存在的話)的亮度等級是否低于需要開啟閃光燈(閃光)的等級。由于在需要點亮 閃光燈的情況下要攝像的場景暗，所以進(jìn)行此確定以防止極其曝光不足的情況。相應(yīng)地，如 果亮度等級低于閃光開啟等級，則把相對于適當(dāng)曝光值的曝光校正量AEV設(shè)置為0EV。具 體地，在此情形中，維持適當(dāng)?shù)摹罢！逼毓庵?塊114)。如果預(yù)覽圖像的亮度等級等于或高于應(yīng)當(dāng)開啟閃光的等級，則另一方面，然后確 定預(yù)覽圖像數(shù)據(jù)是否不存在(102)。緊挨在接通數(shù)字?jǐn)z像裝置300的電源之后、或者緊挨在 數(shù)字?jǐn)z像裝置300從圖像瀏覽模式切換到圖像捕捉(例如，攝像)模式之后，預(yù)覽圖像數(shù)據(jù) 不存在。當(dāng)用戶在攝像裝置處于瀏覽模式中時完全采用單按壓來按壓快門按鈕時，由于預(yù) 覽圖像數(shù)據(jù)不存在而無法執(zhí)行曝光校正。相應(yīng)地，當(dāng)預(yù)覽圖像數(shù)據(jù)不存在時，把較高的優(yōu)先 級給予攝像而非曝光校正，并且曝光校正量計算部件16把曝光校正量設(shè)置為默認(rèn)曝光不 足值(塊115)。具體地，曝光校正量計算部件16把曝光值設(shè)置為比適當(dāng)“正?！逼毓庵敌?如下曝光校正量該曝光校正量等于A1EV15如果存在預(yù)覽圖像，則然后確定要攝像的場景中是否存在逆光情況(塊103)。如 果確定逆光情況，則點亮閃光以提供“補助閃光(fill flash)”。在此情形中，曝光校正量 計算部件16把曝光校正量設(shè)置為默認(rèn)曝光不足值A(chǔ)1EV15如果場景沒有逆光，則在塊104中，確定場景是否是海灘場景或文本(文件)。進(jìn) 行此確定是因為由于這些場景中沙子或紙張的高反射率，所以優(yōu)選地使用大于“正?！逼?光值的曝光度來捕捉這些類型的場景。對于這些類型的場景，曝光校正量計算部件16把 曝光校正量AEV設(shè)置為大于“正?！逼毓庵档?A5EV(塊119)。具體地，曝光校正量計算 部件16把曝光值設(shè)置為比適當(dāng)曝光值超出曝光校正量。關(guān)于場景是否是海灘場景或文 本(文件)攝像場景的確定可以通過使用公知方法來執(zhí)行，諸如共同轉(zhuǎn)讓的美國專利申請 US20070096024 "Image Capturing Apparatus”，其公開內(nèi)容經(jīng)引用并入本文，其描述了用 于基于溫度、移動、色相、色度、亮度、以及其它圖像特性的組合確定場景類型的方法。在圖8的塊105中，如果攝像場景并非具體場景類型，則然后確定ISO曝光指數(shù) (由圖像傳感器314和ASP/A/D 316提供)是否等于或大于閾值。當(dāng)要攝像的場景暗時，固
13定快門速度以防止攝像裝置抖動并且增加ISO以增加靈敏度。然而，此高ISO設(shè)置增加了 圖像噪聲。因此，當(dāng)ISO等于或大于閾值時，曝光校正量計算部件16把曝光校正量Δ EV設(shè) 置為等于0EV，從而維持“正?！逼毓舛?。ISO曝光指數(shù)可能會因為如下這種情形而高情形(1)場景暗；或者情形(2)場景 不暗，但使用高速快門(即，短曝光時間)以定格(freeze)移動對象的運動，所以增加了 ASP和A/D轉(zhuǎn)換器316的增益。在塊106中，檢查場景亮度等級以查看它是否低于移動對象 亮度。“是”對應(yīng)于情形(1)，并且如上所述，把曝光校正量ΔEV設(shè)置為等于OEV(塊114)， 以防止噪聲進(jìn)一步增加?！胺瘛睂?yīng)于情形(2)，其中在塊107中，通過使用在前面參照圖7 描述的直方圖確定亮度差。然后，在塊108-113中，檢查各種條件以確定要用來捕捉最終靜 止圖像的Δ EV值。具體地，在塊108中，確定場景是否包括人的面部。用于檢測人的面部的方法是公 知的，并且可以包括例如，提取圖像數(shù)據(jù)中包括膚色的區(qū)域，以及確定這些區(qū)域與面部模 板匹配得有多好。如果在塊108中確定場景包括人的面部，則在塊109中，檢查亮度直方圖 以確定它是否滿足與曝光校正量AEV = -A3EV對應(yīng)的條件。用于設(shè)置AEV = - A3EV的 條件可以是例如直方圖是否包括大于或等于20%的區(qū)域中有大于或等于x4EV的值(偏 離量)、區(qū)域的任何區(qū)域中沒有大于或等于x5EV的值、小于或等于10%的區(qū)域中有小于或 等于x2EV的值、以及具有大于或等于y2EV且小于或等于y3EV的面部區(qū)。如果在塊109中不滿足-A3EV的此條件，則然后在塊110中，確定亮度直方圖是 否滿足與曝光校正量AEV = -A2EV對應(yīng)的條件，其可以是例如直方圖是否包括大于或等 于60%的區(qū)域中有大于或等于x3EV的值、以及具有大于或等于ylEV的面部區(qū)。如果亮度直方圖既不滿足_ Δ 3EV條件也不滿足_ Δ 2EV條件，則曝光校正量計算部 件16把曝光校正量Δ EV設(shè)置為默認(rèn)值-A1EV (塊115)。如果亮度直方圖滿足-Δ 2EV的 條件，則曝光校正量計算部件16把曝光校正量Δ EV設(shè)置為值-A2EV (塊116)。這意味著 將在把曝光值設(shè)置為低于默認(rèn)曝光不足值的值的情況下捕捉靜止圖像。如果亮度直方圖滿 足-Δ 3EV的條件，則曝光校正量計算部件16把曝光校正量Δ EV設(shè)置為值-Δ 3EV (塊117)。 這意味著將在把曝光值設(shè)置為甚至低于- Δ 3EV曝光不足值的值的情況下捕捉靜止圖像。如果場景不包括人的面部，則在塊111中，確定亮度直方圖是否滿足與-A4EV對 應(yīng)的條件，并且如果不滿足，則在塊112中確定亮度直方圖是否滿足與_ △ 3EV對應(yīng)的條件， 如果不滿足，則在塊113中確定亮度直方圖是否滿足與-A2EV對應(yīng)的條件。用于設(shè)置以上 曝光校正量的條件可以是例如-A4EV的條件(沒有面部)是直方圖包括至少20%的區(qū)域中有至少x4EV的值、 至少一個區(qū)域中有大于或等于x5EV的值、以及不大于10%的區(qū)域中有小于或等于Xl的值、 或者大于或等于20%的區(qū)域中有小于或等于xOEV的值。-A3EV的條件(沒有面部)是直方圖包括至少25%的區(qū)域中有大于或等于x4EV 的值、任何區(qū)域中均沒有大于或等于x5EV的值、以及不大于10%的區(qū)域中有小于或等于 x2EV的值。-A2EV的條件(沒有面部)是直方圖包括至少50%的區(qū)域中有大于或等于x3EV 的值。圖9中示出了上述所有條件。如圖9中的列所示，確定準(zhǔn)則根據(jù)場景中是否存在
14人的面部而變化，以使得灰度校正的校正量在包括人的面部時比不包括人的面部時相對較 小，從而使包括面部的圖像中的噪聲最小化。使用在曝光校正量計算部件16中計算的曝光校正量Δ EV設(shè)置捕捉靜止圖像時的 最終曝光條件。還把曝光校正量Δ EV提供給灰度校正部件18，其提供適應(yīng)性色調(diào)標(biāo)度處 理，以補償用來捕捉靜止圖像的特定曝光校正量。換言之，曝光校正量AEV用來調(diào)整最終 靜止圖像的圖像傳感器曝光度以及對捕捉的靜止圖像數(shù)據(jù)執(zhí)行數(shù)字適應(yīng)性色調(diào)校正。此 外，如圖9中所示，把攝像場景中包括人的面部時的曝光校正量AEV設(shè)置得小于不包括人 的面部時。特別參照本發(fā)明某些優(yōu)選實施例對本發(fā)明進(jìn)行了詳細(xì)描述，但將會理解，在本發(fā) 明的精神和范圍內(nèi)可以做出變化和修改。
0095]組件列表0096]12區(qū)域劃分和平均部件0097]14曝光評估部件0098]16曝光校正量計算部件0099]18灰度校正部件0100]20預(yù)覽圖像0101]22預(yù)覽曝光評估部件0102]26靜止圖像攝像曝光確定部件0103]28攝像曝光預(yù)測直方圖生成部件0104]30曝光校正量確定部件0105]32預(yù)覽控制部件0106]101塊0107]102塊0108]103塊0109]104塊0110]105塊0111]106塊0112]107塊0113]108塊0114]109塊0115]110塊0116]111塊0117]112塊0118]113塊0119]114塊0120]115塊0121]116塊0122]117塊0123]118塊
15
119 塊300數(shù)字?jǐn)z像裝置302 閃光304變焦距透鏡306可調(diào)整孔徑和可調(diào)整快門308變焦距和對焦電機(jī)驅(qū)動器310曝光控制塊312定時生成器314圖像傳感器316ASP 和 A/D 轉(zhuǎn)換器318DRAM緩沖存儲器320處理器328固件存儲器330圖像存儲器332彩色I(xiàn)XD圖像顯示器334用戶控制裝置340家庭計算機(jī)350無線調(diào)制解調(diào)器352RF 信道358移動電話網(wǎng)絡(luò)362 底座接口364底座/充電器370因特網(wǎng)372照片服務(wù)提供者400取景器圖像410預(yù)覽圖像分析411面部檢測412運動分析413自動對焦414自動白平衡415自動曝光416場景類型分類417場景類型418場景曝光值419相對曝光度420曝光程序425曝光設(shè)置430渲染參數(shù)程序435渲染參數(shù)
16440最終傳感器圖像數(shù)據(jù)
450靜止圖像處理流水線
452標(biāo)準(zhǔn)圖像流水線
453適應(yīng)性色調(diào)標(biāo)度處理
454文件完成和壓縮
460完成圖像文件數(shù)據(jù)
500塊
510塊
520塊
524塊
526塊
528塊
529塊
530塊
540塊
550塊
560塊
570塊
580塊
710輸入分析圖像數(shù)據(jù) 715轉(zhuǎn)換到場景空間 720取回場景類型參數(shù) 725場景平衡分析 730眩光校正分析 735色調(diào)標(biāo)度分析 740色彩校正處理 745LCC轉(zhuǎn)換 750亮度基座分割器 753基座圖像 755紋理圖像
760基座圖像色調(diào)標(biāo)度應(yīng)用 765亮度基座重組器 770色度圖像 775RGB轉(zhuǎn)換
780轉(zhuǎn)換到輸出色彩空間
權(quán)利要求
一種數(shù)字?jǐn)z像裝置，包括圖像傳感器，用于提供初始傳感器圖像數(shù)據(jù)和最終傳感器圖像數(shù)據(jù)；透鏡，用于把場景的圖像曝光到所述圖像傳感器上；曝光控制系統(tǒng)，用于響應(yīng)于場景類型調(diào)整所述圖像傳感器上最終圖像的曝光度；以及處理器，用于(a)對所述初始傳感器圖像數(shù)據(jù)進(jìn)行處理，以選擇多個場景類型中的一個場景類型，(b)在捕捉所述最終傳感器圖像數(shù)據(jù)之前，把選擇的場景類型提供給所述曝光控制系統(tǒng)，以使得所述曝光控制系統(tǒng)調(diào)整所述圖像傳感器上最終圖像的曝光度，其中所述曝光控制系統(tǒng)為不同場景類型設(shè)置不同的最終圖像曝光度，以及(c)響應(yīng)于場景類型對所述最終傳感器圖像數(shù)據(jù)進(jìn)行處理，以補償所述圖像傳感器上最終圖像的曝光度。
2.如權(quán)利要求1所述的數(shù)字?jǐn)z像裝置，其中，步驟(c)包括響應(yīng)于選擇的場景類型補 償場景光照。
3.如權(quán)利要求1所述的數(shù)字?jǐn)z像裝置，其中，步驟(c)包括使用根據(jù)選擇的場景類型 從以下參數(shù)類型組中選擇的處理參數(shù)中性平衡、色彩平衡、眩光校正、對比度調(diào)整、色彩飽 和、銳度調(diào)整、噪聲消減及其組合。
4.如權(quán)利要求1所述的數(shù)字?jǐn)z像裝置，其中，步驟(c)包括根據(jù)選擇的場景類型使用 適應(yīng)性色調(diào)標(biāo)度處理。
5.如權(quán)利要求3所述的數(shù)字?jǐn)z像裝置，其中，步驟(c)包括根據(jù)選擇的場景類型使用 適應(yīng)性色調(diào)標(biāo)度處理。
6.如權(quán)利要求1所述的數(shù)字?jǐn)z像裝置，其中，所述場景類型包括高對比度場景、低對 比度場景、(藍(lán)色)天空場景、夜間場景、色彩飽和場景、以及文本場景。
7.如權(quán)利要求1所述的數(shù)字?jǐn)z像裝置，其中，所述處理器使用初始圖像數(shù)據(jù)來檢測面 部，以及其中，所述多個場景類型包括包括面部的第一子集以及不包括面部的第二子集。
8.如權(quán)利要求1所述的數(shù)字?jǐn)z像裝置，其中，所述處理器使用所述初始圖像數(shù)據(jù)計算 多個nxm區(qū)域的平均值，使用所述平均值形成直方圖，并且使用所述直方圖選擇場景類型。
9.如權(quán)利要求1所述的數(shù)字?jǐn)z像裝置，其中，所述處理器使用所述初始圖像數(shù)據(jù)來提 供用于在所述數(shù)字?jǐn)z像裝置的取景器顯示器上顯示的預(yù)覽圖像。
10.一種數(shù)字?jǐn)z像裝置，包括圖像傳感器，具有以下這種像素陣列所述像素陣列包括不同的有色像素，并且在第一 模式中被激勵時起作用以用于提供預(yù)覽傳感器圖像數(shù)據(jù)時、以及在第二模式中被激勵時起 作用以用于提供最終傳感器圖像數(shù)據(jù)時；透鏡，用于把場景的圖像曝光到所述圖像傳感器上；曝光控制系統(tǒng)，用于響應(yīng)于場景類型調(diào)整所述圖像傳感器上最終圖像的曝光度；以及處理器，用于自動地(a)對預(yù)覽圖像數(shù)據(jù)進(jìn)行處理以選擇多個場景類型中的一個場景類型，(b)在所述最終傳感器圖像數(shù)據(jù)的圖像捕捉之前，把選擇的場景類型傳送給所述曝光 控制系統(tǒng)，以使得所述曝光控制系統(tǒng)調(diào)整所述圖像傳感器上最終圖像的曝光度，其中所述 曝光控制系統(tǒng)為不同場景類型設(shè)置不同的最終圖像曝光度，(C)通過組合具有同樣色彩的多個像素，響應(yīng)于場景類型合并所述最終傳感器圖像數(shù) 據(jù)，以及(d)響應(yīng)于場景類型對合并的最終傳感器圖像數(shù)據(jù)進(jìn)行處理，以補償最終圖像的曝光度。
11.如權(quán)利要求10所述的數(shù)字?jǐn)z像裝置，其中，步驟(C)包括響應(yīng)于選擇的場景類型 補償場景光照。
12.如權(quán)利要求10所述的數(shù)字?jǐn)z像裝置，其中，步驟(c)包括使用根據(jù)選擇的場景類 型從以下參數(shù)類型組中選擇的處理參數(shù)中性平衡、色彩平衡、眩光校正、對比度調(diào)整、色彩 飽和、銳度調(diào)整、噪聲消減及其組合。
13.如權(quán)利要求10所述的數(shù)字?jǐn)z像裝置，其中，步驟(c)包括根據(jù)選擇的場景類型使 用適應(yīng)性色調(diào)標(biāo)度處理。
14.如權(quán)利要求10所述的數(shù)字?jǐn)z像裝置，其中，步驟(c)包括根據(jù)選擇的場景類型使 用適應(yīng)性色調(diào)標(biāo)度處理。
15.如權(quán)利要求10所述的數(shù)字?jǐn)z像裝置，其中，所述場景類型包括高對比度場景、低 對比度場景、(藍(lán)色)天空場景、夜間場景、色彩飽和場景、以及文本場景。
全文摘要
一種數(shù)字?jǐn)z像裝置，包括圖像傳感器，用于提供初始傳感器圖像數(shù)據(jù)和最終傳感器圖像數(shù)據(jù)；透鏡，用于把場景的圖像曝光到圖像傳感器上；曝光控制系統(tǒng)，用于響應(yīng)于場景類型調(diào)整圖像傳感器上最終圖像的曝光度；以及處理器，用于對初始傳感器圖像數(shù)據(jù)進(jìn)行處理以選擇多個場景類型中的一個場景類型，并且響應(yīng)于場景類型對最終傳感器圖像數(shù)據(jù)進(jìn)行處理。
文檔編號H04N5/243GK101904166SQ200880121002
公開日2010年12月1日 申請日期2008年12月11日 優(yōu)先權(quán)日2007年12月19日
發(fā)明者上園哲司, 中島賢一, 威廉·韋爾農(nóng)·芬特爾, 小羅伯特·約翰·帕拉達(dá), 韋恩·E·普倫蒂斯 申請人:伊斯曼柯達(dá)公司