圖像處理設(shè)備和方法

專利名稱：圖像處理設(shè)備和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理設(shè)備和方法，特別涉及一種優(yōu)選地適用于將具有比常規(guī)動態(tài)范圍更寬的像素值動態(tài)范圍的寬動態(tài)范圍圖像轉(zhuǎn)換為具有較窄的像素值動態(tài)范圍的窄動態(tài)范圍圖像，并增強對比度的圖像處理設(shè)備和方法。
背景技術(shù)：
傳統(tǒng)地，諸如CCD(電荷耦合器件)和CMOS(互補金屬氧化物半導(dǎo)體)等的固態(tài)成像元件已經(jīng)廣泛地用于諸如攝像機和靜止照相機的成像儀器、以及諸如FA(工廠自動化)中使用的元件檢查設(shè)備的光測量設(shè)備、以及諸如ME(醫(yī)療電子學(xué))中使用的電子內(nèi)窺鏡的光測量設(shè)備。
近年來，提出了大量的技術(shù)，用于獲得與使用這些固態(tài)成像元件的光學(xué)膠卷照片相比具有寬像素值動態(tài)范圍的圖像(以下稱為“寬DR圖像”)。
另一方面，目前，諸如CRT(陰極射線管)和LCD(液晶顯示器)的用于顯示運動圖像和靜止圖像的顯示設(shè)備、諸如投影儀的投影設(shè)備以及各種打印設(shè)備尚未展寬其可支持的像素值的動態(tài)范圍，并且僅有有限范圍的可支持的亮度灰度色標(biāo)。因此，當(dāng)前狀態(tài)是即使應(yīng)該已經(jīng)成功地拍攝了寬DE圖像，也沒有能夠如其所獲得的來顯示、投影或打印該圖像的設(shè)備。
因此，有對這樣的技術(shù)(以下稱為“灰度色標(biāo)壓縮技術(shù)”)的需求利用該技術(shù)，使寬DR圖像的像素值的動態(tài)范圍變窄，或者換句話說，壓縮亮度灰度色標(biāo)，使得產(chǎn)生適于顯示設(shè)備等的動態(tài)范圍的圖像(以下稱為“窄DR圖像”)。
下面的段落將解釋通常提出的灰度色標(biāo)壓縮技術(shù)?；叶壬珮?biāo)壓縮技術(shù)可以通過重新分配寬DR圖像的像素值的灰度色標(biāo)，使得適合于可由顯示設(shè)備等支持的較窄的動態(tài)范圍的灰度色標(biāo)來簡單地實現(xiàn)。
然而，如上所述，簡單地將寬DR圖像的像素值的灰度色標(biāo)均等地重新分配給窄動態(tài)范圍，只造成圖像整體的亮度變化減小，從而轉(zhuǎn)換成對比度降低的外觀很差的圖像。通常，提出了一些能夠抑制對比度損失的灰度色標(biāo)壓縮技術(shù)。以下將解釋曾經(jīng)提出的三種灰度色標(biāo)壓縮技術(shù)。
可作為第一灰度色標(biāo)壓縮技術(shù)來例示的技術(shù)涉及基于輸入的寬DR圖像的亮度的直方圖而自適應(yīng)地確定灰度色標(biāo)的重新分布規(guī)則(更具體地說，基于輸入圖像的直方圖而計算灰度色標(biāo)轉(zhuǎn)換曲線)。第一灰度色標(biāo)壓縮技術(shù)以圖像中的主要對象具有大比率的占用面積為前提，并用來確定灰度色標(biāo)轉(zhuǎn)換曲線，使得將盡可能多的灰度色標(biāo)分配給直方圖中的峰值周邊的亮度值，從而抑制至少主要對象的對比度降低。
然而，僅憑基于灰度色標(biāo)分配的努力難以在每種狀況中都獲得滿意的結(jié)果。在圖像具有多個主要對象，并且具有相同亮度的背景以及比較寬的面積的示例情況(例如藍(lán)天)中，所述對象常常無法獲得足夠的分配到該處的灰度色標(biāo)。
可作為第二灰度色標(biāo)壓縮技術(shù)來例示的技術(shù)涉及在灰度色標(biāo)轉(zhuǎn)換前或后加強圖像的高頻成分。第二灰度色標(biāo)壓縮技術(shù)用來估計通過灰度色標(biāo)轉(zhuǎn)換而損失(或被認(rèn)為損失)的對比度的部分，并使用例如用于模糊遮蓋的高頻濾波器來補償所損失的部分。
第二灰度色標(biāo)壓縮技術(shù)的優(yōu)點在于它不像第一灰度色標(biāo)壓縮技術(shù)那樣產(chǎn)生依賴于圖像的構(gòu)成的問題。然而，高頻濾波器引起對象的輪廓部分處的過沖(overshoot)和平坦部分處的噪聲加重，因此被理解為不能總是保證所期望的圖像。
可作為第三灰度色標(biāo)壓縮技術(shù)來例示的技術(shù)涉及將寬DR圖像分為低頻成分圖像和高頻成分圖像，其中僅低頻成分圖像受到適當(dāng)?shù)幕叶壬珮?biāo)轉(zhuǎn)換處理而保留高頻成分圖像不改動，最后兩者相加以產(chǎn)生一個合成圖像。
因為在第三灰度色標(biāo)轉(zhuǎn)換技術(shù)中保留高頻成分圖像不改動，所以成功地避免了由于灰度色標(biāo)轉(zhuǎn)換造成的對比度降低。然而，與第二灰度色標(biāo)轉(zhuǎn)換技術(shù)類似，第三灰度色標(biāo)轉(zhuǎn)換技術(shù)仍然遭遇這樣的問題在對象的輪廓部分處過沖，并且在平坦部分處的噪聲加重，所以還提出了一種通過在劃分為低頻成分圖像和高頻成分圖像的過程中使用非線性濾波器(例如中值濾波器)來解決該問題的方法。
下面總結(jié)上述的第一至第三灰度色標(biāo)壓縮技術(shù)，它們可被分類為通過使用相鄰像素的相對局部的處理來實現(xiàn)灰度色標(biāo)壓縮的技術(shù)(第一和第二灰度色標(biāo)壓縮技術(shù))，以及使用圖像的全部或相對大的面積來實現(xiàn)灰度色標(biāo)壓縮的技術(shù)(第三灰度色標(biāo)壓縮技術(shù))。前者導(dǎo)致了僅其高頻成分被增強的不自然的圖像，并且完全沒有成功地獲得有效的灰度色標(biāo)壓縮結(jié)果。后者因為其可以與加強高頻成分同時調(diào)整相對低的頻率成分，所以成功地獲得了比由前者獲得的更自然的圖像，可以說灰度色標(biāo)壓縮更有效。
然而，后者遭遇的問題是該過程因此需要主要用于延遲線或幀存儲器的大容量存儲器，使得它不適于硬件構(gòu)造。例如，第三灰度色標(biāo)壓縮技術(shù)需要空間濾波器，用于將亮度分為多個頻率成分，其中因為只有當(dāng)使用相對于圖像較大的空間濾波器時方可提供非人為的、有效的灰度色標(biāo)壓縮，所以為了允許安裝大的空間濾波器，有必要將大量的延遲線合并入電路。
同時，對于意欲在諸如數(shù)字?jǐn)z像機和數(shù)字靜止照相機的成像設(shè)備的輸出部件上安裝用于使寬DR圖像受到灰度色標(biāo)壓縮處理的功能的示例情況，因為必需高速信號處理以便在保證預(yù)定幀速率的同時輸出圖像信號，所以對于例如將被合并入硬件的數(shù)字靜止照相機的灰度色標(biāo)壓縮處理的功能有大的需求。甚至對于例如用于拍攝靜止圖像的數(shù)字靜止照相機，因為有必要將所監(jiān)控的圖像輸出到取景器以便確定圖像的構(gòu)成，所以有對高速灰度色標(biāo)壓縮處理的需求。
如上所述，有對這樣的灰度色標(biāo)壓縮技術(shù)的強烈需求其僅需要小的將消耗的存儲器容量和輕的計算工作量，允許容易的硬件構(gòu)造，并保證大的灰度色標(biāo)壓縮效果。然而，尚未提出這種灰度色標(biāo)壓縮技術(shù)。
在上述的第一至第三灰度色標(biāo)壓縮技術(shù)中還共同存在如下所述的其它問題。
第一問題涉及與加強高頻成分同時在對象的輪廓部分處的亮度中產(chǎn)生過沖。
為了抑制此過沖，有必要使用相對大尺寸(20×20個像素)的二維非線性濾波器，然而，期望在軟件基礎(chǔ)上實現(xiàn)的這一尺寸的二維非線性濾波器引起了用于計算的費用將變得極高的問題，而期望在硬件基礎(chǔ)上實現(xiàn)的這一尺寸的二維非線性濾波器則由于必需大量延遲線而引起電路規(guī)模將變大的問題。
第二問題涉及高亮度區(qū)和低亮度區(qū)中高頻成分的對比度加強量的控制。上述第二和第三灰度色標(biāo)壓縮技術(shù)共同之處在于亮度被分為低頻成分和高頻成分，并且通過在保持相對抑制低頻成分的同時增強高頻成分來實現(xiàn)灰度色標(biāo)壓縮。
然而，加強高頻成分導(dǎo)致在顯示設(shè)備等可接受的最大亮度和最小亮度的周邊產(chǎn)生亮度限幅(clipping)，從而導(dǎo)致圖像細(xì)節(jié)損失，使得灰度色標(biāo)轉(zhuǎn)換不能說是適當(dāng)?shù)模@產(chǎn)生了對某些對策的需要通過這些對策，亮度限幅是可以避免的。
另一問題在于即使在不引起亮度限幅的情形下，過分加強對比度導(dǎo)致了具有被不自然地增強的對象的輪廓部分的圖像。

發(fā)明內(nèi)容
本發(fā)明是考慮到前述狀況而構(gòu)思的，并且其目的是實現(xiàn)這樣的灰度色標(biāo)壓縮技術(shù)其只需要小的將消耗的存儲器容量和較少的計算工作量，允許容易的硬件構(gòu)造，并保證大的灰度色標(biāo)壓縮效果。
另一目的是使得有可能使用較小的存儲器容量、基于較少的計算量、以及基于簡單的硬件構(gòu)造來適當(dāng)?shù)卦鰪妶D像的對比度。
本發(fā)明的圖像處理設(shè)備特征在于其包括縮小圖像生成裝置，用于從輸入圖像生成縮小圖像；校正信息獲取裝置，用于基于縮小圖像獲取輸入圖像的校正信息；以及灰度色標(biāo)轉(zhuǎn)換裝置，用于轉(zhuǎn)換輸入圖像的灰度色標(biāo)；其中，灰度色標(biāo)轉(zhuǎn)換裝置使用校正信息來校正輸入圖像的對比度，作為將在轉(zhuǎn)換灰度色標(biāo)之前和/或之后進(jìn)行的處理。
該圖像處理設(shè)備還可以包括平滑裝置，用于生成具有像素亮度Lc的平滑后的圖像，所述像素構(gòu)成基于使用構(gòu)成縮小圖像的像素的內(nèi)插計算而平滑化的輸入圖像，其中可以配置灰度色標(biāo)轉(zhuǎn)換裝置，使得基于構(gòu)成圖像的像素的亮度Lc、構(gòu)成平滑后的圖像的像素的亮度L1以及預(yù)定的增益值g而生成對比度校正后的圖像。
可以配置灰度色標(biāo)轉(zhuǎn)換裝置，使得根據(jù)下式計算構(gòu)成對比度校正后的圖像的像素的亮度LuLu＝g·(Lc-L1)+L1可以配置縮小裝置，使得將輸入的圖像分為多個塊，計算屬于單個塊的像素的亮度的平均值，并產(chǎn)生由與塊相同數(shù)量的、并具有所述平均值作為像素亮度的像素構(gòu)成的縮小圖像。
可以配置平滑裝置，使得精確定出對應(yīng)于內(nèi)插位置(其為將被內(nèi)插的像素的位置)的縮小圖像上的位置，并使用存在于所定出的位置附近的像素，從而計算平滑后的圖像的像素亮度L1。
還可以配置平滑裝置，使得精確定出對應(yīng)于內(nèi)插位置(其為將被內(nèi)插的像素的位置)的縮小圖像上的位置，并使用存在于所定出的位置附近的4×4個像素，從而基于雙三次內(nèi)插來計算平滑后的圖像的像素亮度L1。
本發(fā)明的圖像處理設(shè)備還可以包括對數(shù)轉(zhuǎn)換裝置，用于使構(gòu)成輸入到平滑裝置之前的圖像的像素亮度Lc受到對數(shù)轉(zhuǎn)換；以及對數(shù)逆轉(zhuǎn)換裝置，用于支配構(gòu)成對比度校正后的圖像的像素的亮度。
本發(fā)明的圖像處理設(shè)備還可以包括平滑裝置，用于生成具有像素亮度Lc的平滑后的圖像，所述像素構(gòu)成基于使用構(gòu)成縮小圖像的像素的內(nèi)插計算而平滑化的輸入圖像；以及增益值設(shè)置裝置，用于設(shè)置用來校正對比度的增益值g；其中，可以配置灰度色標(biāo)轉(zhuǎn)換裝置，使得基于構(gòu)成輸入圖像的像素的亮度Lc、構(gòu)成平滑后的圖像的像素的亮度L1以及預(yù)定的增益值g來生成對比度校正后的圖像；并且，可以配置增益值設(shè)置裝置，使得基于輸入初始增益值g0、基準(zhǔn)增益值1以及使用第一亮度閾值Th1、第二亮度閾值Th2和構(gòu)成輸入圖像的像素的亮度Lc計算出的衰減值attn(Th1，Th2，Lc)來設(shè)置增益值g。
本發(fā)明的圖像處理設(shè)備還可以包括轉(zhuǎn)換裝置，用于通過基于轉(zhuǎn)換函數(shù)轉(zhuǎn)換構(gòu)成輸入圖像的像素的亮度L來生成色調(diào)轉(zhuǎn)換后的圖像；平滑裝置，用于通過使構(gòu)成色調(diào)轉(zhuǎn)換后的圖像的像素的亮度Lc平滑化而生成平滑后的圖像；以及增益值設(shè)置裝置，用于基于表示轉(zhuǎn)換函數(shù)的斜率γ的倒數(shù)1/γ的初始增益值g0而設(shè)置用來校正對比度的增益值g；其中，可以配置對比度校正裝置，使得基于構(gòu)成色調(diào)轉(zhuǎn)換后的圖像的像素的亮度Lc、構(gòu)成平滑后的圖像的像素的亮度L1和增益值g而生成對比度校正后的圖像；并且，可以配置增益值設(shè)置裝置，使得基于輸入初始增益值g0、基準(zhǔn)增益值1以及使用第一亮度閾值Th1、第二亮度閾值Th2和構(gòu)成色調(diào)轉(zhuǎn)換后的圖像的像素的亮度Lc計算出的衰減值attn(Th1，Th2，Lc)而設(shè)置增益值g。
可以配置增益值設(shè)置裝置，使得根據(jù)下式來設(shè)置增益值gg＝1+(g0-1)·attn(Th1，Th2，Lc)可以配置增益值設(shè)置裝置，使得根據(jù)下式來計算衰減值attn(Th1，Th2，Lc)attn(Th1，Th2，Lc)＝|(Lc-Th1)/(Th2-Th1)|(2Th1-Th2≤Lc≤Th2)attn(Th1，Th2，Lc)＝1(Lc＜2Th1-Th2，Th2＜Lc)可以配置灰度色標(biāo)轉(zhuǎn)換裝置，使得根據(jù)下式來計算構(gòu)成對比度校正后的圖像的像素的亮度LuLu＝g·(Lc-L1)+L1第一亮度閾值Th1可定義為中等的灰度級別(level)，而第二亮度閾值Th2可定義為最大白色級別。
可以配置縮小圖像生成裝置，使得通過基于轉(zhuǎn)換函數(shù)而將輸入圖像轉(zhuǎn)換成色調(diào)轉(zhuǎn)換后的圖像，然后縮小色調(diào)轉(zhuǎn)換后的圖像的尺寸，來生成縮小圖像，并且可以配置校正信息獲取裝置，以便獲取包括轉(zhuǎn)換函數(shù)的斜率的校正信息，以及，可以配置灰度色標(biāo)轉(zhuǎn)換裝置，使得基于縮小圖像和轉(zhuǎn)換函數(shù)的斜率來校正色調(diào)轉(zhuǎn)換后的圖像的對比度。
本發(fā)明的圖像處理設(shè)備還可以包括保持裝置，用于保持對應(yīng)于先前幀的圖像的縮小圖像和施加到該先前幀的圖像上的轉(zhuǎn)換函數(shù)的斜率。
可以配置縮小圖像生成裝置，使得使用一種或更多轉(zhuǎn)換函數(shù)逐步轉(zhuǎn)換當(dāng)前幀的圖像的像素值，并且可以配置灰度色標(biāo)轉(zhuǎn)換裝置，使得通過基于由保持裝置保持的縮小圖像和單獨對應(yīng)于一種或更多轉(zhuǎn)換函數(shù)的斜率的乘積而校正色調(diào)校正后的圖像的對比度，來生成對比度校正后的圖像。
在一種或更多轉(zhuǎn)換函數(shù)中，至少一種轉(zhuǎn)換函數(shù)可配置為單調(diào)增加函數(shù)。
本發(fā)明的圖像處理設(shè)備還可以包括平均值計算裝置，用于計算色調(diào)轉(zhuǎn)換后的圖像的像素值的平均值，并且，在一種或更多轉(zhuǎn)換函數(shù)中，可以配置至少一種轉(zhuǎn)換函數(shù)，使得具有與由平均值計算裝置計算出的平均值的倒數(shù)成比例的斜率。
可以配置平均值計算裝置，使得將色調(diào)校正后的圖像分為多個塊，以及通過加權(quán)相加單個塊的像素值的平均而計算值，作為平均值。
可以配置縮小圖像生成裝置，使得通過縮小色調(diào)轉(zhuǎn)換后的圖像的大小而生成第一縮小圖像，并且將第一縮小圖像的單個像素值乘以與第一縮小圖像的像素值的平均值的倒數(shù)成比例的值，從而生成第二縮小圖像。
本發(fā)明的圖像處理設(shè)備還可以包括對數(shù)轉(zhuǎn)換裝置，用于使當(dāng)前幀中的圖像的像素值受到對數(shù)轉(zhuǎn)換，以及對數(shù)逆轉(zhuǎn)換裝置，用于使對比度校正后的圖像的像素值受到對數(shù)逆轉(zhuǎn)換。
本發(fā)明的圖像處理設(shè)備還可以包括γ轉(zhuǎn)換裝置，用于使對比度校正后的圖像的像素值受到γ轉(zhuǎn)換；亮度范圍信息計算裝置，用于計算亮度范圍信息，該亮度范圍信息指示經(jīng)過γ轉(zhuǎn)換裝置γ轉(zhuǎn)換之后的對比度校正后的圖像的亮度成分的分布范圍；以及正規(guī)化(normalization)裝置，用于基于由亮度范圍信息計算裝置計算的亮度范圍信息，將經(jīng)過γ轉(zhuǎn)換裝置γ轉(zhuǎn)換之后的對比度校正后的圖像的像素值的分布正規(guī)化到預(yù)定范圍。
可以配置亮度范圍計算裝置，使得計算經(jīng)過γ轉(zhuǎn)換裝置γ轉(zhuǎn)換之后的對比度校正后的圖像的亮度成分的上限值和下限值作為亮度范圍信息，并且可以配置正規(guī)化裝置，以便轉(zhuǎn)換對比度校正后的圖像的像素值，使得由亮度范圍信息計算裝置計算的對比度校正后的圖像的亮度成分的上限值和下限值分別與假設(shè)的再現(xiàn)設(shè)備可再現(xiàn)的亮度成分的范圍的上限值和下限值一致。
可以配置保持裝置，使得保持由亮度范圍信息計算裝置計算的先前幀的亮度范圍信息。
所述圖像可以是由具有亮度成分的像素構(gòu)成的單色圖像。
所述圖像可以是由具有多個顏色成分的像素構(gòu)成的彩色圖像。
可以配置縮小圖像生成裝置，使得基于彩色圖像而生成由具有亮度成分的像素構(gòu)成的第一亮度圖像，將第一亮度圖像轉(zhuǎn)換為色調(diào)轉(zhuǎn)換后的亮度圖像，并基于色調(diào)轉(zhuǎn)換后的亮度圖像而生成由具有多個顏色成分的像素構(gòu)成的彩色的色調(diào)轉(zhuǎn)換后的圖像。
可以配置縮小圖像生成裝置，使得通過計算彩色圖像的單個顏色成分的值和亮度成分的值之間的差值，然后計算該差值和轉(zhuǎn)換函數(shù)的斜率的乘積，并將該乘積加到色調(diào)轉(zhuǎn)換后的亮度圖像的單個顏色成分的值上，來計算色調(diào)轉(zhuǎn)換后的圖像的單個顏色成分。
可以配置縮小圖像生成裝置，使得通過計算第一亮度圖像的亮度成分的平均值，然后計算與平均值的倒數(shù)成比例的系數(shù)，并將彩色圖像的單個顏色成分的值乘以該系數(shù)，來計算色調(diào)轉(zhuǎn)換后的圖像的單個顏色成分。
可以配置灰度色標(biāo)轉(zhuǎn)換裝置，使得通過基于彩色的色調(diào)轉(zhuǎn)換后的圖像而生成由具有亮度成分的像素構(gòu)成的第二亮度圖像，然后基于第二亮度圖像、由保持裝置保持的縮小圖像以及轉(zhuǎn)換函數(shù)的斜率而校正由轉(zhuǎn)換裝置生成的彩色的色調(diào)轉(zhuǎn)換后的圖像的對比度，來生成彩色的對比度校正后的圖像。
本發(fā)明的圖像處理設(shè)備還可以包括γ轉(zhuǎn)換裝置，用于使彩色的對比度校正后的圖像的像素值受到γ轉(zhuǎn)換；亮度范圍信息計算裝置，用于基于經(jīng)過γ轉(zhuǎn)換裝置γ轉(zhuǎn)換之后的彩色的對比度校正后的圖像而生成由具有亮度成分的像素構(gòu)成的第三亮度圖像，并用于計算指示第三亮度圖像的亮度成分的分布范圍的亮度范圍信息；以及正規(guī)化裝置，用于基于由亮度范圍信息計算裝置計算的亮度范圍信息，將經(jīng)過γ轉(zhuǎn)換裝置γ轉(zhuǎn)換之后的彩色的對比度校正后的圖像的像素值的分布正規(guī)化到預(yù)定范圍。
本發(fā)明的圖像處理方法由以下步驟構(gòu)成縮小圖像生成步驟，用于從輸入圖像生成縮小圖像；校正信息獲取步驟，用于基于縮小圖像而獲取輸入圖像的校正信息；以及灰度色標(biāo)轉(zhuǎn)換步驟，用于轉(zhuǎn)換輸入圖像的灰度色標(biāo)；其中，灰度色標(biāo)轉(zhuǎn)換步驟使用校正信息來校正輸入圖像的對比度，作為將在轉(zhuǎn)換灰度色標(biāo)轉(zhuǎn)換之前和/或之后進(jìn)行的處理。
根據(jù)本發(fā)明的圖像處理設(shè)備和方法，使得有可能從輸入圖像生成縮小圖像，基于所生成的縮小圖像而獲取校正信息，并轉(zhuǎn)換輸入圖像的灰度色標(biāo)。在灰度色標(biāo)轉(zhuǎn)換的處理中，使用校正信息來校正輸入圖像的對比度，作為將在灰度色標(biāo)轉(zhuǎn)換之前和/或之后進(jìn)行的處理。


圖1是示出了根據(jù)本發(fā)明的一個實施例的數(shù)字?jǐn)z像機的示例結(jié)構(gòu)的方框圖；圖2是示出了圖1中示出的DSP的第一示例結(jié)構(gòu)的方框圖；圖3是示出了圖2中示出的色調(diào)曲線校正部件的第一示例結(jié)構(gòu)的方框圖；圖4是示出了示例色調(diào)曲線的圖；圖5是示出了圖2中示出的色調(diào)曲線校正部件的第二示例結(jié)構(gòu)的方框圖；圖6是示出了圖2中示出的色調(diào)曲線校正部件的第三示例結(jié)構(gòu)的方框圖；圖7是示出了圖2中示出的縮小圖像生成部件的示例結(jié)構(gòu)的方框圖；圖8是示出了圖7中示出的平均值計算部件的示例結(jié)構(gòu)的方框圖；圖9是示出了圖2中示出的對比度校正部件的示例結(jié)構(gòu)的方框圖；圖10是示出了圖9中示出的內(nèi)插部件的示例結(jié)構(gòu)的方框圖；圖11是用于解釋圖9中示出的內(nèi)插部件的處理的圖；圖12是示出了圖9中示出的增益值設(shè)置部件的示例結(jié)構(gòu)的方框圖；圖13是示出了圖9中示出的對比度加強部件的示例結(jié)構(gòu)的方框圖；圖14是用于解釋圖2中示出的亮度范圍正規(guī)化部件中的處理的圖；圖15是示出了圖2中示出的亮度范圍信息計算部件的示例結(jié)構(gòu)的方框圖；
圖16是示出了圖2中示出的亮度范圍正規(guī)化部件的示例結(jié)構(gòu)的方框圖；圖17是示出了可取代圖2中示出的范圍為從色調(diào)曲線校正部件到對比度校正部件的部分的復(fù)合部件的示例結(jié)構(gòu)的方框圖；圖18是用于解釋由DSP的第一示例結(jié)構(gòu)進(jìn)行的灰度色標(biāo)壓縮處理的流程圖；圖19是用于解釋圖18中示出的步驟S1中的處理細(xì)節(jié)的流程圖；圖20是用于解釋圖18中示出的步驟S2中的處理細(xì)節(jié)的流程圖；圖21是示出了圖1中示出的DSP的第二示例結(jié)構(gòu)的方框圖；圖22是示出了圖21中示出的色調(diào)曲線校正部件的第一示例結(jié)構(gòu)的方框圖；圖23是示出了圖21中示出的色調(diào)曲線校正部件的第二示例結(jié)構(gòu)的方框圖；圖24是示出了圖21中示出的色調(diào)曲線校正部件的第三示例結(jié)構(gòu)的方框圖；圖25是示出了圖21中示出的縮小圖像生成部件的示例結(jié)構(gòu)的方框圖；圖26是示出了圖21中示出的對比度校正部件的示例結(jié)構(gòu)的方框圖；圖27是示出了可取代圖21中示出的范圍為從色調(diào)曲線校正部件到對比度校正部件的部分的復(fù)合部件的示例結(jié)構(gòu)的方框圖；圖28是示出了圖21中示出的亮度范圍信息計算部件的示例結(jié)構(gòu)的方框圖；圖29是用于解釋由DSP的第二示例結(jié)構(gòu)進(jìn)行的灰度色標(biāo)壓縮處理的流程圖；圖30是用于解釋圖29中示出的步驟S43中的處理細(xì)節(jié)的流程圖；圖31是用于解釋圖29中示出的步驟S44中的處理細(xì)節(jié)的流程圖；圖32是示出了施加了本發(fā)明的圖像處理系統(tǒng)的示例結(jié)構(gòu)的方框圖；圖33是用于解釋圖32中示出的圖像處理系統(tǒng)的操作的流程圖；圖34是示出了圖32中示出的圖像處理設(shè)備的第一示例結(jié)構(gòu)的方框圖；圖35是示出了圖34中示出的色調(diào)曲線校正部件的示例結(jié)構(gòu)的方框圖；圖36是示出了在圖像處理設(shè)備的第一示例結(jié)構(gòu)中使用的示例色調(diào)曲線的圖；圖37是示出了圖34中示出的平滑亮度生成部件的示例結(jié)構(gòu)的方框圖；
圖38是示出了圖37中示出的縮小圖像生成部件的示例結(jié)構(gòu)的方框圖；圖39是示出了圖38中示出的平均值計算部件的示例結(jié)構(gòu)的方框圖；圖40是示出了圖37中示出的內(nèi)插部件的示例結(jié)構(gòu)的方框圖；圖41是示出了圖34中示出的增益值設(shè)置部件的示例結(jié)構(gòu)的方框圖；圖42是示出了圖34中示出的對比度校正部件的示例結(jié)構(gòu)的方框圖；圖43是用于解釋由圖像處理設(shè)備的第一示例結(jié)構(gòu)進(jìn)行的灰度色標(biāo)壓縮圖像生成處理的流程圖；圖44是示出了圖32中示出的圖像處理設(shè)備的第二示例結(jié)構(gòu)的方框圖；圖45是用于解釋由圖像處理設(shè)備的第二示例結(jié)構(gòu)進(jìn)行的灰度色標(biāo)壓縮圖像生成處理的流程圖；以及圖46是示出了通用個人計算機的示例結(jié)構(gòu)的方框圖。
具體實施例方式
下面將參考附圖解釋作為本發(fā)明的一個實施例的數(shù)字?jǐn)z像機。
圖1示出了作為本發(fā)明的一個實施例的數(shù)字?jǐn)z像機的示例結(jié)構(gòu)。數(shù)字?jǐn)z像機1拍攝對象的畫面，生成具有比通常的寬的像素值動態(tài)范圍的寬DR圖像，將該圖像保存入預(yù)定的存儲介質(zhì)，并在將該寬DR圖像轉(zhuǎn)換為具有比通常的窄的像素值動態(tài)范圍的窄DR圖像之后，將其輸出到還用作成分確定取景器或圖像監(jiān)視器的內(nèi)置顯示器或者外部設(shè)備。
數(shù)字?jǐn)z像機1大致由光學(xué)系統(tǒng)、信號處理系統(tǒng)、記錄系統(tǒng)、顯示系統(tǒng)和控制系統(tǒng)構(gòu)成。
光學(xué)系統(tǒng)由用于會聚對象的光圖像的透鏡2、用于控制光圖像的光能量的光圈3、以及用于以預(yù)定的幀速率通過所會聚的光圖像的光電轉(zhuǎn)換而生成寬DR圖像的CCD圖像傳感器4構(gòu)成。應(yīng)注意的是，下面的描述將涉及由CCD圖像傳感器4生成的寬DR圖像是由一路亮度信號構(gòu)成的單色圖像、以及是由多路(例如3路)亮度信號構(gòu)成的彩色圖像兩種情況。
信號處理系統(tǒng)由下列部件構(gòu)成相互關(guān)聯(lián)的雙重采樣電路(CDS)5，用于通過采樣從CCD圖像傳感器4輸出的寬DR圖像而減小噪聲；A/D轉(zhuǎn)換器6，用于對利用相互關(guān)聯(lián)的雙重采樣電路5除去了噪聲的寬DR圖像實行AD轉(zhuǎn)換，從而獲得具有例如14至16位左右的位寬的值；以及DSP(數(shù)字信號處理器)7，用于對由A/D轉(zhuǎn)換器6輸出的寬DR圖像實行灰度色標(biāo)壓縮處理。
正如從A/D轉(zhuǎn)換器6輸出的并具有14至16位的位寬的寬DR圖像那樣，具有大量灰度色標(biāo)的圖像信號不能完全由包括亮度Y和色差信號Cr、Cb的一般視頻信號再現(xiàn)，而是由DSP 7進(jìn)行的灰度色標(biāo)壓縮處理將其灰度色標(biāo)壓縮到允許由包括亮度Y和色差信號Cr、Cb的一般視頻信號再現(xiàn)的范圍內(nèi)。將參考圖2及后續(xù)附圖而詳述DSP 7。
數(shù)字?jǐn)z像機1的記錄系統(tǒng)由下列部件構(gòu)成CODEC(壓縮/解壓縮)12，其參與對從DSP 7接收的寬DR圖像或窄DR圖像進(jìn)行編碼并將其記錄在存儲器13內(nèi)，并且讀取和編碼存儲在存儲器13內(nèi)的碼數(shù)據(jù)，并將其提供給DSP 7；以及存儲器13，用于存儲編碼后的寬DR圖像或窄DR圖像，由磁盤、光盤、磁光盤、半導(dǎo)體等構(gòu)成。
顯示系統(tǒng)由下列部件構(gòu)成D/A轉(zhuǎn)換器9，其參與從DSP 7提供的窄DR圖像的DA轉(zhuǎn)換；視頻解碼器，用于在將從D/A轉(zhuǎn)換器9輸出的模擬窄DR圖像轉(zhuǎn)換成包括亮度Y和色差信號Cr，Cb的一般視頻信號之后，將其輸出到顯示器11；以及顯示器11，其通常由通過顯示對應(yīng)于視頻信號的圖像而充當(dāng)取景器或視頻監(jiān)視器的LCD(液晶顯示器)等構(gòu)成。
控制系統(tǒng)由用于控制從CCD圖像傳感器4至DSP 7的元件的操作定時的定時發(fā)生器(TG)8、用于接受用戶的各種操作的輸入設(shè)備15、以及用于控制數(shù)字?jǐn)z像機1的全部的CPU(中央處理單元)14構(gòu)成。
接下來，將解釋數(shù)字?jǐn)z像機的操作概要。對象的光學(xué)圖像(入射光)經(jīng)過透鏡2和光圈3到達(dá)CCD圖像傳感器4，受到CCD圖像傳感器4的光電轉(zhuǎn)換，并且所獲得的表示寬DR圖像的像素的電信號由相互關(guān)聯(lián)的雙重采樣電路5除去噪聲，由A/D轉(zhuǎn)換器6數(shù)字化，并被提供給DSP 7。
DSP 7參與從A/D轉(zhuǎn)換器6接收的寬DR圖像的灰度色標(biāo)壓縮處理，從而生成窄DR圖像，并將其輸出到D/A轉(zhuǎn)換器9或CODEC 12或二者。提供給D/A轉(zhuǎn)換器9的窄DR圖像受到DA轉(zhuǎn)換，然后由視頻編碼器10轉(zhuǎn)換為常規(guī)的視頻信號，并在顯示器11上顯示所得到的圖像。另一方面，提供給CODEC 12的窄DR圖像被編碼并記錄在存儲器13內(nèi)。
此處是關(guān)于數(shù)字?jǐn)z像機1的全部操作概要的描述的結(jié)尾。
接下來，將描述DSP 7，其為本發(fā)明的關(guān)鍵。
圖2示出了適于寬DR圖像的DSP 7的第一示例結(jié)構(gòu)，該寬DR圖像是單色圖像。以下將輸入到DSP 7的單色寬DR圖像稱為寬DR亮度圖像L。寬DR亮度圖像的像素值(即亮度值)表示為L(p)。在此上下文中，p是表示圖像上的像素位置的向量或坐標(biāo)，例如p＝(x，y)。因此，確定使用L(p)，其包含像素位置和亮度值的信息，與表示寬DR亮度圖像的L區(qū)分開。相同的內(nèi)容也將施加到稍后描述的其它圖像及其像素值上。
設(shè)計DSP 7，使得根據(jù)光柵的順序?qū)扗R亮度圖像L的亮度L(p)輸入到其上。
在DSP 7的第一示例結(jié)構(gòu)中，對數(shù)轉(zhuǎn)換部件21使輸入的亮度L(p)受到對數(shù)轉(zhuǎn)換，并將所獲得的對數(shù)亮度logL(p)輸出到色調(diào)曲線校正部件22。色調(diào)曲線校正部件22將預(yù)先獲得的色調(diào)曲線施加到輸入的對數(shù)亮度logL(p)，將其朝著壓縮灰度色標(biāo)的方向轉(zhuǎn)換，并將所獲得的對數(shù)亮度logLc(p)輸出到縮小圖像生成部件23和對比度校正部件25。色調(diào)曲線校正部件22將表示所施加的色調(diào)曲線的斜率的代表值γ輸出到對比度校正部件25。以下將表示所施加的色調(diào)曲線的斜率的代表值γ簡稱為代表值γ。
縮小圖像生成部件23基于從色調(diào)曲線校正部件22接收的、對應(yīng)于單個幀的對數(shù)亮度logLc(p)，來生成縮小圖像logLc1，并使縮小圖像存儲器24保存之。
對比度校正部件25基于代表值γ和縮小圖像存儲器24中保持的先前幀的縮小圖像logLc1，來校正從色調(diào)曲線校正部件22接收的當(dāng)前幀的對數(shù)亮度logLc(p)的、被色調(diào)曲線校正減弱的對比度，并將所獲得的對數(shù)亮度logLu(p)輸出到對數(shù)逆轉(zhuǎn)換部件26。對數(shù)逆轉(zhuǎn)換部件26使具有校正后的對比度的對數(shù)亮度logLu(p)受到對數(shù)逆轉(zhuǎn)換，并將所獲得的由常規(guī)軸表示的亮度Lu(p)輸出到γ校正部件27。
γ校正部件27使從對數(shù)逆轉(zhuǎn)換部件26接收的亮度Lu(p)受到考慮到再現(xiàn)設(shè)備(例如顯示器11)的γ特性的γ校正，然后在γ校正之后將所獲得的亮度Y(p)輸出到亮度信息計算部件28和亮度范圍正規(guī)化部件30。亮度信息計算部件28對于從γ校正部件27接收的、對應(yīng)于單個幀的每個亮度Y(p)，計算指示亮度分布的亮度范圍信息，并允許其由亮度范圍信息存儲器29保持。在此應(yīng)注意的是，亮度范圍信息是指指示在一幀內(nèi)亮度的分布范圍的信息，利用其來計算最接近黑暗的亮度Yd和最接近明亮的亮度Yb，作為亮度范圍信息[Yd，Yb]。
亮度范圍正規(guī)化部件30基于由亮度范圍信息存儲器29保持的先前幀的亮度范圍信息[Yd，Yb]，轉(zhuǎn)換從γ校正部件27接收的當(dāng)前幀的亮度Y(b)，使得其分布范圍符合可由再現(xiàn)設(shè)備(例如顯示器11)表示的范圍，并將所獲得的亮度Yn(p)作為窄DR圖像的像素值輸出到后續(xù)步驟。
如上面已經(jīng)描述的，在根據(jù)DSP 7的第一示例結(jié)構(gòu)的灰度色標(biāo)壓縮處理的過程中，由縮小圖像生成部件23生成縮小圖像logLc1，并由亮度范圍信息計算部件28計算亮度范圍信息[Yd，Yb]。下文中將縮小圖像logLc1和亮度范圍信息[Yd，Yb]稱為中間信息。
利用DSP 7，對輸入的寬DR圖像的單個幀計算中間信息，并且所計算的中間信息被用來處理一幀以后到來的寬DR圖像。
盡管為了執(zhí)行有效的灰度色標(biāo)壓縮，通常有必要使用基于圖像的全部或?qū)挿秶牧炼戎刀嬎愕男畔?，但是在安裝中產(chǎn)生了在計算該信息之前時延將增大的問題。因此，DSP 7通過選擇極小可能隨時間變化的信息，將先前幀的中間信息用于對當(dāng)前幀的灰度色標(biāo)壓縮。這種結(jié)構(gòu)使得即使在安裝之后也有可能避免存儲器消耗和電路規(guī)模的膨脹。
接下來，將參考附圖描述DSP 7的第一示例結(jié)構(gòu)的細(xì)節(jié)。
圖3示出了色調(diào)曲線校正部件22的第一示例結(jié)構(gòu)。在第一示例結(jié)構(gòu)中，LUT存儲器41預(yù)先保持與如圖4所示的單調(diào)增加的色調(diào)曲線對應(yīng)的查找表(以下稱為LUT)，以及表示色調(diào)曲線斜率的代表值γ。可能代替LUT而保持等同于色調(diào)曲線的函數(shù)也是允許的。表參考部件42基于在LUT存儲器41中保持的LUT而將對數(shù)亮度logL(p)校正為對數(shù)亮度logLc(p)。
圖4示出了色調(diào)曲線的示例，其中在
范圍內(nèi)正規(guī)化的對數(shù)軸上，分別由橫坐標(biāo)標(biāo)繪輸入亮度L(p)，縱坐標(biāo)標(biāo)繪色調(diào)曲線校正后的亮度Lc(p)。如本示例所示的單調(diào)增加的、平緩的反S形曲線的應(yīng)用將不會在高亮度區(qū)和低亮度區(qū)內(nèi)引起很強的灰度色標(biāo)壓縮效果，使得即使在灰度色標(biāo)壓縮之后也有可能獲得所希望的具有較小程度的白盲(whiteout)或黑盲(blackout)的色調(diào)。反之，灰度色標(biāo)壓縮將強烈影響中間亮度區(qū)，而這意味著稍后描述的對比度校正可以完全施加到中間亮度區(qū)上，并導(dǎo)致所希望的在中間亮度范圍內(nèi)也具有較小程度的對比度校正的窄DR圖像。
應(yīng)注意的是，通?？梢酝ㄟ^在整個亮度范圍內(nèi)尋找斜率值，并將這些值的平均值確定為代表值γ來確定表示色調(diào)曲線斜率的代表值γ。圖4中示出的色調(diào)曲線具有值為0.67的代表值γ。
圖5示出了色調(diào)曲線校正部件22的第二示例結(jié)構(gòu)。不像第一示例結(jié)構(gòu)，第二示例結(jié)構(gòu)不使用預(yù)先獲得的LUT，而是對每個幀計算代表值γ，并將對數(shù)亮度logL(p)校正為對數(shù)亮度logLc(p)。在第二示例結(jié)構(gòu)中，平均亮度計算部件51計算一幀的對數(shù)亮度logL(p)的平均值μ。除法器52將預(yù)定的常數(shù)logLT除以平均值μ，從而計算出代表值γ。γ存儲器53保持從除法器52接收的代表值。乘法器54將當(dāng)前幀的對數(shù)亮度logL(p)乘以由γ存儲器53保持的先前幀的代表值γ，從而計算出色調(diào)曲線校正之后的對數(shù)亮度logLc(p)。
下面假設(shè)預(yù)定的常數(shù)logLT定義為中等級別的對數(shù)亮度，則一幀的對數(shù)亮度logL(p)的平均值被轉(zhuǎn)換成具有與logLT相同的值的色調(diào)曲線校正后的對數(shù)亮度logLc(p)。
盡管代表值γ是對每個幀計算的，但是因為該值事實上是基于對數(shù)亮度logL(p)的平均值μ而計算的，所以該值應(yīng)該在先前幀和后續(xù)幀之間相差不大。因此，與上述縮小圖像logLc1和亮度范圍信息[Yd，Yb]類似，還設(shè)計代表值γ，以將前一幀用于當(dāng)前幀的色調(diào)曲線校正。因此，定義代表值γ也包括在中間信息內(nèi)。
圖6是色調(diào)曲線校正部件22的第三示例結(jié)構(gòu)。該第三示例結(jié)構(gòu)可以說是第一示例結(jié)構(gòu)和第二示例結(jié)構(gòu)的組合。在第三示例結(jié)構(gòu)中，LUT存儲器61預(yù)先保持與如圖4所示的色調(diào)曲線對應(yīng)的LUT，以及表示色調(diào)曲線斜率的代表值γ1。表參考部件62基于LUT存儲器61k中保持的LUT而將對數(shù)亮度logL(p)校正為對數(shù)亮度logLc’(p)，并將其輸出到平均亮度計算部件63和乘法器66。
平均亮度計算部件63計算一幀的對數(shù)亮度logLc’(p)的平均值μ，并將其輸出到除法器64。除法器64將預(yù)定的常數(shù)logLT除以平均值μ，從而計算代表值γ2，并允許γ2存儲器65保存之。乘法器66將當(dāng)前幀的對數(shù)亮度logLc’(p)乘以由γ存儲器65保持的先前幀的代表值γ2，從而計算色調(diào)曲線校正后的對數(shù)亮度logLc(p)。乘法器67將代表值γ1、γ2的乘積作為代表值γ(＝γ1·γ2)輸出到后級中的對比度校正部件25。
接下來的圖7示出了縮小圖像生成部件23的示例結(jié)構(gòu)。縮小圖像生成部件23的分類部件71根據(jù)當(dāng)整個圖像被分為m×n個塊、然后被提供給平均值計算部件72-1至72-N(＝m×n)時亮度所屬的塊，對從前級中的色調(diào)曲線校正部件22接收的一幀的對數(shù)亮度logLc(p)分類。例如，被分類到第一塊的那些被提供給平均值計算部件72-1，而被分類到第二塊的那些被提供給平均值計算部件72-2。相同的做法也將施加到后續(xù)塊上，并且分類到第N塊的那些被提供給平均值計算部件72-N。當(dāng)沒有必要區(qū)分單個平均值計算部件72-1至72-N時，下列描述采用平均值計算部件72的簡單記號。
平均值計算部件72-i(i＝1，2，...，N)從一幀的對數(shù)亮度值logLc(p)里面計算被分類到第i塊的對數(shù)亮度logLc(p)的平均值，并將其輸出到復(fù)合部件73。復(fù)合部件73生成m×n個像素的縮小圖像logLc1，并使得后級中的縮小圖像存儲器24存儲之，其中所述縮小圖像logLc1具有分別從平均值計算裝置72-i接收的對數(shù)亮度logLc(p)的平均值作為像素值，。
圖8示出了平均值計算部件72的示例結(jié)構(gòu)。平均值計算部件72的加法器81將由寄存器(r)82保持的值加到從前級中的分類部件71接收的對數(shù)亮度logLc(p)，從而更新由寄存器(r)82保持的值。除法器83將由寄存器82最終保持的值除以構(gòu)成一個塊的像素的數(shù)目Q，從而計算被分類到一個塊的Q個對數(shù)亮度logLc(p)的平均值。
接下來的圖9示出了對比度校正部件25的示例結(jié)構(gòu)。內(nèi)插位置指定部件91獲取從前級中的色調(diào)曲線校正部件22接收的對數(shù)亮度logLc(p)的像素位置p(以下也稱為內(nèi)插位置p)，并將其輸出到內(nèi)插部件92。內(nèi)插部件92使用由縮小圖像存儲器24保持的先前幀的縮小圖像logLc1，通過內(nèi)插來計算對應(yīng)于內(nèi)插位置p的像素logLc1(p)，并將其輸出到對比度增強部件94。
增益值設(shè)置部件93基于從色調(diào)曲線校正部件22接收的先前幀的代表值γ以及基于當(dāng)前幀的對數(shù)亮度logLc(p)，來計算確定當(dāng)前幀的對數(shù)亮度logLc(p)的對比度增強量的增益值g(p)。對比度增強部件94基于當(dāng)前幀的對數(shù)亮度logLc(p)、增益值g(p)和縮小圖像的內(nèi)插值logLc1(p)，來計算具有除了低頻成分以外的頻率成分的增強的對比度的對數(shù)亮度logLu(p)。
圖10示出了內(nèi)插部件92的示例結(jié)構(gòu)。內(nèi)插部件92基于雙三次內(nèi)插，使用先前幀的縮小圖像logLc1的內(nèi)插位置p附近的4×4個像素，來內(nèi)插對應(yīng)于內(nèi)插位置p的像素logLc1(p)。
附近選擇部件101在接收內(nèi)插位置p時，基于由縮小圖像存儲器24保持的先前幀的m×n個像素的縮小圖像logLc1而獲取內(nèi)插位置p附近的4×4像素的像素值a[4][4]，并將其輸出到乘積求和部件104。這里a[i][j]的記號意思是像素值a是i×j的二維排列數(shù)據(jù)。附近選擇部件101將所獲取的像素值a[4][4]和內(nèi)插位置p之間的水平位移dx和垂直位移dy分別輸出到水平系數(shù)計算部件102或垂直系數(shù)計算部件103。
在此將參考圖11來描述內(nèi)插位置p、相鄰的像素值a[4][4]和位移dx、dy的關(guān)系。
圖11中示出的m×n個柵格表示m×n個像素的縮小圖像logLc1。下面假設(shè)給出內(nèi)插位置p＝(px，py)，則對應(yīng)于內(nèi)插位置p的縮小圖像logLc1上的位置q給出為q＝(qx，qy)＝(px/bx-0.5，py/by-0.5)，其中(bx，by)＝(圖像logLc的水平像素數(shù)/m，圖像logLc的垂直像素數(shù)/n)。
為了獲取對應(yīng)于內(nèi)插位置p的縮小圖像上的位置q周邊的相鄰像素，推薦獲取落入如圖11的陰影所示的qx-2＜x＜qx+2和qy-2＜y＜qy+2范圍內(nèi)的縮小圖像logLc1的像素。在由陰影所示的區(qū)域內(nèi)，標(biāo)以“+”的4×4個位置是將要獲取的像素的位置。相鄰像素和內(nèi)插位置p之間的位移(dx，dy)定義成相對于左下方的最近像素的差。也就是說，可以將位移給出為(dx，dy)＝(qx的小數(shù)部分，qy的小數(shù)部分)。
下面參考回圖10，水平系數(shù)計算部件102基于從附近選擇部件101接收的水平位移dx而計算水平三次內(nèi)插系數(shù)kx[4]。類似地，垂直系數(shù)計算部件103以基于從附近選擇部件101接收的垂直位移dy的垂直系數(shù)為基礎(chǔ)來計算垂直三次內(nèi)插系數(shù)ky[4]。
例如，水平三次內(nèi)插系數(shù)kx[4]可使用下式(1)來計算z＝|dx-i+2| 此外，垂直三次內(nèi)插系數(shù)ky[4]通?？梢允褂孟率?2)來計算z＝|dy-j+2| 應(yīng)注意的是，只要可以獲得足夠平滑的內(nèi)插，可以使用除了上面示出的式(1)、(2)之外的任何任意計算公式來計算三次內(nèi)插系數(shù)kx[4]和ky[4]。
乘積求和部件104通過使用相鄰像素值a[4][4]、水平內(nèi)插系數(shù)kx[4]和垂直內(nèi)插系數(shù)ky[4]的乘積求和計算，使用下式(3)來計算縮小圖像logLc1的內(nèi)插位置p的內(nèi)插值Lc1(p)。
logLc1(p)=Σi=14Σj=14a[i][j]·kx[i]·ky[j]...(3)]]>接下來將解釋增益值設(shè)置部件93。如上所述，增益值設(shè)置部件93被用來設(shè)置增益值g(p)，增益值g(p)用于通過后級中的對比度增強部件94來調(diào)整除低頻區(qū)以外的區(qū)域的增強程度。對于g(p)＝1的增益值，對比度增強部件94既不增強也不抑制對比度。對于g(p)＞1的增益值，對應(yīng)于該值而增強對比度。對于g(p)＜1的增益值，對應(yīng)于該值而抑制對比度。
將描述增益值的設(shè)置。圖像的對比度已經(jīng)通過灰度色標(biāo)壓縮抑制，其中抑制量取決于色調(diào)曲線的斜率。例如，考慮到實現(xiàn)強灰度色標(biāo)壓縮而應(yīng)用具有小斜率的色調(diào)曲線意味著強烈抑制對比度。另一方面，應(yīng)用具有斜率為1的直線作為色調(diào)曲線意味著圖像不變化，或者不抑制對比度。
因此，對于色調(diào)曲線的代表值γ小于1的情況，增益值設(shè)置部件93采用色調(diào)曲線的代表值γ的倒數(shù)1/γ，使得增益值超過1。
在輸入的對數(shù)亮度logLc(p)接近白級別或黑級別的另一情況中，類似于施加到中間亮度區(qū)的對比度增強可能由于限幅而不希望地導(dǎo)致圖像細(xì)節(jié)損失，因此當(dāng)輸入的對數(shù)亮度logLc(p)更接近于白級別或黑級別時，調(diào)整增益值使得更接近于1。
也就是說，假設(shè)代表的γ的倒數(shù)為1/γ＝g0，使用下式(4)來計算增益值g(p)g(p)＝1+(g0-1)×attn(p) ...(4)其中，attn(p)是衰減系數(shù)，并由下式(5)計算attn(p)＝attn(logLgray，logLwhite，logLc(p)) 應(yīng)注意的是，在式(5)中，logLgray代表表示中等灰度級別的對數(shù)亮度，而logLwhite代表表示白限幅級別(最大的白級別)的對數(shù)亮度，其中，兩者都是預(yù)先設(shè)置的常數(shù)。
圖12示出了增益值設(shè)置部件93的示例結(jié)構(gòu)。除法器111計算從前級接收的代表值γ的倒數(shù)1/γ＝g0，并將其輸出到減法器112。減法器112計算(g0-1)并將其輸出到乘法器118。
減法器113計算對數(shù)亮度logLc(p)和具有中等灰度級別的對數(shù)亮度logLgray之間的差(logLc(p)-logLgray)，并將其輸出到除法器115。減法器114計算具有白限幅級別的對數(shù)亮度logLwhite與對數(shù)亮度logLgray之間的差(logLwhite-logLgray)，并將其輸出到除法器115。除法器115將減法器113的輸出(logLc(p)-logLgray)除以減法器114的輸出(logLwhite-logLgray)，并將商輸出到絕對值計算器116。絕對值計算器116計算除法器115的輸出的絕對值，并將其輸出到限幅器(clipper)117。限幅器117對絕對值計算器116的輸出進(jìn)行限幅，使得當(dāng)輸出超過1時將其調(diào)整到1，而當(dāng)該輸出不超過1時則保留其不變，并將結(jié)果作為attn(p)輸出到乘法器118。
乘法器118將減法器112的輸出乘以限幅器117的輸出，并將乘積輸出到加法器119。加法器119將乘法器118的輸出加1，并將結(jié)果作為增益值g(p)輸出到后級。
接下來的圖13示出了對比度增強部件94的示例結(jié)構(gòu)。減法器121計算對數(shù)亮度logLc(p)和縮小圖像的內(nèi)插值logLc1(p)之間的差，并將其輸出到乘法器122。乘法器122計算減法器121的輸出和增益值g(p)的乘積，并將其輸出到加法器123。加法器123將縮小圖像的內(nèi)插值logLc1(p)加到乘法器122的輸出上，并將如此對比度校正后的對數(shù)亮度logLu(p)輸出到后級。
下面應(yīng)注意的是，縮小圖像的內(nèi)插值logLc1(p)是基于m×n個像素的縮小圖像的內(nèi)插后的值，因此僅具有縮小前的圖像logLc的極低頻成分。
也就是說，減法器121的輸出(logLc(p)-logLc1(p))等同于通過從原對數(shù)亮度logLc(p)只減去極低頻成分所獲得的差。如上所述，對比度校正后的對數(shù)亮度logLu(p)是通過這樣獲得的將亮度信號分為極低頻成分和其它成分兩類，并且在這些成分中，通過乘以增益值g(p)而增強除了低頻成分之外的成分，并使用加法器123將兩者再度合成。
如從上面所知，設(shè)計對比度增強部件94，使得在排除極低頻區(qū)的同時，使用相同的增益值g(p)來增強從低中頻區(qū)到高頻區(qū)的成分。因此，對比度校正后的對數(shù)亮度logLu(p)不會在邊緣部分處發(fā)生在僅增強高頻區(qū)時可能很明顯的局部過沖，并設(shè)計其以獲得具有對眼睛來說很自然地增強的對比度的圖像。
接下來，將解釋亮度范圍信息計算部件28和亮度范圍正規(guī)化部件30。
首先，將解釋亮度范圍正規(guī)化處理的概要。由DSP 7進(jìn)行的灰度色標(biāo)壓縮的目的在于將寬DR亮度圖像轉(zhuǎn)換為適合于諸如顯示器11的再現(xiàn)設(shè)備的動態(tài)范圍的窄DR圖像，為此目的，在色調(diào)曲線校正部件22中預(yù)先準(zhǔn)備了適合于再現(xiàn)設(shè)備的動態(tài)范圍的色調(diào)曲線。這使得有可能使大多數(shù)所拍攝的寬DR亮度圖像適當(dāng)?shù)厥艿交叶壬珮?biāo)壓縮。
然而，入射光的動態(tài)范圍可能本質(zhì)上不那么大地依賴于將拍攝的對象，并且這樣的圖像的灰度色標(biāo)壓縮處理可能導(dǎo)致過度的灰度色標(biāo)壓縮，從而亮度被限制在比可由再現(xiàn)設(shè)備再現(xiàn)的動態(tài)范圍更窄的范圍內(nèi)。
為了避免這一點，亮度范圍正規(guī)化部件30將γ校正后的亮度信號Y(p)正規(guī)化，作為灰度色標(biāo)壓縮處理的最后階段中的處理，使得γ校正后的亮度信號Y(p)的動態(tài)范圍符合可由再現(xiàn)設(shè)備再現(xiàn)的動態(tài)范圍。
圖14示出了由亮度范圍正規(guī)化部件30進(jìn)行的亮度范圍正規(guī)化處理的模式。在此圖的線圖中，橫坐標(biāo)標(biāo)繪亮度范圍正規(guī)化之前γ校正后的亮度Y，縱坐標(biāo)標(biāo)繪亮度范圍正規(guī)化之后的亮度Yn，并且灰度色標(biāo)轉(zhuǎn)換曲線α表示用于將亮度Y轉(zhuǎn)換為Yn的轉(zhuǎn)換表。
下面將描述確定灰度色標(biāo)轉(zhuǎn)換曲線α的方法。在線圖下示出的陰影圖形131是亮度范圍正規(guī)化之前亮度圖像Y的示例直方圖。在此示例中，在γ校正之后而在亮度范圍正規(guī)化之前的階段中，獲得了這樣的亮度圖像其灰度色標(biāo)已經(jīng)被壓縮，使得具有比從數(shù)字?jǐn)z像機1可能生成的最小亮度Ymin到最大亮度Ymax的動態(tài)范圍更窄的動態(tài)范圍。
因為當(dāng)保留其動態(tài)范圍不變時，輸出到再現(xiàn)設(shè)備的亮度圖像的輸出導(dǎo)致僅僅低效利用可由再現(xiàn)設(shè)備再現(xiàn)的動態(tài)范圍，所以隨后執(zhí)行正規(guī)化，使得亮度范圍正規(guī)化之前的亮度圖像Y的亮度分布擴展到再現(xiàn)設(shè)備的動態(tài)范圍的全部。
出于此目的，首先，計算亮度范圍正規(guī)化前的亮度圖像Y的直方圖131分布的范圍[Yd，Yb]，作為亮度范圍正規(guī)化前的亮度圖像Y的亮度范圍信息。然后，設(shè)置落在從再現(xiàn)設(shè)備的亮度范圍[Ynb，Ync]的頂端和低端略微向內(nèi)的亮度值Yna和Yns，并且，確定灰度色標(biāo)轉(zhuǎn)換曲線α，使得將橫坐標(biāo)上的亮度{Ymin，Yd，Yb，Ymax}與縱坐標(biāo)上的亮度值{Ynb，Yna，Yns，Ync}相對應(yīng)。
使用此灰度色標(biāo)轉(zhuǎn)換曲線α的灰度色標(biāo)轉(zhuǎn)換成功地獲得了亮度圖像Yn，其具有諸如線圖左手側(cè)示出的陰影圖形132的直方圖形式。
確定灰度色標(biāo)轉(zhuǎn)換曲線α，使得亮度范圍正規(guī)化前的亮度范圍[Yd，Yb]映射到比再現(xiàn)設(shè)備的亮度范圍[Ynb，Ync]略窄的亮度范圍[Yna，Yns]的原因是防止亮度Ynb和Ync周圍的尖銳亮度限幅出現(xiàn)在圖像上。
在這里應(yīng)注意的是，亮度值Yna和Yns是基于亮度值Ynb和Ync而以適當(dāng)?shù)闹殿A(yù)先設(shè)置的。
亮度范圍正規(guī)化前的亮度范圍[Yd，Yb]的獲取是由亮度范圍信息計算部件28進(jìn)行的，而灰度色標(biāo)轉(zhuǎn)換曲線α和亮度Yn(p)的計算是由亮度范圍正規(guī)化部件30執(zhí)行的。
圖15示出了亮度范圍信息計算部件28的示例結(jié)構(gòu)。在亮度范圍信息計算部件28中，抽選部件141基于像素位置p而選擇從γ校正部件27接收的亮度Y(p)。也就是說，僅將預(yù)先設(shè)置的像素位置處的圖像的亮度值提供給后級中的MIN分類部件142和MAX分類部件145。
配置MIN分類部件142，使得k對比較部件143和寄存器144的組合串聯(lián)排列，并使得由寄存器144-1至144-k以遞增的順序保持輸入的亮度Y(p)值。
例如，比較部件143-1比較來自抽選部件141的亮度Y(p)和寄存器144-1中的值，并且當(dāng)來自抽選部件141的亮度Y(p)小于寄存器144-1中的值時，使用來自抽選部件141的亮度Y(p)來更新寄存器144-1中的值。反之，當(dāng)來自抽選部件141的亮度Y(p)不小于寄存器144-1中的值時，將來自抽選部件141的亮度Y(p)提供給后級中的比較部件143-2。
比較部件143-2比較來自比較部件143-1的亮度Y(p)和寄存器144-2中的值，并且當(dāng)來自比較部件143-1的亮度Y(p)小于寄存器144-2中的值時，使用來自比較部件143-1的亮度Y(p)來更新寄存器144-2中的值。反之，當(dāng)來自比較部件143-1的亮度Y(p)不小于寄存器144-2中的值時，將來自比較部件143-1的亮度Y(p)提供給后級中的比較部件143-3。
相同的內(nèi)容也將施加到比較部件143-3以及其后，其中，在一幀的亮度Y(p)輸入完成后，寄存器144-1將具有保持在其中的亮度Y(p)的最小值Ymin，并且寄存器144-2至144-k將具有以遞增的順序保持在其中的亮度Y(p)值，并且將保持在寄存器144-k中的亮度Y(p)作為亮度范圍信息的亮度Yd輸出到后級。
配置MAX分類部件145，使得k對比較部件146和寄存器147的組合串聯(lián)排列，并使得由寄存器147-1至144-k以遞減的順序保持輸入的亮度Y(p)值。
例如，比較部件146-1比較來自抽選部件141的亮度Y(p)和寄存器147-1中的值，并且當(dāng)來自抽選部件141的亮度Y(p)大于寄存器144-1中的值時，使用來自抽選部件141的亮度Y(p)來更新寄存器147-1中的值。反之，當(dāng)來自抽選部件141的亮度Y(p)不大于寄存器147-1中的值時，將來自抽選部件141的亮度Y(p)提供給后級中的比較部件146-2。
比較部件146-2比較來自比較部件146-1的亮度Y(p)和寄存器147-2中的值，并且當(dāng)來自比較部件146-1的亮度Y(p)大于寄存器147-2中的值時，使用來自比較部件146-1的亮度Y(p)來更新寄存器147-2中的值。反之，當(dāng)來自比較部件146-1的亮度Y(p)不大于寄存器147-2中的值時，將來自比較部件146-1的亮度Y(p)提供給后級中的比較部件146-3。
相同的內(nèi)容也將施加到比較部件146-3以及其后，其中，在一幀的亮度Y(p)輸入完成后，寄存器147-1將具有保持在其中的亮度Y(p)的最大值Ymax，并且寄存器147-2至147-k將具有以遞減的順序保持在其中的亮度Y(p)，并且將保持在寄存器147-k中的亮度y(p)作為亮度范圍信息的亮度Yb輸出到后級。
因為由抽選部件141抽選輸入到MIN分類部件142和MAX分類部件145的亮度Y(p)，所以適當(dāng)?shù)卣{(diào)整抽選間隔以及MIN分類部件142和MAX分類部件145的級數(shù)k，使得有可能獲得分別與例如一幀中的全部像素的上端和下端的1％對應(yīng)的亮度值Yd、Yb。
圖16示出了亮度范圍正規(guī)化部件30的示例結(jié)構(gòu)。如上所述，亮度范圍正規(guī)化部件30確定灰度色標(biāo)轉(zhuǎn)換曲線α，并使用灰度色標(biāo)轉(zhuǎn)換曲線α將γ校正后的亮度Y(p)轉(zhuǎn)換為亮度范圍正規(guī)化后的亮度Yn(p)。
因為如圖14所示的灰度色標(biāo)轉(zhuǎn)換曲線α由5條線段構(gòu)成，所以亮度范圍正規(guī)化部件30判別輸入的亮度Y(p)屬于哪條線段，并將構(gòu)成灰度色標(biāo)轉(zhuǎn)換曲線α的5條線段之一施加到輸入的亮度Y(p)上，從而將其轉(zhuǎn)換為亮度范圍正規(guī)化后的亮度Yn(p)。
亮度范圍正規(guī)化部件30的選擇器151基于輸入到輸入端i的亮度Y(p)，將分別輸入到輸入端a至h的亮度值Ymax、Yb、Yd、Ymin、Ync、Yns、Yna和Ynb中的四個亮度值從輸出端j至m輸出。其中的相互關(guān)系由下式(6)表示[j,k,l,m]=[h,h,c,d]i<d[h,g,c,d]d≤i<c[g,f,b,c]c≤i<b[f,e,a,b]b≤i<a[e,e,a,b]a≤i---(6)]]>減法器152計算輸出端k的輸出和輸出端j的輸出之間的差，并將結(jié)果輸出到除法器155。減法器153計算輸出端1的輸出和減法器154的輸出之間的差，并將結(jié)果輸出到除法器155。減法器154計算亮度Y(p)和輸出端m的輸出之間的差，并將結(jié)果輸出到乘法器156。除法器155計算減法器152的輸出和減法器153的輸出的比，并將結(jié)果輸出到乘法器156。乘法器156計算除法器155的輸出和減法器154的輸出的乘積，并將結(jié)果輸出到加法器157。加法器157將輸出端j的輸出和乘法器156的輸出相加，并輸出結(jié)果。
加法器157的輸出Yn(p)由下式(7)表示，其指示基于γ校正后的亮度Y(p)而判別的灰度色標(biāo)轉(zhuǎn)換曲線α的線段。
Yn(p)=k-jl-m(Y(p)-m)+j...(7)]]>此處是關(guān)于構(gòu)成圖2中示出的DSP 7的單個部分的描述的結(jié)尾。
同時，注意到圖6中示出的色調(diào)曲線校正部件22的平均亮度計算部件63和縮小圖像生成部件23的平均亮度計算部件72執(zhí)行相似的計算，還可能通過更簡單的電路結(jié)構(gòu)來減少計算量。更具體地說，可以組合在圖2中全部示出的色調(diào)曲線校正部件22、縮小圖像生成部件23、縮小圖像存儲器24和對比度校正部件25，以作為如圖17所示的復(fù)合部件來提供。
復(fù)合部件160可取代圖2中示出的色調(diào)曲線校正部件22、縮小圖像生成部件23、縮小圖像存儲器24和對比度校正部件25。
復(fù)合部件160的LUT存儲器161具有對應(yīng)于如圖4所示的色調(diào)曲線的LUT，以及表示預(yù)先保持在其中的色調(diào)曲線的斜率的代表值γ1。表參考部件162基于由LUT存儲器161保持的LUT而校正從前級接收的對數(shù)亮度logL(p)，從而給出對數(shù)亮度logLc’(p)，并將其輸出到縮小圖像生成部件163和乘法器172。
縮小圖像生成部件163將對數(shù)亮度圖像logLc’分為m×n個塊，計算屬于單個塊的像素的對數(shù)亮度logLc’(p)的平均值，從而生成m×n個像素的第一縮小圖像，并使第一縮小圖像存儲器164保存之。
平均亮度計算部件63計算由第一縮小圖像存儲器164保持的先前幀的第一縮小圖像的像素值的平均值μ，并將其輸出到除法器166。除法器166將預(yù)定的常數(shù)logLT除以平均值μ，從而計算代表值γ2，并使γ2存儲器167保存之。乘法器168將由第一縮小圖像存儲器164保持的第一縮小圖像的單個像素乘以由γ2存儲器65保持的代表值γ2，從而生成第二縮小圖像logLc1，并使第二縮小圖像存儲器169保存之。
乘法器170將從表參考部件162接收的當(dāng)前幀的對數(shù)亮度logLc’(p)乘以由γ2存儲器167保持的先前幀的代表值γ2，從而計算色調(diào)曲線校正后的對數(shù)亮度logLc(p)。乘法器171將代表值γ1和γ2的乘積作為代表值γ(＝γ1·γ2)輸出到增益值設(shè)置部件172。
增益值設(shè)置部件172基于從乘法器171接收的先前幀的代表值γ和從乘法器170接收的當(dāng)前幀的對數(shù)亮度logLc(p)，計算增益值g(p)，該增益值g(p)確定當(dāng)前幀的對數(shù)亮度logLc(p)的對比度增強量。
內(nèi)插位置指定部件173獲取從乘法器170接收的當(dāng)前幀的對數(shù)亮度logLc(p)的像素位置p(以下也稱為內(nèi)插位置p)，并將其輸出到內(nèi)插部件174。內(nèi)插部件174使用由第二縮小圖像存儲器169保持的先前幀的第二縮小圖像logLc1通過內(nèi)插來計算對應(yīng)于內(nèi)插位置p的像素logLc1(p)，并將其輸出到對比度增強部件175。
對比度增強部件175基于增益值g(p)和縮小圖像的內(nèi)插值logLc1(p)，對于從乘法器170接收的當(dāng)前幀的對數(shù)亮度logLc(p)，計算具有除低頻成分以外的成分的增強的對比度的對數(shù)亮度logLu(p)。
復(fù)合部件160的使用允許平均亮度計算部件165計算m×n個像素的第一縮小圖像的平均值，與圖6中示出的利用其來計算原始大小的對數(shù)亮度圖像的像素的平均值的平均亮度計算部件63相比，這成功地減小了計算量。因此，有可能減少由于計算引起的延遲時間。
接下來，將參考圖18的流程圖來描述使用施加了圖17中示出的復(fù)合部件160的DSP 7的第一示例結(jié)構(gòu)的一般的灰度色標(biāo)壓縮處理。
在步驟S1中，DSP 7基于關(guān)于先前幀的寬DR亮度圖像的已經(jīng)計算并保持的中間信息(第二縮小圖像logLc(p)、代表值γ、亮度范圍信息[Yd，Yb])，將輸入的當(dāng)前幀的寬DR亮度圖像L轉(zhuǎn)換為窄DR亮度圖像Yn。DSP 7還計算關(guān)于當(dāng)前幀的寬DR亮度圖像L的中間信息。
在步驟S2中，DSP 7使用關(guān)于所計算的當(dāng)前幀的寬DR亮度圖像L的中間信息來更新關(guān)于所存儲的先前幀的寬DR亮度圖像的中間信息。
在步驟S3中，DSP 7判別在輸入的當(dāng)前幀的寬DR亮度圖像之后是否存在后續(xù)幀，并且當(dāng)判定存在時，該過程返回步驟S1并重復(fù)其后的過程。反之，當(dāng)判定不存在任何后續(xù)幀時，灰度色標(biāo)壓縮處理結(jié)束。
將參考圖19的流程圖來解釋步驟S1中的、在像素基礎(chǔ)上的處理的細(xì)節(jié)。下面描述的單個步驟的處理是相對于根據(jù)光柵順序輸入的目標(biāo)像素(像素位置p)而執(zhí)行的。
在步驟S11中，將目標(biāo)像素(像素位置p)的亮度L(p)輸入到DSP 7。在步驟S12中，對數(shù)轉(zhuǎn)換部件21使輸入的亮度L(p)受到對數(shù)轉(zhuǎn)換，并將所獲得的對數(shù)亮度logL(p)輸出到復(fù)合部件160。在步驟S13中，復(fù)合部件160的表參考部件162基于由LUT存儲器161保持的LUT而校正從對數(shù)轉(zhuǎn)換部件21接收的對數(shù)亮度logL(p)，從而獲得對數(shù)亮度logLc’(p)，并將其輸出到縮小圖像生成部件163和乘法器172。與此同時，LUT存儲器161將色調(diào)曲線的代表值γ1輸出到乘法器171。乘法器171將代表值γ1和基于由γ2存儲器167保持的先前幀的第一縮小圖像計算出的γ2的乘積作為代表值γ輸出到增益值設(shè)置部件172。
在步驟S14中，縮小圖像生成部件163基于色調(diào)曲線校正后的一幀的對數(shù)亮度logLc’(p)而生成第一縮小圖像?；谠诖松傻牡谝豢s小圖像，計算代表值γ2。還將生成的第一縮小圖像乘以所計算的代表值γ2，從而生成第二縮小圖像logLc1。
在步驟S15中，乘法器170將從表參考部件162接收的當(dāng)前幀的對數(shù)亮度logLc’(p)乘以由γ2存儲器167保持的先前幀的代表值γ2，從而計算色調(diào)曲線校正后的對數(shù)亮度logLc(p)。
在步驟S16中，增益值設(shè)置部件172基于關(guān)于從乘法器171接收的先前幀的代表值γ和從乘法器170接收的當(dāng)前幀的對數(shù)亮度logLc(p)，計算增益值g(p)，其確定當(dāng)前幀的對數(shù)亮度logLc(p)的對比度增強量。
在步驟S17中，內(nèi)插部件174使用由第二縮小圖像存儲器169保持的先前幀的第二縮小圖像logLc1，通過內(nèi)插來計算對應(yīng)于內(nèi)插位置p的像素logLc1(p)，并將其輸出到對比度增強部件175。在步驟S18中，對比度增強部件175基于第二縮小圖像的內(nèi)插值logLc1(p)和增益值g(p)，增強除了色調(diào)曲線校正后的對數(shù)亮度logLc(p)的低頻成分以外的成分，并將所獲得的對比度校正后的對數(shù)亮度logLu(p)輸出到后級中的對數(shù)逆轉(zhuǎn)換部件26。
在步驟S19中，對數(shù)逆轉(zhuǎn)換部件26將對比度校正后的對數(shù)亮度logLu(p)轉(zhuǎn)換成以常規(guī)軸表示的亮度Lu(p)，并將其輸出到γ校正部件27。在步驟S20中，γ校正部件27進(jìn)行預(yù)定的γ校正，并將所獲得的亮度Y(p)輸出到亮度范圍信息計算部件28和亮度范圍正規(guī)化部件30。
在步驟S21中，亮度范圍信息計算部件28基于一幀的亮度Y(p)而生成亮度范圍信息[Yd，Yb]。在步驟S22中，亮度范圍正規(guī)化部件30基于由亮度范圍信息存儲器29保持的先前幀的亮度范圍信息[Yd，Yb]而將從γ校正部件27接收的亮度Y(p)正規(guī)化，從而計算亮度Yn(p)。在步驟S23中，亮度范圍正規(guī)化部件30將亮度Yn(p)作為灰度色標(biāo)壓縮后的窄DR亮度圖像的像素值輸出。此處是圖18中示出的步驟S1中的處理的詳細(xì)解釋的結(jié)尾。
接下來，將參考圖20中的流程圖來解釋圖18中的步驟S2中的處理細(xì)節(jié)。在步驟S31中，縮小圖像生成部件163使用基于色調(diào)曲線校正后的一幀的對數(shù)亮度logLc’(p)而生成的第一縮小圖像，來更新由第一縮小圖像存儲器164保持的第一縮小圖像。
在步驟S32中，除法器166將預(yù)定的常數(shù)logLT除以從平均亮度計算部件165接收的平均值μ，從而計算代表值γ2，并使用所計算的代表值γ2來更新由γ2存儲器167保持的代表值γ2。
在步驟S33中，乘法器168將由步驟S31中的處理更新的、并由第一縮小圖像存儲器164保持的第一縮小圖像的單個像素乘以由步驟S32中的處理更新的、并由γ2存儲器65保持的代表值γ2，從而生成第二縮小圖像logLc1，并更新由第一縮小圖像存儲器169保持的第二縮小圖像logLc1。
在步驟S34中，亮度范圍信息計算部件28使用基于一幀的亮度Y(p)而計算的亮度范圍信息[Yd，Yb]，來更新由亮度范圍信息存儲器29保持的先前幀的亮度范圍信息[Yd，Yb]。此處是圖18中的步驟S2的處理的詳細(xì)解釋的結(jié)尾。
接下來，圖21示出了適于寬DR圖像的DSP 7的示例結(jié)構(gòu)，該寬DR圖像為彩色圖像。應(yīng)注意的是，根據(jù)光柵順序輸入到DSP 7的寬DR圖像未配置成使得其全部像素單獨具有R、G和B成分的全部成分，而是配置成使得具有R、G和B成分的任意一個。下文中，將輸入到DSP 7的第二示例結(jié)構(gòu)的寬DR圖像(其為彩色圖像)稱為寬DR彩色馬賽克(mosaic)圖像。寬DR彩色馬賽克圖像的單個像素具有R、G和B成分的哪一個由像素的位置來確定。
下面將按照光柵順序輸入到DSP 7的寬DR彩色馬賽克圖像的像素值表示為L(p)。
在DSP 7的第二示例結(jié)構(gòu)中，去馬賽克(demosaic)部件201對其中每個像素具有不同顏色的一幀的像素值L(p)去馬賽克，以便使全部像素都具有R、G和B成分的全部，從而生成顏色信號[R(p)，G(p)，B(p)]，并將其輸出到彩色平衡調(diào)整部件202。下文中，將由從去馬賽克部件201輸出的顏色信號構(gòu)成的圖像稱為寬DR彩色圖像。
彩色平衡調(diào)整部件202調(diào)整R、G和B成分的每一個，以便使整個圖像的彩色平衡適當(dāng)，從而生成顏色信號[Rb(p)，Gb(p)，Bb(p)]。應(yīng)注意的是，去馬賽克部件201和彩色平衡調(diào)整部件202是象安裝在配有單盤型CCD圖像傳感器的一般的數(shù)字錄像機上的那些部件那樣的。
對數(shù)轉(zhuǎn)換部件203使從彩色平衡調(diào)整部件202接收的顏色信號[Rb(p)，Gb(p)，Bb(p)]受到對數(shù)轉(zhuǎn)換，并將所獲得的對數(shù)顏色信號[logRb(p)，logGb(p)，logBb(p)]輸出到色調(diào)曲線校正部件204。色調(diào)曲線校正部件204將預(yù)先獲得的色調(diào)曲線施加到輸入的對數(shù)顏色信號[logRb(p)，logGb(p)，logBb(p)]上，將其朝著壓縮灰度色標(biāo)的方向轉(zhuǎn)換，并將所獲得的對數(shù)顏色信號[logRb(p)，logGb(p)，logBb(p)]輸出到縮小圖像生成部件205和對比度校正部件207。色調(diào)曲線校正部件204還將表示所施加的色調(diào)曲線的斜率的代表值γ輸出到對比度校正部件207。
縮小圖像生成部件205基于與從色調(diào)曲線校正部件204接收的一幀的對數(shù)顏色信號[logRc(p)，logGc(p)，logBc(p)]而生成縮小圖像logLc1，并使縮小圖像存儲器206保存之。
對比度校正部件207基于代表值γ和由縮小圖像存儲器206保持的先前幀的縮小圖像logLc1來校正由色調(diào)曲線校正減弱的、從色調(diào)曲線校正部件204接收的當(dāng)前幀的對數(shù)顏色信號[logRc(p)，logGc(p)，logBc(p)]的對比度，并將所獲得的對數(shù)顏色信號[logRu(p)，logGu(p)，logBu(p)]輸出到對數(shù)逆轉(zhuǎn)換部件208。對數(shù)逆轉(zhuǎn)換部件208使對比度校正后的對數(shù)顏色信號[logRu(p)，logGu(p)，logBu(p)]受到對數(shù)逆轉(zhuǎn)換，并將所獲得的由常規(guī)軸表示的顏色信號[Ru(p)，Gu(p)，Bu(p)]輸出到γ校正部件209。
γ校正部件209使從對數(shù)逆轉(zhuǎn)換部件208接收的顏色信號[Ru(p)，Gu(p)，Bu(p)]受到考慮到再現(xiàn)設(shè)備(例如顯示器11)的γ特性的γ校正，并將所獲得的γ校正后的顏色信號[Rg(p)，Gg(p)，Bg(p)]輸出到亮度信息計算部件210和亮度范圍正規(guī)化部件212。亮度信息計算部件210將從γ校正部件209接收的對于一幀的[Rg(p)，Gg(p)，Bg(p)]轉(zhuǎn)換為亮度Y(p)，計算用于指示亮度Y(p)的分布的亮度范圍信息，并使亮度范圍信息存儲器211保存之。在此描述的亮度范圍信息是指指示一幀的亮度Y(p)的分布范圍的信息，并通常使用最接近于黑暗的亮度Yd和最接近于明亮的亮度Yb而計算為亮度范圍信息[Yd，Yb]。
亮度范圍正規(guī)化部件212基于由亮度范圍信息存儲器211保持的先前幀的亮度范圍信息[Yd，Yb]，轉(zhuǎn)換從γ校正部件209接收的當(dāng)前幀的顏色信號[Rg(p)，Gu(p)，Bg(p)]，使得其分布范圍可以符合可由再現(xiàn)設(shè)備(例如顯示器11)表示的范圍，并將所獲得的顏色信號[Rn(p)，Gn(p)，Bn(p)]作為窄DR圖像(其為彩色圖像)輸出到后級。
如下面將描述的，適于彩色圖像的DSP 7的第二示例結(jié)構(gòu)除了添加去馬賽克部件201和彩色平衡調(diào)整部件202以外，與圖2中示出的適于單色圖像的第一示例結(jié)構(gòu)幾乎類似，但是略微修改了個別部件的內(nèi)部結(jié)構(gòu)，使得適合于彩色圖像。
圖22示出了色調(diào)曲線校正部件204的第一示例結(jié)構(gòu)。在第一示例結(jié)構(gòu)中，亮度生成部件221通過計算輸入的對數(shù)顏色信號[logRb(p)，logGb(p)，logBb(p)]的線性和而生成對數(shù)亮度logLb(p)，并將其輸出到減法器222-R至222-B以及表參考部件224。
減法器222-R從對數(shù)顏色信號logRb(p)減去對數(shù)亮度logLb(p)，并將結(jié)果輸出到乘法器225-R。LUT存儲器223具有對應(yīng)于與如圖4所示的色調(diào)曲線的LUT和指示先前保持在其中的色調(diào)曲線的斜率的代表值γ。表參考部件224使用由LUT存儲器223保持的LUT而將對數(shù)亮度logL(p)校正為對數(shù)亮度logLc(p)，并將其輸出到加法器226-R至226-B。
乘法器225-R將減法器222-R的輸出乘以從LUT存儲器223接收的代表值γ，并將其輸出到加法器226-R。加法器226-R計算乘法器225-R的輸出和對數(shù)亮度logLc(p)的和，并將結(jié)果作為色調(diào)曲線校正后的對數(shù)顏色信號logRc(p)而輸出到后級。
下面應(yīng)注意的是，用于處理G和B成分的任意組件與用于處理上述的R成分的那些類似，因此將省略解釋。
圖23示出了色調(diào)曲線校正部件204的第二示例結(jié)構(gòu)。在第二示例結(jié)構(gòu)中，亮度生成部件231計算輸入的對數(shù)顏色信號[logRb(p)，logGb(p)，logBb(p)]的線性和，從而生成對數(shù)亮度logLb(p)，并將其輸出到平均亮度計算部件232。平均亮度計算部件232計算一幀的對數(shù)亮度logL(p)的平均值μ，并將其輸出到除法器233。除法器233將預(yù)定的常數(shù)除以平均值μ，從而計算代表值γ，并使得γ存儲器234保存之。
乘法器235-R將當(dāng)前幀的對數(shù)顏色信號logRb(p)乘以由γ存儲器234保持的先前幀的代表值γ，從而計算色調(diào)曲線校正后的對數(shù)顏色信號logRc(p)。
下面應(yīng)注意的是，用于處理G和B成分的任意組件與用于處理上述的R成分的那些類似，因此將省略解釋。
圖24示出了色調(diào)曲線校正部件204的第三示例結(jié)構(gòu)。該第三示例結(jié)構(gòu)可以說是第一示例結(jié)構(gòu)和第二示例結(jié)構(gòu)的組合。在第三示例結(jié)構(gòu)中，亮度生成部件241計算對數(shù)顏色信號[logRb(p)，logGb(p)，logBb(p)]的線性和，從而生成對數(shù)亮度logLb(p)，并將其輸出到減法器242-R至242-B，以及表參考部件244。
減法器242-R從對數(shù)顏色信號logRb(p)減去對數(shù)亮度logLb(p)，并將結(jié)果輸出到乘法器250-R。LUT存儲器243具有對應(yīng)于如圖4所示的色調(diào)曲線的LUT和指示先前保持在其中的色調(diào)曲線的斜率的代表值γ。表參考部件244使用由LUT存儲器243保持的LUT而將對數(shù)亮度logL(p)校正為對數(shù)亮度logLc’(p)，并將其輸出到平均亮度計算部件245和乘法器249。
平均亮度計算部件245計算一幀的對數(shù)亮度logLc’(p)的平均值μ，并將其輸出到除法器246。除法器246將預(yù)定的常數(shù)logLT除以平均值μ，從而計算代表值γ2，并使γ2存儲器247存儲之。乘法器248將代表值γ1和γ2的乘積作為代表值γ(＝γ1·γ2)輸出到后級中的對比度校正部件207。
乘法器249將當(dāng)前幀的對數(shù)亮度logLc’(p)乘以由γ2存儲器247保持的先前幀的代表值γ2，從而計算色調(diào)曲線校正后的對數(shù)亮度logLc(p)，并將其輸出到加法器251-R至251-B。
乘法器250-R將減法器242-R的輸出乘以從乘法器248接收的代表值γ，并將結(jié)果輸出到加法器251-R。加法器251-R計算乘法器250-R的輸出和乘法器249的輸出的乘積，并將結(jié)果作為色調(diào)曲線校正后的對數(shù)顏色信號logRc(p)輸出到后級。
應(yīng)注意的是，用于處理G和B成分的任意組件與用于處理上述的R成分的那些類似，因此將省略解釋。
接下來的圖25示出了縮小圖像生成部件205的示例結(jié)構(gòu)?？s小圖像生成部件205的亮度生成部件261計算輸入的色調(diào)曲線校正后的對數(shù)顏色信號[logRc(p)，logGc(p)，logBc(p)]的線性和，從而生成對數(shù)亮度logLc(p)，并將其輸出到分類部件262。
當(dāng)整個圖像被分為m×n個塊時，分類部件262根據(jù)亮度所屬的塊而將對數(shù)亮度logLc(p)值分類，然后將其提供給平均值計算部件263-1至263-N(＝m×n)。例如，分類到第一塊的那些被提供給平均值計算部件263-1，并且分類到第二塊的那些被提供給平均值計算部件263-2。相同的內(nèi)容也施加到后續(xù)的對數(shù)亮度logLc(p)值，分類到第N塊的那些被提供給平均值計算部件263-N。
平均值計算裝置263-i(i＝1，2，...，N)從一幀的對數(shù)亮度logLc(p)里面計算被分類到第i塊的對數(shù)亮度logLc(p)的平均值，并將其輸出到復(fù)合部件264。復(fù)合部件264生成m×n個像素的縮小圖像logLc1，其具有分別從平均值計算部件263-i接收的對數(shù)亮度logLc(p)的平均值作為像素值，并使得后級中的縮小圖像存儲器206保存之。
接下來的圖26示出了對比度校正部件207的示例結(jié)構(gòu)。對比度校正部件25的亮度生成部件270計算輸入的色調(diào)曲線校正后的對數(shù)顏色信號[logRc(p)，logGc(p)，logBc(p)]的線性和，從而生成對數(shù)亮度logLc(1p)，并將其輸出到內(nèi)插位置指定部件271和增益值設(shè)置部件273。
內(nèi)插位置指定部件271獲取對數(shù)亮度logLc(p)的像素位置p(以下也稱為內(nèi)插位置p)，并將其輸出到內(nèi)插部件272。內(nèi)插部件272使用由縮小圖像存儲器206保持的先前幀的第二縮小圖像logLc1，通過內(nèi)插來計算對應(yīng)于內(nèi)插位置p的像素logLc1(p)，并將其輸出到減法器274-R至274-B、以及加法器276-R至276-B。
增益值設(shè)置部件273基于關(guān)于從色調(diào)曲線校正部件22接收的先前幀的代表值γ和當(dāng)前幀的對數(shù)亮度logLc(p)，計算確定當(dāng)前幀的對數(shù)亮度logLc(p)的對比度增強量的增益值g(p)，并將其輸出到乘法器275-R至275-B。
減法器274-R從對數(shù)顏色信號logRc(p)減去內(nèi)插值logLc1(p)，并將結(jié)果輸出到乘法器275-R。乘法器275-R將減法器274-R的輸出乘以增益值g(p)，并將結(jié)果輸出到加法器276-R。加法器276-R將內(nèi)插值logLc1(p)加到乘法器275-R的輸出上，并將所獲得的對比度校正后的對數(shù)顏色信號logRu(p)輸出到后級。
下面應(yīng)注意的是，用于處理G和B成分的任意組件與用于處理上述R成分的那些類似，因此將省略解釋。
接下來的圖27示出了可取代圖21中示出的色調(diào)曲線校正部件204、縮小圖像生成部件205、縮小圖像存儲器206和對比度校正部件207的復(fù)合部件300的示例結(jié)構(gòu)。
復(fù)合部件300的亮度生成部件301計算輸入的對數(shù)顏色信號[logRb(p)，logGb(p)，logBb(p)]的線性和，從而生成對數(shù)亮度logLb(p)，并將其輸出到減法器302-R至302-B以及表參考部件304。減法器302-R從對數(shù)顏色信號logRb(p)減去對數(shù)亮度logLb(p)，并將結(jié)果輸出到乘法器316-R。
復(fù)合部件300的LUT存儲器303具有對應(yīng)于如圖4所示的色調(diào)曲線的LUT和表示預(yù)先保持在其中的色調(diào)曲線的斜率的代表值γ1。表參考部件304基于由LUT存儲器303保持的LUT而校正從亮度生成部件301接收的對數(shù)亮度logL(p)，從而給出對數(shù)亮度logLc’(p)，并將其輸出到乘法器305和縮小圖像生成部件306。
乘法器305將從表參考部件304接收的當(dāng)前幀的對數(shù)亮度logLc’(p)乘以由γ2存儲器167保持的先前幀的代表值γ2，從而計算色調(diào)曲線校正后的對數(shù)亮度logLc(p)，并將其輸出到加法器317-R至317-B。
縮小圖像生成部件306將對數(shù)亮度圖像logLc’分為m×n個塊，計算屬于單個塊的像素的對數(shù)亮度logLc’(p)值的平均值，從而生成m×n個像素的第一縮小圖像，并使第一縮小圖像存儲器307保存之。
平均亮度計算部件308計算由第一縮小圖像存儲器307保持的先前幀的第一縮小圖像的像素值的平均值μ，并將其輸出到除法器309。除法器309將預(yù)定的常數(shù)logLT除以平均值μ，從而計算代表值γ2，并使γ2存儲器310保存之。乘法器311計算代表值γ1和γ2的乘積作為代表值γ(＝γ1·γ2)，并將其輸出到增益值設(shè)置部件315以及乘法器316-R至316-B。
乘法器312將由第一縮小圖像存儲器164保持的第一縮小圖像的單個像素乘以由γ2存儲器310保持的代表值γ2，從而生成第二縮小圖像logLc1，并使第二縮小圖像存儲器313保存之。
內(nèi)插部件314使用由縮小圖像存儲器169保持的先前幀的第二縮小圖像logLc1，通過內(nèi)插來計算對應(yīng)于從乘法器170接收的當(dāng)前幀的對數(shù)亮度logLc(p)的內(nèi)插位置p(以下也稱為內(nèi)插位置p)的像素logLc1(p)，并將其輸出到減法器318-R至318-B、以及加法器320-R至320-B。
增益值設(shè)置部件315基于關(guān)于從乘法器311接收的先前幀的代表值γ和從乘法器305接收的當(dāng)前幀的對數(shù)亮度logLc(p)，計算確定當(dāng)前幀的對數(shù)亮度logLc(p)的對比度增強量的增益值g(p)，并將其輸出到乘法器319-R至319-B。
乘法器316-R計算減法器302-R的輸出與代表值γ的乘積，并將其輸出到加法器317-R。加法器317-R計算乘法器316-R的輸出和乘法器305的輸出的和，并將其輸出到減法器318-R。減法器318-R從加法器317-R的輸出減去內(nèi)插值logLc1(p)，并將結(jié)果輸出到乘法器319-R。乘法器319-R將減法器318-R的輸出乘以增益值g(p)，并將結(jié)果輸出到加法器320-R。加法器320-R計算乘法器319-R的輸出與內(nèi)插值logLc1(p)的和，并將所獲得的對比度校正后的對數(shù)顏色信號logRu(p)輸出到后級。
下面應(yīng)注意的是，用于處理G和B成分的任意組件與用于處理上述R成分的那些類似，因此將省略解釋。
復(fù)合部件300的使用允許平均亮度計算部件308計算m×n個像素的第一縮小圖像的平均值，與圖24中示出的被利用來計算對于原始大小的對數(shù)亮度圖像logLc的像素的平均值的平均亮度計算部件245相比，這成功地減小了計算量。因此，有可能減少由計算引起的延遲時間。
接下來的圖28示出了亮度范圍信息計算部件210的示例結(jié)構(gòu)。在亮度范圍信息計算部件210中，亮度生成部件331計算γ校正后的顏色信號[Rg(p)，Gg(p)，Bg(p)]的線性和，從而生成亮度Y(p)，并將其輸出到抽選部件332。抽選部件332基于像素位置p而選擇從亮度生成部件331接收的亮度Y(p)。也就是說，僅將預(yù)先設(shè)置的像素位置處的像素的亮度值提供給后級中的MIN分類部件333和MAX分類部件336。
配置MIN分類部件333，使得k對比較部件334和寄存器335的組合串聯(lián)排列，并使得由寄存器335-1至335-k以遞增順序保持輸入的亮度Y(p)值。
例如，比較部件334-1比較來自抽選部件332的亮度Y(p)和寄存器335-1中的值，并且當(dāng)來自抽選部件332的亮度Y(p)小于寄存器335-1中的值時，使用來自抽選部件332的亮度Y(p)來更新寄存器335-1中的值。反之，當(dāng)來自抽選部件332的亮度Y(p)不小于寄存器335-1中的值時，將來自抽選部件332的亮度Y(p)提供給后級中的比較部件334-2。
相同的內(nèi)容也將施加到比較部件334-2以及其后，其中，在一幀的亮度Y(p)輸入完成后，寄存器335-1將具有保持在其中的亮度Y(p)的最大值Ymin，并且寄存器335-2至335-k將具有以遞增順序保持在其中的亮度Y(p)值，并且將保持在寄存器335-k中的亮度Y(p)作為亮度范圍信息的亮度Yd輸出到后級。
配置MAX分類部件336，使得k對比較部件337和寄存器338的組合串聯(lián)排列，并使得由寄存器338-1至338-k以遞減的順序保持輸入的亮度Y(p)值。
例如，比較部件337-1比較來自抽選部件332的亮度Y(p)和寄存器338-1中的值，并且當(dāng)來自抽選部件332的亮度Y(p)大于寄存器338-1中的值時，使用來自抽選部件332的亮度Y(p)來更新寄存器338-1中的值。反之，當(dāng)來自抽選部件332的亮度Y(p)不大于寄存器338-1中的值時，將來自抽選部件332的亮度Y(p)提供給后級中的比較部件337-2。
相同內(nèi)容也將施加到比較部件337-2以及其后，其中，在一幀的亮度Y(p)輸入完成后，寄存器338-1將具有保持在其中的亮度Y(p)的最大值Ymax，而寄存器338-2至338-k將具有以遞減順序保持在其中的亮度Y(p)值，并且將保持在寄存器338-k中的亮度Y(p)作為亮度范圍信息的亮度Yb輸出到后級。
因為輸入到MIN分類部件333和MAX分類部件336的亮度Y(p)值被抽選部件332抽選，所以抽選間隔以及MIN分類部件333和MAX分類部件336的級數(shù)k的適當(dāng)調(diào)整，使得有可能獲得與例如一幀中的全部像素的上端和下端的1％或0.1％對應(yīng)的亮度Yd、Yb值。
接下來，將參考圖29的流程圖來描述使用施加了圖27中示出的復(fù)合部件300的DSP 7的第二示例結(jié)構(gòu)的一般灰度色標(biāo)壓縮處理。
在步驟S41中，DSP 7(去馬賽克部件201)對寬DR彩色馬賽克圖像去馬賽克，從而生成寬DR彩色圖像，并將其像素值即顏色信號[R(p)，G(p)，B(p)]以光柵的順序輸出到彩色平衡調(diào)整部件202。在步驟S42中，DSP 7(彩色平衡調(diào)整部件202)分別調(diào)整R、G和B成分，使得整個圖像的彩色平衡將變得適當(dāng)，從而生成顏色信號[Rb(p)，Gb(p)，Bb(p)]。
在步驟S43中，DSP 7基于相對于先前幀的寬DR彩色圖像而已經(jīng)計算并保持的中間信息(第二縮小圖像logLc(p)、代表值γ、亮度范圍信息[Yd，Yb])，將輸入的當(dāng)前幀的寬DR彩色圖像L的顏色信號轉(zhuǎn)換成窄DR彩色圖像Yn。DSP 7還計算關(guān)于當(dāng)前幀的寬DR彩色圖像L的中間信息。
在步驟S44中，DSP 7使用相對于所計算的當(dāng)前幀的寬DR彩色圖像L的中間信息，來更新關(guān)于所存儲的先前幀的寬DR彩色圖像的中間信息。
在步驟S45中，DSP 7判別在輸入的當(dāng)前幀的寬DR亮度圖像之后是否存在后續(xù)幀，并且當(dāng)判定存在時，該過程返回步驟S41并重復(fù)其后的過程。反之，當(dāng)判定不存在任何后續(xù)幀時，灰度色標(biāo)壓縮處理結(jié)束。
將參考圖30中的流程圖來解釋步驟S42中的、在像素基礎(chǔ)上的處理的細(xì)節(jié)。下面描述的單個步驟的處理是相對于根據(jù)光柵順序輸入的目標(biāo)像素(像素位置p)而執(zhí)行的。
在步驟S51中，彩色平衡調(diào)整部件202將生成的顏色信號[Rb(p)，Gb(p)，Bb(p)]輸出到對數(shù)轉(zhuǎn)換部件203。在步驟S52中，對數(shù)轉(zhuǎn)換部件203使輸入的顏色信號[Rb(p)，Gb(p)，Bb(p)]受到對數(shù)轉(zhuǎn)換，并將所獲得的對數(shù)顏色信號[logRb(p)，logGb(p)，logBb(p)]輸出到復(fù)合部件300。
在步驟S53中，復(fù)合部件300的亮度生成部件301計算輸入的對數(shù)顏色信號[logRb(p)，logGb(p)，logBb(p)]的線性和，從而生成對數(shù)亮度logLb(p)，并將其輸出到減法器302-R至302-B，以及表參考部件304。在步驟S54中，表參考部件304基于由LUT存儲器303保持的LUT而將輸入的對數(shù)亮度logL(p)校正為對數(shù)亮度logLc’(p)，并將其輸出到乘法器305和縮小圖像生成部件306。
在步驟S55中，縮小圖像生成部件306基于色調(diào)曲線校正后的一幀的對數(shù)亮度logLc’(p)而生成第一縮小圖像。在這里，基于生成的第一縮小圖像而計算代表值γ2。在這里還通過將生成的第一縮小圖像乘以這樣計算出的代表值γ2而生成第二縮小圖像logLc1。
在步驟S56中，乘法器305將從表參考部件304接收的當(dāng)前幀的對數(shù)亮度logLc’(p)乘以由γ2存儲器310保持的先前幀的代表值γ2，從而計算色調(diào)曲線校正后的對數(shù)亮度logLc(p)。
在步驟S57中，對于R成分，由減法器302-R、乘法器316-R和加法器317-R進(jìn)行計算，以生成色調(diào)曲線校正后的對數(shù)顏色信號logRc(p)。對于G成分，由減法器302-G、乘法器316-G和加法器317-G進(jìn)行計算，以生成色調(diào)曲線校正后的對數(shù)顏色信號logGc(p)。對于B成分，由減法器302-B、乘法器316-B和加法器317-B進(jìn)行計算，以生成色調(diào)曲線校正后的對數(shù)顏色信號logBc(p)。
在步驟S58中，增益值設(shè)置部件315基于關(guān)于從乘法器311接收的先前幀的代表值γ和從乘法器305接收的當(dāng)前幀的對數(shù)亮度logLc(p)，計算確定當(dāng)前幀的對數(shù)亮度logLc(p)的對比度增強量增的益值g(p)。在步驟S59中，內(nèi)插部件314使用由第二縮小圖像存儲器313保持的先前幀的第二縮小圖像logLc1，通過內(nèi)插來計算對應(yīng)于內(nèi)插位置p的像素logLc1(p)。
在步驟S60中，對于R成分，由減法器318-R、乘法器319-R和加法器320-R進(jìn)行計算，以生成色調(diào)曲線校正后的對數(shù)顏色信號logRu(p)。對于G成分，由減法器318-G、乘法器319-G和加法器320-G進(jìn)行計算，以生成色調(diào)曲線校正后的對數(shù)顏色信號logGu(p)。對于B成分，由減法器318-B、乘法器319-B和加法器320-B進(jìn)行計算，以生成色調(diào)曲線校正后的對數(shù)顏色信號logBu(p)。
在步驟S61中，對數(shù)逆轉(zhuǎn)換部件208使對比度校正后的對數(shù)顏色信號[logRu(p)，logGu(p)，logBu(p)]受到對數(shù)逆轉(zhuǎn)換，從而生成由常規(guī)軸表示的顏色信號[Ru(p)，Gu(p)，Bu(p)]，并將其輸出到γ校正部件209。在步驟S62中，γ校正部件209進(jìn)行預(yù)定的γ校正，并將所獲得的γ校正后的顏色信號[Rg(p)，Gg(p)，Bg(p)]輸出到亮度信息計算部件210和亮度范圍正規(guī)化部件212。
在步驟S63中，亮度范圍信息計算部件210的亮度生成部件331基于γ校正后的顏色信號[Rg(p)，Gg(p)，Bg(p)]而生成亮度Y(p)。在步驟S64中，亮度范圍信息計算部件210的MIN分類部件333和MAX分類部件336基于一幀的亮度Y(p)而計算亮度范圍信息[Yd，Yb]。
在步驟S65中，亮度范圍正規(guī)化部件212基于由亮度范圍信息存儲器211保持的先前幀的亮度范圍信息[Yd，Yb]，將從γ校正部件209接收的顏色信號[Rg(p)，Gg(p)，Bg(p)]正規(guī)化，從而計算[Rn(p)，Gn(p)，Bn(p)]。在步驟S66中，亮度范圍正規(guī)化部件212將這樣計算的顏色信號[Rn(p)，Gn(p)，Bn(p)]作為灰度色標(biāo)壓縮后的窄DR彩色圖像的像素值輸出。此處是圖29中的步驟S43的處理的詳細(xì)解釋的結(jié)尾。
接下來，將參考圖31中的流程圖來解釋圖29中的步驟S44中的處理的細(xì)節(jié)。在步驟S71中，縮小圖像生成部件306使用基于色調(diào)曲線校正后的一幀的對數(shù)亮度logLc’(p)而生成的第一縮小圖像，來更新由第一縮小圖像存儲器307保持的第一縮小圖像。
在步驟S72中，除法器309將預(yù)定的常數(shù)logLT除以從平均亮度計算部件165接收的平均值μ，從而計算代表值γ2，并使用這樣計算的代表值γ2來更新由γ2存儲器310保持的代表值γ2。
在步驟S73中，乘法器312將由步驟S71的處理更新的、由第一縮小圖像存儲器307保持的第一縮小圖像的單個像素乘以由步驟S72的處理更新的、由γ2存儲器310保持的代表值γ2，從而生成第二縮小圖像logLc1，并更新由第一縮小圖像存儲器313保持的第二縮小圖像logLc1。
在步驟S74中，亮度范圍信息計算部件210使用基于一幀的[Rg(p)，Gg(p)，Bg(p)]而生成的亮度范圍信息[Yd，Yb]，來更新由亮度范圍信息存儲器211保持的先前幀的亮度范圍信息[Yd，Yb]。此處是圖29中的步驟S44的處理的詳細(xì)解釋的結(jié)尾。
這里是DSP 7的第二示例結(jié)構(gòu)的詳細(xì)解釋的結(jié)尾。
例如，應(yīng)注意的是，配置圖5中示出的平均亮度計算部件51、圖6中示出的平均亮度計算部件63、圖17中示出的平均亮度算出部件165、圖23中示出的平均亮度計算部件232以及圖24中示出的平均亮度計算部件245的每一個，使得計算出亮度值的平均值，其中用于找到平均值的計算可采用加權(quán)平均。例如，給予圖像的中央部分的權(quán)比給周邊部分的權(quán)更大，使得在將重點放在存在于圖像中央部分的對象的反射率時能進(jìn)行亮度校正。
圖17中示出的復(fù)合部件160和圖27中示出的復(fù)合部件300具有用于保持所生成的第一縮小圖像的存儲器、以及用于保持通過將這樣生成的第一縮小圖像乘以代表值γ2而生成的第二縮小圖像的存儲器，其中，因為一旦生成了第二縮小圖像就不再有必要保持第一縮小圖像，所以這兩個存儲器可以合并為一個。
如果本發(fā)明被施加到如本實施例中的這樣的數(shù)字?jǐn)z像機其拍攝寬DR圖像的畫面、壓縮灰度色標(biāo)并將其作為具有窄動態(tài)范圍的可在顯示器上顯示的圖像而輸出，則使得有可能通過這樣的結(jié)構(gòu)來實現(xiàn)灰度色標(biāo)壓縮處理其僅具有大量減少的對傳統(tǒng)的灰度色標(biāo)壓縮技術(shù)中不可或缺的存儲器容量(用于幀存儲器或像素串行數(shù)據(jù)的延遲線)，并且，還使得有可能獲得這樣的輸出圖像其決不遜色于通過通常使用大規(guī)模濾波實現(xiàn)的灰度色標(biāo)壓縮處理而獲得的輸出圖像。
這使得有可能實現(xiàn)從未實現(xiàn)過的高品質(zhì)和廉價的數(shù)字?jǐn)z像機。
本實施例中的寬DR圖像是假設(shè)顯示器11為再現(xiàn)設(shè)備而受到灰度色標(biāo)壓縮處理的，其中，例如，也有可能進(jìn)行灰度色標(biāo)壓縮處理，使得適合于可由外接到數(shù)字?jǐn)z像機1的監(jiān)視器或打印機表示的動態(tài)范圍。
接下來的圖32示出了施加了本發(fā)明的圖像處理系統(tǒng)的示例結(jié)構(gòu)。圖像處理系統(tǒng)501由以下部件構(gòu)成攝像機502，用于拍攝對象的畫面，并產(chǎn)生由具有比通常更寬的動態(tài)范圍的像素值(亮度)的像素構(gòu)成的寬DR圖像L；圖像處理設(shè)備510，用于將由攝像機502生成的寬DR圖像L的灰度色標(biāo)壓縮到可由顯示器511顯示的灰度色標(biāo)范圍；以及顯示器11，用于顯示由圖像處理設(shè)備510生成的灰度色標(biāo)壓縮后的圖像Lu。
攝像機502由用于使對象的光圖像會聚的透鏡503、用于調(diào)整光圖像的光能量的量的光圈、用于通過會聚的光圖像的光電轉(zhuǎn)換而生成亮度信號的CCD圖像傳感器、用于從所生成的亮度信號除去噪聲成分的前置放大器(Pre-amp.)506、用于通常將除去噪聲成分的亮度信號轉(zhuǎn)換成具有14至16位左右的位寬的數(shù)字?jǐn)?shù)據(jù)的AD轉(zhuǎn)換器(A/D)507、以及用于將由具有數(shù)字化亮度的像素構(gòu)成的寬DR圖像輸出到圖像處理設(shè)備510的I/O接口(I/O)508構(gòu)成。
圖32示出了圖像處理設(shè)備1的全部操作。在步驟S101中，攝像機502拍攝對象的畫面，生成對應(yīng)的寬DR圖像L，并將其輸出到圖像處理設(shè)備510。在步驟S102中，圖像處理設(shè)備510使寬DR圖像L受到灰度色標(biāo)壓縮處理，從而生成灰度色標(biāo)壓縮后的圖像Lu，并將其輸出到顯示器511。在步驟S103中，顯示器511顯示灰度色標(biāo)壓縮后的圖像Lu。
接下來的圖34示出了圖像處理設(shè)備510的第一示例結(jié)構(gòu)。圖像處理設(shè)備510的色調(diào)曲線校正部件521基于預(yù)先獲得的色調(diào)曲線，朝著壓縮灰度色標(biāo)的方向校正從攝像機502接收的寬DR圖像L，并將所得的色調(diào)曲線校正后的圖像Lc輸出到平滑亮度生成部件522、增益值設(shè)置部件523和對比度校正部件524。應(yīng)注意的是，色調(diào)曲線校正后的圖像Lc具有壓縮了的灰度色標(biāo)，以及由于壓縮了的灰度色標(biāo)引起的減弱的對比度。色調(diào)曲線校正部件521還將表示用于校正的色調(diào)曲線的斜率的代表值γ輸出到增益值設(shè)置部件523。
圖35示出了色調(diào)曲線校正部件521的示例結(jié)構(gòu)。色調(diào)曲線校正部件521的LUT存儲器531預(yù)先保持與如圖36所示的單調(diào)增加的色調(diào)曲線對應(yīng)的查找表(以下稱為LUT)，以及表示色調(diào)曲線斜率的代表值γ。代替LUT，保持對應(yīng)于色調(diào)曲線的函數(shù)也是允許的。表參考部件532基于由LUT存儲器531保持的LUT而校正寬DR圖像L，從而獲得色調(diào)曲線校正后的圖像Lc。
圖36示出了色調(diào)曲線的示例，其中在
范圍內(nèi)正規(guī)化的對數(shù)軸上，分別由橫坐標(biāo)標(biāo)繪寬DR圖像L，縱坐標(biāo)標(biāo)繪校正之后的色調(diào)曲線校正后的圖像Lc的亮度。圖36中示出的色調(diào)曲線在正規(guī)化的寬DR圖像的亮度值超過0.5時不校正該值，而在正規(guī)化的寬DR圖像值的亮度值小于0.5時校正該值，使得通過較大的校正量來校正較小的值。也就是說，進(jìn)行校正，使得當(dāng)出現(xiàn)在顯示器511上時避免最大的圖像中的暗區(qū)域的陰影。表示色調(diào)曲線斜率的代表值γ可以由在亮度的整個區(qū)域上分別得到的斜率的平均值來定義。例如，圖36中示出的色調(diào)曲線的代表值是γ＝0.94。
下面參考回圖34，平滑亮度生成部件522使色調(diào)曲線校正后的圖像Lc的亮度平滑化，并將所獲得的平滑后的圖像的亮度Lc1(p)輸出到對比度校正部件24。圖37示出了平滑亮度生成部件22的示例結(jié)構(gòu)。
平滑亮度生成部件522的縮小圖像生成部件541依據(jù)像素位置而將從色調(diào)曲線校正部件521接收的色調(diào)曲線校正后的圖像Lc的像素分類成m×n個塊，并生成縮小圖像Lc1，其具有分類到單個塊的像素亮度的平均值作為它自己的像素。縮小圖像存儲器542保持這樣生成的m×n個像素的縮小圖像Lc1。內(nèi)插部件543使用由縮小圖像存儲器542保持的縮小圖像的像素，通過內(nèi)插來計算順次指定的像素位置的亮度，并將所獲得的內(nèi)插值Lc1(p)作為平滑后的圖像的像素亮度輸出到對比度校正部件524。在這里應(yīng)注意的是，p＝(x，y)是表示像素位置的坐標(biāo)或向量。從內(nèi)插部件543輸出的平滑后的圖像的大小等于色調(diào)曲線校正后的圖像Lc的大小。
也就是說，在平滑亮度生成部件522中，縮小色調(diào)曲線校正后的圖像Lc，以生成縮小圖像Lc1，并且通過使用所保持的縮小圖像Lc1，通過以逐個像素的方式的內(nèi)插運算來計算平滑后的圖像的亮度。
盡管通常有必要采用用于有效灰度色標(biāo)壓縮處理的相對大規(guī)模的濾波，但平滑亮度生成部件522僅需要用于保持m×n個像素的縮小圖像的縮小圖像存儲器542。
圖38示出了圖37中示出的縮小圖像生成部件541的示例結(jié)構(gòu)?？s小圖像生成部件541的分類部件551將色調(diào)曲線校正部件521接收的色調(diào)曲線校正后的圖像Lc的像素依據(jù)像素位置而分類成m×n個塊，然后將其提供給平均值計算部件552-1至552-N(＝m×n)。例如，分類到第一塊的那些被提供給平均值計算部件552-1，而分類到第二塊的那些被提供給平均值計算部件552-2。當(dāng)沒有必要區(qū)分單個平均值計算部件552-1至552-N時，下面的描述采用平均值計算部件552的簡單記號。
平均值計算部件552-i(i＝1，2，...，N)計算分類到第i塊的色調(diào)曲線校正后的圖像Lc的像素亮度的平均值，并將其輸出到復(fù)合部件553。復(fù)合部件553生成m×n個像素的縮小圖像logLc1，其具有分別從平均值計算部件552-i接收的亮度的平均值作為像素值。
圖39示出了圖38中示出的平均值計算部件552的示例結(jié)構(gòu)。平均值計算部件552的加法器561將從前級中的分類部件551接收的色調(diào)曲線校正后的圖像Lc的亮度加到由寄存器(r)562保持的值上，從而更新由寄存器(r)562保持的值。除法器563將由寄存器562最終保持的值除以構(gòu)成一個塊的像素數(shù)Q，從而計算分類到一個塊的Q個像素的亮度的平均值。
圖40示出了圖37中示出的內(nèi)插部件543的示例結(jié)構(gòu)。內(nèi)插部件543的附近選擇部件571基于由縮小圖像存儲器542保持的m×n個像素的縮小圖像Lc1，在接收到內(nèi)插位置p時獲取內(nèi)插位置p附近的4×4個像素的亮度a[4][4]，并將其輸出到乘積求和部件574。
在這里，記號a[i][j]意思是像素值a是i×j的二維排列數(shù)據(jù)。附近選擇部件571將所獲取的亮度a[4][4]和內(nèi)插位置p之間的水平位移dx和垂直位移dy分別輸出到水平系數(shù)計算部件572或垂直系數(shù)計算部件573。
應(yīng)注意的是，內(nèi)插位置p、相鄰亮度a[4][4]和位移dx、dy的量之間的關(guān)系類似于上面參考圖11描述的那些，因此將省略該解釋。
水平系數(shù)計算部件572基于從附近選擇部件71接收的水平位移dx而計算水平方向上的三次內(nèi)插系數(shù)kx[4]。類似地，垂直系數(shù)計算部件573基于從附近選擇部件571接收的垂直位移dy而計算垂直方向上的三次內(nèi)插系數(shù)ky[4]。
水平方向上的三次內(nèi)插系數(shù)kx[4]通常通過使用上述的式(1)來計算。
垂直方向上的三次內(nèi)插系數(shù)ky[4]通常通過使用上述的式(2)來計算。
應(yīng)注意的是，只要能夠獲得足夠平滑的內(nèi)插，可以使用除了上面示出的式(1)、(2)以外的任何任意計算公式來計算三次內(nèi)插系數(shù)kx[4]和ky[4]。
乘積求和部件574使用上述的式(3)，通過使用相鄰像素值a[4][4]、水平內(nèi)插系數(shù)kx[4]和垂直內(nèi)插系數(shù)ky[4]的乘積求和計算，來計算縮小圖像Lc1的內(nèi)插位置p的內(nèi)插值Lc1(p)。
下面參考回圖34，增益值設(shè)置部件523基于從色調(diào)曲線校正部件521接收的代表值γ，對于單個像素位置，計算用于在對比度校正部件524中調(diào)整平滑后的圖像的亮度logLc(p)的對比度校正量的增益值g(p)，并將其輸出到對比度校正部件524。
下面將解釋增益值g(p)。對于g(p)＝1的增益值，對比度增強部件524既不增強也不抑制對比度。對于g(p)＞1的增益值，對應(yīng)于該值而增強對比度。反之，對于g(p)＜1的增益值，對應(yīng)于該值而抑制對比度。
由增益設(shè)置部件523進(jìn)行的增益值設(shè)置的概要類似于由上述的增益設(shè)置部件93進(jìn)行的增益值設(shè)置，因此將省略該解釋。
圖41示出了增益值設(shè)置部件523的示例結(jié)構(gòu)。除法器581計算從前級接收的代表值γ的倒數(shù)1/γ＝g0，并將其輸出到減法器582。減法器582計算(g0-1)，并將其輸出到乘法器588。
減法器583計算色調(diào)曲線校正后的圖像Lc的單個亮度和具有中等灰度級別的亮度Lgray之間的差(Lc-Lgray)，并將其輸出到除法器585。減法器584計算具有白限幅級別的亮度Lwhite和亮度Lgray之間的差(Lwhite-Lgray)，并將其輸出到除法器585。除法器585將減法器583的輸出(Lc-Lgray)除以減法器584的輸出(Lwhite-Lgray)，并將其輸出到絕對值計算器586。絕對值計算器586計算減法器585的輸出的絕對值，并將其輸出到限幅器587。限幅器587對絕對值計算器586的輸出進(jìn)行限幅，使得在該輸出超過1時將其調(diào)整為1，而在該輸出不超過1時保留其不變，并將結(jié)果作為attn(p)而輸出到乘法器588。
乘法器588將減法器582的輸出乘以限幅器587的輸出，并將乘積輸出到加法器589。加法器589將乘法器588的輸出加1，并將結(jié)果作為增益值g(p)輸出到后級。
下面參考回圖34，對比度校正部件524基于從增益值設(shè)置部件523接收的對于單個像素位置p的增益值g(p)、以及從平滑亮度生成部件522接收的平滑后的圖像的亮度Lc1(p)，來增強先前減弱的對比度的色調(diào)曲線校正后的圖像Lc的對比度，從而生成灰度色標(biāo)壓縮后的圖像Lu。
圖42示出了對比度校正部件524的示例結(jié)構(gòu)。對比度校正部件524的減法器591計算色調(diào)曲線校正后的圖像Lc的單個像素的亮度Lc(p)與平滑后的圖像的對應(yīng)像素的亮度(即，縮小圖像的內(nèi)插值Lc1(p))之間的差(Lc(p)-Lc1(p))，并將其輸出到乘法器592。乘法器592計算減法器591的輸出和從增益值設(shè)置部件523接收的增益值g(p)的乘積，并將結(jié)果輸出到加法器593。加法器593將平滑后的圖像的亮度(縮小圖像的內(nèi)插值Lc1(p))加到乘法器592的輸出上，并將所獲得的亮度Lu(p)作為構(gòu)成對比度校正后的、灰度色標(biāo)壓縮了的圖像Lu的像素的亮度而輸出到后級。
下面應(yīng)注意的是，平滑后的圖像的像素亮度(縮小圖像的內(nèi)插值Lc1(p))是基于m×n個像素的內(nèi)插值，并因此僅具有縮小前的圖像Lc的極低頻成分。
因而，減法器591的輸出(Lc(p)-Lc1(p))等于通過從原來的色調(diào)曲線校正后的圖像logLc僅減去極低頻成分所獲得的差。如上所述，對比度校正后的、灰度色標(biāo)壓縮了的圖像的亮度Lu(p)是通過這樣獲得的將亮度信號分為極低頻成分和其它成分，并且在這些成分中，除了低頻成分以外的成分通過乘以增益值g(p)而增強了對比度，并且，使用加法器593將兩者再度合成。
如上所述，配置對比度校正部件524，使得使用相同的增益值g(p)來增強除了極低頻區(qū)以外的低中頻區(qū)和高頻區(qū)內(nèi)的成分。因此，使得有可能獲得具有對眼睛來說增強得非常自然的圖像，而不生成當(dāng)僅增強高頻成分時會很明顯的邊緣部分的局部過沖。
接下來，將參考圖43中的流程圖來解釋由根據(jù)第一示例結(jié)構(gòu)的圖像處理設(shè)備510進(jìn)行的灰度色標(biāo)壓縮圖像生成處理(即，在上面參考圖33中的流程圖而描述的步驟S102中的處理)的細(xì)節(jié)。
在步驟S111中，色調(diào)曲線校正部件521基于預(yù)先獲得的LUT來校正從攝像機502接收的寬DR圖像L的亮度，并將所獲得的色調(diào)曲線校正后的圖像Lc輸出到平滑亮度生成部件522、增益值設(shè)置部件523和對比度校正部件524。色調(diào)曲線校正部件521還將表示用于校正的色調(diào)曲線的斜率的代表值γ輸出到增益值設(shè)置部件523。
在步驟S112中，平滑亮度生成部件522縮小色調(diào)曲線校正后的圖像Lc，從而生成縮小圖像Lc1，并進(jìn)一步使用縮小圖像Lc1的像素，基于內(nèi)插運算而計算平滑后的圖像的像素亮度Lc1(p)，并將結(jié)果輸出到對比度校正部件524。
在步驟S113中，增益設(shè)置部件523基于從色調(diào)曲線校正部件521接收的代表值γ，對于單個像素位置，計算用于在對比度校正部件524中調(diào)整平滑后的圖像的亮度Lc(p)的對比度校正量的增益值g(p)，并將其輸出到對比度校正部件524。
應(yīng)注意的是，步驟S112和步驟S113中的處理可并行實施。
在步驟S114中，對比度校正部件524基于從增益值設(shè)置部件523接收的對于單個像素位置p的增益值g(p)以及從平滑亮度生成部件522接收的平滑后的圖像的亮度Lc1(p)，來校正色調(diào)曲線校正后的圖像Lc的亮度，從而計算灰度色標(biāo)壓縮后的圖像Lu的像素亮度Lu(p)。因此，如上所述獲得的對比度校正后的、灰度色標(biāo)壓縮后的圖像Lu作為具有對眼睛來說增強得非常自然的對比度的圖像來獲得，而不生成當(dāng)僅增強高頻成分時可能很明顯的邊緣部分的局部過沖。此處是對由圖像處理設(shè)備510的第一示例結(jié)構(gòu)進(jìn)行的灰度色標(biāo)壓縮圖像生成處理的解釋的結(jié)尾。
接下來的圖44示出了圖像處理設(shè)備510的第二示例結(jié)構(gòu)。第二示例結(jié)構(gòu)按照這樣來配置，使得在圖34中示出的第一示例結(jié)構(gòu)中的色調(diào)曲線校正部件521的前級中提供對數(shù)轉(zhuǎn)換部件601，用于實現(xiàn)從攝像機501接收的寬DR圖像L的亮度的對數(shù)轉(zhuǎn)換，并在第一示例結(jié)構(gòu)中的對比度校正部件524的后級中提供對數(shù)逆轉(zhuǎn)換部件602，用于實現(xiàn)從對比度校正部件524的輸出的對數(shù)逆轉(zhuǎn)換。
構(gòu)成圖像處理設(shè)備510的第二示例結(jié)構(gòu)的除了對數(shù)轉(zhuǎn)換部件601和對數(shù)逆轉(zhuǎn)換部件602以外的任何組件等同于圖34中示出的第一示例結(jié)構(gòu)的那些，并被賦予相同的標(biāo)號，因而將省略該解釋。在此應(yīng)注意的是，在第二示例結(jié)構(gòu)中，從色調(diào)曲線校正部件521到對比度校正部件524的部件單獨處理對數(shù)轉(zhuǎn)換后的亮度。
例如，第二示例結(jié)構(gòu)中的色調(diào)曲線校正部件521采用如圖4所示的色調(diào)曲線。如圖4所示的單調(diào)增加的、平緩的反S形色調(diào)曲線的應(yīng)用將不會在高亮度區(qū)和低亮度區(qū)中引起很強的灰度色標(biāo)壓縮效果，使得即使在灰度色標(biāo)壓縮之后也有可能獲得所希望的具有較少程度的白盲或黑盲的色調(diào)。反之，灰度色標(biāo)壓縮將強烈影響中間亮度區(qū)，而這意味著對比度校正可以充分施加到中間亮度區(qū)，并導(dǎo)致在中間亮度區(qū)也獲得所希望的具有較小程度的對比度校正的灰度色標(biāo)壓縮的圖像Lu。在這里，色調(diào)曲線具有值為0.67的代表值γ。
接下來，將參考圖45中的流程圖來解釋根據(jù)圖像處理設(shè)備510的第二示例結(jié)構(gòu)的灰度色標(biāo)壓縮圖像生成處理的細(xì)節(jié)。
在步驟S121中，對數(shù)轉(zhuǎn)換部件601使從攝像機5022接收的寬DR圖像L的亮度受到對數(shù)轉(zhuǎn)換，并將所獲得的對數(shù)寬DR圖像logL輸出到色調(diào)曲線校正部件521。
在步驟S122中，色調(diào)曲線校正部件521通?；陬A(yù)先獲得的、對應(yīng)于圖4中示出的色調(diào)曲線的LUT，來校正對數(shù)寬DR圖像logL的亮度，并將所獲得的對數(shù)色調(diào)曲線校正后的圖像logLc輸出到平滑亮度生成部件522、增益值設(shè)置部件523和對比度校正部件524。色調(diào)曲線校正部件521還將表示用于校正的色調(diào)曲線的斜率的代表值γ輸出到增益值設(shè)置部件523。
在步驟S123中，平滑亮度生成部件522縮小對數(shù)色調(diào)曲線校正后的圖像logLc，從而生成對數(shù)縮小圖像logLc1，并進(jìn)一步使用對數(shù)縮小圖像logLc1的像素，通過內(nèi)插運算來計算對數(shù)平滑后的圖像的像素亮度logLc1(p)，并將結(jié)果輸出到對比度校正部件524。
在步驟S124中，增益值設(shè)置部件523基于從色調(diào)曲線校正部件521接收的代表值γ，對于單個像素位置，計算用于在對比度校正部件524中調(diào)整對數(shù)平滑后的圖像的亮度logLc(p)的對比度校正量的增益值g(p)，并將其輸出到對比度校正部件524。
應(yīng)注意的是，步驟S123和步驟S124中的處理可并行實施。
在步驟S125中，對比度校正部件524基于從增益值設(shè)置部件523接收的對于單個像素位置p的增益值g(p)、以及從平滑亮度生成部件522接收的對數(shù)平滑后的圖像的亮度Lc1(p)，來校正對數(shù)色調(diào)曲線校正后的圖像logLc的亮度，從而計算對數(shù)灰度色標(biāo)壓縮后的圖像logLu的像素亮度logLu(p)，并將其輸出到對數(shù)逆轉(zhuǎn)換部件602。
在步驟S126中，對數(shù)逆轉(zhuǎn)換部件602使對數(shù)灰度色標(biāo)壓縮后的圖像logLu的像素亮度logLu(p)受到對數(shù)逆轉(zhuǎn)換，并將所獲得的Lu(p)作為灰度色標(biāo)壓縮后的圖像Lu的像素亮度輸出。
因為如上所述獲得的對比度校正后的、灰度色標(biāo)壓縮后的圖像Lu將不會在高亮度區(qū)和低亮度區(qū)中引起很強的灰度色標(biāo)壓縮效果，使得即使在灰度色標(biāo)壓縮之后也有可能獲得所希望的、具有較少程度的白盲或黑盲的色調(diào)。反之，灰度色標(biāo)壓縮將強烈影響中間亮度區(qū)，而這意味著對比度校正可完全施加到中間亮度區(qū)，并導(dǎo)致在中間亮度區(qū)也得到所希望的、具有較少程度的對比度校正的灰度色標(biāo)壓縮后的圖像Lu。此處是根據(jù)圖像處理設(shè)備510的第二示例結(jié)構(gòu)的灰度色標(biāo)壓縮圖像生成處理的解釋的結(jié)尾。
如上面已經(jīng)描述的，根據(jù)本發(fā)明的一個實施例的圖像處理設(shè)備510使得有可能基于大大減少了對于傳統(tǒng)的灰度色標(biāo)壓縮技術(shù)不可或缺的大存儲器容量(用作幀存儲器和數(shù)據(jù)延遲線)的結(jié)構(gòu)，來將具有比通常更寬的亮度的動態(tài)范圍的寬DR圖像轉(zhuǎn)換成可在僅具有可顯示亮度的窄動態(tài)范圍的顯示器111上顯示的灰度色標(biāo)壓縮后的圖像，而不損壞外觀良好的特性。還使得有可能獲得這樣的灰度色標(biāo)壓縮后的圖像其絕不遜色于通過通常使用大規(guī)模濾波實現(xiàn)的灰度色標(biāo)壓縮處理而獲得的灰度色標(biāo)壓縮后的圖像。
當(dāng)然，圖像處理設(shè)備510可以在適合于可在除了顯示器511之外的打印機和投影儀上表現(xiàn)的動態(tài)范圍的同時，將寬DR圖像轉(zhuǎn)換成灰度色標(biāo)壓縮后的圖像。
本發(fā)明通常適用于這樣的圖像信號處理電路其不僅內(nèi)置于諸如數(shù)字?jǐn)z像機和數(shù)字靜止相機的拍攝設(shè)備，還內(nèi)置于諸如顯示器、打印機、投影儀等的表現(xiàn)設(shè)備。
上述的一系列處理可在硬件基礎(chǔ)上執(zhí)行，也可在軟件基礎(chǔ)上執(zhí)行。對于在軟件基礎(chǔ)上執(zhí)行該系列處理的情況，將構(gòu)成此軟件的程序從記錄介質(zhì)安裝在內(nèi)置于專用硬件的計算機上，或者，例如安裝到安裝各種程序后可執(zhí)行各種功能的通用個人計算機上。
圖46示出了通用個人計算機的示例結(jié)構(gòu)。個人計算機620具有內(nèi)置于其中的CPU(中央處理單元)621。CPU 621經(jīng)由總線624與輸入/輸出接口625連接?？偩€624與ROM(只讀存儲器)622和RAM(隨機存取存儲器)623連接。
輸入/輸出接口625與以下部件連接輸入部件626，其由諸如用戶通過其輸入操作命令的鍵盤、鼠標(biāo)等的輸入設(shè)備構(gòu)成；輸出部件627，用于在顯示設(shè)備上輸出處理操作屏幕或處理的所得圖像；存儲部件628，其由用于存儲各種數(shù)據(jù)的程序的硬盤驅(qū)動器等構(gòu)成；以及I/O接口629，用于與攝像機502等進(jìn)行圖像數(shù)據(jù)通信。其還與用于向諸如磁盤631(包括軟盤)、光盤632(包括CD-ROM(高密度盤只讀存儲器)和DVD(數(shù)字多用途盤))、磁光盤633(包括MD(迷你盤))、或半導(dǎo)體存儲器634的記錄介質(zhì)寫入或從其讀取數(shù)據(jù)的驅(qū)動器630連接。
CPU 621根據(jù)存儲在ROM 622中的程序，或者從磁盤631至半導(dǎo)體存儲器634的任意一種讀出并安裝在存儲部件628上、并從存儲部件628加載到來自存儲部件628的RAM 623的程序，來執(zhí)行各種處理。RAM 623還具有適當(dāng)?shù)卮鎯υ谄渲械膶τ贑PU 621進(jìn)行各種處理所必需的數(shù)據(jù)。
應(yīng)當(dāng)理解的是，在本專利說明書中，用于描述記錄介質(zhì)中記錄的程序的步驟不僅包括在時間序列的基礎(chǔ)上根據(jù)給定順序進(jìn)行的處理，還可以包含代替那些總是在時間序列的基礎(chǔ)上處理的那些處理而并行或單獨進(jìn)行的處理。
應(yīng)當(dāng)理解的是，在本說明書中，參考了日本專利申請第2002-003134號(2003年1月9日提交)和第2003-003135號(2003年1月9日提交)的權(quán)利要求書、說明書、附圖和摘要的全部內(nèi)容，并將其合并于此。
工業(yè)適用范圍如上面已經(jīng)描述的，本發(fā)明使得有可能實現(xiàn)這樣的灰度色標(biāo)壓縮技術(shù)其僅需要將消耗的小存儲器容量和輕計算工作量，允許容易的硬件構(gòu)造，并保證大的灰度色標(biāo)壓縮效果。
還使得有可能使用較小的存儲器容量，基于較少的計算量，并基于簡單的硬件構(gòu)造而適當(dāng)?shù)卦鰪妶D像的對比度。
權(quán)利要求書(按照條約第19條的修改)1.一種圖像處理設(shè)備，其特征在于包括縮小圖像生成裝置，用于從輸入圖像生成縮小圖像；校正信息獲取裝置，用于基于該縮小圖像而獲取輸入圖像的校正信息；以及灰度色標(biāo)轉(zhuǎn)換裝置，用于轉(zhuǎn)換輸入圖像的灰度色標(biāo)；其中，灰度色標(biāo)轉(zhuǎn)換裝置使用校正信息來校正輸入圖像的對比度，作為將在轉(zhuǎn)換灰度色標(biāo)之前和/或之后進(jìn)行的處理。
2.根據(jù)權(quán)利要求1的圖像處理設(shè)備，其特征在于還包括平滑裝置，用于生成具有像素亮度Lc的平滑后的圖像，所述像素構(gòu)成基于使用構(gòu)成縮小圖像的像素的內(nèi)插計算而平滑化的輸入圖像，其中，灰度色標(biāo)轉(zhuǎn)換裝置基于構(gòu)成圖像的像素的亮度Lc、構(gòu)成平滑后的圖像的像素的亮度L1、以及預(yù)定的增益值g而生成對比度校正后的圖像。
3.根據(jù)權(quán)利要求1的圖像處理設(shè)備，其特征在于還包括平滑裝置，用于生成具有像素亮度Lc的平滑后的圖像，所述像素構(gòu)成基于使用構(gòu)成縮小圖像的像素的內(nèi)插計算而平滑化的輸入圖像；以及增益值設(shè)置裝置，用于設(shè)置用來校正對比度的增益值g；其中，灰度色標(biāo)轉(zhuǎn)換裝置基于構(gòu)成輸入圖像的像素的亮度Lc、構(gòu)成平滑后的圖像的像素的亮度L1、以及預(yù)定的增益值g而生成對比度校正后的圖像；以及可以配置增益值設(shè)置裝置，使得基于輸入的初始增益值g0、基準(zhǔn)增益值1、以及使用第一亮度閾值Th1、第二亮度閾值Th2和構(gòu)成輸入圖像的像素的亮度Lc計算的衰減值attn(Th1，Th2，Lc)來設(shè)置增益值g。
4.根據(jù)權(quán)利要求1的圖像處理設(shè)備，其特征在于還包括轉(zhuǎn)換裝置，用于通過基于轉(zhuǎn)換函數(shù)而轉(zhuǎn)換構(gòu)成輸入圖像的像素的亮度L，來生成色調(diào)轉(zhuǎn)換后的圖像；平滑裝置，用于通過使構(gòu)成色調(diào)轉(zhuǎn)換后的圖像的像素的亮度Lc平滑化而生成平滑后的圖像；以及增益值設(shè)置裝置，用于基于表示轉(zhuǎn)換函數(shù)的斜率γ的倒數(shù)1/γ的初始增益值g0，來設(shè)置用于校正對比度的增益值g；其中，對比度校正裝置基于構(gòu)成色調(diào)轉(zhuǎn)換后的圖像的像素的亮度Lc、構(gòu)成平滑后的圖像的像素的亮度L1、以及增益值g，來生成對比度校正后的圖像；以及增益值設(shè)置裝置基于輸入的初始增益值g0、基準(zhǔn)增益值1、以及使用第一亮度閾值Th1、第二亮度閾值Th2和構(gòu)成色調(diào)轉(zhuǎn)換后的圖像的像素的亮度Lc計算的衰減值attn(Th1，Th2，Lc)，來設(shè)置增益值g。
5.根據(jù)權(quán)利要求1的圖像處理設(shè)備，其特征在于縮小圖像生成裝置，通過將輸入圖像基于轉(zhuǎn)換函數(shù)而轉(zhuǎn)換成色調(diào)轉(zhuǎn)換后的圖像、并縮小該色調(diào)轉(zhuǎn)換后的圖像的大小，來生成縮小圖像；校正信息獲取裝置，獲取包括轉(zhuǎn)換函數(shù)的斜率的校正信息；以及灰度色標(biāo)轉(zhuǎn)換裝置，基于縮小圖像和轉(zhuǎn)換函數(shù)的斜率，來校正色調(diào)轉(zhuǎn)換后的圖像的對比度。
6.根據(jù)權(quán)利要求5的圖像處理設(shè)備，其特征在于還包括保持裝置，用于保持由縮小圖像生成裝置生成的縮小圖像和由校正裝置獲取的校正信息；其中，保持裝置保持對應(yīng)于先前幀的圖像的縮小圖像和施加到先前幀的圖像上的轉(zhuǎn)換函數(shù)的斜率，以及灰度色標(biāo)變換裝置，基于均保存在保持裝置中的先前幀的縮小圖像和轉(zhuǎn)換函數(shù)的斜率，來校正色調(diào)轉(zhuǎn)換后的圖像的對比度。
7.一種圖像處理方法，其特征在于包括縮小圖像生成步驟，用于從輸入圖像生成縮小圖像；校正信息獲取步驟，用于基于該縮小圖像而獲取輸入圖像的校正信息；以及灰度色標(biāo)轉(zhuǎn)換步驟，用于轉(zhuǎn)換輸入圖像的灰度色標(biāo)；其中，灰度色標(biāo)轉(zhuǎn)換步驟使用校正信息來校正輸入圖像的對比度，作為將在轉(zhuǎn)換灰度色標(biāo)之前和/或之后進(jìn)行的處理。
權(quán)利要求
1.一種圖像處理設(shè)備，其特征在于包括縮小圖像生成裝置，用于從輸入圖像生成縮小圖像；校正信息獲取裝置，用于基于該縮小圖像而獲取輸入圖像的校正信息；以及灰度色標(biāo)轉(zhuǎn)換裝置，用于轉(zhuǎn)換輸入圖像的灰度色標(biāo)；其中，灰度色標(biāo)轉(zhuǎn)換裝置使用校正信息來校正輸入圖像的對比度，作為將在轉(zhuǎn)換灰度色標(biāo)之前和/或之后進(jìn)行的處理。
2.根據(jù)權(quán)利要求1的圖像處理設(shè)備，其特征在于還包括平滑裝置，用于生成具有像素亮度Lc的平滑后的圖像，所述像素構(gòu)成基于使用構(gòu)成縮小圖像的像素的內(nèi)插計算而平滑化的輸入圖像，其中，灰度色標(biāo)轉(zhuǎn)換裝置基于構(gòu)成圖像的像素的亮度Lc、構(gòu)成平滑后的圖像的像素的亮度L1、以及預(yù)定的增益值g而生成對比度校正后的圖像。
3.根據(jù)權(quán)利要求1的圖像處理設(shè)備，其特征在于還包括平滑裝置，用于生成具有像素亮度Lc的平滑后的圖像，所述像素構(gòu)成基于使用構(gòu)成縮小圖像的像素的內(nèi)插計算而平滑化的輸入圖像；以及增益值設(shè)置裝置，用于設(shè)置用來校正對比度的增益值g；其中，灰度色標(biāo)轉(zhuǎn)換裝置基于構(gòu)成輸入圖像的像素的亮度Lc、構(gòu)成平滑后的圖像的像素的亮度L1、以及預(yù)定的增益值g而生成對比度校正后的圖像；以及可以配置增益值設(shè)置裝置，使得基于輸入的初始增益值g0、基準(zhǔn)增益值1、以及使用第一亮度閾值Th1、第二亮度閾值Th2和構(gòu)成輸入圖像的像素的亮度Lc計算的衰減值attn(Th1，Th2，Lc)來設(shè)置增益值g。
4.根據(jù)權(quán)利要求1的圖像處理設(shè)備，其特征在于還包括轉(zhuǎn)換裝置，用于通過基于轉(zhuǎn)換函數(shù)而轉(zhuǎn)換構(gòu)成輸入圖像的像素的亮度L，來生成色調(diào)轉(zhuǎn)換后的圖像；平滑裝置，用于通過使構(gòu)成色調(diào)轉(zhuǎn)換后的圖像的像素的亮度Lc平滑化而生成平滑后的圖像；以及增益值設(shè)置裝置，用于基于表示轉(zhuǎn)換函數(shù)的斜率γ的倒數(shù)1/γ的初始增益值g0，來設(shè)置用于校正對比度的增益值g；其中，對比度校正裝置基于構(gòu)成色調(diào)轉(zhuǎn)換后的圖像的像素的亮度Lc、構(gòu)成平滑后的圖像的像素的亮度L1、以及增益值g，來生成對比度校正后的圖像；以及增益值設(shè)置裝置基于輸入的初始增益值g0、基準(zhǔn)增益值1、以及使用第一亮度閾值Th1、第二亮度閾值Th2和構(gòu)成色調(diào)轉(zhuǎn)換后的圖像的像素的亮度Lc計算的衰減值attn(Th1，Th2，Lc)，來設(shè)置增益值g。
5.根據(jù)權(quán)利要求1的圖像處理設(shè)備，其特征在于縮小圖像生成裝置，通過將輸入圖像基于轉(zhuǎn)換函數(shù)而轉(zhuǎn)換成色調(diào)轉(zhuǎn)換后的圖像、并縮小該色調(diào)轉(zhuǎn)換后的圖像的大小，來生成縮小圖像；校正信息獲取裝置，獲取包括轉(zhuǎn)換函數(shù)的斜率的校正信息；以及灰度色標(biāo)轉(zhuǎn)換裝置，基于縮小圖像和轉(zhuǎn)換函數(shù)的斜率，來校正色調(diào)轉(zhuǎn)換后的圖像的對比度。
6.一種圖像處理方法，其特征在于包括縮小圖像生成步驟，用于從輸入圖像生成縮小圖像；校正信息獲取步驟，用于基于縮小圖像來獲取輸入圖像的校正信息；以及灰度色標(biāo)轉(zhuǎn)換步驟，用于轉(zhuǎn)換輸入圖像的灰度色標(biāo)；其中，灰度色標(biāo)轉(zhuǎn)換步驟使用校正信息來校正輸入圖像的對比度，作為將在轉(zhuǎn)換灰度色標(biāo)之前和/或之后進(jìn)行的處理。
全文摘要
一種圖像處理器件和方法，在將具有比常規(guī)更寬的像素值動態(tài)范圍的寬動態(tài)范圍圖像轉(zhuǎn)換成具有較窄的像素值動態(tài)范圍的窄動態(tài)范圍圖像，并加強對比度的時候，可以優(yōu)選地使用它。在步驟S1中，根據(jù)對于前一幀的寬DR亮度圖像計算的中間信息，將輸入的當(dāng)前幀的寬DR亮度圖像轉(zhuǎn)換成窄DR亮度圖像。此外，計算對于當(dāng)前幀的寬DR亮度圖像的中間信息。在步驟S2中，通過使用所計算的中間信息來更新關(guān)于所保持的前一幀的中間信息。在步驟S3中，判斷后續(xù)幀的存在。如果后續(xù)幀存在，則控制返回到步驟S1，并重復(fù)其以及后面的處理。本發(fā)明可施加到數(shù)字?jǐn)z像機等上。
文檔編號H04N1/407GK1692629SQ20038010040
公開日2005年11月2日 申請日期2003年12月10日 優(yōu)先權(quán)日2003年1月9日
發(fā)明者光永知生 申請人:索尼株式會社