自動白平衡檢測系統的制作方法

本發明涉及一種自動白平衡檢測系統。

背景技術：

白平衡(whitebalance)在當前的數碼影像世界中，特別是在攝影和圖像領域中，是非常重要的因素，對圖像色彩的再現性影響很大。

白平衡的本質，是因為人腦的“memorycolor”-c.j.bartleson(1960)記憶色。即在任何照明環境下，或者說無論照明光怎么變化，需要把眼睛看到“白色”補正到人的記憶色中的白色。眼睛看到“白色”---實際上是白色物體對光源的反射，而數字相機/攝像機的圖像傳感器把白色物體反射的光線變成圖像。在沒有進行白平衡處理圖像是真實的物理量的反映，且因光源的變化而變化，但這種變化與人的記憶色中白色不變而矛盾。

有關解決這種矛盾的白平衡的算法近年來提出很多，主要的大致可以歸類為以下幾種方式：

如圖1所示的b/g和r/g坐標中的黑體曲線近似區域方法。(r：紅色，g：綠色，b：藍色)

如飛利浦公司(cn200580044593)，株式會社尼康(cn200810095706)和corelogic，inc.(jpa2012518361)等為主要代表。飛利浦公司限定預定顏色空間且黑體輻射曲線，圖中1-1，是已知的，通過左，右模擬近似黑體曲線的，圖中1-2，計算白平衡；尼康公司在黑體輻射曲線上或近旁，圖中1，劃分幾個區域，如圖1中的1-3，計算白平衡；corelogic公司，則是劃分了更多的光源區域，如圖1中的1-4，而每個區域經過鏡頭暗角(shading)補正參考點選取，計算白平衡。

圖2rgb值進行色彩空間轉換色差區域方式。

如展訊通信有限公司(cn200610117166)，株式會社東芝(cn200710185785，cn201210320233)，華中科技大學(cn201410197703)，三星電機株式會社(cn200810146275)，高通股份有限公司(cn200780039526)等為主要代表。展訊公司通過將rgb轉換成ycbcr，平均色差是否落入預定義光源下范圍內，依據距離加權重，圖中2-4，進行計算；東芝公司通過將rgb轉換成yuv，計算判定門(區域)，圖中2-3，判定白色，判定門限對根據白平衡增益確定的每個光源劃定作為白平衡調整的對象的色溫度范圍；華中科技大學轉換成uv，采用一定亮度以上的擬合uv曲線，圖中2-1，進行計算；三星公司通過將rgb轉換成lab，考慮到亮度l和ab區間關系，對亮度分段計算；高通公司通過將rgb轉換成ycbcr，統計四邊形區域的cr/cb，圖中2-2，進行計算。

需要說明的，把rgb進行色彩空間轉換成yuv/ycrcb/lab，基本相似。圖3常用燈箱spectralightiii(后續說明)的光源的18％灰卡的uv和ab坐標位置圖，圖3左邊3-1為yuv，右邊3-2為lab。如圖所示，uv和ab基本相似。各種文獻中，只有三星公司考慮到亮度即lab中的l，并對亮度進行分段計算。而其它文獻則基本排除亮度的影響，如華中科技大學采用一定亮度以上的擬合uv曲線，以及corelogic公司建議鏡頭暗角補正后的參考點選擇，有關亮度的影響將在后續進行說明。

另外，以上2種方式之外的其它方式，如grayworld/顏色恒常性等的優缺點，在上述文獻中都有記載在此不再羅列。總之白平衡的算法可以歸結為：模擬黑體放射曲線，選取參考光源白點，設定曲線和參考點區域，進行近似/權重判斷，在這些步驟中都存在不足之處。

首先，黑體曲線誤差影響因素---頻譜變化的影響。如圖4所示，黑體放射在可視光譜范圍附近的色溫代表曲線。4-1為色溫2500k，4-2為色溫3500k，4-3為色溫5500k，4-4為色溫7500k的曲線。可以看出黑體放射曲線頻譜連續變化，色溫低的在光線波長長的區域要高于波長短的區域，色溫高的則反之，光線波長短的區域要高于波長長的區域。而常用光源的頻譜則有著峰值變化。如圖5所示，常用燈箱spectralightiii的光源頻譜。圖中5-1為h光源(2300k)，5-2為a光源(2856k)，5-3為cwf光源(4150k)，5-4為tl84光源(4100k)，5-5為d65光源(6504k)。各光源具體名稱和色溫值在cie1931或1964(國際照明委員會)都有規定，這里不再詳細敘說。從照明光源與黑體放射頻譜曲線比較，低色溫的a和h光源黑體放射曲線一致，中間色溫的cwf和tl84光源有很大的峰值變化，高色溫d65光源也有峰值變化但總體上與黑體較為近似。另外，國際照明委員會cie雖然對照明的各種光源的相對光譜功率分布有標準頻譜/色溫等的提示，實際上光源生產廠家依據標準生產時，模擬光譜所添加物質的差別會產生差異，導致最終用戶測定和使用時，會產生色溫等差異。而此差異的影響，會導致調好白平衡產品，在其他類似場景發生偏移。

其次，數字相機/攝像機的圖像傳感器(ccd---charge-coupleddevice或cmos---complementarymetal-oxidesemiconductor)對黑體曲線的影響。準確的來說，裝有圖像傳感器的攝像頭模塊的影響。攝像頭模塊的影響主要可分為：圖像傳感器特性的影響，ircf(infraredraycutfilter)紅外截止濾波片特性的影響和鏡頭特性的影響。如圖6所示，圖像傳感器中rgb的相對光譜感度圖。圖中6-1為藍色，圖中6-2為綠色(注：gr和gb的平均值)，圖中6-3為紅色，圖中的波形為rgb頻譜各個波長的感度值與綠色中最大感度值的比，綠色光譜中最大感度值的比定義為1。圖像傳感器的rgb感光特性，因廠家和型號的不同而不同。如圖中6-2綠色，主要表現在綠色的峰值6-4和波寬6-5不同。藍色6-1和紅色6-2與所示綠色6-2波形一樣，頻譜上的峰值和波寬也會不同。因此會導致攝像頭模塊，即使其它組成部件和光源環境都相同情況下，也會產生不同的圖像---即白平衡的增益值不同。

ircf特性的影響主要表現在ircf的濾波曲線。如圖7所示，各種常用ircf在可見光譜范圍中的濾波特性分布。ircf濾波特性圖7如與光源圖5重合可以看出，在波長長的領域可是光靠近紅外領域的ircf濾波效果較大。不同的ircf，在組成部件和光源環境都相同情況下，也會產生不同的圖像。

鏡頭特性的影響主要表現在鏡頭的透過率曲線和鏡頭(shading)暗角影響。如圖8所示，鏡頭在可見光譜范圍中的透過特性分布。與ircf一樣，不同的鏡頭具有不同的透過曲線和鏡頭(shading)暗角，不同的鏡頭，在組成部件和光源環境都相同情況下，也會產生有差異的圖像。

圖9是兩個攝像頭在相同光源環境d65下，拍攝的24塊色卡(macbeth)的r/g和b/g的分布圖實例。橫軸為r/g，豎軸為b/g。光源參考點d75，d65，d55，tl84，圖中9-3，以及光源參考點cwf，a，h，圖中9-4，左右相同，采用左邊的攝像頭的數據。兩個攝像頭具有相同圖像傳感器和鏡頭，但采用不同的ircf。圖中左邊的9-1攝像頭的grayworld點與圖中右邊的9-2攝像頭的grayworld的點相比較可以看出，左邊的9-1攝像頭的grayworld點，與參考點d65光源相同，而有右邊9-2攝像頭的grayworld的點高于左邊d75參考點，兩者有著很大的差異。左右兩個攝像頭差只有ircf不同。我們知道黑體的放射曲線公式是不變的，因此，由于光源和攝像頭的特性，不適合用不變的黑體曲線來作為參考標準，進行在黑體曲線周圍劃分區域來判定。

對于r/g和b/g白點參考點的選取，現在常用的參考點選取采用柯達公司18％的灰卡或者24塊色卡(macbeth)較多。前述文獻中也基本采用這兩種方式，并且對于選取范圍，基本為多邊性封閉區域。如圖10所示，常用燈箱光源下，拍攝18％灰卡所得參考點r/g和b/g關系的實用例。橫軸為r/g，豎軸為b/g。所拍攝的圖像沒有進行暗角(shading)補正處理，從圖中可以看出，圖中10-1的d75和d65光源之間，圖中10-2的cwf和tl84光源之間，圖中10-2的a和h光源之間，具有重合部分。因此，無論怎樣的劃分多個區域，對于圖中10-1，10-2和10-3這樣的來連續區域來說，無法有效地區分開來。圖10中的10-4與前圖9中的9-3一樣，為光源參考點d75，d65，d55，tl84區域，圖10中的10-5與前圖9中的9-4一樣，為光源參考點cwf，a，h區域。圖10中的10-4和10-5如果比較密集采取參考點的話，這些光源的r/g和b/g將連在一起無法區分。前述三星公司以外的文獻，都基本都排除亮度的影響，來確認參考點的區域。現實上，亮度的變化是連續變化，是圖像重要的表現。忽視亮度的影響，會對白平衡有著很大的影響。其次，大多數的文獻的參考區域為封閉區間，光源連續和重合的特性勢必也會影響白平衡的判斷精度。

圖11為常用測試圖(左邊)，在d65光源下各個分塊區域的r/g和b/g坐標關系(右圖)。橫軸為r/g，豎軸為b/g。圖中11-1為圖像grayworld的點。11-2為光源參考點d75，d65，d55，tl84區域，11-3為為光源參考點cwf，a，h區域。圖11的11-1所示區域與圖10的d65參考點區域的grayworld相同。11-2區間，d65參考點上下區域是連續的，要分辨出這些連續區域對應右圖中的白色和其它顏色是比較困難。雖然通過在r/g和b/g坐標中白色參考點的周圍設定限定參數或者調節距離等權重，可以產生“正確”的判斷，但是這種“正確”判斷是暫時且不穩定的，參數設定會相當繁雜而且需要反復多次調試，嚴重影響效率。況且光源時時刻刻都會發生變化，每次場景的變化，都會再次影響調試效果。需要說明的是常用測試圖應為圖像中含有各種色彩的成份，剛好此圖像的grayworld的點與光源d65比較接近。

技術實現要素：

針對上述光源頻譜特性和圖像傳感器的攝像頭模塊中的圖像傳感器的特性，ircf特性和鏡頭的特性，本發明采用兩部分，暖色光源區，如圖9中9-4，和冷色光源區域，如圖9中9-3，取代單一的黑體近似的方法。暖色光源區域依據光源頻譜，特別是在頻譜波長較長的范圍，能量較大，主要代表為：cwf光源，a光源，h光源。冷色光源區域，頻譜波長較短的范圍能量為主的范圍，主要代表為：tl84光源和d系列(d50/d65/d75)光源。當然，本發明不限兩個部分，依據圖像傳感器的攝像頭模塊特性，可以采用更多的光源區域分區。

針對上述因亮度變化參考點區域連續即重合，無法區分的問題如圖10中的10-1，10-2，10-3所示，本發明采用非封閉，橫坐標r/g方向采取最大和最小區域。在縱坐標b/g方向上，采取開放方式，不限制b/g的上下閾值，如圖10中的10-4冷色光源區域和圖10中的10-5暖色光源區域中實線所示。同樣，本發明不限上述方式，也可以依據圖像傳感器的攝像頭模塊，也可以b/g方向采取最大和最小區域，不限制r/g的上下閾值的方式。圖10中的10-4冷色光源區域的橫坐標r/g方向，10-6為最小值近似曲線，10-7為最大值近似曲線。圖10中的10-5暖色光源區域的橫坐標r/g方向，10-8為最小值近似曲線，10-9為最大值近似曲線。需要說明的是在圖10中的10-4冷色光源區域和圖10中的10-5暖色光源區域有重合部分，本發明的特征沒有采用對進入區域部分進行統計/權重等常用直接運算，因此沒有影響。從前圖常用測試圖像在d65光源的圖11中可以看出，圖像中r/g，b/g的絕大部分，落入在11-2冷色光源區域的最大曲線11-5和最小曲線11-4之間，且跨度從d75一直連續到tl84，一部分進入11-3暖色光源區域的最大曲線11-7和最小曲線11-6之間。這些連續的部分，包括了彩色部分和非彩色部分即白色/灰色部分，分清采用彩色和非彩色部分，對白色/灰色做白平衡處理比較困難，彩色的影響在后面實例中說明。

針對上述現存的問題，本發明要解決的技術問題是提供一種能夠自動白平衡檢測系統，通過對改善現有平臺的各色溫的參考點選擇方式，利用攝像頭自身的特性與黑體曲線特性相結合，用找出白色(無彩色)區域取代現有區域和權重算法，提高白平衡的判定的準確率，同時可以減少現有參數的設定，提高調試效率。

本發明采用了以下的技術方案：

本發明采用了獨特的構成。利用攝像頭自身的特性與黑體曲線特性相結合，用找出灰色點取代現有區域和權重算法。首先，采用暖色光源和冷色光源的兩個區域計算。第二，采用可變圖像分區技術變化計算r/g和b/g的信息作為判定元素。一般，圖像分區采用固定形較多，固定的圖像分區在數碼圖像初期就已廣泛采用，圖像分區可以在圖像傳感器輸出的后端進行，比較容易實現，同時比起利用每個像素計算的方式來說，可以減少內部的邏輯電路；減少因像素信號噪聲的影響。第三，采取參考點的r/g和b/g的信息作為判定元素。參考點的區域，非封閉可調節方式，確定以可變的最大和最小近似曲線的方式。

本發明的具體的采用技術方法和利點，下面將結合附圖進行說明。

附圖說明

圖1現有白平衡的黑體曲線近似區域方法總括。

圖2現有白平衡的色差區域方法總括。

圖3常用燈箱下18％灰卡的uv和ab坐標位置圖

圖4黑體放射在可視光譜范圍附近的色溫代表曲線。

圖5常用燈箱的光源頻譜

圖6圖像傳感器中rgb的相對光譜感度圖

圖7常用ircf在可見光譜范圍中的濾波特性分布

圖8鏡頭在可見光譜范圍中的透過特性分布

圖9攝像頭在d65光源下24塊色卡的r/g和b/g的分布圖實例

圖1018％灰卡參考點r/g和b/g關系的實用例

圖11常用測試圖d65光源下r/g和b/g坐標實例

圖12圖像傳感器攝像模塊簡易構成示意圖

圖13本發明的自動白平衡檢測系統流程圖

圖14本發明的自動白平衡檢測系統判斷流程圖

圖15本發明的自動白平衡檢測系統檢測結果對比例1

圖16本發明的自動白平衡檢測系統檢測結果對比例2

具體實施方式

圖12圖像傳感器攝像模塊簡易構成示意圖。圖中12-1為ae(autoexpose自動曝光)，awb(autowhitebalance自動白平衡)，af(autofocus自動對焦)，俗稱3a控制。通常3a中的awb自動白平衡在圖像處理中，如手機平臺的圖像調試時間中占有很大部分。自動白平衡的準確性直接影響圖像的色彩再現性，同時自動白平衡的結果會影響鏡頭的暗角(shading)補正以及圖像處理中如colormatrix的調用，因此會影響圖像的畫質。

圖13本發明的自動白平衡檢測系統流程圖。圖13中的13-0接受由圖12中的圖像傳感器發出的經過ae/af控制的去掉黑基準ob(opticalblack)的原始安定圖像。圖中13-1，依據圖13中的a的初期參數設定進行圖像分區域計算r/g和b/g值以及范圍。當中，圖13中的a的初期參數設定包括：白色區域最小數，檢測色溫范圍，圖像分割數，檢測色溫精度，曲線最大值和最小值，單色范圍規定值，綠色/膚色/藍色范圍等等，這些初期參數的設定極為重要，依照圖像的大小，參考點選取的結果而變化，從而提高檢測效率和檢測精度。圖中13-2，對圖像的r/g，b/g范圍與初期參數設定的單色范圍規定值比較，如果小于單色范圍規定值，說明圖像圖像比較色彩單調，可以擴大圖像分割數，這樣有利于提高檢測效率。圖13中的13-3對于圖像各個區域的r/g，b/g值是否在冷色光源和暖色光源曲線最大值和最小值范圍內，曲線最大值和最小值范圍外的區域，比較明顯的是有色區域不做白平衡處理，而曲線最大值和最小值范圍內的區域，包括白色/灰色和以及彩色區域。作為參考圖中13-4以灰色世界方式計算出r，b的增益和色溫作為備份。圖中13-5，依據檢測色溫范圍/檢測色溫精度對各個區域進行色溫計算，排除排除色溫區域中的有色區域和排除亮度中的的有色區域，圖中13-6對排除有色區域后的白色/灰色區域個數最終判斷，圖中13-7對判定白色/灰色區域進行計算r，b增益和色溫，并且把判定結果在圖中13-8進行判定。

白平衡在實際運用中，白平衡不準和白平衡震蕩為主要問題。圖14為圖13中的13-8結果判定運用的一個實施例。圖13對每幀接受都圖像進行白平衡判斷。為減少白平衡震蕩，判定結果在圖14中依次記錄下來。圖14所示的為3幀圖像為白平衡的判斷周期---實施r，b增益的時序。3幀只是一個實例，可以采用更多作為幀圖像。圖中14-1，判斷當前圖像是否為第3幀，不是的話，圖中14-2判斷是否為第二幀，圖中14-2的否為第一幀圖像，3幀圖像都有是否有白色區域檢出的判斷，圖中14-3。第一和第二幀圖像，圖中14-4和14-5，會記錄有白色區域的圖13中的13-7的計算結果。當第3幀圖像時，圖中14-6，如果檢測到白色/灰色區域，并且判斷計算結果在色溫范圍內的話，則使用當前的計算結果圖中14-8，并且更行計算結果的記錄。如果第3幀圖像沒有檢測到白色/灰色區域的話，則進入單色判定圖中14-7，進行綠色圖中14-10，藍色圖中14-11，膚色圖中14-12單色判定。這里的單色判定也只一個應用實施例。可以有更多其它單色判定。而單色的所比較范圍在圖13的初期參數設定中設定。圖中14-13，記錄單色判定結果，作為后端圖像處理的標志。對于單色圖像，會判斷有無記錄計算結果圖中14-14，即第1/第2幀圖像的計算結果，如果有歷史記錄則采用前回記錄計算結果圖中14-15，沒有的采用初期定義值圖中14-16。

圖15本發明的自動白平衡檢測系統檢測結果對比例。圖15中間的圖的拍攝環境為室內光源，背景為木制深紅色書架，粉色墻壁，淺黃木地板，黃色玩偶猴子，白色花盆和綠色植被。左邊為市面上銷售的手機平臺的圖像結果。右邊為本發明的自動白平衡檢測系統檢測結果。圖15中的上方為各區域的r/g，b/g的分布圖。圖中15-1為手機的加權判定白平衡點，圖中15-2為本發明的判定結果。從圖中可以看出，圖中15-1手機的加權判定白平衡點的上方和下方都是連續變化的，且圖中15-1上方的點的個數明顯小于圖中15-1下方的個數，對個數多的來說，權重比較大，對比本發明的判定點圖中15-2可見，本發明的點并沒有偏向個數多的。對比圖中15-3所示的斷面rgb的值，圖15下方，可以看出圖中15-4的所對應的白色花盆的rgb三色沒有重合---白平衡不準，而本發明的自動白平衡檢測系統檢測結果，圖中15-5所對應的白色花盆的rgb三色完全重合。

圖16本發明的自動白平衡檢測系統檢測結果對比例。圖16中間的圖的拍攝環境為室外光源，背景藍天和稀疏的白云---亮度較亮，綠色的樹葉---亮度較暗，電線桿---亮度較暗。這種亮度變化比較大，有其他彩色影響的場景容易產生”紫色天空”的問題---白云不白，顏色發紫，藍天不藍。左邊為市面上銷售的手機平臺的圖像結果。右邊為本發明的自動白平衡檢測系統檢測結果。圖16中的上方為各區域的r/g，b/g的分布圖。圖中16-1為手機的加權判定白平衡點，圖中16-2為本發明的判定結果。16-1手機的加權判定白平衡點的左下方---為綠色，都是連續變化的，雖然左下方的綠色大多數部分被16-6加以限制，但是，在限制區域和判定點之間還是有許多綠色點，這些綠色的點被加以權重參與白平衡計算，使得白平衡不準確。正如前面圖11中敘述中提到，雖然通過在r/g和b/g坐標中白色參考點的周圍設定限定參數或者調節距離等權重，可以產生“正確”的判斷，但是這種“正確”判斷是暫時且不穩定的，參數設定會相當繁雜而且需要反復多次調試，嚴重影響效率。對比圖中16-3所示的斷面rgb的值，圖16下方，可以看出圖中16-4的所對應的白云的rgb三色沒有重合---白平衡不準，而本發明的自動白平衡檢測系統檢測結果圖中16-2，圖中16-5所對應的白云的rgb三色完全重合。

如上述所述，本發明通過對參考點的選取，通過劃分冷色光源和暖色光源的最大值和最小值的近似曲線特征，利用攝像頭自身的特性與黑體曲線特性相結合，用找出白色(無彩色)區域取代現有區域和權重算法，提高白平衡的判定的準確率，同時可以減少現有參數的設定，提高調試效率。