基于圖像融合的快速去霧算法
【專利摘要】針對圖像去霧這個特定問題，為了提高去霧算法精確度和還原度，使其滿足實時性需求，本發明提出一種基于圖像融合的快速去霧算法。首先基于物理模型對天空光強度進行估計；然后根據霧天成像的物理特性粗略估計霧氣濃度，通過計算圖像的局部方差來分配權重，利用加權融合的思想獲得較準確的大氣耗散函數，計算出較為精確的場景透射率；最后在大氣散射模型的框架下，利用求得的大氣耗散函數和天空光強度對圖像進行去霧，得到清晰的無霧圖像。本發明所述算法通過計算局部方差來分配權重，再利用加權融合的方法來計算準確的大氣耗散函數，最后準確計算出精確的大氣耗散函數，從而極大地提高了圖像去霧的效果。
【專利說明】
基于圖像融合的快速去霧算法
技術領域
[0001] 本發明設及計算機視覺領域，特指基于圖像融合的快速去霧算法。
【背景技術】
[0002] 大多數室外視覺系統，如視頻監控、目標識別和衛星遙感監測等，都需要獲取清晰 的圖像特征。但是在有霧天氣條件下，由于場景的能見度較低，導致圖像對比度下降，目標 模糊不清，使成像系統無法正常工作。因此，研究如何對霧天圖像進行有效處理，降低天氣 條件對成像系統的影響具有重要研究價值。
[0003] 近年來，單幅圖像去霧由于具有不需要景深和大氣條件等輔助信息，應用場合廣 泛等優點，使其成為計算機視覺領域研究熱點。許多學者利用圖像本身構造約束場景反照 率或場景深度的假設條件，提出多種單幅圖像去霧算法。Fattal假設光線傳輸透射率與表 面投影具有局部統計不相關性，采用獨立成分分析來估計場景反照率，該方法基于顏色統 計，無法處理灰度圖像，且對濃霧圖像的處理效果不佳。He等人通過對大量戶外自然無霧圖 像的統計觀察得出，除天空區域外的絕大多數圖像塊中都存在一些在某個顏色通道內亮度 值很小的像素。基于該實驗結論，He等人提出了暗通道先驗估計光線傳輸透射率，實現霧天 圖像復原。引導濾波器的提出解決了透射率修復慢的問題，然而由于濾波參數的不恰當設 置易引起光暈效應。Tarel利用中值濾波的變換形式對大氣耗散函數進行估計，最后經過色 調映射獲得復原圖像。該方法本質上使用了大氣散射模型，但是沒有準確估計大氣光強度 值，最終整體效果偏暗，而且中值濾波的引入易引起邊緣殘霧現象。化等人對大氣光照進行 白平衡，利用快速雙邊濾波估計大氣耗散函數，求解簡化的大氣散射模型實現圖像去霧，然 而該方法對白色物體的恢復效果不夠理想。
【發明內容】
[0004] 針對圖像去霧運個特定問題，為了提高去霧算法精確度和還原度，使其滿足實時 性需求，本發明提出一種基于圖像融合的快速去霧算法。
[0005] 本發明的技術方案是：
[0006] -種基于圖像融合的快速去霧算法，其特征在于，包括W下步驟：
[0007] Sl.基于物理模型天空光強度值A的估計；
[0008] S2.基于圖像加權融合的大氣耗散函數Wx)估計；
[0009] S3.結合霧化圖像的光學模型，根據估計的天空光強度值A、大氣耗散函數V(X) W 及有霧的圖像，計算出無霧的圖像。
[0010] 本發明中，步驟Sl的估計過程如下：
[0011] SI. 1對彩色圖像的最小顏色分量進行最小值濾波，可表示為：
[0012]
[001引式中，(3居化6,8}分另懐示1?、6、8顏色通道；0^)表示從像素義為中屯、的鄰域，1。1。 (X)為彩色圖像的最小顏色分量的最小值，I(y)為彩色圖像的最小顏色分量；
[0014] SI. 2采用化nny算子對彩色圖像的灰度分量進行邊緣檢測，對邊緣圖像進行分塊 統計，計算各圖像塊中邊緣像素數所占的比例，記為化dge(x)，同時滿足Imin(X)XTv且化dge UKTp的像素集合S(X)指定為候選天空區域，其中Tv為亮度闊值，Tp為平坦闊值；
[0015] SI.3將候選天空區域S(X)中的最大像素值確定為大氣光強度值A的估計值，即A = max S(x)。為了保證天空復原圖像不失真，需要對大氣光強度值A的估計值進一步修正，即A = amax S(X)，a為設定系數。本發明的實施例中a設定為0.85。
[0016] 本發明中，步驟S2的方法為：
[0017] S2.1利用有霧圖像形成的物理特性進行粗估計；
[0018] 根據有霧圖像形成的物理特性，可用有霧圖像中=通道的最小顏色分量對大氣耗 散函數V(X)講斤輒張化計，良口；
[0019]
[0020] A'T，Vm、X;戶J入飛巧:目義函數的初步估計值，L^(X)為有霧圖像中的；通道的顏色分 量；
[0021] S2.2基于圖像融合對大氣耗散函數V(X)進行準確估算；
[0022] 設圖像Vm(X)的局部方差為D(X),局部均值為EU),則兩者之間的關系為：
[0023] D(x)=E(x^)-E^(x)
[0024] 利用上述公式對大氣耗散函數V(X)的初步估計求取方差，并采用對數曲線的逼近 方法，將D(X)截斷至[0，1]區間;此時，大氣耗散函數八^)為Vm(X)與Vm(X)的加權之和，即：
[00 巧]V(x)=D(x)Vm(x) + (l-D(x)V〇p(x)) (1)。
[0026] 最后，為了使融合圖像在邊緣處與平坦區域之間的銜接更自然，使用邊緣保護濾 波器對式(1)得到的結果進行簡單平滑。
[0027] 本發明中，步驟S3中，根據光在霧天傳輸的物理特性，在計算機視覺和圖形學領域 中，霧化圖像的光學模型可描述如下：
[00%] I(x)=J(x)t(x)+A(l-t(x))， (2)
[0029] 式中：I(X)為含霧圖像即輸入圖像;J(X)為場景福射率即恢復出的無霧圖像;t(x) 場景透射率;A為天空光強度值;上式中等式右邊第1項為直接衰減，表示物體表面反射的光 線在空氣中傳播衰減后的福射強度;第2項為大氣耗散函數
[0030] V(x)=A(l-t(x)) (3)
[0031] 在求得大氣耗散函數V(X)和大氣光強度值A的基礎上，可依據式(2)和（3)直接恢 復出場景在理想條件下的無霧圖像：
[0032]
(斗)。
[0033] 進一步地，本發明還包括步驟S4,基于人眼視覺特性調整色調，得到調整后的無霧 圖像。步驟S4中，根據韋伯?費希納定律，主觀亮度Ld和客觀亮度Lo呈對數線性關系，目化d = eigL〇+e〇,式中0、階均為常數；
[0034] 刑田簡苗巧擲對豐觀亮度Ld和客觀亮度Lo的關系曲線進行擬合，得到函數：
[0035]
(5)
[0036] 式巧）中，k為調整系數，k根據大氣耗散函數的平均值來自動獲取，即自適應地取k =1.5mean(V(x))，mean()為求平均；
[0037] 將步驟S3中最終得到的無霧的圖像，代入式(5)，即可得到調整后的無霧圖像。
[0038] 本發明的有益技術效果：
[0039] 針對現行算法普遍存在的不足，基于大氣散射模型，本發明提出了一種基于圖像 融合和分割的快速去霧算法。本發明總結了霧天圖像復原算法中的3個關鍵因素并給出了 實施方法：1)大氣耗散函數的準確估計，根據霧天成像的物理特性粗略估計霧氣濃度，通過 計算圖像的局部方差來分配權重，利用加權融合的思想獲得較準確的大氣耗散函數;2)大 氣光強度值的計算，分析天空區域或霧最濃區域的基本特征，設定分割闊值，準確定位大氣 光值所在的候選區域;3)復原圖像的色調調整，對復原后圖像偏暗的問題進行修正，獲得更 佳的視覺效果。通過W上3個方面，可W快速恢復出高質量的無霧圖像。該計算極大的提高 了去霧精確度和算法速度。
【附圖說明】
[0040] 圖1是實施例所述估算大氣耗散函數組圖；
[0041] 圖2是實施例所述色調調整曲線組圖；
[0042] 圖3是實施例所述恢復出的無霧圖像；
[0043] 圖4是實施例所述恢復出的無霧圖像；
[0044] 圖5是實施例所述各算法對比去霧效果圖像；
[0045] 圖6是實施例所述算法整體流程圖。
【具體實施方式】
[0046] 實施例1: W單幅圖像去霧為例，結合附圖對本發明做進一步詳細說明。
[0047] 根據光在霧天傳輸的物理特性，在計算機視覺和圖形學領域中，霧化圖像的光學 模型可描述如下：
[004引 I(x)=J(x)t(x)+A(l-t(x))， (1)
[0049] 式（1)中：I(x)為含霧圖像（即輸入圖像）；J(X)為場景福射率（即恢復出的無霧圖 像）；t(x)為光路傳播圖，描述場景透射率;A為天空光強度值。式（1)等式右邊第1項為直接 衰減，表示物體表面反射的光線在空氣中傳播衰減后的福射強度;第2項為大氣耗散函數
[0050] V(X)=A(I-U)), (2)
[0051] 去霧的目的在于從I(X)中恢復出t(x)、A，進而恢復出無霧圖像J(X)D
[0052] 而根據霧天成像的物理特性粗略估計霧氣濃度，通過計算圖像的局部方差來分配 權重，利用加權融合的思想獲得較準確的大氣耗散函數是本發明的核屯、部分，只要正確估 計八義)和A即可求得無霧圖像J(X)D
[0053] 本發明算法主要利用了圖像加權融合對V(X)進行估計，物理模型的圖像分割對天 空光強度值A進行估計。
[0054] 第一步:基于物理模型天空光強度值的估計
[0055] 直接用最亮像素值估計天空光強度值A易受到高亮噪聲或白色物體的影響。先分 別對各顏色分量進行灰度腐蝕操作，再取顏色分量之間的最小值，從中選取0.1%最亮的像 素，用對應原圖像中的最大像素值估計天空光強度值A。為了濾除圖像中白色物體對估計天 空光強度值的影響，結構元素的尺寸應大于圖像中白色物體的尺寸。但是，若圖像中的天空 區域也小于結構元素的尺寸，則將錯誤地濾除天空區域。如圖1所示的兩幅自然場景圖像， 僅可從樹枝之間看到天空，圖像中天空區域的面積較小，因此，較大的尺寸容易將天空區域 完全腐蝕。
[0056] 顯而易見，天空區域具有3個特性：1)亮度較高；2)灰度平坦;3)位置偏上。本發明 將滿足W上3個特性的像素集合確定為天空區域。
[0057] 首先，對彩色圖像的最小顏色分量進行最小值濾波，也稱為灰度腐蝕操作，可表示 為：
[0化引
[0059] 式中，CG {R，G，B}分別表示R、G、B顏色通道；Q (X)表示W像素 X為中屯、的鄰域，其 尺寸自適應地與圖像寬和高中的最小值成比例，Imin(X)為彩色圖像的最小顏色分量的最小 值，I(y)為彩色圖像的最小顏色分量。
[0060] 然后，采用化nny算子對彩色圖像的灰度分量進行邊緣檢測，對邊緣圖像進行分塊 統計，計算各圖像塊中邊緣像素數所占的比例，記為化dge(x)。同時滿足Imin(X)XTv且化dge (x)<Tp的像素集合S(X)指定為候選天空區域，其中Tv為亮度闊值，Tp為平坦闊值（低頻闊 值），二者都根據不同情況自適應調整，為已知參數。
[0061] 最后，將候選的天空區域S(X)中的最大像素值確定為天空光強度值A的估計值，即 A=HiaxS(X),但是為了保證任何條件下天空復原圖像不失真，通常需要進一步修正，即A = Q maxS(x)，a的值根據不同場景的需要來設定，為已知，本實施例設定為0.85。
[0062] 第二步:基于圖像加權融合的Wx)估計
[0063] S2.1利用霧圖形成的物理特性進行粗估計：由于大氣光強度值對成像的作用隨著 場景到觀測點的距離增大而增加，從視覺效果來看，圖像中的霧氣濃度逐漸增大，圖像的亮 度逐漸增加。假設在霧天環境下的成像過程中，色彩是由物體對光的3個顏色分量不同吸收 和反射特性生成，對于顏色鮮艷的彩色物體或者顏色單一的灰度物體，其中至少一個顏色 分量的反射系數較小，亮度較低。定義大氣耗散函數為V(X),因此，根據霧圖形成的物理特 性，可用有霧圖像中=通道的最小顏色分量對八^)進行初步估計，即：
[0064]
[0065] 其中，Vm(X)為大氣耗散函數的初步估計值，L^(X)為有霧圖像中的=通道的顏色分 量。大氣耗散函數的初步估計如圖1(a)所示，該結果包含了豐富的邊緣細節信息W及建筑 物樓頂等白色物體，其亮度值并不能準確表示霧氣濃度，因此需要進一步消除Vm(X)中不必 要的紋理細節信息W及白色目標的影響。
[0066] S2.2基于圖像融合對大氣耗散函數V(X)進行準確估算。
[0067] 對Vm(X)采用形態學灰度開運算操作，保持大面積明亮區域和整體的灰度級不變， 得到的結果表示為Vdp(X),如圖1(b)所示。Vdp(X)的亮度近似體現了原有霧圖像的霧氣濃度 信息，但是邊緣模糊并且塊效應嚴重。根據化rel的理論，在估計V(X)時，應該保護其沿梯度 方向的跳變，即有霧圖像的高頻區域應該保留邊緣，因此采用Vm(X)的邊緣輪廓信息；而在 有霧圖像的低頻部分，圖像的亮度變化比較平緩，無需體現細節，故應該保持Vdp(X)的亮度。 基于圖像本身的性質，圖像的高低頻率可W通過空間鄰域內的灰度值方差來表示，所W本 發明根據圖像的方差信息來分配權重，進行選擇性融合。
[0068] 設圖像Vm(X)的局部方差為D(X),局部均值為EU),則兩者之間的關系為：
[0069] D(x)=E(x^)-E^(x)
[0070] 利用W上公式對大氣耗散函數V(X)的初步估計求取方差，并采用對數曲線的逼近 方法，將D(X)截斷至[0，1]區間，得到結果如圖I(C)所示。圖像中的亮區和暗區分別表示高 頻和低頻。此時，大氣耗散函數八X)為Vm( X)與Vm(X )的加權之和，即：
[0071] V(x)=D(x)Vm(x) + (l-D(x)V〇p(x)) (3)
[0072] 最后，為了使融合圖像在邊緣處與平坦區域之間的銜接更自然，使用邊緣保護濾 波器對式(3)得到的結果進行簡單平滑。同時本實施例采用域變換遞歸濾波器(reeursive filter),該濾波方法能夠保護沿各個方向的梯度跳變，同時進行良好的平滑操作。最終得 到融合后的大氣耗散函數如圖1(d)所示。從圖1(d)中可W看出，V(X)保留了 Vm(X)的區域邊 緣特性，局部平緩的亮度信息則與Vdp(X)相似，并且在邊緣區域與平緩區域之間自然過渡， 整體符合霧氣濃度的分布特性。
[0073] 第=步：結合霧化圖像的光學模型，根據估計的大氣光強度值A、大氣耗散函數V (X) W及有霧的圖像，計算出無霧的圖像；
[0074] 在求得大氣耗散函數V(X)和大氣光強度值A的基礎上，可依據式（1)(2)直接恢復 出場景在理想條件下的無霧圖像：
[0075]
(4)
[0076] 由于霧天圖像的像素值一般小于大氣光強度值，經上式復原后的圖像整體亮度和 色調在視覺上偏暗，所W有必要進行調整W提高圖像質量。
[0077] 第四步:基于人眼視覺特性調整色調，計算出無霧的圖像；
[0078] 最后為了更加有利于觀察者進行圖像觀測和分析，需要根據人眼視覺特性來調整 圖像亮度。人眼的主觀亮度是人體視覺系統感覺到的亮度，是物體反射的光線照射到人眼 的視網膜上視神經受到刺激而獲取的。根據韋伯?費希納定律(Weber.Fechner law),主觀 亮度感覺Ld和客觀亮度Lo呈對數線性關系，目化d=化gL〇+e〇,式中e、e〇均為常數。主觀亮度與 客觀亮度的關系如圖2(a)所示，利用該曲線進行復原圖像的色調調整。利用簡單函數對圖2 (a)關系曲線進行擬合，得到函數：
[0079]
(5)
[0080] 式中，k為調整系數，取值越小則調整程度越大，調整曲線如圖2(b)所示。
[0081] 由于霧天成像受環境和光照的不同影響，部分圖像本身亮度值偏低，經復原后整 體視覺效果更暗，需要調整的程度相對高一些。在實施例中，k根據大氣耗散函數的平均值 來自動獲取，即自適應地取k=l .Smean(Wx))，mean〇為求平均。
[0082] 根據式(4)的復原結果，代入式(5)，即可得到最終調整后的復原圖像。
[0083] 如圖3、4所示，分別為本實施例恢復出的無霧圖像，圖5為各種現行先進算法的比 對圖像，可W發現本實施例獲得的去霧效果可W優于化Kaiming,Meng等人現行的算法。圖 6是實施例所述算法整體流程圖。
[0084] 同時本發明算法由于大多W數學運算為主，所W具有快速，運算效率高等特點。
[0085] 本發明中提出的方法實際上可嵌入FPGA實現，開發具有實時去霧功能的相機或攝 像機。W上實施例僅起到解釋本發明技術方案的作用，本發明所要求的保護范圍并不局限 于上述實施例所述的實現系統和具體實施步驟。因此，僅對上述實施例中具體的公式及算 法進行簡單替換，但其實質內容仍與本發明所述方法相一致的技術方案，均應屬于本發明 的保護范圍。
【主權項】
1. 一種基于圖像融合的快速去霧算法，其特征在于，包括以下步驟：51. 基于物理模型天空光強度值A的估計；52. 基于圖像加權融合的大氣耗散函數V(x)估計；53. 結合霧化圖像的光學模型，根據估計的天空光強度值A、大氣耗散函數V(x)以及有 霧的圖像，計算出無霧的圖像。2. 根據權利要求1所述的基于圖像融合的快速去霧算法，其特征在于，步驟S1的估計過 程如下： S1.1對彩色圖像的最小顏色分量進行最小值濾波，可表示為：式中，ce{R，G，B}分別表示R、G、B顏色通道；Ω(χ)表示以像素 X為中心的鄰域，Imin(x) 為彩色圖像的最小顏色分量的最小值，I(y)為彩色圖像的最小顏色分量； S1.2采用Canny算子對彩色圖像的灰度分量進行邊緣檢測，對邊緣圖像進行分塊統計， 計算各圖像塊中邊緣像素數所占的比例，記為NedgeU)，同時滿足I_(x)>Tv且Nedge(X)〈T P 的像素集合S(x)指定為候選天空區域，其中TV為亮度閾值，TP為平坦閾值； S1.3將候選天空區域S(x)中的最大像素值確定為大氣光強度值Α的估計值，即A = max S(x) 〇3. 根據權利要求2所述的基于圖像融合的快速去霧算法，其特征在于，步驟SI. 3中，為 了保證天空復原圖像不失真，對大氣光強度值A的估計值進行修正即令A = amax S(x)，a為 設定系數。4. 根據權利要求3所述的基于圖像融合的快速去霧算法，其特征在于，步驟S1.3中，α設 定為0.85。5. 根據權利要求1所述的基于圖像融合的快速去霧算法，其特征在于，步驟S2的方法 為： S2.1利用有霧圖像形成的物理特性進行粗估計； 根據有霧圖像形成的物理特性，可用有霧圖像中三通道的最小顏色分量對大氣耗散函 數V(x)進行初步估計，gp :其中，vm(x)為大氣耗散函數的初步估計值，Le(x)為有霧圖像中的三通道的顏色分量； S2.2基于圖像融合對大氣耗散函數V(x)進行準確估算； 設圖像Vm(x)的局部方差為D(x)，局部均值為E(x)，則兩者之間的關系為： D(x)=E(x2)-E2(x) 利用上述公式對大氣耗散函數V(x)的初步估計求取方差，并采用對數曲線的逼近方 法，將D(x)截斷至[0，1]區間;此時，大氣耗散函數￥(4為￥"(1)與1(1)的加權之和，即： V(x) =D(x)Vm(x) + (l-D(x)V〇P(x)) (1) 〇6. 根據權利要求5所述的基于圖像融合的快速去霧算法，其特征在于，步驟S2.2中，最 后使用邊緣保護濾波器對式(1)得到的結果進行平滑。7. 根據權利要求6所述的基于圖像融合的快速去霧算法，其特征在于，步驟S2.2中，最 后使用域變換遞歸濾波器對式(1)得到的結果進行平滑。8. 根據權利要求1所述的基于圖像融合的快速去霧算法，其特征在于，步驟S3中，根據 光在霧天傳輸的物理特性，在計算機視覺和圖形學領域中，霧化圖像的光學模型可描述如 下： I(x)=J(x)t(x)+A(l-t(x))，（2) 式中：I(x)為含霧圖像即輸入圖像;J(x)為場景輻射率即恢復出的無霧圖像;t(x)場景 透射率;A為天空光強度值;上式中等式右邊第1項為直接衰減，表示物體表面反射的光線在 空氣中傳播衰減后的輻射強度;第2項為大氣耗散函數V(x)即 V(x)=A(l-t(x)) (3) 在求得大氣耗散函數V(x)和大氣光強度值A的基礎上，可依據式(2)和（3)直接恢復出 場景在理想條件下的無霧圖像：:(4)&9. 根據權利要求1至8中任一權利要求所述的基于圖像融合的快速去霧算法，其特征在 于，還包括步驟S4,基于人眼視覺特性調整色調，得到調整后的無霧圖像。10. 根據權利要求9所述的基于圖像融合的快速去霧算法，其特征在于，步驟S4中，根據 韋伯?費希納定律，主觀亮度Ld和客觀亮度Lo呈對數線性關系，即Ld = mgLo+i3()，式中β、β〇均 為常數； 利用簡單函數對主觀亮度Ld和客觀亮度Lo的關系曲線進行擬合，得到函數：式（5)中，k為調整系數，k根據大氣耗散函數的平均值來自動獲取，即自適應地取k = 1 · 5mean(V(x))，mean()為求平均； 將步驟S3中最終得到的無霧的圖像，代入式(5)，即可得到調整后的無霧圖像。
【文檔編號】G06T5/00GK105957040SQ201610333536
【公開日】2016年9月21日
【申請日】2016年5月19日
【發明人】譚樹人, 張斯堯, 馬昊辰
【申請人】湖南源信光電科技有限公司