一種基于多尺度對比度的紅外與可見光圖像融合方法與流程

本發明涉及多傳感器圖像融合技術領域，具體涉及一種基于多尺度對比度的紅外與可見光圖像融合方法。

背景技術：

圖像融合技術是將不同成像傳感器獲取的同一場景信息按一定的規則融合于一幅圖像中，使得生成的融合圖像能夠同時呈現不同傳感器獲取到的互補信息，從而為機器自動識別處理或人眼觀察提供信息更加全面、豐富的圖像信息輸入。近些年來，隨著傳感器技術和計算機運算能力的不斷提高，多傳感器圖像融合技術的應用越來越廣泛，特別是在軍事和遙感領域，圖像融合技術得到了廣泛的重視和發展。在民用方面，多傳感器圖像融合也已經在智能機器人導航、醫學圖像處理、工業檢測和視頻監控等領域得到了廣泛的應用。

紅外與可見光圖像融合是多傳感器圖像融合領域的重要技術。紅外成像傳感器由于對熱輻射比較敏感，能夠在有煙霧和其他物體遮擋情況下對目標進行成像，并且可以在夜間光線不足的環境中工作；而可見光相機的成像分辨率通常較高，能夠有效捕捉場景里的其他細節信息。將紅外與可見光成像傳感器得到的圖像融合在一起，能夠實現優勢互補，使最終融合圖像信息得到極大增強。紅外與可見光圖像融合技術已經被廣泛用于軍事偵察、目標探測、場景監控和夜視增強等軍事和民用領域。

目前，對于紅外與可見光等不同傳感器圖像融合問題，研究和應用最多的是基于多尺度分解的圖像融合方法。它最早源于burt等人提出的拉普拉斯金字塔變換(lap)方法，其他基于金字塔變換的多尺度分解方法大多是在此結構及其派生結構的基礎上建立起來的。toet等人基于人類視覺系統對局部對比度較為敏感的特性，提出了基于對比度金字塔變換(rolp)的多尺度融合算法。隨著基于小波變換的多尺度分解技術的發展，離散小波變換也被成功應用于圖像融合。由于一般的離散小波變換不具有平移不變性，研究者們又提出了其他性能更好的多尺度分解方法。其中，雙樹復數小波(dt-cwt)由于具有良好的平移不變性和方向選擇性，在圖像融合領域常被用作多尺度信息分解的手段，但它同時也會增加整個融合計算的復雜性。

多尺度分解后能夠得到表征不同尺度圖像信息的一系列分解系數，在對兩幅圖像信息融合時，需要采用一定的策略對兩幅圖像的分解系數在同一尺度水平上進行融合，得到一系列多尺度融合系數，最后通過這些系數的組合重建出融合圖像。因此，多尺度分解信息的融合策略是多尺度圖像融合技術中的重要內容，融合策略的好壞直接影響到最終的圖像融合效果和質量。到目前為止，人們已經研究和提出了多種形式的融合策略。由于系數絕對值的大小一般反映分解后對應位置處的子帶信息強度的大小，最簡單的基于像素的融合策略是選取對應位置處絕對值最大的系數作為融合后的系數。此外，還有考慮分解層內各子帶及分解層間上下尺度子帶信息相關性的系數選取策略，以及基于區域的融合策略，這種融合策略通過對多尺度分解系數求取基于區域的某種信息顯著性指標，然后根據該指標結果按一定的規則確定多尺度分解系數的融合權重。另外，還存在基于多尺度區域分割等其他形式的融合策略，首先通過多尺度分割獲得兩幅待融合圖像共用的圖像多尺度區域，然后對每一區域計算信息顯著性及區域相似度，通過制定相應的規則來完成分割區域內系數的選取或融合權重的確定。但是紅外和可見光圖像由于成像波段特性存在很大差異，兩種信息在融合時容易形成相互干擾。現有的圖像融合技術并未針對這種干擾有相應的融合策略，因此需要對此針對性地設計融合策略，使融合圖像獲得更好的視覺效果，便于人眼觀察。

技術實現要素：

有鑒于此，本發明提供了一種基于多尺度對比度的紅外與可見光圖像融合方法，能夠基于計算得到的多尺度對比度，根據各尺度分解細節范圍的不同，分別確定各層尺度信息中紅外圖像和可見光圖像的融合權重，設計相應的多尺度信息的融合策略，使紅外與可見光融合圖像具有更好的視覺效果。

本發明的技術方案為：

步驟1，對紅外圖像i^r與可見光圖像i^v分別進行n次連續高斯濾波，得到紅外與可見光多尺度濾波圖像和其中i＝0,1,…,n-1；

步驟2，計算紅外圖像的多尺度對比度和可見光圖像的多尺度對比度

步驟3：依據紅外圖像的多尺度對比度和可見光圖像的多尺度對比度確定多尺度圖像融合時，各尺度紅外圖像的融合權重wi和最底層紅外圖像的融合權重wn：

(1)當i＝0時，

(2)當1≤i≤n-1時，

其中，“*”表示卷積運算符號，為用來對sλ(pi)進行平滑處理的高斯函數；sλ(pi)＝arctan(λpi)/arctan(λ)，其中λ為紅外信息注入系數，為常數值，

(3)最底層融合權重wn為：其中，“*”表示卷積運算符號，是使融合權重wn能夠滿足底層粗糙尺度條件下的信息融合要求的高斯函數；

步驟4：對各尺度濾波圖像進行加權融合，得到最終的融合圖像i^f：

其中為第n次連續高斯濾波后得到的紅外圖像，為第n次連續高斯濾波后得到的可見光圖像，其中為第i次連續高斯濾波后得到的紅外圖像，為第i次連續高斯濾波后得到的可見光圖像,為第i+1次連續高斯濾波后得到的紅外圖像，為第i+1次連續高斯濾波后得到的可見光圖像。

其中，步驟2中紅外圖像的多尺度對比度和可見光圖像的多尺度對比度為：

其中csf(·)為基于人類視覺的對比敏感度函數。

較佳地，步驟2中紅外圖像的多尺度對比度和可見光圖像的多尺度對比度為：

其中k，h，p，q，z為經驗值，其中csf(·)為基于人類視覺的對比敏感度函數。較佳地，和中，k＝h＝1，p＝4.4，q＝2，z＝0.001。

其中，連續高斯濾波次數n＝4，高斯濾波函數初始標準差為2。

有益效果：

本發明基于多尺度對比度設計相應的紅外與可見光多尺度分解信息融合策略，根據各尺度分解細節范圍的不同，分別確定各層尺度信息中紅外圖像的融合權重，將紅外與可見光圖像信息更加合理有效地融合在一起，降低相互干擾；

本發明結合表征人類視覺特性的對比敏感度函數，提取具有視覺敏感性的多尺度對比度，突出視覺敏感性信息，使融合圖像具有更好的視覺效果，能夠增強觀察者對場景的感知和重要目標的快速識別能力；

本發明在結合表征人類視覺特性的對比敏感度函數的同時，考慮了視覺對比度掩蓋效應，有效利用視覺敏感性特征來指導融合過程，使融合圖像的視覺效果進一步增強。

附圖說明

圖1為基于mannos-skarison函數形式的csf頻率響應曲線。

圖2為本發明融合方法的流程圖。

圖3為紅外圖像、可見光圖像和不同方法獲得的紅外和可見光圖像的融合圖像比較圖。其中，(a)為紅外圖像，(b)為可見光圖像，(c)為lap方法獲得的紅外和可見光圖像的融合圖像，(d)為rolp方法獲得的紅外和可見光圖像的融合圖像，(e)dt-cwt方法獲得的紅外和可見光圖像的融合圖像，(f)本發明方法獲得的紅外和可見光圖像的融合圖像。

具體實施方式

下面結合附圖并舉實施例，對本發明進行詳細描述。

本發明提供了一種基于多尺度對比度的紅外與可見光圖像融合方法，能夠基于計算得到的多尺度對比度，根據各尺度分解細節范圍的不同，分別確定各層尺度信息中紅外圖像的融合權重，設計相應的多尺度信息的融合策略。

基于此，本實施例的具體方案為：

假設輸入的紅外與可見光圖像分別為i^r和i^v，具有視覺敏感性的多尺度對比度計算步驟為：

步驟1：對i^r和i^v分別進行n次連續高斯濾波，得到紅外與可見光多尺度濾波圖像：

其中，σi+1＝2σi，i＝0,1,…,n-1，i0^r＝i^r，i0^v＝i^v，表示標準偏差為σi的高斯函數，“*”表示卷積運算符號，本實施例中，連續高斯濾波次數n＝4，高斯濾波函數初始標準差σ0＝2；

步驟2，計算紅外圖像的多尺度對比度和可見光圖像的多尺度對比度

可以采用現有的多尺度對比度計算方法，根據局部帶限對比度定義，確定紅外圖像的多尺度對比度和可見光圖像的多尺度對比度

考慮到人類視覺對比敏感度函數的作用，本實施例基于人類視覺的對比敏感度函數(csf)，使紅外與可見光融合圖像具有更好的視覺效果，便于人眼觀察。對人類視覺系統的研究表明，人眼只對一定空間頻率的視覺信號刺激較為敏感。對于空間頻率太高的信號，人類視覺很難敏感到有效信息；對于空間頻率太低的信號刺激，人眼的視覺敏感性也較為遲鈍。為了更好地模擬人類視覺系統的這一特性，學者們提出利用對比敏感度函數(csf)來刻畫通常情況下人類視覺對不同空間頻率信號的響應和抑制情況。以r表示信號的空間頻率，θ(r)表示對應空間頻率的敏感度，幾種常用的csf形式為：

1.mannos-skarison函數

2.daly函數

3.ahumada函數

其中，參數ac、fc、as和fs分別取值為ac＝1，fc＝97.32，as＝0.69及fs＝12.17，得到

上述mannos-skarison函數、daly函數和ahumada函數在空間頻率響應上都具有帶通特性。圖1顯示了基于mannos-skarison函數形式的csf曲線形狀。

csf濾波過程為：用f(u,v)表示給定圖像i(x,y)的傅里葉變換，首先基于csf對圖像i(x,y)進行頻率域濾波：其中，θ(r)為csf函數，表示圖像空間頻率；然后對進行傅里葉反變換即可得到csf濾波后的圖像從而提取出空間頻率上視覺對比敏感的圖像信息。csf濾波過程用公式簡單表示為：

本實施例中基于人類視覺的對比敏感度函數(csf)，對紅外圖像的具有視覺敏感性的多尺度對比度和可見光圖像的具有視覺敏感性的多尺度對比度的計算為：

其中，csf(·)表示進行csf濾波，由于經過了csf濾波處理，能夠提取出更符合人類視覺特性的對比度信息。和分別為將紅外和可見光圖像各自相鄰尺度圖像相減得到各尺度分解細節：紅外圖像的各尺度分解細節可見光圖像的各尺度分解細節

進一步地，考慮到視覺的對比度掩蓋效應，將和進行變換，得到更好的紅外和可見光圖像的具有視覺敏感性的多尺度對比度和

其中，參數的取值分別為k＝h＝1，p＝4.4，q＝2，z＝0.001。

步驟3，依據紅外圖像的多尺度對比度和可見光圖像的多尺度對比度以及各尺度分解信息范圍的不同，分別確定圖像融合時，紅外圖像的融合權重wi和紅外圖像的最底層權重wn：

(1)當i＝0時，即在最頂層，為了能夠充分融合進紅外和可見光圖像的最精細尺度紋理信息，直接利用對應的視覺敏感性對比度進行融合信息的選取，從紅外和可見光圖像中選取視覺敏感性最高的紋理細節信息，紅外圖像的融合權重計算式為：

(2)當1≤i≤n-1時，即對于第1層到第n-1層，由于紅外圖像信息主要集中在該尺度范圍內，為了使其更好地融合于可見光圖像，采用一種紅外信息注入的方式計算該尺度范圍內的融合權重，具體方法如下：

首先根據下式計算得到

然后，對ri按下式進行歸一化：

式中，max{ri}表示圖像平面空間內所有ri的最大值；

最后，進行如下的非線性變換，實現紅外信息注入的融合權重，紅外圖像的融合權重計算式為：

其中，“*”表示卷積運算符號，高斯函數用來對sλ(pi)進行平滑處理，本實施例中取σc＝2；非線性變換函數sλ(pi)定義為：sλ(pi)＝arctan(λpi)/arctan(λ)，其中，λ為紅外信息注入系數，作用是增加紅外信息注入時低對比度信息的顯著程度，本實施例中λ＝50。

(3)為了保持圖像的整體對比度，融合權重wn即最底層融合權重wn，由上一層的融合權重計算得到：

其中，“*”表示卷積運算符號，高斯函數的作用是對wn-1進行平滑模糊，使融合權重能夠滿足底層粗糙尺度條件下的信息融合要求，一般取值為σb＝32；

步驟4：根據視覺敏感性對比度確定各尺度紅外圖像的融合權重后，對紅外與可見光各尺度信息進行加權融合，得到最終的融合圖像i^f：

圖2為本發明的具體流程圖。圖3為本發明技術的圖像融合結果及與其它融合方法的比較圖，其中，圖(a)為紅外圖像，圖(b)為可見光圖像，圖(c)、(d)、(e)和(f)分別為lap方法、rolp方法、dt-cwt方法和本發明方法的融合結果。從圖3中可以看出，由于充分利用了符合人類視覺特性的對比敏感度信息，本發明技術將視覺上較為敏感的可見光背景信息和顯著的紅外目標信息都很好地融合進同一幅圖像。與其它方法得到的融合圖像相比，本發明技術得到的融合圖像中的信息在視覺上要更為顯著。

綜上所述，以上僅為本發明的較佳實施例而已，并非用于限定本發明的保護范圍。凡在本發明的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發明的保護范圍之內。