一種基于區域稀疏表示的紅外與可見光圖像融合方法與流程
本發明涉及一種圖像融合方法，尤其是涉及一種基于區域稀疏表示的紅外與可見光圖像融合方法。
背景技術：
圖像融合可以將關于某個具體場景的多個圖像加以綜合，并以符合特定任務需求的方式展現給觀測者或供下一步處理。圖像融合可以使信息覆蓋更廣泛的空間和時間范圍、降低信息的冗余性及不確定性、提升信息的互補性及可靠性，在民用及國防領域都有著重要應用。紅外圖像與可見光圖像的融合是多源圖像融合的重要方面。紅外圖像可以提供較多的目標信息，可見光圖像可以提供較多的背景信息，兩者融合后可以顯著提升觀測者的認知表現。
圖像融合方法可以大體上分為兩類，基于空間域的融合方法與基于變換域的融合方法。基于空間域的融合方法直接對源圖像的像素值進行融合，包括取像素最值，取像素均值及主成分分析等。基于變換域的融合方法對源圖像在變換域中的系數進行融合，再將融合后的系數進行反變換后得到融合圖像。
根據所變換區域的不同，基于變換域的融合方法可以分為全局變換融合與局部變換融合兩種方案，前者對整幅源圖像進行變換和融合處理，包括基于拉普拉斯金字塔的融合方法，基于離散小波變換的融合方法，基于離散余弦變換的融合方法等；后者將源圖像分塊，塊間保留一定的重疊，從上至下，從左至右，逐個對圖像塊進行變換和融合處理，最后將所有圖像塊組裝成融合圖像，包括基于稀疏表示的融合方法、基于特征學習的融合方法等。與采用全局變換融合的方法相比，采用局部變換融合的方法可以更好地保留源圖像中的邊緣信息及對比度，具有更佳的融合效果，近年來引起廣泛關注。
與一般的圖像融合問題相比，紅外與可見光圖像融合有其自身特點。圖像融合的過程實質上就是保留顯著性高的信息、忽略顯著性低的信息的過程。然而，由于特殊的成像機制，紅外圖像畫面模糊、細節缺乏，若僅從局部來看，與可見光圖像中的細節信息相比，紅外圖像中的邊界或輪廓等結構信息普遍具有較低的顯著性。因此，在現有的采用局部變換融合的方法中，這些來自紅外圖像的、重要的結構信息，或是被可見光圖像中的細節信息遮蓋而在融合圖中消失，或是被細節信息分割而在融合圖中表現為不連續的結構。
無論哪一種情況出現在融合圖中，都會對識別任務造成負面影響，應該盡量避免。
技術實現要素：
本發明的目的就是為了克服上述現有技術存在的缺陷而提供一種基于區域稀疏表示的紅外與可見光圖像融合方法，解決了現有融合方法對紅外圖像中的邊界、輪廓等結構信息保留缺乏完整性的問題。
本發明的目的可以通過以下技術方案來實現：
一種基于區域稀疏表示的紅外與可見光圖像融合方法，該方法首先將紅外與可見光圖像分塊；然后檢索出每個圖像塊所在的一致性區域，對一致性區域進行聯合稀疏編碼并據此計算顯著性測度；最后按照顯著性測度對相應圖像塊進行加權融合，把所有的融合圖像塊組裝成融合圖像。
所述的將紅外與可見光圖像分塊時，其塊間設有設定的重疊區域，并按照從上到下、從左到右依次逐個處理圖像塊。
所述的一致性區域檢索時以每個圖像塊為中心，所述的一致性區域是指位于中心圖像塊的半徑為N個像素的搜索范圍之內、與中心圖像塊最相似的一組圖像塊集合，該集合包含中心圖像塊。
所述的圖像塊之間的相似性采用結構相似度進行度量。
所述的結構相似度計算具體如下：
給定兩個大小同為r×r的圖像塊A和B，記和分別為A和B的均值，和分別A和B的方差，σAB為A和B之間的斜方差，則A與B的結構相似度為
SSIM(A,B)即為評價圖像塊A和B之間結構相似度的指數，取值范圍為[-1 1]，值越大越相似，乘積的第一部分為兩圖像塊的相似系數，第二部分為亮度扭曲度，第三部分為對比度扭曲度。
所述的聯合稀疏編碼使來自紅外的圖像塊集合與來自可見光的圖像塊集合在進行稀疏分解時使用相同的字典基，只有系數不同；這能夠保證區域間稀疏編碼的可比較性。
所述的顯著性測度具體計算如下：
圖像塊i的顯著性測度ei定義為
其中，
Si為圖像塊i的相似集，xj為圖像塊i的相似集中的圖像塊j的稀疏編碼，xj,t是xj中的第t個元素，I＝1，當xj,1(l)≠0。
所述的按照顯著性測度對相應圖像塊進行加權融合為：
針對待融合的紅外與可見光圖像塊分別重新進行獨立稀疏編碼，再根據顯著性測度進行加權融合，可以最小化重建誤差。
所述的加權融合具體過程如下：
在稀疏分解前對每個圖像塊都被減去其均值mi，并對系數和均值的融合分別進行處理；
稀疏系數的融合公式為：
均值的融合公式為：
其中，xi(1)、ei(1)表示來自紅外圖像的圖像塊i及其顯著性測度，xi(2)、ei(2)表示來自可將光圖像的圖像塊i及其顯著性測度，k為控制函數平滑度的參數，可以在(0,∞)間選擇，k＝0時，融合公式為取平均值策略；k＝∞時，融合公式為取最大值策略
融合圖像塊由下式得到：
D為聯合稀疏編碼時使用過的字典基。
所述的把所有的融合圖像塊組裝成融合圖像具體為：將所有融合圖像塊按照從上至下、從左至右依次逐個排列成融合圖像，重疊部分取各圖像塊上相應像素的均值。
與現有技術相比，本發明可以保存紅外圖像中局部不顯著、但非局部顯著的結構信息，能夠有效提升融合圖像的結構完整性及區域一致性。
附圖說明
圖1為本發明的工作流程圖；
圖2為實施例使用本發明方法及現有主流融合方法的融合效果對比圖，其中a)和b)分別為模擬伏擊戰情的紅外圖像和可見光圖像，c)為拉普拉斯金字塔方法(LAP)的融合效果圖，d)為平移不變離散小波變換方法(SIDWT)的融合效果圖，e)為基于稀疏表示方法(SR)的融合效果圖，f)為本發明方法的融合效果圖。
具體實施方式
下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本發明的一部分實施例，而不是全部實施例。基于本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動的前提下所獲得的所有其他實施例，都應屬于本發明保護的范圍。
圖2為實施例使用本發明方法及現有主流融合方法的融合效果對比圖。其中，本發明方法的融合效果圖通過以下具體方式實施：
1)將紅外與可見光圖像分塊，塊間保留一定的重疊，從上至下，從左至右，逐個處理圖像塊。本實施例中，紅外與可見光圖像均為256×256像素，所分圖像塊的大小為5×5像素，重疊寬度為2像素。
2)以每個圖像塊為中心，檢索出其所在的一致性區域。所謂一致性區域是指位于中心圖像塊的半徑為N個像素的搜索范圍之內、與中心圖像塊相似的一組圖像塊集合，該集合包含中心圖像塊。圖像塊之間的相似性采用結構相似度進行度量。本實施例中，半徑N為15個像素，每個圖像集合包含了前15個與中心圖像塊最相似的圖像塊。
本實施例中，用于度量圖像塊相似性的結構相似度定義為：
給定兩個大小同為r×r的圖像塊A和B，記和分別為A和B的均值，和分別A和B的方差，σAB為A和B之間的斜方差，則A與B的結構相似度為
SSIM(A,B)即為評價圖像塊A和B之間結構相似度的指數，取值范圍為[-1 1]，值越大越相似。乘積的第一部分為兩圖像塊的相似系數，第二部分為亮度扭曲度，第三部分為對比度扭曲度。
3)對每一對待融合的紅外圖像塊與可見光圖像塊所在的兩個一致性區域進行聯合稀疏編碼，并據此計算顯著性測度。本實施例中，聯合稀疏編碼采用SOMP算法，針對每一對待融合圖像塊，參與聯合稀疏編碼的圖像塊共為30個，其中15個為紅外圖像塊的相似集、15個為可見光圖像塊的相似集。
本實施例中，圖像塊i的顯著性測度ei定義為
其中，
Si為圖像塊i的相似集，xj為圖像塊i的相似集中的圖像塊j的稀疏編碼，xj,t是xj中的第t個元素。I＝1，當xj,1(l)≠0。
本實施例中，聯合稀疏編碼所用到的過完備字典D大小為25×100，預先從來自60幅紅外及可見光圖像的105個樣本塊中使用K-SVD方法學習而得，最大迭代次數為20。
4)針對待融合圖像塊重新進行獨立稀疏編碼，按照顯著性測度對獨立稀疏編碼結果進行加權融合，生成融合圖像塊。本實施例中，獨立稀疏編碼采用OMP算法。
本實施例中，獨立稀疏編碼結果采用如下方法進行加權融合：
為了提高圖像塊稀疏編碼的的穩定性，在稀疏分解前每個圖像塊都被減去其均值mi，因此本實施例對系數和均值的融合分別進行處理。
稀疏系數的融合公式為：
均值的融合公式為：
·(1)表示來自紅外圖像，·(2)表示來自可將光圖像。k為控制函數平滑度的參數，可以在(0,∞)間選擇，k＝0時，融合公式為取平均值策略；k＝∞時，融合公式為取最大值策略，本實施例中k＝100。
融合圖像塊由下式得到：
D為步驟3中使用的過完備字典。
5)把所有的融合圖像塊組裝成融合圖像。將所有融合圖像塊按照從上至下，從左至右，逐個排列成融合圖像，重疊部分取各圖像塊上相應像素的均值。
從圖2可以看出，SR和本發明方法結果圖的對比度和邊緣信息均顯著優于基于多尺度分析的LAP和SIDWT，提供了較好的目標區域的穿透煙霧的觀測效果，并且保留了可見光圖像中的草叢等細節信息。但是相比于本發明方法結果圖中各景物的完整結構，SR的結果圖中出現了明顯的不連續區域，如左下角的草叢區域，并在在煙霧穿透區域產生了斑狀虛假信息。
以上所述，僅為本發明的具體實施方式，但本發明的保護范圍并不局限于此，任何熟悉本技術領域的技術人員在本發明揭露的技術范圍內，可輕易想到各種等效的修改或替換，這些修改或替換都應涵蓋在本發明的保護范圍之內。因此，本發明的保護范圍應以權利要求的保護范圍為準。
- 還沒有人留言評論。精彩留言會獲得點贊！