一種紅外與可見光圖像融合質量評價方法與流程
本發明涉及圖像融合質量評價領域，尤其涉及一種紅外與可見光圖像融合質量評價方法。
背景技術：
紅外與可見光圖像融合是圖像融合的重要分支，也是目前圖像融合研究的重點。紅外傳感器是通過熱輻射成像，有利于突出場景中的目標區域，但不能很好地表征場景細節特征；可見光傳感器通過物體反射成像，能夠提供目標所在場景的細節信息。因此，紅外與可見光圖像融合不僅具有良好的紅外圖像的目標特征，而且還能很好地保留可見光圖像的細節信息。相對于發展迅速的圖像融合技術，融合圖像質量評價發展相對緩慢。圖像融合質量評價不僅可以比較融合方法性能優劣，還可以作為指導融合方法改進的依據。因此，紅外與可見光圖像融合質量評價方法對后續融合圖像的應用至關重要。
經過對現有技術的檢索發現，中國專利文獻號cn103049893a，公開日2013.04.17，公開了一種圖像融合質量評價的方法及裝置，包括以下步驟：步驟1)獲取各源圖像及所述源圖像的融合圖像；步驟2)對各源圖像采用模糊聚類方法進行分割得到分割圖像，并將各分割圖像合并為一個總的分割圖；步驟3)獲取各源圖像的視覺方差顯著圖，根據視覺方差顯著圖計算權值圖，并根據視覺方差顯著圖和總的分割圖計算源圖像和融合圖像各區域的顯著系數；步驟4)根據總的分割圖、權值圖和顯著系數，計算各個區域上融合圖像與源圖像的加權結構相似度；步驟5)將所有區域的加權結構相似度求和得到該融合圖像質量的評價指標。
中國專利文獻號cn104008543a，公開日2014.08.27，公開了一種圖像融合質量評價方法，包括以下步驟：步驟1)獲取源圖像：要求源圖像時間上同步、空間上覆蓋同一區域；步驟2)圖像預處理步驟：采用二次多項式配準，最近鄰內插法重采樣；步驟3)圖像融合：對源圖像采用多尺度分析和成分替換法相結合的融合方法，得到不同融合方法下的融合圖像；步驟4)融合質量評價：計算出融合圖像與源圖像間的交叉熵和結構相似度，建立交叉熵和結構相似度加權函數模型，計算預設權值下的融合質量評價總值。
雖然上述兩種技術能夠評價融合圖像質量，但是它們在紅外與可見光圖像融合質量評價表現不佳，分析其原因在于：
1.上述兩種技術均是通過計算源圖像與融合圖像間的相似度評價融合圖像質量，這兩種技術均忽略了融合圖像本身的細節特征；
2.紅外與可見光圖像融合的主要目的之一是保留紅外源圖像的目標特征，但上述兩種技術均沒有針對融合圖像的目標特征進行評價；
3.一種圖像融合質量評價的方法及裝置(中國專利文獻號cn103049893a)采用模糊聚類方法分割紅外圖像，但該分割方法對復雜背景干擾的圖像及低信噪比圖像不能正確分割，影響后續的評價結果；
4.一種圖像融合質量評價方法(中國專利文獻號cn104008543a)和一種圖像融合質量評價的方法及裝置(中國專利文獻號cn103049893a)均采用結構相似度計算融合圖像與源圖像間的相似度，以此評價融合圖像質量。但當兩幅圖像較為模糊時，分別應用這兩種技術獲得的圖像融合質量評價結果與主觀評價具有較差的一致性。
因此，尋求一種能夠反映融合圖像全局細節特征和局部目標特征，且與主觀評價具有較高一致性的紅外與可見光圖像融合質量評價方法，對評價紅外與可見光圖像融合質量的好壞是至關重要的。
技術實現要素：
本發明針對現有技術存在的上述不足，提出了一種紅外與可見光圖像融合質量評價方法。
本發明為解決上述技術問題采用以下技術方案：
一種紅外與可見光圖像融合質量評價方法，包含以下步驟：
步驟1：獲取紅外源圖像a、可見光源圖像b及融合圖像f；
步驟2：計算融合圖像的全局細節特征指標；
步驟3：計算融合圖像的局部目標特征指標；
步驟4：將融合圖像的全局細節特征指標和局部目標特征指標進行加權求和，得到融合圖像質量評價指標。
作為本發明一種紅外與可見光圖像融合質量評價方法進一步的優化方案，步驟2中所述計算融合圖像的全局細節特征指標，其詳細過程為：
步驟2.1：計算融合圖像f的梯度幅度值
對于融合圖像f，計算其水平梯度
這里，將二者之和作為梯度：
步驟2.2：計算融合圖像梯度幅度信息熵，并將其作為融合圖像全局細節特征指標rglobal。
其中，pi表示融合圖像梯度圖中灰度值為i的像素出現的概率，l為圖像的灰度等級。
作為本發明一種紅外與可見光圖像融合質量評價方法進一步的優化方案，步驟3中所述計算融合圖像的局部目標特征指標，其詳細過程為：
步驟3.1：紅外源圖像和融合圖像的區域劃分
采用基于頻率域的顯著區域提取方法將紅外源圖像劃分為目標區域和背景區域，基于頻率域的顯著區域提取方法步驟如下：
采用高斯帶通濾波器抽取紅外源圖像的顯著特征，高斯帶通濾波器定義如下：
其中，σ1,σ2(σ1＞σ2)是高斯濾波器的標準方差。
為了盡可能地獲得低頻段的所有頻率值，σ1設置為無窮大；為了去掉圖像的高頻噪聲和紋理信息，選擇先用小高斯核濾波器擬合離散的高斯值。
利用下式計算圖像的顯著度圖s：
s(x,y)＝|aμ-awhc(x,y)|
式中，aμ為紅外源圖像灰度平均值；awhc(x,y)為紅外源圖像經高斯濾波后的圖像；||是l1范數。
采用區域生長法對紅外源圖像的目標和背景進行分割，具體步驟如下：1)在顯著度圖中選擇灰度值最大的點作為種子點；2)以種子點為中心，考慮其4鄰域像素點，如果滿足生長規則，將其合并。以鄰域像素點與已分割區域灰度均值的差作為相似性測度，把差值最小的鄰域相似點合并到分割區域；3)當相似性測度大于分割閾值時，則停止生長。
步驟3.2：計算融合圖像目標區域與紅外源圖像目標區域間的邊緣結構相似度essim(alocal,flocal)
式中，
步驟3.3：計算融合圖像的目標與背景間的對比度
首先，計算融合圖像的亮度均值減損對比歸一化系數(簡稱mscn系數)，其計算公式如下：
式中，常數c是為避免圖像平坦區分母趨向于零時發生不穩定；
其次，計算目標與背景間的韋伯對比度，計算公式為：cw＝|lt-lb|/lb
其中，lt和lb分別為目標區域和鄰近背景區域中像素的mscn系數的平均值。
步驟3.4計算融合圖像的局部目標特征評價指標
將融合圖像目標區域與紅外源圖像目標區域間的邊緣結構相似度essim(alocal,flocal)和融合圖像的目標與背景間的對比度cw相加，獲得融合圖像的局部目標特征評價指標rlocal，即：
rlocal＝essim(alocal,flocal)+cw
本發明采用以上技術方案與現有技術相比，具有以下技術效果：
1.本發明既考慮了紅外與可見光圖像融合的全局細節特征，又考慮了融合圖像的目標特征，體現了紅外與可見光圖像融合的融合目的；
2.本發明采用基于頻率域的顯著區域提取方法將紅外源圖像劃分為目標區域和背景區域，對于有復雜背景干擾的圖像及低信噪比圖像能夠正確分割；
3.本發明首先計算融合圖像的mscn系數，用于模擬人類視覺的對比度增益掩蓋過程，最后計算目標與背景間韋伯對比度，能有效實現融合圖像目標與背景感知對比度的客觀評價；
4.本發明采用邊緣結構相似度計算融合圖像目標區域與紅外源圖像目標區域間的相關性，在一定程度上，能有效評價較為模糊的紅外與可見光圖像融合質量。
5.通過仿真實驗驗證，本發明的紅外與可見光圖像融合質量評價方法具有較高的主觀一致性，能更好的反映紅外與可見光圖像融合的質量。
附圖說明
圖1是本發明提供的一種紅外與可見光圖像融合質量評價方法的流程圖；
圖2是本發明提供的融合圖像及其梯度幅度圖和梯度幅度直方圖；
圖3是本發明提供的紅外源圖像和融合圖像的分割圖像；
圖4是本發明提供的第一組源圖像及融合圖像；
圖5是本發明提供的第二組源圖像及融合圖像；
圖6是本發明提供的第三組源圖像及融合圖像；
圖7是本發明提供的第四組源圖像及融合圖像。
具體實施方式
為了使本發明的目的、技術方案及優點更加清楚明白，以下結合附圖，對本發明進行詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發明，并不用于限定本發明。
結合圖1，本發明公開了一種紅外與可見光圖像融合質量評價方法，包含以下步驟：
步驟1：獲取紅外源圖像a、可見光源圖像b及融合圖像f；
步驟2：計算融合圖像的全局細節特征指標rglobal；
圖像的梯度信息是圖像中人眼敏感程度較高的內容，可以將其作為表征圖像細節信息的一種特征。
對于融合圖像f，計算其水平梯度
將二者之和作為融合圖像的梯度：
圖2給出了融合圖像及其梯度幅度圖和梯度幅度直方圖，其中,圖2a是基于均值法(ave)的圖像融合，它所對應的梯度幅度圖和梯度幅度直方圖分別見圖2b和圖2c；圖2d是基于拉普拉斯金字塔(lap)的圖像融合，其對應的梯度幅度圖和梯度幅度直方圖分別見圖2e和圖2f。
分析圖2可知，圖2d的紋理豐富、分辨率高、圖像對比度明顯，質量優于圖2a。相應地，雖然兩幅融合圖像對應的梯度直方圖的形狀均是一個窄的單峰，且最高峰靠近梯度值為零的方向，但它們的寬窄和灰度動態范圍存在明顯不同：1)圖2f的峰型較圖2c的峰型緩；2)最高峰值不同，圖2c的最高峰值為14000，圖2f的最高峰值不到8000；3)灰度級動態范圍不同，圖2f的灰度動態范圍較圖2c寬，其包含的信息更加豐富。
應用梯度直方圖可以定量評價融合圖像的細節豐富程度。直方圖是從概率的角度研究圖像梯度的特征，通過計算融合圖像梯度信息熵定量分析融合圖像細節豐富程度。融合圖像全局細節特征指標公式如下所示：
其中，pi表示融合圖像梯度圖中灰度值為i的像素出現的概率，l為圖像的灰度等級。
步驟3：計算融合圖像的局部目標特征指標rlocal；
計算融合圖像的局部目標特征指標rlocal的具體步驟如下：
步驟3.1：紅外源圖像和融合圖像的區域劃分
采用基于頻率域的顯著區域提取法將紅外源圖像劃分為目標區域和背景區域，基于頻率域的顯著區域提取法的具體步驟如下：
采用高斯帶通濾波器抽取紅外源圖像的顯著特征，高斯帶通濾波器定義如下：
其中，σ1,σ2(σ1＞σ2)是高斯濾波器的標準方差。為了盡可能地獲得低頻段的所有頻率值，σ1設置為無窮大；為了去掉圖像的高頻噪聲和紋理信息，選擇先用小高斯核濾波器擬合離散的高斯值。
利用下式計算圖像的顯著度圖s：
s(x,y)＝|aμ-awhc(x,y)|
式中，aμ為紅外源圖像灰度平均值；awhc(x,y)為紅外源圖像經高斯濾波后的圖像；||是l1范數。
采用區域生長法對紅外源圖像的目標和背景進行分割，具體步驟如下：1)在顯著度圖中選擇灰度值最大的點作為種子點；2)以種子點為中心，考慮其4鄰域像素點，如果滿足生長規則，在將其合并。以鄰域像素點與已分割區域灰度均值的差作為相似性測度，把差值最小的鄰域相似點合并到分割區域；3)當相似性測度大于分割閾值時，則停止生長。
圖3給出了紅外源圖像和融合圖像的分割圖像，其中圖3a～圖3c分別為紅外源圖像、ave融合圖像(經均值法獲得的融合圖像)、lap融合圖像(經拉普拉斯金字塔獲得的融合圖像)，圖3d～圖3f分別為它們各自的區域分割圖。
從圖3可以看出，該方法有效提取了紅外圖像的目標區域，見圖3d所示；將目標區域的劃分結果分別映射到ave融合圖像和lap融合圖像，兩幅融合圖像的目標區域分割分別見圖3e和圖3f所示。從人眼觀測可知，雖然ave融合圖像和lap融合圖像都能檢測出熱目標，但lap融合方法的目標特征更好地保留了紅外圖像的目標特征，其融合質量優于ave融合方法。
步驟3.2：計算融合圖像目標區域與紅外源圖像目標區域間的邊緣結構相似度
式中，
步驟3.3：計算融合圖像的目標與背景間的對比度
首先，計算融合圖像的亮度均值減損對比歸一化系數(簡稱mscn系數)，其計算公式如下：
式中，常數c是為避免圖像平坦區分母趨向于零時發生不穩定；
其次，計算目標與背景間的韋伯對比度，計算公式為：cw＝|lt-lb|/lb。其中，lt和lb分別為目標區域和鄰近背景區域中像素的mscn系數的平均值。
步驟3.4：計算融合圖像的局部目標特征評價指標rlocal
將區域邊緣結構相似度essim(alocal,flocal)和融合圖像的目標與背景間的對比度cw相加，獲得融合圖像的局部目標特征評價指標rlocal，即：rlocal＝essim(alocal,flocal)+cw。
步驟4：將融合圖像的全局細節特征指標和局部目標特征指標進行加權求和，得到融合圖像質量評價指標，計算公式為：r＝w1rglobal+w2rlocal
式中，w1,w2分別為全局細節特征rglobal和局部目標特征rlocal的權重，通常取w1＝0.6,w2＝0.4。
評價標準：評價指標r值越大，表示紅外與可見光圖像融合質量越優；反之，表示紅外與可見光圖像融合質量越差。
本發明給出了基于一定仿真條件下的仿真結果圖，體現出本發明技術方案獲得的有益效果。
本發明首先對四組紅外與可見光源圖像采用均值法(ave)、主成分分析方法(pca)、拉普拉斯金字塔方法(lap)和離散小波(dwt)進行融合，再利用本發明一種紅外與可見光圖像融合質量評價方法對融合圖像進行評價。
本發明選取其中具有代表性的4組紅外與可見光源圖像及融合圖像進行展示，分別見圖4—圖7所示，其中，圖中a、b分別為嚴格配準的紅外與可見光源圖像，圖中c-f分別應用ave、pca、lap、dwt獲得的融合圖像。
表1給出了上述4組紅外與可見光圖像融合的評價值。
表1四組紅外與可見光圖像融合質量評價值
從表1可以看出：1)在圖4中，lap融合方法的質量最優，其次是dwt融合方法；2)在圖5中，dwt融合方法質量最優，其次是lap融合方法。雖然pca融合方法獲得的融合圖像細節比較豐富，但是它的局部目標特征質量較差，導致融合圖像的整體質量較差。3)在圖6和圖7中，均是dwt融合方法最優，其次是lap融合方法。
綜合可知，采用dwt或者lap融合方法獲得的融合圖像質量較好。這是因為：一方面，由于小波分析方法考慮到了多分辨率的特性，無論從算法的合理性還是人眼主觀評價等方面均優于ave融合方法和pca融合方法；另一方面，從圖4—圖7可以看出，dwt融合方法和lap融合方法均優于ave融合方法和pca融合方法。因此，本發明是有效的，其結果與主觀評價結果具有較好的一致性。
通過表1可以看出：本發明既可以評價紅外與可見光融合圖像的全局細節特征和局部目標特征，也可以評價融合圖像的整體特征，兼顧了實際評價過程中的通用性和特殊性要求，對進一步改進紅外與可見光圖像融合方法具有一定的指導作用。
- 還沒有人留言評論。精彩留言會獲得點贊！