一種基于多幅具有不同曝光度的LDR圖像的HDR圖像融合方法與流程

本發明屬于圖像處理領域、高動態范圍領域，特別涉及一種基于多幅具有不同曝光度的ldr圖像的hdr圖像融合方法。

背景技術：

動態范圍指的是一個物理測量的最大值與最小值之比，由于傳統的圖片是在一定的曝光下拍攝出來的，因此對比度是有限制的，通過對曝光等級的設置，就會導致在過亮或者過暗區域場景細節的丟失，而這就達不到我們人眼所能觀察到的場景，因此一些細節就會被丟失，我們所獲取的信息就會減少。為了實現我們捕獲的場景更加貼近人眼觀察到的場景，并且提高捕獲的信息以及細節，這就需要我們提高動態范圍，即高動態范圍(highdynamicrange，hdr)。高動態范圍圖片能夠更加準確的記錄真實場景的絕大部分色彩和光照信息，并能表現出豐富的色彩細節和明暗層次，而且能夠提供更高的對比度、更豐富的信息和更真實的視覺感受，能更好地匹配人眼對現實世界場景的認知特性。正因為如此，hdr技術可以被應用于對圖像質量要求較高的領域，如醫學影像、視頻監控、衛星遙感和計算機視覺等領域中。

目前，高動態范圍圖像生成方法的研究已經有很多，例如：mann和picard首先使用多幅曝光時間不同的圖像來生成hdr圖像，goshtasby等人提出了基于最優塊的圖像融合算法，但是容易產生塊效應，mertens等人提出了基于拉普拉斯金字塔的圖像融合算法，li等人提出了基于離散小波的圖像融合算法。

本文是在mertens等人提出了基于拉普拉斯金字塔的圖像融合算法的基礎上，利用梯度金字塔，修改權重函數，得到一種新的基于多曝光ldr圖像的hdr圖像融合模型。

技術實現要素：

為了克服現有技術存在的缺陷，本發明提出了一種基于多幅具有不同曝光度的ldr圖像的hdr圖像融合方法，考慮圖像明暗區域的權重進行圖像融合，并且融合的過程采用梯度金字塔。

本發明的一種基于多幅具有不同曝光度的ldr圖像的hdr圖像融合方法，該方法包括以下步驟：

步驟一、對輸入的多幅具有不同曝光度的ldr圖像進行明暗區域的劃分，依據各區域中的圖像的對比度、飽和度、曝光度以及亮度，計算圖像的標量權重圖：

其中，ij,k表示輸入的多曝光圖像序列中第k個圖像(i,j)處的像素點，ωc、ωs、ωe、ωl分別表示用于控制的對比度測量因子c、飽和度測量因子s、曝光度測量因子e、亮度測量因子l對標量權重圖w的影響程度，然后，對其進行歸一化處理，得到n個多曝光圖像中第k個圖像(i,j)處的像素點的權重為：

其中，n代表多曝光圖像序列的圖像數，wij,k表示輸入的多曝光圖像序列中第k個圖像在像素點(i,j)處的標量權重值，表示輸入的多曝光圖像序列中第k個圖像在像素點(i,j)處權重值；

步驟二、使用梯度金字塔來分解圖像，以多分辨率的方式來融合圖像：

將n幅多曝光圖像序列分別進行拉普拉斯金字塔分解，將n幅權重圖分別進行高斯金字塔分解，得到不同分辨率的圖像和權重圖，并記圖像a的第l層拉普拉斯金字塔分解為l{a}^l，記圖像b的第l層高斯金字塔分解為g{b}^l；得到融合公式如下：

其中，n表示輸入的多曝光圖像總數，i表示輸入的多曝光圖像，ij表示像素點(i,j)處，l表示進行拉普拉斯金字塔分解或者高斯金字塔分解時的層，表示歸一化的權重圖，r表示金字塔分解后的第l層圖像，表示金字塔分解后的第l層圖像r在像素點(i,j)處的像素值；

對圖像進行梯度金字塔分解，具體步驟如下：

將輸入的多幅不同曝光度的圖像中第k幅圖像定義為g0，對其進行高斯金字塔分解，并將g0定義為高斯金字塔的最底層；然后，對得到的高斯金字塔的最頂層除外的各個分解層分別在水平方向、45°對角線方向、垂直方向和135°對角線方向進行梯度濾波；濾波后得到圖像的梯度金字塔：

其中，gplm表示第l層第m方向的梯度金字塔形圖像,gl表示圖像進行高斯金字塔分解后的第l層圖像，dm表示第m方向上的梯度濾波算子，表示一個3×3的核矩陣；m表示金字塔分解的層數；

利用梯度濾波后獲取的梯度金字塔，得到最終融合公式為：

其中，n表示輸入的多曝光圖像總數，i表示輸入的多曝光圖像，ij表示像素點(i,j)處，l、m分別表示進行梯度金字塔分解時的層和方向，表示歸一化的權重圖，r表示金字塔分解后的第l層m方向上的圖像，表示金字塔分解后的第l層m方向上的圖像r在像素點(i,j)處的像素值；

在得到第l層第m方向的梯度金字塔形圖像之后，對其進行梯度金字塔逆變換，從而恢復出生成的圖像；具體步驟如下：

首先將圖像的梯度金字塔轉換為圖像的方向拉普拉斯金字塔，公式如下：

其中，lplm表示第l分解層中位于m方向的拉普拉斯金字塔圖像；

然后，將圖像的方向拉普拉斯金字塔變換為圖像的fsd(filtersubtractdecimate)拉普拉斯金字塔：

接下來，將圖像的fsd拉普拉斯金字塔轉換為對應的拉普拉斯金字塔：

其中，w為5×5的窗口函數，為固定的矩陣；

最后，再將其進行拉普拉斯逆變換，得到生成的hdr圖像。

所述步驟一中圖像亮暗區域的劃分包括以下操作：

將輸入的多幅具有不同曝光度的ldr圖像，依次記為為最暗圖像、較暗圖像、正常圖像、較亮圖像、最亮圖像；

使用圖像直方圖的中間亮度lmiddle將圖像劃分為兩個區域，用這兩個區域的亮度中間值llow和lhigh將它們再分成兩個部分，最終將整幅圖像劃分成了四個子區域r1，r2，r3和r4，最暗區域到最亮區域的過渡；

對于每個子區域r1，r2，r3和r4，利用公式lmed＝0.5*(lmax-lmin)，求出各個區域的平均亮度值，記為其中i＝1,2,3,4；

將最暗圖像的平均亮度值lmed,1設為對于較暗的圖像的平均亮度值lmed,2設為對于正常圖像的平均亮度值lmed,3設為對于較亮圖像的平均亮度值lmed,4設為對于對于最亮圖像i5的平均亮度值lmed,5設為lmed,r1；保留較暗圖像中的較亮區域的細節，以及較亮圖像中的較暗區域的細節；

為最亮圖像和最暗圖像設定較大的αk，以減弱最亮圖像和最暗圖像對融合圖像的影響；最亮圖像和最暗圖像αk的值設為0.1，其他圖像αk的值設為1。

與現有技術對比，本發明具有以下優點：

(1)、由于融合的過程采用梯度金字塔而不是拉普拉斯金字塔，因此增加了圖像的方向和邊緣信息，使得生成的hdr圖像效果更好；

(2)再求權重的時候考慮到了圖像的亮度信息，使得生成的hdr圖像色彩更鮮明、對比度更高、圖像細節更清晰；

(3)對于hdr圖像領域有很好的借鑒意義。

附圖說明

圖1為多幅曝光ldr圖像生成算法框圖圖1算法框圖；

圖2為輸入的多幅具有不同曝光度的圖像；

圖3為融合后的hdr圖像。

具體實施方式

下面結合附圖對本發明作進一步詳細描述。

步驟1：權重圖計算，：

對于同一場景，由于生成的圖像中有的區域曝光過度或者曝光不足，因此會形成平滑區域和不飽和區域，這些區域包含的信息較少，應給予較小的權重，而感興趣的區域應給予較大的權重。因此，首先根據圖像的對比度、飽和度以及曝光度，計算圖像的權重圖。

對比度：對每幅圖像的灰度圖進行拉普拉斯濾波，將得到的結果的絕對值作為對比度測量因子c。

飽和度：將每幅圖像r、g、b通道的標準差作為飽和度測量因子s。

曝光度：使用高斯曲線：(其中，σ＝0.2)來衡量r、g、b通道各個像素值i的大小距離0.5的遠近程度(靠近0表示曝光不足，靠近1表示曝光過度)，然后將三個通道的結果相乘得到曝光度測量因子e。

最終，得到圖像的標量權重圖w：

其中，ij,k表示輸入的多幅具有不同曝光值的圖像組成的多曝光圖像序列中第k幅圖像(i,j)處的像素點。ωc、ωs、ωe分別用于控制的對比度測量因子c、飽和度測量因子s、曝光度測量因子e對標量權重圖w的影響程度，該算法中取ωc＝ωs＝ωe＝1。將公式(1)進行歸一化，得到n個多曝光圖像序列中第k幅圖像(i,j)處的像素點的權重為：

本發明在前三個測量因子的基礎上，引入了亮度信息作為測量因子，從而實現更高動態范圍的圖像。為了揭示明亮圖像中黑暗區域的細節和較暗圖像中明亮區域的細節，因此不同曝光度的圖像應該賦予不同的加權函數，如下所示：

其中，lmed,k表示第k幅輸入圖像的平均亮度，αk表示一個用于調節的常數，用來調整第k幅圖像的亮度測量因子高斯曲線的斜率：當αk的值較小時，權重值變化較快；當αk的值較大時，權重值變化較慢；lk(i,j)表示第k幅輸入圖像在坐標(i,j)處的亮度，lij,k表示第k幅輸入圖像在坐標(i,j)處的權重值。

公式(3)中表明，亮度值接近lmed,k的像素點將會被給予到較大的權重值，而遠離lmed,k的像素點將會被給予到較小的權重值。為了保留較暗圖像中的較亮區域的細節，因此對于較暗圖像來說，選擇較亮區域的平均亮度值作為lmed,k。相似地，為了保留較亮圖像中的較暗區域的細節，選擇較暗區域的平均亮度值作為lmed,k。

圖像亮暗區域的劃分包括以下操作：

1)輸入5幅具有不同曝光度的ldr圖像，記為i1,…,i5，依次為最暗圖像、較暗圖像、正常圖像、較亮圖像、最亮圖像；

2)局部區域劃分：基于曝光度良好圖像的直方圖分布，即圖像中正常圖像i3的直方圖分布。首先，使用圖像直方圖的中間亮度lmiddle將圖像劃分為兩個區域，用這兩個區域的亮度中間值llow和lhigh將它們再分成兩個部分；這樣，就將整幅圖像劃分成了四個子區域，記為r1，r2，r3和r4，最暗區域到最亮區域的過渡。

3)對于每個子區域，利用公式lmed＝0.5*(lmax-lmin)，求出各個區域的平均亮度值，記為其中i＝1,2,3,4。

4)將最暗圖像i1的平均亮度值lmed,1設為對于較暗的圖像i2的平均亮度值lmed,2設為對于正常圖像i3的平均亮度值lmed,3設為對于較亮圖像i4的平均亮度值lmed,4設為對于對于最亮圖像i5的平均亮度值lmed,5設為lmed,r1；保留較暗圖像中的較亮區域的細節，以及較亮圖像中的較暗區域的細節，為此，

5)為最亮圖像和最暗圖像設定較大的αk，以減弱最亮圖像和最暗圖像對融合圖像的影響。經過實驗確定，最亮圖像和最暗圖像αk的值設為0.1，其他圖像αk的值設為1。

至此，最終的權重函數為：

其中，ij,k表示輸入的多曝光圖像序列中第k個圖像(i,j)處的像素點。ωc、ωs、ωe、ωl分別用于控制的對比度測量因子c、飽和度測量因子s、曝光度測量因子e、亮度測量因子l對標量權重圖w的影響程度，該算法中取ωc＝ωs＝ωe＝ωl＝1。然后，對其進行歸一化處理，得到n個多曝光圖像中第k個圖像(i,j)處的像素點的權重為：

其中，n代表多曝光圖像序列的圖像數，wij,k表示輸入的多曝光圖像序列中第k個圖像在像素點(i,j)處的標量權重值，表示輸入的多曝光圖像序列中第k個圖像在像素點(i,j)處權重值。

步驟2：多幅不同曝光度的圖像融合

在本發明中，使用金字塔來分解圖像，以多分辨率的方式來融合圖像。首先，將n幅多曝光圖像序列分別進行拉普拉斯金字塔分解，將n幅權重圖分別進行高斯金字塔分解，得到不同分辨率的圖像和權重圖，并記圖像a的第l層拉普拉斯金字塔分解為l{a}^l，記圖像b的第l層高斯金字塔分解為g{b}^l。得到融合公式如下：

其中，n表示輸入的多曝光圖像總數，i表示輸入的多曝光圖像，ij表示像素點(i,j)處，l表示進行拉普拉斯金字塔分解或者高斯金字塔分解時的層，表示歸一化的權重圖，r表示金字塔分解后的第l層圖像，表示金字塔分解后的第l層圖像r在像素點(i,j)處的像素值。

圖像的梯度金字塔和拉普拉斯金字塔均為圖像的多尺度、多分辨率分解，并且提供了圖像的方向和邊緣信息，這使得梯度金字塔能夠提供尤其豐富的內容。因此，提出了對圖像進行梯度金字塔分解，該算法效果更好，具體步驟如下。

將輸入的多幅不同曝光度的圖像中第k幅圖像定義為g0，對其進行高斯金字塔分解，并將g0定義為高斯金字塔的最底層。然后，對得到的高斯金字塔的各個分解層(最頂層除外)分別在水平方向、45°對角線方向、垂直方向和135°對角線方向進行梯度濾波。濾波后的圖像的金字塔叫做梯度金字塔：

其中，gplm表示第l層第m方向的梯度金字塔形圖像,gl表示圖像高斯金字塔的第l層圖像，dm表示第m方向上的梯度濾波算子，表示一個3×3的核矩陣，m表示金字塔分解的層數。

由此得出，通過梯度濾波后獲取的梯度金字塔，在它的每一分解層上(最高層除外)都包含水平、垂直以及兩個對角線方向上的細節和邊緣內容的分解后的圖像。最終融合公式為：

其中，n表示輸入的多曝光圖像總數，i表示輸入的多曝光圖像，ij表示像素點(i,j)處，l、m分別表示進行梯度金字塔分解時的層和方向，表示歸一化的權重圖，r表示金字塔分解后的第l層m方向上的圖像，表示金字塔分解后的第l層m方向上的圖像r在像素點(i,j)處的像素值；

在得到第l層第m方向的梯度金字塔形圖像之后，對其進行梯度金字塔逆變換，從而恢復出生成的圖像。具體步驟如下：

首先將圖像的梯度金字塔轉換為圖像的方向拉普拉斯金字塔，公式如下：

其中，lplm表示第l分解層中位于m方向的拉普拉斯金字塔圖像。

然后，將圖像的方向拉普拉斯金字塔變換為圖像的fsd(filtersubtractdecimate)拉普拉斯金字塔：

接下來，將圖像的fsd拉普拉斯金字塔轉換為對應的拉普拉斯金字塔：

其中，w為5×5的窗口函數，為固定的矩陣。

最后，再將其進行拉普拉斯逆變換就可以得到生成的hdr圖像。

本發明以輸入五幅多曝光圖像作為最佳實施方式，即n＝5，ωc＝ωs＝ωe＝ωl＝1，

按照上述算法的步驟對輸入的多曝光圖像進行圖像融合，從而可以生成hdr圖像。實驗結果如圖3所示：從圖2與圖3中可以發現，對于輸入圖像來說，較暗的圖像門外的景象細節更好，而較亮的圖像中屋內的景象細節更清晰，但是都有不足之處。經過本文算法的合成，發現本文算法可以將較暗圖像的屋外細節與較亮圖像的屋內細節保留并融合到一起。通過圖3可以發現，本文的算法合成的圖像細節更清晰，更符合人眼所觀察到的場景。