基于聯合稀疏模型的邊緣清晰圖像融合方法
【專利摘要】基于聯合稀疏模型的邊緣清晰圖像融合方法，本發明涉及聯合稀疏模型技術領域，其旨在解決現有技術融合算法結構不能夠利用對融合圖像有幫助的高頻源圖像信息，忽略了重要圖像細節信息且其融合圖像也不能體現出清晰的邊緣輪廓等技術問題。本發明利用聯合稀疏模型能夠準確地分離出多模態圖像之間互補信息的特征，設計新的融合規則、提出了一種新的基于聯合稀疏模型的多模態圖像融合算法。
【專利說明】
基于聯合稀疏模型的邊緣清晰圖像融合方法
技術領域
[0001] 本發明涉及聯合稀疏模型技術領域，具體涉及基于聯合稀疏模型的邊緣清晰圖像 融合方法。
【背景技術】
[0002] 現有聯合稀疏模型技術，其灰度分散程度低，且沒有利用到圖片的高頻或邊緣信 息。本發明利用聯合稀疏模型能夠準確地分離出多模態圖像之間互補信息的特征，提出了 一種新的基于聯合稀疏模型的多模態圖像融合算法。
【發明內容】
[0003] 針對上述現有技術，本發明目的在于提供，其旨在解決現有技術融合算法結構不 能夠利用對融合圖像有幫助的高頻源圖像信息，忽略了重要圖像細節信息且其融合圖像也 不能體現出清晰的邊緣輪廓等技術問題。
[0004] 為達到上述目的，本發明采用的技術方案如下：
[0005] 基于聯合稀疏模型的邊緣清晰圖像融合方法，其步驟包括
[0006] 步驟1、獲取幾何配準的第一源圖像Xa和第二源圖像Xb，RM ;
[0007] 步驟2、利用滑窗技術，對第一源圖像和第二源圖像分別進行圖像分塊，并通過N維 列向量表示圖像塊< ,圖像塊4為源圖像分塊矩陣Xj第i列列向量，j =A、B，i = 1、2……K，K 為一幅源圖像的圖像塊總數；
[0008] 步驟3、計算出每個圖像塊< 各自灰度的均值并對每個圖像塊X；分別作去均值 處理，得到去均值圖像塊^，再根據基追蹤算法求解出過完備字典D下的共同稀疏系數彳和 不同稀疏系數;
[0009] 步驟4、將去均值圖像塊$、共同稀疏系數Sf和不同稀疏系數<1,代入高頻信息 保留融合規則中計算，得到融合系數氣;
[0010] 步驟5、根據過完備字典D和融合系數％，計算出融合圖像塊：4 ,融合圖像塊：4為 融合圖像分塊矩陣Xf第i列列向量；
[0011]步驟6、再次利用滑窗技術，對所有融合圖像塊4進行變換處理，獲得融合圖像 Xf〇
[0012] 上述方案中，所述的步驟2，使兩幅源圖像分別變成大小為（況-A +1)X(M - W +1) 和'的圖像分塊矩陣&，然后對應分別轉換為N維列向量形式的圖像塊X丨。
[0013] 上述方案中，所述的步驟3,其中基追蹤算法如下：
[0014]
[0015] S為稀疏系數向量，X為圖像塊向量，D為過完備字典D構成的共輒矩陣，"fPII。為 最小化稀疏系數向量S的0范數，S.t表牙
的限制條件，丨IX-Bsll2為 X-&S1的2范數，ε為誤差容限且00。
[0016] 上述方案中，所述步驟3,通過正交匹配追蹤對基追蹤算法公式求解，得到共同稀 疏系數< 和不同稀疏系I
[0017] 上述方案中，所述步驟4,其中步驟包括
[0018] 步驟4.1、分別獲得兩幅源圖像的圖像塊均值矩陣mA、mb;
[0019] 步驟4.2、將源圖像分塊矩陣^、幼分別對應減去圖像塊均值矩陣_、!^，得到去均 值圖像塊矩陣:
[0020] 步驟4.3、再通過高頻信息保留融合規則，得到融合系數SFl，該高頻信息保留融合 規則為
[0021]
[0022]
[0023]
[0024]
[0025] β為常系數。
[0026] 上述方案中，所述步驟5,其中步驟包括
[0027] 步驟5.1、根據融合系數\，得到中間量
[0028]
[0029]
[0030]
[0031] 得到融合圖像塊$。
[0032] 上述方案中，所述步驟6,對所有融合圖像塊&進行變換處理后，再通過加權平均 處理獲得融合圖像Xf。
[0033] 與現有技術相比，本發明的有益效果：
[0034] 根據聯合稀疏模型，提出一種新的基于聯合稀疏表示的多模態邊緣清晰圖像融合 方法;不僅利用聯合稀疏模型將同一場景的多模態圖像的私有部分融合在一起，而且在選 取融合策略時，既關注待融合圖像的低頻成分，又考慮了高頻成分。
[0035] 本發明算法得到的融合圖像灰度分散程度較高，獲得的融合圖像與源圖像的相似 性高于現有技術方法，更加突出融合圖像的邊緣信息;本發明算法不僅可以較優的融合紅 外和可見光信息，而且融合后的圖像的邊緣信息更加突出；亮度高于現有技術方法。
【附圖說明】
[0036] 圖1為現有技術聯合稀疏表示模型框架；
[0037] 圖2為本發明部分訓練圖像集示意圖；
[0038] 圖3為本發明聯合稀疏模型的邊緣清晰圖像融合算法流程圖；圖4為本發明2組紅 外與可見光源圖像；
[0039]圖5為本發明3組醫學源圖像；
[0040]圖6為本發明al組圖像作用在各種方法上的客觀評價指標；
[00411圖7為本發明各算法作用在a 1組圖像的融合結果圖，（a)DWT的融合圖像，（b)DTCWT 的融合圖像，（c)SWT的融合圖像，（d)CVT的融合圖像，（e)NSCT的融合圖像，（f)B.Y的融合圖 像；（g) YIN的融合圖像，（h) Shutao Li的融合圖像，（i)本申請方法的融合圖像；
[0042] 圖8為本發明a2組圖像作用在各種方法上的客觀評價指標；
[0043] 圖9為本發明各算法作用在a2組圖像的融合結果圖，（a)DWT的融合圖像，（b) DTCW-T的融合圖像，（c)SWT的融合圖像，（d)CVT的融合圖像，（e)NSCT的融合圖像，（f)B. Y的 融合圖像，（g)YIN的融合圖像，（h)Shutao Li的融合圖像，（i)本申請方法的融合圖像；
[0044] 圖10為本發明bl組圖像作用在各種方法上的客觀評價指標；
[0045] 圖11為本發明各算法作用在bl組圖像的融合結果圖，（a)DWT的融合圖像，（b) DTCWT的融合圖像，（c)SWT的融合圖像，（d)CVT的融合圖像，（e)NSCT的融合圖像，（f)B.Y的 融合圖像，（g)YIN的融合圖像，（h)Shutao Li的融合圖像，（i)本申請方法的融合圖像；
[0046] 圖12為本發明b2組圖像作用在各種方法上的客觀評價指標
[0047] 圖13為本發明各算法作用在b2組圖像的融合結果圖，（a)DWT的融合圖像，（b) DTCWT的融合圖像，（c)SWT的融合圖像，（d)CVT的融合圖像，（e)NSCT的融合圖像，（f)B.Y的 融合圖像，（g)YIN的融合圖像，（h)Shutao Li的融合圖像，（i)本申請方法的融合圖像；
[0048] 圖14為本發明b3組圖像作用在各種方法上的客觀評價指標；
[0049] 圖15為本發明各算法作用在b3組圖像的融合結果圖，（a)DWT的融合圖像，（b) DTCW-T的融合圖像，（c)SWT的融合圖像，（d)CVT的融合圖像，（e)NSCT的融合圖像，（f)B. Y的 融合圖像，（g)YIN的融合圖像，（h)Shutao Li的融合圖像，（i)本申請方法的融合圖像。
【具體實施方式】
[0050] 本說明書中公開的所有特征，或公開的所有方法或過程中的步驟，除了互相排斥 的特征和/或步驟以外，均可以以任何方式組合。
[0051] 下面結合附圖對本發明做進一步說明：
[0052] 實施例1 [0053]聯合稀疏模型：
[0054] 在JSM-I模型中，信號群中所有的信號都可以寫成共同分量和特征分量相加的形 式。其模型框架如圖1所示。根據分布式信源編碼的思想，所有信號具有相同的公共稀疏部 分與各自的稀疏部分。現假設一組信號X = ，…AjeK'其中XleRN，i = l，2r"，J， 則有：
[0055]
(1)
[0056] 其中J表示信號群中信號的個數，DeRnXm(n<m)為過完備字典，JeR m為所有信號 的公共稀疏部分，s,U e IT為每個信號各自特有的稀疏表示部分，X則表示為：
[0057]
(2)
[0058] 其中0 e Rnxm為零矩陣，S e 1^+1)?為稀疏系數向量。結合稀疏表示理論可知，稀疏系 數向量估計#可通過求解以下最優化問題得到：
[0059]
'⑶
[0060]其中ε>〇為誤差容限，I I S| |〇表示向量中非零元素的個數。公式(3)的解決方法有 許多，比如，基追蹤(BP)，正交匹配追蹤(OMP)。使用OMP方法解決公式(3)。
[0061 ] 字典構造：
[0062]目前主要有兩種方法構造字典：分析變換方法和學習方法。分析變換方法得到的 字典可以多尺度地分析圖像。如，DCT變換、小波和曲波等。學習方法獲得的字典能更精細地 擬合數據，如，MOD和K-SVD方法。由于K-SVD的運行效率高、能獲得超完備字典、對噪聲具有 較高的魯棒性等優點，本申請使用K-SVD算法學習字典。釆用USC-SIPI圖像庫作為訓練圖像 集。圖2給出了部分訓練集。
[0063]融合規則：
[0064] 基于稀疏表示的圖像融合方法除了字典的選擇和稀疏系數的求解，更重要的是各 個待融合單元融合規則的確定問題，這也是各個融合論文研究的重點。本申請在前人的研 究基礎上，精心設計了如下融合規則：
[0065]
[0066] (β > 0 ) C3IIlA，mB分別表示源圖像每塊的均值。源圖像XA和XB分別減去Π1Α和mB得到。<和 〇'=為妁分別為稀疏表示系數矩陣#和<(_/ =忒扔的第i列，A為融合圖像的稀疏系 數矩陣SF的第i列。K是圖像塊的總個數。
[0067]如前所述，<,(./ = .4,奶融合圖像差異部分，本申請主要體現為圖像的高頻部分， 所以本申請設計的融合規則即考慮了圖像的低頻部分，又考慮了圖像高頻部分的融合方 法。
[0068]融合算法框架：
[0069] 為了方便描述，兩個幾何已配準的灰度源圖像為Xa，。本申請所設計的融 合方法流程圖如圖3所示。算法具體步驟如下：
[0070] 1)將滑窗技術作用于源圖像Xa，Xb上，使兩幅圖像分別變成為（W-4+?)χ.(Μ -A+1) 大小為A X W的圖像塊，然后將劃分好的圖像塊變成η維列向量形式。
[0071] 2)對源圖像j(j=A，B)的i圖像塊首先減去它們的均值得到減去均值后的圖 像塊了 ,然后通過求解式(3)得到一個共同稀疏系數<和兩個不同稀疏系數。
[0072] 3)引入本申請所設計的融合規則，將所獲得的稀疏系數帶入到式(4)得到融合后 的系數々__。
[0073]
得到融合后的圖像Xf的i圖像 塊。
[0074] 5)使用與第一步相同的變換方法將獲得的4(大小為ηXI)變成大小為'X'的 圖像塊。滑窗技術導致出現了圖像塊與塊之間有重疊，最后，通過加權平均處理得到融合圖 像Xf。
[0075] 實施例結果比較，為證明所提算法具有較優的融合效果，將算法分別應用到醫學 圖像、紅外與可見光等多模態圖像。圖4和圖5,實驗數據A-紅外與可見光圖像和實驗數據B-醫學圖像。
[0076] 參數設置：
[0077] 實驗中，各算法的參數設置如下，多分辨率圖像融合方法，實驗中DWT的小波基選 擇'dbl' ；SWT小波基選擇'db6'，；DTCWT的第一層和其余層的濾波器分別選擇'LeGall 5-3' 和' Qshif t-06 基于DWT，SWT和DTCWT融合方法的分解層數都設為4;基于NSCT融合方法，金 字塔濾波器采用"pyrexc"濾波器，方向濾波器釆用"vk"濾波器。NSCT變換每層從粗到精的 方向分解層數為{4,8,8，16}。多分辨率圖像融合方法的融合規則采用絕對值最大。
[0078]的圖像融合方法:使用DCT作為字典，字典D的大小為64 X 256，停止誤差ε =0.1，融 合規則采用一范數最大。
[0079]圖像融合方法:使用K-SVD方法學習字典。訓練字典時，稀疏度T設置為5，字典D的 大小為64 X 256，迭代次數為180。停止誤差ε = 0.001。融合系數時，β = 1。本申請所提方法： 正如前所述，本申請使用K-SVD方法學習字典。在實驗中隨機選取圖2中每幅圖像10000個8 X 8的塊。訓練字典時，稀疏度T設置為5，字典D的大小為64 X 256，迭代次數為180。本申請使 用1所提出的聯合稀疏模型獲得稀疏系數，因此，字典萬的大小為128 X 768。停止誤差ε = 0.001。式(4)中 β=1。
[0080] 結果及分析：
[0081] (1)部分紅外與可見光圖像融合結果及分析
[0082] 圖6表示的是圖4中al組圖像融合后的客觀評價指標結果。從表6可以看出，對于al 組圖像，除了 QAB/F略低，其余的評價指標都高于其它方法。標準差最大表明，相比于其余算 法，所提算法得到的融合圖像灰度分散程度較高。(^，(/，(/最大表明，所提算法獲得的融合 圖像與源圖像的相似性高于其余方法，并且總體顯著性較高，更加突出融合圖像的邊緣信 息。圖7顯示的是所有算法作用在al組圖像的融合結果圖。圖中分別是DWT，DTCWT，SWT，CVT， NSCT，B. Y，YIN，Shutao Li，OUR method的融合結果圖。從圖7的矩形方框可以看出，所提算 法不僅可以較優的融合紅外和可見光信息，而且融合后的圖像的邊緣信息更加突出。并且， 亮度略高于其余方法。
[0083]圖8表示的是圖4中a2組圖像融合后的評價指標結果。表中顯示，對于a2組圖像， 除了標準差略低，其余的評價指標都高于其它方法。QAB/F最大表明，相比于其余算法，所提 算法得到的融合圖像的邊緣信息基本上被保留。Q t3最大表明，所提算法得到的融合圖像與 源圖像的相似性高于其余方法。(/，(^最大表明，所提算法獲得的融合圖像總體顯著性較高， 且更加突出融合圖像的邊緣信息。圖9顯示的是所有算法作用在a2組圖像的融合結果圖。圖 中分別是DWT，DTCWT，SWT，CVT，NSCT，B · Y，YIN，Shutao Li，OUR method的融合結果圖。通過 視覺比較，可以清晰地看出：相比于本申請的算法，咖啡屋的招牌區域，產生更多的黑影區 域;行人的輪廓四周也都產生了一些黑色扭曲信息。綜上表明，所提算法不僅可以較優的融 合紅外和可見光信息，能更好地融合邊緣信息。
[0084] (2)部分醫學圖像融合結果及分析
[0085]圖10表示的是圖5中bl組圖像融合后的評價指標結果。表中顯示，對于bl組圖像， 除了Qt3略低，其余的評價指標都高于其它方法。QAB/F最大表明，相比于其余算法，所提算法得 到的融合圖像的邊緣信息基本上被保留。標準差最大表明，相比于其余算法，所提算法得到 的融合圖像灰度分散程度較高。Q w最大表明，所提算法獲得的融合圖像總體顯著性較高。圖 11顯示的是所有算法作用在b 1組圖像的融合結果圖。圖中分別是DWT，DTCWT，SWT，CVT， NSCT，B · Y，YIN，Shutao Li，OUR method的融合結果圖。從圖11可以看出，CT和MRI圖像經過 本申請算法融合后，不僅將兩類圖像的不同部分較好的融合到一起，融合結果中的軟組織 和骨豁結構比其余方法清晰，而且亮度略高于其余算法(DTCWT和CVT的亮度比較低）。
[0086]圖12表示的是圖5中b2組圖像融合后的評價指標結果。表中顯示，對于b2組圖像， 除了Q^Qabxf，其余的評價指標都高于其它方法。標準差最大表明，相比于其余算法，所提算 法得到的融合圖像灰度分散程度較高。(/最大表明，所提算法獲得的融合圖像總體顯著性 較高。圖13顯示的是所有算法作用在b3組圖像的融合結果圖。圖中分別是DWT，DTCWT，SWT， CVT，NSCT，B.Y，YIN，Shutao Li，0UR method的融合結果圖。從圖13可以看出，經過本申請算 法后的融合圖像有三方面優點：首先，對比度較高;其次，一些重要的部位沒有丟失或者沒 有變模糊(比如DWT的融合圖像）；最后，亮度高于其余算法(DTCWT和CVT的亮度比較低）。 [0087]圖14表示的是圖5中b3組圖像融合后的評價指標結果。表中顯示，對于b3組圖像， 除了QE、Q AB/F，其余的評價指標都高于其它方法。Qt3最大表明，所提算法得到的融合圖像與源 圖像的相似性高于其余方法。標準差最大表明，相比于其余算法，所提算法得到的融合圖像 灰度分散程度較高。Q w最大表明，所提算法獲得的融合圖像總體顯著性較高。圖15顯示的是 所有算法作用在b3組圖像的融合結果圖。圖中分別是DWT，DTCWT，SWT，CVT，NSCT，B. Y，YIN， Shutao Li，0UR method的融合結果圖。從圖15可以看出，經過本申請算法后的融合圖像有 兩方面優點:首先，對比度較高;其次，邊緣較清晰，（比如DTCWT的融合圖像部分細微邊緣會 被平滑掉）；最后，亮度高于其余算法(前五種方法的亮度比較低）。
[0088] 根據聯合稀疏模型，提出一種新的基于聯合稀疏表示的多模態圖像融合方法。本 申請不僅利用聯合稀疏模型將同一場景的多模態圖像的私有部分融合在一起，而且在選取 融合策略時，既關注待融合圖像的低頻成分，又考慮了高頻成分。為了驗證所提算法的優越 性，將5組紅外與可見光、醫學等多模態圖像作用在其余8種經典的融合方法。實驗結果證 實，不管從客觀評價指標還是主觀視覺效果方面，本申請所提算法略優于其余8種方法。其 中，觀察客觀評價指標，可以發現，5組實驗中，所提算法的灰度平均和Q w值都是最高的。雖 然所提方法獲得了較好的融合效果，但是，實驗的源圖像只是在部分紅外和可見光、醫學等 多模態圖像測試，而且部分客觀評價指標并沒有達到最優。后續需要進一步針對實際應用 中對輸出的融合圖像具體需求，改進算法。
[0089] 技術的進步只是選用標準的參考。但是出于改劣發明，或者成本考量，僅僅從實用 性的技術方案選擇。以上所述，僅為本發明的【具體實施方式】，但本發明的保護范圍并不局限 于此，任何屬于本技術領域的技術人員在本發明揭露的技術范圍內，可輕易想到的變化或 替換，都應涵蓋在本發明的保護范圍之內。
【主權項】
1. 基于聯合稀疏模型的邊緣清晰圖像融合方法，其特征在于，步驟包括 步驟1、獲取幾何配準的第一源圖像XA和第二源圖像Xb，Xa，A eRM ; 步驟2、利用滑窗技術，對第一源圖像XA和第二源圖像XB分別進行圖像分塊，并通過N維 列向量表示圖像塊<，圖像塊<為源圖像分塊矩陣Xj第i列列向量，j = A、B，i = 1、2……K，K 為一幅源圖像的圖像塊總數； 步驟3、計算出每個圖像塊< 各自灰度的均值并對每個圖像塊 <分別作去均值處 理，得到去均值圖像塊再根據基追蹤算法求解出過完備字典D下的共同稀疏系數 < 和不 同稀疏系數d 步驟4、將去均值圖像塊$、共同稀疏系數彳和不同稀疏系數之，心代入高頻信息保留 融合規則中計算，得到融合系數\ ; 步驟5、根據過完備字典D和融合系數氣，計算出融合圖像塊X》，融合圖像塊;4為融合 圖像分塊矩陣xf第i列列向量； 步驟6、再次利用滑窗技術，對所有融合圖像塊 < 進行變換處理，獲得融合圖像XF。2. 根據權利要求1所述的基于聯合稀疏模型的邊緣清晰圖像融合方法，其特征在于，所 述的步驟2，使兩幅源圖像分別變成大小為(況-W +1) X (Μ - ' +1)和' X W的圖像分塊矩陣 &，然后對應分別轉換為Ν維列向量形式的圖像塊3. 根據權利要求1所述的基于聯合稀疏模型的邊緣清晰圖像融合方法，其特征在于，所 述的步驟3，其中基追蹤算法如下：S為稀疏系數向量，X為圖像塊向量，D為過完備字典D構成的共輒矩陣，為最小 化稀疏系數向量S的0范數，s . t表示[[X _ 5S||2為求解_|?的限制條件，||Χ _ Dsib為 X - 6S的2范數，ε為誤差容限且00。4. 根據權利要求3所述的基于聯合稀疏模型的邊緣清晰圖像融合方法，其特征在于，所 述步驟3,通過正交匹配追蹤對基追蹤算法公式求解，得到共同稀疏系數 <和不同稀疏系數 .U：5. 根據權利要求4所述的基于聯合稀疏模型的邊緣清晰圖像融合方法，其特征在于，所 述步驟4,其中步驟包括 步驟4.1、分別獲得兩幅源圖像的圖像塊均值矩陣mA、mb; 步驟4.2、將源圖像分塊矩陣XA、XB分別對應減去圖像塊均值矩陣mA、m b，得到去均值圖像 塊矩陣; 步驟4.3、再通過高頻信息保留融合規則，得到融合系數心;，該高頻信息保留融合規則 為β為常系數。6. 根據權利要求5所述的基于聯合稀疏模型的邊緣清晰圖像融合方法，其特征在于，所 述步驟5,其中步驟包括 步驟5.1、根據融合系數氣，得到中間量步驟5.2、根據中間量，利用下式得到融合圖像塊4。7. 根據權利要求1所述的基于聯合稀疏模型的邊緣清晰圖像融合方法，其特征在于，所 述步驟6,對所有融合圖像塊$進行變換處理后，再通過加權平均處理獲得融合圖像X F。
【文檔編號】G06T5/50GK106056564SQ201610367819
【公開日】2016年10月26日
【申請日】2016年5月27日
【發明人】高志升, 謝春芝, 張鋮方, 裴崢
【申請人】西華大學