一種基于低秩分解和稀疏表示的多模態醫學圖像融合方法與流程

本發明涉及一種基于低秩分解和稀疏表示的多模態醫學圖像融合方法，屬于圖像處理領域。

背景技術：

在圖像處理領域，圖像融合是一項很有發展前景的研究。圖像融合技術通過綜合同一場景的多傳感器圖像或者不同場景的同一傳感器圖像的有用信息來合成一幅融合圖像。而合成的融合圖像具有前者所有的特征信息，更適合用于后期的處理和研究。一個高效的融合方法可以根據實際需求處理多通道信息。這些優勢使得圖像融合在很多領域里都特別受歡迎。尤其，在醫學影像學為臨床提供了超聲圖像、x射線、電子計算機體層掃描(ct)、磁共振成像(mri)、數字減影成像(dsa)、正電子發射體層掃描(pet)、單光子發射斷層成像(spect)等多種模態影像信息。不同的醫學影像可以提供人體相關臟器和組織的不同信息，如ct和mri提供解剖結構信息，而pet和spect提供功能信息在實際臨床應用中，單一模態圖像往往不能提供醫生所需要的足夠信息，通常需要將不同模態圖像融合在一起，得到更豐富的信息以便了解病變組織或器官的綜合信息，從而做出準確的診斷或制訂出合適的治療方案。例如，ct利用各種組織器官對x射線吸收系數的不同和計算機斷層技術對人體進行成像，它對于骨、軟組織和血管的組合成像效果很好，而對軟組織則近乎無能為力。mri利用水質子信息成像，對軟組織和血管的顯像靈敏度比ct高得多，但對骨組織則幾乎不顯像。由此可見不同成像技術對人體同一解剖結構所得到的形態和功能信息是互為差異、互為補充的。因此對不同影像信息進行適當的集成便成為臨床醫生診斷和治療疾病的尤其重要。

隨著圖像融合研究的不斷深入，很多的研究者提出了很多的圖像融合方法。傳統的圖像融合方法有：線性加權法，它是一種最簡單的圖像融合方法，它直接對多幅原圖像的對應像素點進行加權疊加。iipf法（高通濾波法），它用高通濾波器算子提取出高分辨率圖像的細節信息，然后采用像數相加的方法，將提取出的細節信息疊加到低分辨率圖像上，實現低分辨率圖像和高分辨率圖像之間的數據融合。pca（主成分分析）法，首先對圖像進行主分量變換，由相關矩陣求特征值和特征向量求得各主分量，通過這種融合，可以盡可能地保留全色圖像的細節信息，然后對融合后的圖像進行反變換，得到包含豐富細節信息的融合圖像。iiis變換法，它是遙感圖像融合中比較常用到的一種方法，它將多光譜的tm圖像數據變換到iiis空間，得到3個獨立的分量。它首先將spot圖像數據經過適當的伸縮，以保證它的均值和方差變換到和i分量一致，然后用伸縮后的數據替換i分量，得到ii分量，再分別對ii和s進行反差擴展，得到iii和si，最后將ii，iii和si變換回rgb空間，得到融合圖像。和以上四類算法相比，其余四種融合方法功能比較單一。

技術實現要素：

本發明提供了一種基于低秩分解和稀疏表示的多模態醫學圖像融合方法，以用于對醫學圖像進行融合，以獲得更好融合質量圖像。

本發明的技術方案是：一種基于低秩分解和稀疏表示的多模態醫學圖像融合方法，所述方法的具體步驟如下：

step1、將待融合的兩幅不同多模態醫學圖像a、b，使用矩陣低秩分解理論進行低秩分解分別得到低秩部分圖像a1、b1和稀疏部分圖像a2、b2；

step2、利用k-均值的奇異值分解算法對選用的非醫學圖像集訓練低秩字典，利用k-均值的奇異值分解算法對選用的非醫學圖像集進行低秩分解后得到的稀疏部分圖像集訓練稀疏字典；

step3、利用稀疏表示方法對低秩部分圖像a1、b1和稀疏部分圖像a2、b2進行稀疏重構，分別得到低秩重構圖像a1b1和稀疏重構圖像a2b2；

step4、利用稀疏表示方法對低秩重構圖像a1b1和稀疏重構圖像a2b2進行稀疏融合，得到融合圖像ab；

step5、根據公式a＋b－a1b1－a2b2計算兩幅不同多模態醫學圖像與稀疏重構圖像、低秩重構圖像之間的差值；

step6、將步驟step5得到的差值加入到步驟step4得到的融合圖像中，得到最終稀疏融合圖像。

所述稀疏表示方法中的稀疏系數矩陣采用正交匹配追蹤算法進行求解。

本發明的有益效果是：利用矩陣低秩分解分解源圖像成兩部分圖像：低秩和稀疏部分圖像，利用稀疏表示理論提升圖像融合質量的目的。考慮到一般圖像的內部結構信息包含一定的噪音信息，那么我們就將源圖像分解成兩個矩陣相加，一個是低秩的（它內部有一定的結構信息，造成各行或列間是線性相關的），另外一個是稀疏的（含有噪音），將圖像內部包含不同信息進行有效的分離開。圖像稀疏表示理論的目的就是在給定的超完備字典中用盡可能少的原子來表示信號，可以獲得信號更為簡潔的表示方式，從而使我們更容易地獲取信號中所蘊含的信息，更方便進一步對圖像進行進一步加工處理。應用本發明可以有效地綜合多模態源圖像的豐富細節信息，對噪聲具有很好的健壯性并且本發明在主觀和客觀評價指標上都優于傳統的融合方法。

附圖說明

圖1是本發明方法流程圖；

圖2是本發明實施例1多模態醫學ct圖像；

圖3是本發明實施例1多模態醫學mri圖像；

圖4是本發明實施例低秩字典的訓練樣本集；

圖5是本發明實施例稀疏字典的訓練樣本集；

圖6是本發明實施例1融合圖像；

圖7是本發明實施例2多模態醫學mri圖像；

圖8是本發明實施例2多模態醫學pet圖像；

圖9是本發明實施例2融合圖像；

圖10為asr方法的融合圖像；

圖11為kim方法的融合圖像；

圖12為sr方法的融合圖像。

具體實施方式

實施例1：一種基于低秩分解和稀疏表示的多模態醫學圖像融合方法，所述方法的具體步驟如下：

step1、將待融合的兩幅像素大小為256×256的ct和mri圖像（如圖2、3所示），使用矩陣低秩分解理論進行低秩分解分別得到低秩部分圖像和稀疏部分圖像（即ct圖像分解后得到一幅低秩部分圖像a1和一幅稀疏部分圖像a2，mri圖像分解后得到一幅低秩部分圖像b1和一幅稀疏部分圖像b2）；

step2、利用k-均值的奇異值分解算法對選用的非醫學圖像集（如圖4所示）訓練低秩字典，利用k-均值的奇異值分解算法對選用的非醫學圖像集進行低秩分解后得到的稀疏部分圖像集（如圖5所示）訓練稀疏字典；

step3、利用稀疏表示方法對低秩部分圖像a1、b1和稀疏部分圖像a2、b2進行稀疏重構，分別得到低秩重構圖像a1b1和稀疏重構圖像a2b2（利用稀疏表示方法對低秩部分圖像a1、b1進行稀疏重構，得到低秩重構圖像a1b1；利用稀疏表示方法對稀疏部分圖像a2、b2進行稀疏重構，得到稀疏重構圖像a2b2；即兩幅低秩部分圖像進行重構得到一幅低秩重構圖像，兩幅稀疏部分圖像進行重構得到一幅稀疏重構圖像）；

step4、利用稀疏表示方法對低秩重構圖像a1b1和稀疏重構圖像a2b2進行稀疏融合，得到融合圖像ab；

step5、根據公式a＋b－a1b1－a2b2計算兩幅不同多模態醫學圖像與稀疏重構圖像、低秩重構圖像之間的差值；

step6、將步驟step5得到的差值加入到步驟step4得到的融合圖像中，得到最終稀疏融合圖像（如圖6所示）。

實施例2：一種基于低秩分解和稀疏表示的多模態醫學圖像融合方法，所述方法的具體步驟如下：

step1、將待融合的兩幅像素大小為256×256的mri和pet圖像（如圖7、8所示），使用矩陣低秩分解理論進行低秩分解分別得到低秩部分圖像和稀疏部分圖像；

step2、利用k-均值的奇異值分解算法對選用的非醫學圖像集（如圖4所示）訓練低秩字典，利用k-均值的奇異值分解算法對選用的非醫學圖像集進行低秩分解后得到的稀疏部分圖像集（如圖5所示）訓練稀疏字典；

step3、利用稀疏表示方法對低秩部分圖像a1、b1和稀疏部分圖像a2、b2進行稀疏重構，分別得到低秩重構圖像a1b1和稀疏重構圖像a2b2；

step4、利用稀疏表示方法對低秩重構圖像a1b1和稀疏重構圖像a2b2進行稀疏融合，得到融合圖像ab；

step5、根據公式a＋b－a1b1－a2b2計算兩幅不同多模態醫學圖像與稀疏重構圖像、低秩重構圖像之間的差值；

step6、將步驟step5得到的差值加入到步驟step4得到的融合圖像中，得到最終稀疏融合圖像（如圖9所示）。

圖10—圖12分別為在最近比較新穎的asr、kim和sr方法下的融合結果（圖10左為asr方法下針對實施例1中待融合圖像融合后的結果，圖10右為asr方法下針對實施例2中待融合圖像融合后的結果，kim和sr方法結果同圖10解釋），圖6為本發明提出方法下的融合結果。在做融合圖像實驗時，低秩分解不同的平衡參數值得到的融合結果不一樣，以上圖像結果都是選擇平衡參數值為0.089條件下得到的最終融合結果，同時在最后做誤差補償時我們在做實驗時分別考慮過三種誤差融合規則：最大值、絕對值、直接融合。我們最終從實驗結果中選擇最大值融合規則作為最終融合效果。

為更好評價不同方法下的融合效果，本發明分別從主觀和客觀角度上來評價融合效果。從人眼視覺上可以看出，kim、asr、sr和本發明提出方法相比，kim、asr和sr方法的融合圖像對比度上較低；除了本發明提出方法的融合圖像完整保留細節特征之外，其他方法下的融合效果都或多或少丟失了本該特有的細節特征。

主觀視覺評價主要是依靠人的視覺系統與對其融合目的的感知直接對融合圖像進行評價。而客觀指標評價是一種根據圖像像素值來對圖像質量進行定量分析的評價，它在一定程度上可彌補了主觀因素的干擾。這里我們采用互信息mi、邊緣信息度量算子q^ab/f和視覺信息保真度vif三個客觀評價指標對不同方法下的融合效果進行評價。其中mi可評價源圖像有多少信息量保留到了融合圖像，邊緣信息度量算子q^ab/f衡量融合圖像中包含了多少源圖像的邊緣信息，vif則可通過計算源圖像和融合圖像之間的共享信息評價融合性能。不同融合方法的客觀評價數據如表1所示，三個評價指標的數值越大說明融合效果越好并在表中用粗體標注。表1數據表明本發明方法在客觀評價上具有較高的指標值，這從客觀上也證明了本發明方法是有效的。

表1：不同融合方法的客觀評價數據

上面結合附圖對本發明的具體實施方式作了詳細說明，但是本發明并不限于上述實施方式，在本領域普通技術人員所具備的知識范圍內，還可以在不脫離本發明宗旨的前提下作出各種變化。