基于多尺度各向異性分解和低秩分析的多模態醫學圖像融合方法
【專利摘要】本發明提供一種基于多尺度各向異性分解和低秩分析的多模態醫學圖像融合方法。該方法包含以下步驟：1)對輸入圖像構建圖像金字塔，對每層圖像進行網格化，構建數據相關的各向異性熱核，實現圖像的多尺度表示；2)將不同尺度下的圖像分組，并對每個分組構建低秩分析，提取其低秩部分，同時有效的濾除噪聲，由所提取的顯著信息構建多尺度空間；3)在圖像金字塔的每一層內，低頻信息采用S型函數進行融合，高頻信息使用最大選擇策略融合，金字塔層間采樣權重融合。本發明所提出的多模態醫學圖像融合方法對噪聲圖像的融合具有較好的魯棒性。
【專利說明】基于多尺度各向異性分解和低秩分析的多模態醫學圖像融 合方法
【技術領域】
[0001] 本發明涉及一種基于多尺度各向異性分解和低秩分析的多模態醫學圖像融合方 法。
【背景技術】
[0002] 在臨床醫學中，通常單一模態的醫學影響無法滿足醫護人員的邊隨著醫學影像技 術的不斷發展，出現了許多先進的成像設備來反映人體臟器和病變組織的各種信息，也為 臨床的醫療診斷提供了多種模態的醫學圖像，這些圖像可分為解剖結構圖像（例如：B超、 CT、MRI)和功能圖像（例如：PET、SPECT)兩大類，由于成像原理的差異，不同種類的圖像也 具有各自的優缺點。例如CT圖像具有較高的空間分辨率和幾何特性，能夠非常清晰地呈現 人體骨骼，便于提供良好的病灶定位，但對人體軟組織的檢測效果較差，而人體組織在MRI 圖像中成像效果較好，有利于病灶范圍的確定，但易受到電磁干擾產生幾何失真；SPECT、 PET可反映人體組織器官的代謝水平和血流狀況，能有效的檢測腫瘤病變，但其具有較低的 空間分辨率，難以得到精確的解剖結構，不利于分辨組織、器官的邊界。由此可知不同的成 像原理提供了互補的信息。因此多模態醫學圖像的融合可以為臨床診斷提供更加豐富的病 變組織或器官的信息，便于醫護人員做出更加準確的診斷和制定更加合適的治療方案。
[0003] 常用的方法可分為兩種，一種是基于變換策略來實現圖像的多尺度表示；另外一 種方法是利用幾何多尺度分析工具實現圖像的多尺度表示，然后利用融合規則將不同尺度 下的信息進行融合。變換策略圖像融合法通常包括基于IHS(Intensity-Hue-Saturation) 和PCA(Principal Component Analysis)的兩種方法，但由于采用了隨意的融合規則，基 于IHS框架的融合算法通常造成圖像失真和譜扭曲。基于小波的融合的典型代表有基于 Curvelets、Contourlets、NSCT和Shearlets等，其成功的重點在于主要利用了小波良好的 高低頻分離特性，對不同的子帶采用馬爾科夫鏈等方法來計算數據相關的融合權重，實現 不同模態的圖像融合。該類方法的主要缺點在于所使用的小波核函數與所處理的數據無 關，無法有效的提取不同方向的細節信息，因此存在融合圖像缺乏細節的缺點。
[0004] 目前多模態醫學圖像融合的關鍵技術在于如何實現結構意識的多尺度圖像表示， 如何從不同模態的醫學圖像中分離出互補性的顯著信息，如何保證互補性的信息能有效的 融合到最終的圖像中等。
[0005] 為了解決上述問題，本發明基于多尺度各向異性分解和低秩分析的多模態醫學圖 像融合方法，該方法通過構建數據相關的熱核，實現結構保護的圖像多尺度分解，并同構圖 像金字塔和分塊策略實現了大尺度和小尺度結構信息的有效保護，同時利用CUDA計算提 高了算法的計算速度；基于所獲得的多尺度圖像，分組構建低秩分析，提取小尺度范圍內固 有的顯著信息，有效的濾除噪聲，提高了算法的抗噪性，并構建基于顯著信息的多尺度融合 空間，利用尺度意識的S型權重函數實現不同尺度下的信息融合，有效解決了互補信息融 合問題。
【發明內容】
[0006] 本發明要解決的技術問題是：克服了現有濾波器的數據無關性以及結構意識的不 足，提供了一種基于熱核金字塔的各向異性圖像處理多尺度表示方法。并通過使用基于分 塊策略和CUDA技術，提高了所發明的算法的實際可行性。克服了通常融合算法對小尺度細 節信息融合的不足，提出了一種基于低秩分析的顯著信息尺度空間構建方法；克服了均值 最大化融合策略存在的對比度問題，提出了尺度意識的S型權重融合方法。
[0007] 本發明采用的技術方案為：一種基于多尺度各向異性分解和低秩分析的多模態醫 學圖像融合方法，包括以下幾部分：
[0008] 步驟（1)、基于熱核的多尺度圖像表示：將輸入的多模態圖像轉換到IHS顏色空 間，對圖像的I顏色空間構建圖像金字塔，將每一層圖像分為重疊的塊，并利用Delaunay三 角化方法對其網格化，基于所構建的網格，利用cotangent方法建立相對應的拉普拉斯矩 陣，所構建的拉普拉斯矩陣固有的潛入了圖像的結構信息，通過求解廣義特征問題獲取最 小的N個特征值和所對應的特征向量，構造數據相關的熱核，因此熱核具有數據相關性、結 構意識和各向異性性，通過所夠構建的熱核與圖像進行卷積獲得不同尺度下的圖像表示。 同時為了減少拉普拉斯矩陣構建和多尺度卷積的時間，該步驟采用了 CUDA實現技術；
[0009] 步驟（2)、基于低秩分析的顯著信息尺度空間構建：：通過步驟（1)所獲得的多尺 度表示，將金字塔每層圖像的多尺度表示進行分組，每組分別做為低秩分析的初始化輸入 矩陣，利用GoDec方法進行低秩分析，獲取每組的低秩部分，該低秩部分包含了小尺度范圍 內的顯著信息，且有效的濾除輸入圖像內包含的噪聲，將每個分組所提取低秩部分進行二 次重組，進而構建為基于顯著信息的多尺度表示；
[0010] 步驟（3)、基于S型函數的尺度相關融合：通過步驟⑵中構建的顯著信息多尺 度空間，主模態基層權重設置為2,輔助模態基層的融合權重系數由S型函數計算，利用權 重平均獲得金字塔每層的基層融合效果，而細節層采用最大化選擇方法獲得細節層融合效 果，每層的融合效果通過多個細節層和基層累加獲得。而金字塔層間融合通過上采樣低分 辨率融合效果后與相鄰下層融合效果進行權重合并，最終得到和輸入圖像相同分辨率的灰 度層融合效果，利用GIHS方法得到最終的多模態醫學圖像融合效果圖。
[0011] 進一步的，步驟（1)中所述的多尺度圖像表示方法是各向異性的，同時是高效的， 而且還內建了數據相關和結構意識的特性。
[0012] 進一步的，步驟（2)中所述的顯著信息多尺度空間構建方法，將局部小范圍尺度 內的顯著信息提取的同時濾除了潛在的噪聲，具有良好的抗噪性。
[0013] 進一步的，步驟（3)中所述的S型函數融合方法，避免了輔助模態影響黑色背景的 影響，使得融合圖像整體具有良好的對比度。
[0014] 本發明的原理在于：
[0015] (1)本發明所提出的多尺度圖像表示方法主要側重于結構意識和各向異性，該發 明基于像素灰度值和空間坐標將圖像的結構信息有效的編碼到拉普拉斯矩陣中，使得所形 成的熱核具有各向異性性；同時該方法采用金字塔結構和圖像分塊策略，使得該方法將全 局大尺度結構信息和局部小尺度細節信息相結合，并采用了 CUDA技術提高了算法的計算 效率。
[0016] (2)本發明所提出的基于低秩分析的顯著信息多尺度空間構建方法，通過對不同 尺度的圖像進行分組，每組圖像構建低秩分析提取不同模態影像中的顯著信息，同時濾去 了噪聲，最終構建為顯著信息的多尺度空間，使得所提出的方法具有抗噪性。
[0017] (3)常用的平均最大化融合算法通常造成融合結果缺乏細節和具有較低的對比 度，為此本發明提出尺度意識的S型權重融合策略，有效的減少輔助模態圖像中黑色背景 的影響，增加融合圖像內細節信息量，進一步改進了融合圖像的視覺對比度。
[0018] 本發明與現有技術相比的優點在于：
[0019] 1、本發明提出的基于熱核金子塔的多尺度圖像表示方法，一方面使得熱核的構建 是數據相關的，提高了算法結構意識能力，另一方面采用了分塊策略和CUDA技術使得所提 出的小波具有較低的運行時間。
[0020] 2、對比已有基于多尺度的算法，本發明提出的基于低秩分析的顯著信息尺度空間 構造方法，具有更好的信息保護和提取能力，同時具有更強的抗噪性能。
[0021] 3、本發明提出的尺度意識S型融合策略，避免了輔助模態醫學影響內黑色背景的 影響，提高了算法的信息融合能力，使得融合圖像具有較好的對比度。
【專利附圖】
【附圖說明】
[0022] 圖1為基于熱尺度各向異性分解和低秩分析的多模態醫學圖像融合方法流程圖；
[0023] 圖2為基于熱核金子塔的多尺度圖像表示方法流程圖；
[0024] 圖3為基于低秩分析的顯著信息尺度空間構造方法流程圖；
[0025] 圖4為基于金子塔的分塊策略示意圖；其中，（a):小尺度t平滑效果圖；(b):大尺 度t平滑效果圖；（c):金字塔大尺度t平滑效果圖；
[0026] 圖5為圖像分塊策略下基于CUDA的拉普拉斯矩陣計算示意圖；
[0027] 圖6為多尺度圖像平滑方法計算量及內存需求量對比；其中，（a):先構建熱核再 獲取多尺度圖像平滑效果方法；(b):本發明采用的改進方法；FL0表示浮點計算量，Memory 表示計算過程所需要的存儲空間；
[0028] 圖7為無噪多模態醫學圖像融合效果對比示意圖；其中，（a) :MRI和SPECT醫學圖 像融合效果對比圖；(b) :MRI和PET醫學圖像融合效果對比圖；（c):六種算法在五種評定 指標下的直方圖對比；
[0029] 圖8為高斯噪聲擾動下多模態醫學圖像融合效果對比示意圖；其中，（a) :5dB高斯 白噪聲條件下MRI和SPECT醫學圖像融合效果對比圖；(b) :25dB高斯白噪聲條件下MRI和 SPECT醫學圖像融合效果對比圖；（c):六種算法在五種評定指標下的直方圖對比；
[0030] 圖9為本發明算法在不同分貝高斯噪聲擾動條件下的處理效果；
[0031] 圖10為ldB到40dB白高斯噪聲擾動下，六種算法在五種評定指標下平均統計對 比圖對比示意圖；其中，（a) :PSNR;(b) :MI ;(c) :MSSM;(d) :FSM;(e) :FSMC;橫坐標表 示噪聲分貝量；
[0032] 圖11為椒鹽噪聲擾動下多模態醫學圖像融合效果對比示意圖；其中，（a) :6%椒 鹽噪聲條件下醫學圖像融合效果對比圖；(b) :10%椒鹽噪聲條件下醫學圖像融合效果對 比圖；（c):六種算法在五種評定指標下的直方圖對比；
[0033] 圖12為不同百分比椒鹽噪聲含量下，六種算法在五種評定指標下平均統計對比 圖對比示意圖；其中，（a) :PSNR;(b) :MI ;(c) :MSSM;(d) :FSM;(e) :FSMC;橫坐標表示 椒鹽噪聲百分比含量；
[0034] 圖13為不同類型噪聲擾動下多模態醫學圖像融合效果對比示意圖；其中，（a): MRI含6 %的椒鹽噪聲，SPECT含30dB的高斯白噪聲；（b) :MRI含30dB的高斯白噪聲，SPECT 含6 %的椒鹽噪聲；（c):六種算法在五種評定指標下的直方圖對比。
[0035] 圖14為本發明使用的S型權重融合算法改進能力示意圖；其中，（a):輸入圖像； (b):平均最大值選擇融合策略；（c):本發明所使用的S型區中融合策略；MI給出了不同策 略下的互信息值。
【具體實施方式】
[0036] 下面結合附圖及【具體實施方式】進一步說明本發明。
[0037] 圖1給出了基于多尺度各向異性分解和低秩分析的多模態醫學圖像融合方法的 總體處理流程。圖2和圖3分別給出了基于熱核金子塔的多尺度圖像表示方法和基于低秩 分析的顯著信息尺度空間構造方法的詳細步驟。
[0038] 本發明提供一種基于多尺度各向異性分解和低秩分析的多模態醫學圖像融合方 法，其主要步驟介紹如下：
[0039] 1、基于熱核金子塔的多尺度圖像表示
[0040] 為了有效的提取輸入圖像的固有結構信息，并將其編碼到所使用的熱核中去，本 發明提出將輸入圖像進行下采樣，構建輸入圖像金字塔。對于金字塔的每一層，首先將圖像 有RGB顏色空間轉換到IHS顏色空間，并將圖像分塊重疊塊，每個圖像塊分別利用Delaunay 三角化方法對其網格化，網格的每個頂點對應圖像中的一個像素，由（x，y，I(x，y))表示， 其中（x，y)表示了相關像素i的空間坐標，I(x，y)表示像素i的灰度值，為了能夠更好維 護圖像的潛在結構信息，本發明取代頂點表示的第三維為β *1 (X，y)，以此來控制所構建熱 核的各向異性性和結構敏感性。基于所構建的網格和頂點表示方法，圖像塊所對應的拉普 拉斯矩陣由P = A<M定義，其中質量矩陣A為對角陣，其中每一項表示了共享像素i的所有 三角形的面積，剛度矩陣Μ的每一項編碼了圖像塊的局部結構，定義如下：
[0041]
【權利要求】
1. 一種基于多尺度各向異性分解和低秩分析的多模態醫學圖像融合方法，其特征在于 包括以下步驟： 步驟（1)、基于熱核的多尺度圖像表示：將輸入的多模態圖像轉換到IHS顏色空間，對 圖像的I顏色空間構建圖像金字塔，將每一層圖像分為重疊的塊，并利用Delaunay三角化 方法對其網格化，基于所構建的網格，利用cotangent方法建立相對應的拉普拉斯矩陣，所 構建的拉普拉斯矩陣固有的潛入了圖像的結構信息，通過求解廣義特征問題獲取最小的N 個特征值和所對應的特征向量，構造數據相關的熱核，因此熱核具有數據相關性、結構意識 和各向異性性，通過所夠構建的熱核與圖像進行卷積獲得不同尺度下的圖像表示；同時為 了減少拉普拉斯矩陣構建和多尺度卷積的時間，該步驟采用了 CUDA并行技術實現； 步驟（2)、基于低秩分析的顯著信息尺度空間構建：通過步驟（1)所獲得的多尺度表 示，將金字塔每層圖像的多尺度表示進行分組，每組分別做為低秩分析的初始化輸入矩陣， 利用GoDec方法進行低秩分析，獲取每組的低秩部分，該低秩部分包含了小尺度范圍內的 顯著信息，且有效的濾除輸入圖像內包含的噪聲，將每個分組所提取低秩部分進行二次重 組，進而構建為基于顯著信息的多尺度表示； 步驟（3)、基于S型函數的尺度相關融合：通過步驟（2)中構建的顯著信息多尺度空 間，主模態基層權重設置為2,輔助模態基層的融合權重系數由S型函數計算，利用權重平 均獲得金字塔每層的基層融合效果，而細節層采用最大化選擇方法獲得細節層融合效果， 每層的融合效果通過多個細節層和基層累加獲得；而金字塔層間融合通過上采樣低分辨率 融合效果后與相鄰下層融合效果進行權重合并，最終得到和輸入圖像相同分辨率的灰度層 融合效果，利用GIHS方法得到最終的多模態醫學圖像融合效果圖。
2. 根據權利要求1所述的一種基于多尺度各向異性分解和低秩分析的多模態醫學圖 像融合方法，其特征在于：步驟（1)中所述的基于熱核的多尺度圖像表示是數據相關的、各 向異性的，同時整個步驟采用了 CUDA技術，為圖像塊中的每個像素點調用一個線程來實現 質量矩陣和剛度矩陣的計算，在此基礎上構建拉普拉斯矩陣，并通過特征分解獲取最下的η 個特征值及特征向量，此后以圖像塊為基礎，為每個時間參數t調用一個線程來并行的實 現圖像多的多尺度平滑，該實現方法設計了合理的數據結構，具有較低的計算負擔和較低 的運行時間。
3. 根據權利要求1所述的一種基于多尺度各向異性分解和低秩分析的多模態醫學圖 像融合方法，其特征在于：步驟（2)中所述的基于低秩分析的顯著信息尺度空間構建方法， 首先將步驟（1)所構建的多尺度圖像進行分組，每個組內包含d個平滑圖像和一個輸入圖 像，將每個圖像由一個列向量來表示，并構建為低秩分析的輸入矩陣，進行低秩分解，得到 其低秩部分，并提起第一個列向量做為該組數據的最終顯著信息表示部分，濾除了噪聲，構 建一個基于顯著信息的多尺度圖像融合空間，因此對噪聲具有良好的魯棒性，提高了對固 有重要信息的有效獲取能力，通過對多個分組分別構建以上的低秩分析和顯著信息提取， 來構建一個基于顯著性信息的多尺度空間。
4. 根據權利要求1所述的一種基于多尺度各向異性分解和低秩分析的多模態醫學圖 像融合方法，其特征在于：步驟（3)中所述的基于S型函數的尺度相關融合方法，金字塔層 內主模態基層權重設置為2,輔助模態基層的融合權重系數由S型函數將灰度值映射為權 重系數，細節層通過最大值選擇方法來獲取，層間采用權重融合，該方法避免了非主要信息 對融合圖像對比度的影響，增強了所提出算法的數據自適應性和顯著信息在融合圖像中的 可閱讀性。
【文檔編號】G06T3/40GK104299216SQ201410570967
【公開日】2015年1月21日 申請日期:2014年10月22日 優先權日:2014年10月22日
【發明者】郝愛民, 王青正, 李帥, 秦洪 申請人:北京航空航天大學