一種基于剛性變換的多模態圖像融合方法
【專利摘要】本發明公開了一種基于剛性變換的多模態圖像融合方法，包括以下的步驟：S1：通過變換矩陣構建參考圖像R與浮動圖像F之間的剛性變換模型；S2：構建參考圖像R與浮動圖像F之間的相似度目標函數f；S3：利用模擬退火算法對相似度目標函數f進行全局尋優，得到相似度目標函數f全局最優解對應的變換矩陣；S4：將步驟S3得到的全局最優解對應的變換矩陣中的平移量及旋轉量作為局部尋優的搜索起點，利用鮑威爾算法對相似度目標函數f進行局部尋優，得到相似度目標函數f局部最優解對應的變換矩陣，將局部最優解對應的變換矩陣代入步驟S1的剛性變換模型中，得到準確配準后的浮動圖像F；S5：將參考圖像R與準確配準后的浮動圖像F進行加權融合。
【專利說明】
一種基于剛性變換的多模態圖像融合方法
技術領域
[0001] 本發明涉及圖像融合方法，特別是涉及一種基于剛性變換的多模態圖像融合方 法。
【背景技術】
[0002] 在臨床應用中，經常需要綜合多種設備采集到的影像以做出診斷，不同設備采集 到的影像可以提供不同的信息，因此利用圖像配準、融合的方法將多種設備上對同一部位 采集到的影像進行融合有很重要的臨床價值。
[0003] 現有技術中的圖像融合方法往往存在如下的缺陷：
[0004] 1)很多醫生利用手動去配準兩幅圖像，利用PS等工具做融合，手動意味著人為的 因素存在，得到結果不可靠；
[0005] 2)融合的關鍵在于配準，現有的配準技術使用基于特征點的配準方法，這種針對 照相機照片的配準方法不適合做醫學配準，醫學圖像中的特征點不可靠；
[0006] 3)現有的融合方法配準精度不高，在醫學圖像中需要達到亞像素級別的精度。
【發明內容】
[0007] 發明目的:本發明的目的是提供一種能夠解決現有技術中存在的缺陷的基于剛性 變換的多模態圖像融合方法。
[0008] 技術方案:為達到此目的，本發明采用以下技術方案：
[0009] 本發明所述的基于剛性變換的多模態圖像融合方法，包括以下的步驟：
[0010] S1:通過變換矩陣構建參考圖像R與浮動圖像F之間的剛性變換模型；
[0011] S2:構建參考圖像R與浮動圖像F之間的相似度目標函數f;
[0012] S3:利用模擬退火算法對相似度目標函數f進行全局尋優，得到相似度目標函數f 全局最優解對應的變換矩陣；
[0013] S4:將步驟S3得到的全局最優解對應的變換矩陣中的平移量及旋轉量作為局部尋 優的搜索起點，利用鮑威爾算法對相似度目標函數f進行局部尋優，得到相似度目標函數f 局部最優解對應的變換矩陣，將局部最優解對應的變換矩陣代入步驟S1的剛性變換模型 中，得到準確配準后的浮動圖像F;
[0014] S5:將參考圖像R與準確配準后的浮動圖像F進行加權融合。
[0015] 進一步，所述步驟S1中的剛性變換模型如式⑴所示：
[0017]式（1)中，xr為浮動圖像F中任意一點的橫坐標，yr為浮動圖像F中該點的縱坐標，Xf 為浮動圖像F中該點變換到參考圖像R中得到的相應點的橫坐標，yf為浮動圖像F中該點變 換到參考圖像R中得到的相應點的縱坐標，X為浮動圖像F的水平平移量，y為浮動圖像F的垂 直平移量，Θ為浮動圖像F的逆時針旋轉角度，
[0018]進一步，所述步驟S2中的相似度目標函數f如式(2)所示：
[0020] 式(2)中，w=(x，y，0)，H(R)為參考圖像R的熵，H(F)為浮動圖像F的熵，H(R，F)為參 考圖像R和浮動圖像F的聯合熵。
[0021] 進一步，所述步驟S3包括以下的步驟：
[0022] 33.1:將(1，7，0) = (〇,〇,〇)作為初始解《〇，計算相應的相似度目標函數；^?〇);
[0023] S3.2:利用擾動函數對wo進行擾動，得到新解w，并計算相應的相似度目標函數f (w)；
[0024] S3.3:判斷f (w)和f (wo)的大小:如果f (w)>f (wo)，則將w賦給wo，然后繼續進行步驟 33.4;如果￡(￥)〈丨(￥())，則根據161：1'0?〇118準則決定是否接受￥，如果接受，則將￥賦給帥，然 后繼續進行步驟S3.4，如果不接受，則進行步驟S3.5;
[0025] S3.4:判斷是否達到最大迭代次數:如果已達到最大迭代次數，則跳至步驟S3.5; 如果未達到最大迭代次數，則返回步驟S3.2;
[0026] S3.5:判斷此時的相似度目標函數f是否滿足要求:如果滿足要求，則結束;如果不 滿足要求，則重新設定最大迭代次數，然后返回步驟S3.2。
[0027] 進一步，所述步驟S4包括以下的步驟：
[0028] S4.1:將所述步驟S3中得到的全局最優解對應的變換矩陣中的水平平移量作為局 部尋優的搜索起點xq，設定初始搜索方向分別為cb(1，0，0)、d 2(0，1，0)和d3(0，0，1);
[0029] S4.2:采用一維Brent方法順次沿著^、辦和出搜索相似度目標函數f的極大值，取 得極大值的點分別為XI、X2和X3 ;
[0030] S4.3:連接X0和X3得到新的方向d4,沿著d4搜索相似度目標函數f的極大值，取得極 大值的點為X4,判斷是否用d4替換di、d2和d3中的一個方向：如果替換，則確定用d4替換di、d2 和d 3中的哪個方向，并將X4作為新的搜索起點，然后進行步驟S4.4;如果不替換，則將X4作為 新的搜索起點，然后進行步驟S4.4;
[0031] S4.4:判斷此時的相似度目標函數f是否滿足要求:如果滿足要求，則結束;如果不 滿足要求，則返回步驟S4.2。
[0032] 進一步，所述步驟S4.3中的判斷采用如下的準則：
[0033] 設定 Fo = f(XQ)為起始點，F2 = f (X3)為終點，F3 = f (X4)為反射點，記 fi = f (Xi)，A i = fi_fi-i，將八1取得最大值時的i賦給m，如果式⑵和式⑶均成立，則用d4替換dm，并將X4作 為新的搜索起點，然后進行步驟S4.4;如果式(2)和式(3)中至少有一個不成立，則將 X4作為 新的搜索起點，然后進行步驟S4.4;
[0034] F3<Fo (2)
[0035] (F0-2F2+F3) (F0-F2- Δ m)2<〇.5 Δ m(F〇-F3)2 (3)。
[0036] 進一步，所述步驟S5中，將參考圖像R與準確配準后的浮動圖像F按照式(4)進行加 權融合：
[0037] I =R*wi+F*W2 (4)
[0038] 式(4)中，I為融合后的圖像，wi和W2均為加權系數，且wi+W2 = 1。
[0039] 有益效果:與現有技術相比，本發明具有如下的有益效果：
[0040] 1)將全局尋優跟局部尋優相結合，這種二階段的尋優方法可以避免陷入局部最 優；
[0041] 2)該方法使用互信息作為目標函數，可以實現亞像素級別的配準，配準精度更高；
[0042] 3)用戶可以根據觀察的側重點不同，調節融合的權值。
【附圖說明】
[0043]圖1為本發明的方法流程圖；
[0044]圖2為本發明的步驟S3的流程圖；
[0045]圖3為本發明的步驟S4的流程圖。
【具體實施方式】
[0046] 下面結合【具體實施方式】對本發明的技術方案作進一步的介紹。
[0047] 本發明公開了一種基于剛性變換的多模態圖像融合方法，如圖1所示，包括以下的 步驟：
[0048] S1:通過變換矩陣構建參考圖像R與浮動圖像F之間的剛性變換模型；
[0049] S2:構建參考圖像R與浮動圖像F之間的相似度目標函數f;
[0050] S3:利用模擬退火算法對相似度目標函數f進行全局尋優，得到相似度目標函數f 全局最優解對應的變換矩陣；
[0051] S4:將步驟S3得到的全局最優解對應的變換矩陣中的平移量及旋轉量作為局部尋 優的搜索起點，利用鮑威爾算法對相似度目標函數f進行局部尋優，得到相似度目標函數f 局部最優解對應的變換矩陣，將局部最優解對應的變換矩陣代入步驟S1的剛性變換模型 中，得到準確配準后的浮動圖像F;
[0052] S5:將參考圖像R與準確配準后的浮動圖像F進行加權融合。
[0053]步驟S1中的剛性變換模型如式(1)所示：
[0055]式（1)中，xr為浮動圖像F中任意一點的橫坐標，yr為浮動圖像F中該點的縱坐標，x f 為浮動圖像F中該點變換到參考圖像R中得到的相應點的橫坐標，yf為浮動圖像F中該點變 換到參考圖像R中得到的相應點的縱坐標，X為浮動圖像F的水平平移量，y為浮動圖像F的垂 直平移量，Θ為浮動圖像F的逆時針旋轉角度，
為變換矩陣，水平平移量和 垂直平移量統稱為平移量，逆時針旋轉角度稱為旋轉量。
[0056]步驟S2中的相似度目標函數f如式(2)所示：
[0058]式(2)中，w=(x，y，0)，H(R)為參考圖像R的熵，H(F)為浮動圖像F的熵，H(R，F)為參 考圖像R和浮動圖像F的聯合熵。
[0059] 如圖2所示，步驟S3包括以下的步驟：
[0000] 33.1:將(1，7，0) = (〇,〇,〇)作為初始解《〇，計算相應的相似度目標函數；^?〇);
[0061] S3.2:利用擾動函數對wo進行擾動，得到新解w，并計算相應的相似度目標函數f (w)；
[0062] 33.3:判斷：1；'(￥)和；1；'(￥())的大小:如果；1；'(￥)>；1；'(￥())，則將￥賦給^)，然后繼續進行步驟 33.4;如果￡(￥)〈丨(￥())，則根據161：1'0?〇118準則決定是否接受￥，如果接受，則將￥賦給帥，然 后繼續進行步驟S3.4，如果不接受，則進行步驟S3.5;
[0063] S3.4:判斷是否達到最大迭代次數:如果已達到最大迭代次數，則跳至步驟S3.5; 如果未達到最大迭代次數，則返回步驟S3.2;
[0064] S3.5:判斷此時的相似度目標函數f是否滿足要求:如果滿足要求，則結束;如果不 滿足要求，則重新設定最大迭代次數，然后返回步驟S3.2。
[0065] 如圖3所示，步驟S4包括以下的步驟：
[0066] S4.1:將所述步驟S3中得到的全局最優解對應的變換矩陣中的水平平移量作為局 部尋優的搜索起點xq，設定初始搜索方向分別為cb(1，0，0)、d 2(0，1，0)和d3(0，0，1);
[0067] S4.2:采用一維Brent方法順次沿著^、辦和出搜索相似度目標函數f的極大值，取 得極大值的點分別為XI、X2和X3 ;
[0068] S4.3:連接xo和X3得到新的方向d4,沿著d 4搜索相似度目標函數f的極大值，取得極 大值的點為X4,判斷是否用d4替換di、d2和d3中的一個方向：如果替換，則確定用d4替換di、d2 和d3中的哪個方向，并將X4作為新的搜索起點，然后進行步驟S4.4;如果不替換，則將 X4作為 新的搜索起點，然后進行步驟S4.4;
[0069] S4.4:判斷此時的相似度目標函數f是否滿足要求:如果滿足要求，則結束;如果不 滿足要求，則返回步驟S4.2。
[0070] 步驟S4.3中的判斷采用如下的準則：
[0071] 設定 Fo = f(XQ)為起始點，F2 = f (X3)為終點，F3 = f (X4)為反射點，記fi = f (Xi)，A i = fi-fi-i，將八1取得最大值時的i賦給m，如果式⑵和式⑶均成立，則用d4替換dm，并將X4作 為新的搜索起點，然后進行步驟S4.4;如果式(2)和式(3)中至少有一個不成立，則將X4作為 新的搜索起點，然后進行步驟S4.4;
[0072] F3<Fo (2)
[0073] (F0-2F2+F3) (F0-F2- Δ m)2<〇.5 Δ m(F〇-F3)2 (3)。
[0074] 步驟S5中，將參考圖像R與準確配準后的浮動圖像F按照式(4)進行加權融合：
[0075] I =R*wi+F*W2 (4)
[0076] 式(4)中，I為融合后的圖像，wi和W2均為加權系數，且wi+W2 = 1。
【主權項】
1. 一種基于剛性變換的多模態圖像融合方法，其特征在于:包括W下的步驟： S1:通過變換矩陣構建參考圖像R與浮動圖像F之間的剛性變換模型； S2:構建參考圖像R與浮動圖像F之間的相似度目標函數f; S3:利用模擬退火算法對相似度目標函數f進行全局尋優，得到相似度目標函數f全局 最優解對應的變換矩陣； S4:將步驟S3得到的全局最優解對應的變換矩陣中的平移量及旋轉量作為局部尋優的 捜索起點，利用鮑威爾算法對相似度目標函數f進行局部尋優，得到相似度目標函數f局部 最優解對應的變換矩陣，將局部最優解對應的變換矩陣代入步驟S1的剛性變換模型中，得 到準確配準后的浮動圖像F; S5:將參考圖像R與準確配準后的浮動圖像F進行加權融合。2. 根據權利要求1所述的基于剛性變換的多模態圖像融合方法，其特征在于:所述步驟 S1中的剛性變換模型如式（1)所示：(1) 式（1)中，Xr為浮動圖像F中任意一點的橫坐標，yr為浮動圖像F中該點的縱坐標，?為浮 動圖像F中該點變換到參考圖像R中得到的相應點的橫坐標，yf為浮動圖像F中該點變換到 參考圖像R中得到的相應點的縱坐標，X為浮動圖像F的水平平移量，y為浮動圖像F的垂直平 移量，Θ為浮動圖像F的逆時針旋轉角度：為變換矩陣。3. 根據權利要求1所述的基于剛性變換的多模態圖像融合方法，其特征在于:所述步驟 S2中的相似度目標函數f如式(2)所示：(2) 式(2)中，w=(x，y，θ)，H(R)為參考圖像R的賭，H(F)為浮動圖像F的賭，H(R，F)為參考圖 像R和浮動圖像F的聯合賭。4. 根據權利要求1所述的基于剛性變換的多模態圖像融合方法，其特征在于:所述步驟 S3包括W下的步驟： S3.1:將(x，y,0) = (0,0,0)作為初始解W0，計算相應的相似度目標函數f (W0); S3.2:利用擾動函數對wo進行擾動，得到新解W，并計算相應的相似度目標函數f(w); S3.3 :判斷f (W)和f (WQ)的大小：如果f (W)〉f (WQ)，則將W賦給WQ，然后繼續進行步驟 S3.4;如果f (w)<f (WQ)，則根據Metropolis準則決定是否接受W，如果接受，則將W賦給W0，然 后繼續進行步驟S3.4，如果不接受，則進行步驟S3.5; S3.4:判斷是否達到最大迭代次數:如果已達到最大迭代次數，則跳至步驟S3.5;如果 未達到最大迭代次數，則返回步驟S3.2; S3.5:判斷此時的相似度目標函數f是否滿足要求:如果滿足要求，則結束;如果不滿足 要求，則重新設定最大迭代次數，然后返回步驟S3.2。5. 根據權利要求1所述的基于剛性變換的多模態圖像融合方法，其特征在于:所述步驟 S4包括W下的步驟： S4.1:將所述步驟S3中得到的全局最優解對應的變換矩陣中的水平平移量作為局部尋 優的捜索起點X0，設定初始捜索方向分別為di(1，0，0)、cb(0，1，0)和d3(0，0，1); S4.2:采用一維化ent方法順次沿著di、cb和d3捜索相似度目標函數f的極大值，取得極 大值的點分別為X1、X2和X3; S4.3:連接X0和X3得到新的方向cU，沿著cU捜索相似度目標函數f的極大值，取得極大值 的點為X4,判斷是否用(k替換di、d2和d3中的一個方向：如果替換，則確定用(k替換di、d2和d3 中的哪個方向，并將X4作為新的捜索起點，然后進行步驟S4.4 ;如果不替換，則將X4作為新的 捜索起點，然后進行步驟S4.4; S4.4:判斷此時的相似度目標函數f是否滿足要求:如果滿足要求，則結束;如果不滿足 要求，則返回步驟S4.2。6. 根據權利要求5所述的基于剛性變換的多模態圖像融合方法，其特征在于:所述步驟 S4.3中的判斷采用如下的準則： 設定Fo = f (X0)為起始點，F2 = f (X3)為終點，F3 = f (X4)為反射點，記fi = f (Xi)，A i = fi- fi-i，將Ai取得最大值時的i賦給m，如果式(2)和式(3)均成立，則用cU替換dm,并將X4作為新 的捜索起點，然后進行步驟S4.4;如果式(2)和式(3)中至少有一個不成立，則將X4作為新的 捜索起點，然后進行步驟S4.4; F3<F0 (2) (F0-2F2+F3) (F0-F2- Δ m)2<0.5 Δ m(F〇-F3)2 (3)。7. 根據權利要求1所述的基于剛性變換的多模態圖像融合方法，其特征在于:所述步驟 S5中，將參考圖像R與準確配準后的浮動圖像F按照式(4)進行加權融合： I 二 R*wi+F*W2 (4) 式(4)中，I為融合后的圖像，W1和W2均為加權系數，且W1+W2二1。
【文檔編號】G06T7/00GK106097247SQ201610413920
【公開日】2016年11月9日
【申請日】2016年6月14日 公開號201610413920.5, CN 106097247 A, CN 106097247A, CN 201610413920, CN-A-106097247, CN106097247 A, CN106097247A, CN201610413920, CN201610413920.5
【發明人】劉金虎, 王東輝, 加馮剛
【申請人】南京普愛醫療設備股份有限公司