一種基于受限玻爾茲曼機的乳腺圖像特征融合方法與流程

本發明涉及特征工程
技術領域：
，特別是一種基于受限玻爾茲曼機的乳腺圖像特征融合方法。
背景技術：
：乳腺癌是發生在婦女群體中最普遍的惡性腫瘤之一。近年來我國調查研究顯示，乳腺癌的發生比率在逐年遞增。因此提高乳腺癌的早期診斷精度變得越來越有意義。目前，乳腺癌診斷采用的主要方法是通過乳腺鉬靶、B超圖像等影像檢查，診斷者通過鈣化或腫塊等影像特征來對病情進行分析。但由于乳腺組織中的腺體、血管、脂肪等軟組織的密度與病灶區的密度都很接近，加上診斷者視覺疲勞等因素，使得早期乳腺癌的誤診和漏診仍時常發生。隨著醫學影像技術和計算機技術的不斷發展，利用計算機進行輔助診斷成為可能。從計算機輔助診斷乳腺癌的應用現狀來看，計算機輔助診斷的準確度很大程度取決于提取到乳腺圖像病理相關特征是否有效。目前，一張特定的醫學圖像對應一個單一的視角，只能捕捉到該視角下的局部信息，輔助診斷通常需要綜合考慮不同視角的情況。例如對于乳腺鉬靶圖像而言，就可分為LCC、LMLO、RCC、RMLO四個不同的視角。其中LCC、LMLO是針對左乳腺的影像，而RCC、RMLO是針對右乳腺的影像。CC、MLO代表不同視角，分別表示軸位和側位。不同視角下圖像特征的融合有助于提供更為全面的病理描述。其次，醫學成像技術發展至今，有各種模態的醫學圖像，如超聲、核磁共振成像、乳腺鉬靶圖像、核醫學圖像、計算機斷層攝影、紅外線、熒光造影等。由于采用不同的成像技術，每種模態的醫學圖像在輔助診斷中具有各自的特點。就乳腺癌診斷而言，鈣化和腫塊是兩個非常重要的診斷依據。乳腺鉬靶對微小鈣化敏感度高，但對腫塊受致密性影響很大；乳腺B超圖像腫塊檢測性能良好，不受致密性影響，但是對微小鈣化敏感性差。顯然，乳腺X射線和B超圖像在輔助診斷上存在很強的互補性，兩種模態下各自的圖像特征亟需有效融合。因此，最好的解決機制是提供一種可以根據以往乳腺癌鉬靶圖像自動學習出與病理有關且可用于輔助診斷的鉬靶圖像高層語義特征的方法。醫學圖像特征融合是隸屬于醫學圖像融合的一個子問題。目前研究最多也最為成熟的是像素級圖像融合技術，包含兩個階段：圖像配準和像素信息融合。但是像素級融合是最低層次的融合，在盡可能多的保留原始圖像信息的同時也帶來了計算繁雜的缺陷。決策級融合發生在決策階段，主要是通過集成不同分類器來實現，以此達到提高單一分類器性能的目的。作為最高層次的融合，決策級融合處理簡單但是損失細節信息過多。特征級融合介于像素級和決策級之間，在保留足夠數量的有效信息的基礎上，對信息進行了一定的壓縮，減少信息處理的繁雜度。無論是信息飽和度還是處理效用度的角度來考察，特征級融合都是醫學圖像融合中更為合理有效的機制。目前特征級融合主要有級(串)聯融合、并聯融合、加權融合、基于主成分分析的融合和基于典型相關分析融合等。例如王之瓊等人首先提取乳腺乳腺鉬靶圖像的特征，然后將左側乳腺、右側乳腺以及雙側乳腺對比特征進行級聯融合。Dong-JunYu,JunHu等人對蛋白質的多視角特征利用復數空間進行融合，然后在利用廣義的主成分分析進行分類。魏旭等人先提取了包括分形特征、局域灰度概率特征等多種特征，通過基于PCA的特征融合算法對其進行融合，對目標進行了匹配識別。醫學圖像含有異構性、成分復雜、噪聲顯著、生理相關性等特性，使得到目前為止的醫學圖像特征級融合的效果不盡人意。受限玻爾茲曼機作為一種多隱層的人工神經網絡深度學習模型，具有很強的特征學習能力，可以從數據中學習得到更抽象更本質的特征；而多層人工神經網絡很難進行有效訓練的問題也可以通過逐層無監督訓練加以克服。因此，本申請基于上述方法，從乳腺鉬靶、B超圖像預處理獲取的手工淺層特征中經由堆疊自編碼學習抽取效用度更好的高層病理特征，進一步經由單模態多視角下圖像病理特征融合和多模態圖像病理特征融合等階段，從而為臨床診斷提供更有價值的“參考意見”，提高乳腺癌診斷的準確率和效率。技術實現要素：本發明的目的在于提供一種基于受限玻爾茲曼機的乳腺圖像特征融合方法，以克服現有技術中存在的缺陷。為實現上述目的，本發明的技術方案是：一種基于受限玻爾茲曼機的乳腺圖像特征融合方法，包括以下步驟：步驟S1：針對乳腺鉬靶圖像，從不同視角提取的手工淺層特征，并經過深度學習，得到不同視角的高層語義特征；步驟S2：針對乳腺B超圖像，從不同視角提取的手工淺層特征，并經過深度學習，得到不同視角的高層語義特征；步驟S3：將所述步驟S1中獲取的乳腺鉬靶圖像不同視角的高層語義特征級聯，得到乳腺鉬靶多視角融合后的高層語義特征；步驟S4：將所述步驟S2中獲取的乳腺B超圖像不同視角的高層語義特征級聯，得到乳腺B超多視角融合后的高層語義特征；步驟S5：將所述步驟S3及所述步驟S4得到的乳腺鉬靶多視角融合后的高層語義特征、乳腺B超多視角融合后的高層語義特征作為訓練樣本，利用CD算法訓練整個多模態乳腺圖像特征融合模型，也即FUSION_RBM模型；步驟S6：所述FUSION_RBM模型訓練完成后，給定一待測樣本(f_mod1，f_mod2)，根據以下公式獲得融合特征表示：P(hj=1|f_mod1,f_mod2)=σ(Σi=1v1w1ijf_mod1i+Σi=1v2w2ijf_mod2i+bhj)]]>其中，hj為隱層h第j個單元，f_modti為模態t圖像特征第i個單元，wtij為模態t圖像特征輸入層第i個單元與隱層h第j個單元之間的連接權值，bhj為隱層h中第j個單元的偏置，bti為模態t圖像特征輸入層第i個單元的偏置，σ表示sigmoid函數。進一步的，在本發明一實施例中，在所述步驟S1中，從每一張視角為CC位，也即view1，的鉬靶ROI圖像中提取手工淺層特征，經過堆疊自編碼器深度學習，得到鉬靶的高層語義特征SAE-F2-view1；從每一張視角為MLO位，也即view2，的鉬靶ROI圖像中提取手工淺層特征，經過堆疊自編碼器深度學習，得到鉬靶高層語義特征SAE-F2-view2。進一步的，在本發明一實施例中，在所述步驟S2中，從每一張視角為切面1，也即view1，的B超ROI圖像中提取手工淺層特征，經過堆疊自編碼器深度學習，得到B超的高層語義特征BSAE-F2-view1；從每一張視角為切面2，也即view2，的B超ROI圖像中提取手工淺層特征，經過堆疊自編碼器深度學習，得到B超的高層語義特征BSAE-F2-view2。進一步的，在本發明一實施例中，在所述步驟S3中，將所述步驟S1得到的乳腺鉬靶兩個視角的圖像特征SAE-F2-view1和SAE-F2-view2，串聯成一個高維特征向量SAE-F2-fusion，以保留所有視角的信息。進一步的，在本發明一實施例中，在所述步驟S4中，將所述步驟S2中得到的乳腺B超兩個視角的圖像特征BSAE-F2-view1和BSAE-F2-view2，串聯成一個高維特征向量BSAE-F2-fusion，以保留所有視角的信息。進一步的，在本發明一實施例中，在所述步驟S5中，將所述步驟S3及所述步驟S4得到的乳腺鉬靶多視角融合后的高層語義特征、乳腺B超多視角融合后的高層語義特征作為訓練樣本，利用CD算法訓練整個多模態乳腺圖像特征融合模型，也即FUSION_RBM模型，具體包括以下步驟：步驟S51：初始化，α表示學習率，size表示訓練集樣本個數，num_epoch表示設置的循環次數；步驟S52：外重循環fort＝1:num_epoch；內重循環fors＝1:size；步驟S521：輸入層采樣；將訓練樣本轉化為二進制單元，具體為：即，當特征大于一個0至1之間的隨機數時，賦值為1，否則為0；其中，f_mod1＝BSAE-F2-fusion，f_mod2＝SAE-F2-fusion，vi表示模態i的特征維數；rand(1,v1+v2)表示產生1行v1+v2列的(0,1)區間的隨機數；步驟S522：計算正向概率隱層P(pos_h_proj(s)=1|f_mod1(s),f_mod2(s))=σ(Σi=1v1w1ijf_mod1i(s)+Σi=1v2w2ijf_mod2i(s)+bhj);]]>步驟S523：正向隱層采樣。將概率隱層轉化為二進制隱層：pos_h_state(s)=pos_h_pro(s)>rand(1,vh);]]>步驟S524：反向重構輸入層：P(neg_f_modti(s)=1|pos_h_state(s))=σ(Σj=1vhwtijpos_h_statej(s)+bti),t=1,2;]]>步驟S525：反向輸入層采樣：neg_state_f(s)_modt=neg_f_modt(s)>rand(1,vt),t=1,2;]]>步驟S526：計算反向概率隱層P(neg_h_proj(s)=|neg_state_f_mod1(s),neg_state_f_mod2(s))=σ(Σi=1v1w1ijneg_state_f_mod1i(s)+Σi=1v2w2ijneg_state_f_mod2i(s)+bhj);]]>步驟S527：計算梯度：dwtij=f_modti(s)*pos_h_proj(s)-neg_f_modti(s)*neg_h_proj(s),t=1,2dbhj=pos_h_proj(s)-neg_h_proj(s)dbti=f_modti(s)-neg_f_modti(s),t=1,2;]]>步驟S528：更新權值和偏置：wtij＝wtij+α*dwtij,t＝1,2bhj＝bhj+α*dbhjbti＝bti+α*dbti,t＝1,2；其中，hj為隱層h第j個單元，f_modti為模態t圖像特征第i個單元，wtij為模態t圖像特征輸入層第i個單元與隱層h第j個單元之間的連接權值，bhj為隱層h中第j個單元的偏置，bti為模態t圖像特征輸入層第i個單元的偏置，σ表示sigmoid函數。相較于現有技術，本發明具有以下有益效果：本發明所提出的一種基于受限玻爾茲曼機的乳腺圖像特征融合方法，將單一模態多視角的乳腺醫學圖像病理特征進行級聯融合，然后進一步地引入受限玻爾茲曼機，計算不同模態醫學圖像的病理特征的概率聯合分布模型，獲取其隱層特征作為多模態乳腺醫學影像病理特征融合后的特征，在一定程度上完善不同模態乳腺醫學圖像之間的信息互補。為臨床診斷提供更有價值的“參考意見”，具有較強的實用性。附圖說明圖1為本發明中基于受限玻爾茲曼機的乳腺圖像特征融合方法圖像特征融合流程圖。圖2為本發明中基于受限玻爾茲曼機的乳腺圖像特征融合方法中多模態乳腺圖像特征融合模型(FUSION_RBM)。具體實施方式下面結合附圖，對本發明的技術方案進行具體說明。本發明一種基于受限玻爾茲曼機的乳腺圖像特征融合方法，如圖1所示，具體包括以下步驟：步驟S1：針對乳腺鉬靶圖像，從不同視角提取的手工淺層特征經過深度學習后，可得到不同視角的高層語義特征；步驟S2：針對乳腺B超圖像，從不同視角提取的手工淺層特征經過深度學習后，可得到不同視角的高層語義特征；步驟S3：將乳腺鉬靶圖像不同視角的高層語義特征級聯后，得到乳腺鉬靶多視角融合后的高層語義特征；步驟S4：將乳腺B超圖像不同視角的高層語義特征級聯后得到乳腺B超多視角融合后的高層語義特征；步驟S5：將步驟S3及步驟S4得到的乳腺鉬靶多視角融合后的高層語義特征、乳腺B超多視角融合后的高層語義特征作為訓練樣本，利用CD算法，訓練整個多模態乳腺圖像特征融合模型FUSION_RBM，如圖2所示。步驟S6：FUSION_RBM模型訓練完成后，給定任一待測樣本(f_mod1，f_mod2)，根據公以下式即可以獲得融合特征表示：P(hj=1|f_mod1,f_mod2)=σ(Σi=1v1w1ijf_mod1i+Σi=1v2w2ijf_mod2i+bhj)]]>其中，hj為隱層h第j個單元，f_modti為模態t圖像特征第i個單元，wtij為模態t圖像特征輸入層第i個單元與隱層h第j個單元之間的連接權值，bhj為隱層h中第j個單元的偏置，bti為模態t圖像特征輸入層第i個單元的偏置，σ表示sigmoid函數。進一步的，在本實施例中，給出198個帶標簽的乳腺B超、198個帶標簽的乳腺鉬靶ROI圖像，這些圖像同屬于99個乳腺實例對象。取53個實例對象用于訓練多模態特征融合模型，46個實例對象(良性21個，惡性25個)作為測試樣本。進一步地，在本實施例中，在步驟S1中，從每一張視角為CC位，也即view1的鉬靶ROI圖像中提取提取手工淺層特征，得到樣本集m_set_view1，具體地，m_set_view1＝{(xview1(1),y(1)),(xview1(2),y(2)),…,(xview1(53),y(53))}，其中，xview1(i)∈[0,1]94,y(i)∈{-1,1},i＝1,2,…,53，經過堆疊自編碼器深度學習后得到鉬靶的高層語義特征SAE-F2-view1，具體地，SAE-F2-view1∈[0,1]70；從每一張視角為MLO位，也即view2的鉬靶ROI圖像中提取手工淺層特征，得到樣本集m_set_view2，具體地，m_set_view2＝{(xview2(1),y(1)),(xview2(2),y(2)),…,(xview2(53),y(53))}，其中，xview2(i)∈[0,1]94,y(i)∈{-1,1},i＝1,2,…,53，經過堆疊自編碼器深度學習后得到鉬靶高層語義特征SAE-F2-view2，具體地，SAE-F2-view2∈[0,1]70。進一步地，在本實施例中，在步驟S2中，從每一張視角為切面1，也即view1的B超ROI圖像中提取提取手工淺層特征，得到樣本集b_set_view1，具體地，b_set_view1＝{(xview1(1),y(1)),(xview1(2),y(2)),…,(xview1(99),y(53))}，其中，xview1(i)∈[0,1]399,y(i)∈{-1,1},i＝1,2,…,53，經過堆疊自編碼器深度學習后得到B超的高層語義特征BSAE-F2-view1，具體地，BSAE-F2-view1∈[0,1]200；從每一張視角為切面2，也即view2的B超ROI圖像中提取手工淺層特征，得到樣本集b_set_view2，具體地，b_set_view2＝{(xview2(1),y(1)),(xview2(2),y(2)),…,(xview2(53),y(53))}，其中，xview2(i)∈[0,1]399,y(i)∈{-1,1},i＝1,2,…,53，經過堆疊自編碼器深度學習后得到B超的高層語義特征BSAE-F2-view2，具體地，BSAE-F2-view2∈[0,1]200。進一步地，在本實施例中，在步驟S3中，對步驟S1得到的乳腺鉬靶兩個視角的圖像特征SAE-F2-view1和SAE-F2-view2，串聯成一個高維特征向量SAE-F2-fusion，SAE-F2-fusion∈[0,1]140，這樣盡可能地保留了所有視角的信息。進一步地，在本實施例中，在步驟S4中，對步驟S2得到的乳腺B超兩個視角的圖像特征BSAE-F2-view1和BSAE-F2-view2，串聯成一個高維特征向量BSAE-F2-fusion，BSAE-F2-fusion∈[0,1]400，這樣盡可能地保留了所有視角的信息。進一步地，在本實施例中，在步驟S5中，利用CD算法，訓練一個多模態乳腺圖像特征融合模型FUSION_RBM，如圖2所示，其中hj為隱層h第j個單元，f_modti為模態t圖像特征第i個單元，wtij為模態t圖像特征輸入層第i個單元與隱層h第j個單元之間的連接權值，bhj為隱層h中第j個單元的偏置，bti為模態t圖像特征輸入層第i個單元的偏置，σ表示sigmoid函數。具體包括以下步驟：步驟S51：初始化：α表示學習率，在本實施例中，該α設置為0.01，size表示訓練集樣本個數，在本實施例中，該size取值為53，num_epoch表示設置的循環次數，在本實施例中，該num_epoch設置為10；步驟S52：外重循環fort＝1:num_epoch；內重循環fors＝1:size；步驟S521：輸入層采樣。將訓練樣本轉化為二進制單元，具體為：即，當特征大于一個0至1之間的隨機數時，賦值為1，否則為0；其中，f_mod1＝BSAE-F2-fusion，f_mod2＝SAE-F2-fusion，vi表示模態i的特征維數，在本實施例中，v1＝400，v2＝140，rand(1,v1+v2)表示產生1行v1+v2列的(0,1)區間的隨機數；步驟S522：計算正向概率隱層P(pos_h_proj(s)=1|f_mod1(s),f_mod2(s))=σ(Σi=1v1w1ijf_mod1i(s)+Σi=1v2w2ijf_mod2i(s)+bhj);]]>步驟S523：正向隱層采樣。將概率隱層轉化為二進制隱層：pos_h_state(s)=pos_h_pro(s)>rand(1,vh);]]>步驟S524：反向重構輸入層：P(neg_f_modti(s)=1pos_h_state(s))=σ(Σj=1vhwtijpos_h_statej+(s)bti),t=1,2;]]>步驟S525：反向輸入層采樣：具體為：當特征大于一個0至1之間的隨機數時，賦值為1，否則為0，即：neg_state_(s)f_modt=neg_f_modt(s)>rand(1,vt),t=1,2;]]>步驟S526：計算反向概率隱層P(neg_h_proj(s)=1|neg_state_f_mod1(s),neg_state_f_mod2(s))=σ(Σi=1v1w1ijneg_state_f_mod1i(s)+Σi=1v2w2ijneg_state_f_mod2i(s)+bhj);]]>步驟S527：計算梯度：dwtij=f_modti(s)*pos_h_proj(s)-neg_f_modti(s)*neg_h_proj(s),t=1,2dbhj=pos_h_proj(s)-neg_h_proj(s)dbti-f_modti(s)-neg_f_modti(s),t=1,2;]]>步驟S528：更新權值和偏置：wtij＝wtij+α*dwtij,t＝1,2bhj＝bhj+α*dbhjbti＝bti+α*dbti,t＝1,2。進一步的，在本實施例中，為了驗證融合后特征的表達能力，在多模態多視角融合特征上，采用基于RBF和線性核的SVM分類器對樣本進行分類。將46個實例對象(良性21個，惡性25個)作為測試樣本，將同一樣本的乳腺鉬靶多視角融合后的高層語義特征SAE-F2-fusion以及乳腺B超多視角融合后的高層語義特征BSAE-F2-fusion作為FUSION-RBM的輸入；F-b-m作為FUSION-RBM的輸出，即乳腺B超BSAE-F2-fusion和乳腺鉬靶SAE-F2-fusion融合后的特征。在RBF核及線性核下，采用網格搜索及留一交叉驗證法進行參數擇優，并在各自最優參數條件下，采用留一法來評估融合后特征的分類能力，如表1所示。表1多模態多視角融合后的特征的分類結果以上是本發明的較佳實施例，凡依本發明技術方案所作的改變，所產生的功能作用未超出本發明技術方案的范圍時，均屬于本發明的保護范圍。當前第1頁1 2 3