基于卷積神經網絡的胃腸道腫瘤顯微高光譜圖像處理方法
【專利摘要】本發明公開了基于卷積神經網絡的胃腸道腫瘤顯微高光譜圖像處理方法，包括以下步驟：對獲得的胃腸道組織高光譜訓練圖像的光譜維進行降維去噪；構造卷積神經網絡結構；采用分批處理方法，將得到的高光譜數據主成分，即若干個二維灰度圖像作為輸入圖像輸入構造好的卷積神經網絡結構，相當于若干張輸入層的特征圖，采用交叉熵函數作為損失函數，利用誤差反向傳播算法，根據該訓練批次內的平均損失函數訓練卷積神經網絡中的參數以及邏輯回歸層參數至網絡收斂。本發明利用主成分分析法對高光譜圖像進行降維，既保留了足夠的光譜信息和空間紋理信息，又大大降低了算法的復雜性，提高了算法的效率。
【專利說明】
基于卷積神經網絡的胃腸道腫瘤顯微高光譜圖像處理方法
技術領域
[0001] 本發明涉及醫學高光譜圖像處理領域，具體涉及基于卷積神經網絡的胃腸道腫瘤 顯微高光譜圖像處理方法。
【背景技術】
[0002] 腫瘤是指機體在各種致瘤因子作用下，局部組織細胞增生所形成的新生物，因為 這種新生物多呈占位性塊狀突起，也稱贅生物。胃腸腫瘤是消化道常見的腫瘤，胃腸道良性 腫瘤切除后不易復發，對機體危害較小；而胃腸道惡性腫瘤，即癌，是世界范圍內發病率較 高、較常見的惡性腫瘤之一，且近年發病率明顯上升。
[0003] 目前，對胃腸道腫瘤進行病理學檢查時，需要對活體取材組織進行顯微觀察與化 驗。大量的醫學圖像需要醫生通過視覺觀察進行判斷，一方面造成了醫生工作量的繁重；另 一方面視覺觀察主觀性較強，難以進行定量分析。
[0004] 高光譜成像基于多光譜成像，從紫外到近紅外的光譜范圍內，采用成像光譜儀，在 光譜覆蓋范圍的數十或數百個光譜波段上對目標物體連續成像，同時獲取目標物體的空間 信息和光譜信息。近年來高光譜成像技術因其光譜范圍廣、波段多、分辨率高和圖譜合一的 特點越來越多地被應用于醫學領域。
[0005] 在此背景下，醫學圖像處理與分析技術的作用就凸顯了出來。醫學圖像處理與分 析技術就是根據臨床的特定需要利用數學的方法對醫學圖像進行加工與處理，為臨床提供 更多的診斷信息和數據。
【發明內容】
[0006] 為解決現有技術存在的不足，本發明公開了基于卷積神經網絡的胃腸道腫瘤顯微 高光譜圖像處理方法，本發明能夠自動提取圖像深層特征，有效完成胃腸道組織高光譜圖 像的分類，識別率較高。
[0007] 為實現上述目的，本發明的具體方案如下：
[0008] 基于卷積神經網絡的胃腸道腫瘤顯微高光譜圖像處理方法，包括以下步驟：
[0009] 對獲得的胃腸道組織高光譜訓練圖像的光譜維進行降維去噪，僅保留高光譜數據 的主成分；
[0010] 構造卷積神經網絡結構；
[0011]采用分批處理方法，將每個批次內的訓練樣本輸入構造好的卷積神經網絡，每個 訓練樣本數據為高光譜數據主成分即若干個二維灰度圖像，若干個二維灰度圖像相當于若 干張輸入層的特征圖，采用交叉熵函數作為損失函數，利用誤差反向傳播算法，根據該訓練 批次內的平均損失函數訓練卷積神經網絡中的參數以及邏輯回歸層參數直至網絡收斂；
[0012] 將待測試圖像輸入訓練好的卷積神經網絡得到該圖像為胃腸處腫瘤組織圖像的 概率。
[0013] 進一步的，對獲得的胃腸道組織高光譜訓練圖像的光譜維進行降維去噪，僅保留 高光譜數據的主成分的具體方式為：
[0014] 將三維高光譜圖像轉換成二維高光譜特征向量；
[0015] 計算二維高光譜特征向量中所有像素光譜維的均值向量，并對所有像素點的光譜 信息進行中心化，即減去所有像素點光譜信息的均值；
[0016] 計算中心化后的二維高光譜特征向量的協方差矩陣；
[0017] 對得到的協方差矩陣進行特征值分解，得到一組降序排列的特征值及其對應的特 征向量，選擇數據主成分，得到主成分映射矩陣。
[0018] 進一步的，選擇數據主成分后，根據得到的主成分映射矩陣，對二維高光譜特征向 量進行主成分映射，得到主成分分析后的二維高光譜特征向量；
[0019] 將得到的二維高光譜特征向量恢復為三維高光譜圖像，這樣就得到了保留高光譜 數據的主成分的圖像。
[0020] 進一步的，構造卷積神經網絡結構為:依次為輸入層、卷積層C1、下采樣層S2、卷積 層C3、下采樣層S4、卷積層C5、下采樣層S6、卷積層C7、下采樣層S8、卷積層C9、下采樣層C10、 卷積層C11、邏輯回歸層及輸出層。
[0021] 進一步的，輸入層為灰度圖像塊，卷積層C1設置6個特征圖，下采樣層S2設置6個特 征圖，卷積層C3、C5及C7設置10個特征圖，下采樣層S4、S6及S8設置10個特征圖，卷積層C9設 置16個特征圖，下采樣層C10設置16個特征圖，卷積層C11設置100個特征圖，邏輯回歸層有 100個節點，輸出層有一個節點，其中卷積層C9層的特征圖與采樣層S8層的特征圖采用部分 連接方式。
[0022] 進一步的，卷積神經網絡訓練時，具體為：
[0023] 對卷積神經網絡中待訓練參數進行隨機初始化；
[0024] 分批輸入兩類訓練數據，圖像為胃腸處腫瘤組織圖像時設定輸出節點為1，圖像為 正常胃腸組織圖像設定輸出節點為〇;
[0025] 根據該批次內平均損失函數利用誤差反向傳播算法對卷積神經網絡及邏輯回歸 分類參數進行訓練至收斂。
[0026] 進一步的，損失函數為交叉熵函數。
[0027] 進一步的，將待測試圖像輸入訓練好的卷積神經網絡得到該圖像為胃腸處腫瘤組 織圖像的概率具體包括：
[0028] 采用主成分分析法對胃腸道組織高光譜測試圖像的光譜維進行降維去噪，抽取高 光譜數據的a個主成分，得到主成分分析后的灰度圖像塊及其標簽；
[0029] 將得到的灰度圖像塊輸入訓練好的卷積神經網絡中，得出最終輸出，輸出節點即 為該圖像為胃腸處腫瘤組織圖像的概率。
[0030] 進一步的，損失函數為交叉熵函數，公式如下：
[0032]其中，m為分批處理一個批次內樣本的個數，d為輸出層節點個數，該訓練批次內< 為該訓練批次內第η個樣本輸出層第k個節點的實際輸出值，zf為該訓練批次內第η個樣本 輸出層第k個節點的理論值。
[0033]進一步的，卷積層損失函數對待訓練參數的梯度公式為：
[0036] 其中，g為第1層第j個特征圖對應的偏置,?是與第1層第i個特征圖對應第1-1層 第j個特征圖的參數矩陣，(ΛΜ)",，是第1-1層第i個特征圖卷積窗口的第u行第v列像素點的 值。^為第1層第j個特征圖對應的靈敏度矩陣，它的公式為：
[0037] < = (/，(w;) - (d:;+1)) (16)
[0038] 上式中，g+1為第1 + 1下采樣層第j個特征圖對應的權值，/〇/,)為激勵函數在第1 層第j個特征圖上的導數矩陣，up( ·)為上采樣函數，<+1為第1層第j個特征圖對應的靈敏 度矩陣。
[0039]進一步的，下采樣層損失函數對待訓練參數的梯度公式為：
[0042] 其中，< 為第1層第j個特征圖的偏置，/?為第1層第j個特征圖的權值，^#·^1) 為第1-1層第j個特征圖的下采樣，為第1層第j個特征圖對應的靈敏度矩陣，它的公式為：
[0043] < =.廣(":)。(wnqd';-1, rod 80(A〈-] ),'>//') (1Q)
[0044] 上式中，/(<)為激勵函數在第1層第j個特征圖上的導數矩陣，r〇d80(Af)為第1+ 1層第j個特征圖旋轉180度的特征圖矩陣，conv2( ·，·）為卷積計算函數，'full'表示卷積 方式為全卷積，即對缺省部分補0。
[0045] 本發明的有益效果：
[0046] (1)本發明通過胃腸組織高光譜圖像進行腫瘤檢測，高光譜圖像中富含的信息量 大大高于正常醫學圖像，使分類精度得到了較大提高。且利用主成分分析法對高光譜圖像 進行降維，既保留了足夠的光譜信息和空間紋理信息，又大大降低了算法的復雜性，提高了 算法的效率。
[0047] (2)本發明將深度學習中的卷積神經網絡引入胃腸腫瘤的病理學檢測，卷積神經 網絡具有強大的特征提取功能，能夠自動提取圖像深層紋理信息，摒除干擾，對胃腸處腫瘤 組織高光譜圖像和正常組織高光譜圖像做出較為準確的判斷，本申請并不能作為疾病的診 斷，僅僅作為輔助信息輔助醫生進行判斷，提高了診斷準確性，降低了工作量。
[0048] (3)卷積神經網絡中采用交叉熵函數作為損失函數，且利用分批處理方式對權值 進行更新，加快了收斂速度，提高了算法的效率。
【附圖說明】
[0049] 圖1本發明的網絡結構圖；
[0050] 圖2本發明卷積層C9和下采樣層S8特征圖連接圖；
[0051]圖3本發明的訓練流程圖；
[0052]圖4本發明的測試流程圖。
【具體實施方式】：
[0053]下面結合附圖對本發明進行詳細說明：
[0054]基于卷積神經網絡的胃腸道腫瘤顯微高光譜圖像檢測中的網絡訓練方法包括以 下步驟：
[0055] (1):采用主成分分析法對胃腸道組織高光譜訓練圖像的光譜維進行降維去噪，抽 取高光譜數據的a個主成分，得到主成分分析后的圖像及其標簽；
[0056] (2):構造十三層卷積神經網絡，如圖1所示，包括六個卷積層、五個亞采樣層一個 邏輯回歸層、一個輸出層。其中，輸入的是400*400*a的灰度圖像塊，卷積層C1設置6個特征 圖，亞采樣層S2設置6個特征圖，卷積層C3、C5及C7設置10個特征圖，亞采樣層S4、S6及S8設 置10個特征圖，卷積層C9設置16個特征圖，亞采樣層C10設置16個特征圖，卷積層C11設置 100個特征圖，邏輯回歸層有100個節點，輸出層有一個節點其中卷積層C9層的特征圖與S8 層的特征圖采用部分連接方式，如圖2所示。
[0057]其中，卷積層節點對應的輸入輸出表達式為：
[0058] 4 = /(Σ,-,μ x，^ XK +b>：)
[0059] 亞采樣層節點對應的輸入輸出表達式為：
[0060] 4 ^/(Σ; ι.2.κιΗ/·χχ?' ! χ1+^!)
[0061 ]邏輯回歸層對應的表達式為：
[0063] (3):采用分批處理方法分批輸入訓練圖像對卷積神經網絡進行訓練。將一個訓練 批次內的兩種的灰度圖像塊輸入卷積神經網絡，采用交叉熵函數作為損失函數，利用反向 傳播算法，根據該訓練批次內的平均損失函數訓練卷積神經網絡中的參數以及邏輯回歸層 參數至網絡收斂；
[0064] 其中，步驟(1)抽取高光譜圖像光譜維主成分的具體步驟為：
[0065] 步驟(1.1):將三維高光譜圖像轉換成二維高光譜特征向量，公式如下：
[0066] I- 4 I ⑴
[0067] 其中，X是三維高光譜圖像，Μ為圖像行數，N為圖像列數，K為光譜波段數，心是轉化 后的二維特征矩陣；
[0068]步驟(1.2):求步驟(1.1)中得到的二維高光譜特征向量中每個像素對應光譜維的 均值，并對所有像素點的光譜信息進行中心化，即減去所有像素點光譜信息的均值，均值計 算公式如下：
⑵
[0070] 其中，?是所有像素光譜維的均值，i = l"_L是像素數，L是像素點的個數，Xl是二維 高光譜特征向量中第i個像素點的光譜信息；
[0071] 步驟(1.3):計算步驟(1.2)中得到的中心化后的二維高光譜特征向量的協方差矩 陣，公式如下：
[0072] Σ =X2TXX2 (3)
[0073] 其中，Χ2是中心化后的二維高光譜特征向量，以是其轉置向量；
[0074] 步驟（1.4):對步驟（1.3)中得到的協方差矩陣進行特征值分解，得到一組降序排 列的特征值及其對應的特征向量，選擇數據主成分，特征值分解公式為：
[0075] Σ-λΕ| =0 (4)
[0076] ( Σ-λΕ)γ = 0 (5)
[0077] 其中，Σ為步驟（1.3)中得出的協方差矩陣，Ε為單位矩陣，λ為協方差矩陣Σ的特 征值，y為特征值λ對應的特征向量；
[0078]主成分選擇方法為：
(6：)：
[0091] ^ =/(Σ,嗎才 1χλ?) _
[0092] 下采樣層節點對應的輸入輸出表達式為：
[0093] 4 = i.2. W：, x d〇wn(.r； 1) +i/) (⑴
[0094] 上式中，1為網絡層數，j為1層的第j個特征圖數，< 為第1層第j個特征圖上的輸出 矩陣，X^1表示第1-1層第i個特征圖矩陣，這里作為輸入矩陣，?是與第1-1層第i個特征圖 對應的第1層第j個特征圖的參數矩陣，fr/表示第1個采樣層第j個特征圖對應的權值，down (·)表示一個下采樣函數表示第1層第j個特征圖對應的偏置，f個對應sigmoid函數。 [0095]邏輯回歸層對應的表達式為：
m)
[0097] 上式中，X為邏輯回歸層輸入節點的值，Θ為邏輯回歸層待訓練參數，he(X)為邏輯 回歸層的輸出，含義為輸出節點取1的概率。
[0098] 如圖3所示，步驟(3)卷積神經網絡訓練過程的具體步驟為：
[0099] 步驟(3.1):對卷積神經網絡中待訓練參數進行隨機初始化；
[0100] 步驟(3.2):分批輸入兩類訓練數據，圖像為胃腸處腫瘤組織圖像時設定輸出節點 為1，圖像為正常胃腸組織圖像設定輸出節點為0。根據該批次內平均損失函數利用誤差反 向傳播算法對卷積神經網絡及邏輯回歸分類參數進行訓練至收斂，損失函數為交叉熵函 數，
[0101] 如圖4所示，在測試時：
[0102] (1):采用主成分分析法對胃腸道組織高光譜測試圖像的光譜維進行降維去噪，抽 取高光譜數據的a個主成分，得到主成分分析后的圖像及其標簽；
[0103] (2):將步驟得到的400*400*a的灰度圖像塊輸入中訓練好的卷積神經網絡中，得 出最終輸出。輸出節點即為該圖像胃腸處腫瘤組織圖像的概率，若輸出值大于0.5,則判為 腫瘤組織圖像，若輸出值小于0.5,則判為正常組織圖像。
[0104] 上述雖然結合附圖對本發明的【具體實施方式】進行了描述，但并非對本發明保護范 圍的限制，所屬領域技術人員應該明白，在本發明的技術方案的基礎上，本領域技術人員不 需要付出創造性勞動即可做出的各種修改或變形仍在本發明的保護范圍以內。
【主權項】
1. 基于卷積神經網絡的胃腸道腫瘤顯微高光譜圖像處理方法，其特征是，包括W下步 驟： 對獲得的胃腸道組織高光譜訓練圖像的光譜維進行降維去噪，僅保留高光譜數據的主 成分； 構造卷積神經網絡結構； 采用分批處理方法，將每個批次內的訓練樣本輸入構造好的卷積神經網絡，每個訓練 樣本數據為高光譜數據主成分即若干個二維灰度圖像，若干個二維灰度圖像相當于若干張 輸入層的特征圖，采用交叉賭函數作為損失函數，利用誤差反向傳播算法，根據該訓練批次 內的平均損失函數訓練卷積神經網絡中的參數W及邏輯回歸層參數直至網絡收斂； 將待測試圖像輸入訓練好的卷積神經網絡得到該圖像為胃腸處腫瘤組織圖像的概率。2. 如權利要求1所述的基于卷積神經網絡的胃腸道腫瘤顯微高光譜圖像處理方法，其 特征是，對獲得的胃腸道組織高光譜訓練圖像的光譜維進行降維去噪，僅保留高光譜數據 的主成分的具體方式為： 將Ξ維高光譜圖像轉換成二維高光譜特征向量； 計算得到的二維高光譜特征向量中所有像素光譜維的均值向量，并對所有像素點的光 譜信息進行中屯、化，即減去所有像素點光譜信息的均值； 計算中屯、化后的二維高光譜特征向量的協方差矩陣； 對得到的協方差矩陣進行特征值分解，得到一組降序排列的特征值及其對應的特征向 量，選擇數據主成分，得到主成分映射矩陣。3. 如權利要求2所述的基于卷積神經網絡的胃腸道腫瘤顯微高光譜圖像處理方法，其 特征是，選擇數據主成分后，根據得到的主成分映射矩陣，對二維高光譜特征向量進行主成 分映射，得到主成分分析后的二維高光譜特征向量； 將得到的二維高光譜特征向量恢復為Ξ維高光譜圖像，運樣就得到了保留高光譜數據 的主成分的圖像。4. 如權利要求1所述的基于卷積神經網絡的胃腸道腫瘤顯微高光譜圖像處理方法，其 特征是，構造卷積神經網絡結構為：依次為輸入層、卷積層C1、下采樣層S2、卷積層C3、下采 樣層S4、卷積層巧、下采樣層S6、卷積層C7、下采樣層S8、卷積層C9、下采樣層CIO、卷積層 C11、邏$耳回歸層及輸出層。5. 如權利要求4所述的基于卷積神經網絡的胃腸道腫瘤顯微高光譜圖像處理方法，其 特征是，輸入層為灰度圖像塊，卷積層C1設置6個特征圖，下采樣層S2設置6個特征圖，卷積 層C3、C5及C7設置10個特化圖，下義樣層S4、S6及S8設置10個特化圖，卷積層C9設置16個特 征圖，下采樣層CIO設置16個特征圖，卷積層C11設置100個特征圖，邏輯回歸層有100個節 點，輸出層有一個節點，其中卷積層C9層的特征圖與采樣層S8層的特征圖采用部分連接方 式。6. 如權利要求1所述的基于卷積神經網絡的胃腸道腫瘤顯微高光譜圖像處理方法，其 特征是，卷積神經網絡訓練時，具體為： 對卷積神經網絡中待訓練參數進行隨機初始化； 分批輸入兩類訓練數據，圖像為胃腸處腫瘤組織圖像時設定輸出節點為1，圖像為正常 胃腸組織圖像設定輸出節點為0; 根據該批次內平均損失函數利用誤差反向傳播算法對卷積神經網絡及邏輯回歸分類 參數進行訓練至收斂。7. 如權利要求6所述的基于卷積神經網絡的胃腸道腫瘤顯微高光譜圖像處理方法，其 特征是，損失函數為交叉賭函數。8. 如權利要求1所述的基于卷積神經網絡的胃腸道腫瘤顯微高光譜圖像處理方法，其 特征是，將待測試圖像輸入訓練好的卷積神經網絡得到該圖像為胃腸處腫瘤組織圖像的概 率具體包括： 采用主成分分析法對胃腸道組織高光譜測試圖像的光譜維進行降維去噪，抽取高光譜 數據的a個主成分，得到主成分分析后的灰度圖像塊及其標簽； 將得到的灰度圖像塊輸入訓練好的卷積神經網絡中，得出最終輸出，輸出節點即為該 圖像為胃腸處腫瘤組織圖像的概率。9. 如權利要求1所述的基于卷積神經網絡的胃腸道腫瘤顯微高光譜圖像處理方法，其 特征是，損失函數為交叉賭函數，公式如下：(巧) 其中，m為分批處理一個批次內樣本的個數，d為輸出層節點個數^為該訓練批次內第 η個樣本輸出層第k個節點的實際輸出值，zf為該訓練批次內第η個樣本輸出層第k個節點的 理論值。10. 如權利要求1所述的基于卷積神經網絡的胃腸道腫瘤顯微高光譜圖像處理方法，其 特征是，卷積層損失函數對待訓練參數的梯度公式為：其中，^為第1層第j個特征圖對應的偏置,?是與第1層第i個特征圖對應第1-1層第j個 特征圖的參數矩陣，(少尸)",.是第1-1層第i個特征圖卷積窗口的第U行第V列像素點的值，《 為第1層第j個特征圖對應的靈敏度矩陣。
【文檔編號】G06N3/08GK106097355SQ201610427555
【公開日】2016年11月9日
【申請日】2016年6月14日
【發明人】劉治, 邱清晨, 肖曉燕, 曹麗君, 朱耀文
【申請人】山東大學