一種交叉融合神經網絡模型及使用該模型的裂縫圖像分類判別方法

本發明屬于圖像處理，具體涉及一種基于離散小波變換(dwt)和交叉融合神經網絡(cfnet)的模型和裂縫圖像分類判別方法

背景技術：

1、由于混凝土裂縫的人工識別和監測存在效率低和成本高等缺點，采用計算機視覺與無人機技術進行自動化監測已成為結構健康監測領域的重要手段之一。然而無人機獲取裂縫圖像時可能存在運動模糊和陰影遮蔽，這影響著對裂縫輪廓的提取與裂縫參數的估計。因此，需要對模糊圖像、陰影圖像和正常清晰圖像進行準確識別，以選出低質量圖像。

2、現有的圖像分類判別使用深度學習算法自動提取圖像特征從而解決圖像分類問題已成為通用方法。卷積神經網絡(cnn)作為圖像分類領域的一種常用算法已經在圖像分類問題上展示了其優越的性能。在cnn中，卷積層和池化層被用于提取圖像的全局和局部特征信息，全連接層被用于輸出分類結果。人們通過改進神經網絡結構提升模型性能，如增加網絡層數、添加注意力機制和特征金字塔方法等，不同的網絡結構獲得了不同的圖像分類判別效果。為了提高圖像分類判別準確性，本領域技術人員習慣于采用增加卷積神經網絡的深度。在采用圖像處理模塊構建合適的圖像分類模型實施分類判別的技術路線上，文獻“基于小波時頻圖與swin?transformer的柴油機故障診斷方法”，劉子昌等人，系統工程與電子技術,2023年2986-2998頁記載的一種方法，它將小波時頻分析在處理非線性非平穩信號方面的優勢和swintransformer強大的圖像分類能力有效結合，通過連續小波變換將原始信號表示為小波時頻圖，將小波時頻圖作為特征圖輸入到swintransformer進行訓練，實現柴油機故障狀態識別。但是，該方法沒有考慮結合離散小波變換算法構建適配的新的神經網絡，這將影響后續圖像分類結果的準確性。

3、為充分利用圖像信息，需要在與離散小波變換算法結合的狀態下，重新構建合理的深度神經網絡用于挖掘圖像細節特征。另外，現有圖像分類判別方法應用于裂縫低質量圖像的情況較少，對模糊裂縫圖像和陰影裂縫圖像等類型分類識別的適應性較差。

技術實現思路

1、針對現有技術存在的問題，本發明所要解決的技術問題就是提供一種交叉融合神經網絡模型，它能準確判別模糊圖像、陰影圖像和正常清晰圖像，從而提高圖像分類判別的準確性及建筑工程的監測效率。本發明還提供一種使用該模型的裂縫圖像分類判別方法。

2、為了解決上述技術問題，本發明的技術方案是：

3、本發明提供的一種交叉融合神經網絡模型(簡稱cfnet模型)，包括離散小波變換dwt和交叉融合神經網絡(簡稱cfnet神經網絡)，離散小波變換dwt提取圖像低頻分量，將原始圖像和圖像低頻分量作為特征信息輸入cfnet神經網絡；

4、cfnet神經網絡包括有與原圖和dwt低頻分量圖對應的上下兩條特征提取路線、se模塊、卷積層和全連接層，每條特征提取路線具有從左至右的三級卷積單元；上下特征提取路線的兩個第一級卷積單元輸出的特征信息交互相加，輸入至對應的兩個第二級卷積單元，兩個第二級卷積單元的特征信息交互相加，輸入至對應的兩個第三級卷積單元，兩個第三級卷積單元輸出的特征信息相加，輸入至通道注意力模塊se，se模塊后連接兩個卷積層，將卷積層輸出的特征傳至全連接層中，三個全連接層獲取圖像分類的三個類別。

5、本發明的交叉融合神經網絡模型信息處理過程是：利用dwt提取圖像低頻信息，將dwt分解的圖像低頻分量作為特征信息與原始圖像共同作為神經網絡的輸入，再使用包含兩條特征提取路線的cfnet神經網絡，具有結構簡單和精度高等特點；兩條特征提取路線分別對應圖像低頻分量和原圖，在兩條路線之間采取特征交互相加融合的方法以充分利用特征信息；接入通道注意力模塊se用以提升cfnet模型對關鍵特征信息的識別能力；最后通過全連接層輸出所需的圖像分類結果。

6、本發明還提供一種使用該模型的裂縫圖像分類判別方法，包括以下步驟：

7、步驟1、收集并構建裂縫圖像數據集

8、在包含裂縫正常圖像、裂縫模糊圖像和裂縫陰影圖像的裂縫圖像數據集中，隨機選取一定數量的圖片作為訓練集和測試集；

9、步驟2、cfnet神經網絡訓練，獲取神經網絡權重

10、按批次將圖像傳入cfnet模型中獲取對應的圖像分類結果，利用損失函數與標簽圖像計算該批次cfnet神經網絡的總損失值，利用梯度反向傳播方法更新神經網絡的權重，直到所有圖像均計算完畢后進入下一個迭代周期，重復更新計算直到迭代周期滿足使用要求；神經網絡中各級、各模塊、各層均為同步訓練；網絡權重在每一次訓練結束后被保存為權重文件；

11、步驟3、向cfnet模型輸入裂縫圖像并進行圖像分類，輸出圖像分類結果。

12、本發明的技術效果是：

13、由于本發明采用了圖像處理模塊構建了交叉融合神經網絡模型，能挖掘圖像細節特征進行圖像分類判別，提高了圖像分類判別的準確性，適用于裂縫低質量圖像的分類判別。

技術特征：

1.一種交叉融合神經網絡模型，其特征是：包括離散小波變換dwt和cfnet神經網絡，離散小波變換dwt提取圖像低頻分量，將原始圖像和圖像低頻分量作為特征信息輸入cfnet神經網絡；

2.根據權利要求1所述的交叉融合神經網絡模型，其特征是：所述卷積單元包含2個卷積模塊和1個池化模塊，每個卷積模塊后均連接了正則歸一化層和relu激活層。

3.根據權利要求2所述的交叉融合神經網絡模型，其特征是：三個全連接層的輸出通道數分別被設置為4096、4096和3。

4.一種使用權利要求1、2或3所述交叉融合神經網絡模型的裂縫圖像分類判別方法，其特征是，包括以下步驟：

5.根據權利要求4所述的裂縫圖像分類判別方法，其特征是：

6.根據權利要求5所述的裂縫圖像分類判別方法，其特征是：在步驟4中，用交叉熵損失作為cfnet神經網絡的訓練損失函數，交叉熵損失計算公式為:

技術總結
本發明公開了一種交叉融合神經網絡模型及使用該模型的裂縫圖像分類判別方法，屬于圖像處理技術領域。該模型包括離散小波變換和交叉融合神經網絡，將原始圖像和離散小波變換提取圖像低頻分量作為特征信息輸入CFNet神經網絡；CFNet神經網絡包括上下兩條特征提取路線，每條特征提取路線具有從左至右的三級卷積單元；兩個第一級卷積單元輸出的特征信息交互相加，輸入至對應的兩個第二級卷積單元，兩個第二級卷積單元的特征信息交互相加，輸入至對應的兩個第三級卷積單元，兩個第三級卷積單元輸出的特征信息相加，輸入至通道注意力模塊SE、兩個卷積層、全連接層中，三個全連接層獲取圖像分類的三個類別。本發明提高了圖像分類判別的準確性。

技術研發人員：孫瑞,李旭明,劉綱,陳民軒,于笑晗
受保護的技術使用者：重慶大學
技術研發日：
技術公布日：2024/10/21