一種基于語義分割算法的冠層荔枝花分割方法和系統

本發明涉及深度學習和計算機視覺，尤其涉及一種基于語義分割算法的冠層荔枝花分割方法和系統，旨在提高荔枝花圖像的分割精度和效率。

背景技術：

1、荔枝樹的花是授粉和果實生產的關鍵階段，其花朵的識別和分析對于優化荔枝的栽培管理和提高產量具有重要意義。

2、然而，由于荔枝花在自然環境中的生長條件多變，加之花朵體積小、形態相似，使得傳統的人工識別方法效率低下，且容易受到主觀判斷的影響。此外，自動化的農業設備在進行精準噴灑、病蟲害防治等操作時，也需要對荔枝花進行準確的識別和定位。

3、無人機遙感技術能夠快速獲取大范圍的高分辨率圖像，而深度學習算法，尤其是語義分割算法，能夠在圖像中精確識別和分割出感興趣的對象。結合這兩種技術，可以對荔枝樹冠層及花朵進行自動化、高效率的監測，實現對單株荔枝樹花朵生長面積的精確測量。

4、因此，為了克服這些挑戰，提高荔枝花識別的準確性和效率，本研究提出一種基于語義分割算法的冠層荔枝花分割方法，通過整合twins-pcpvt、cbam和改進網絡模型檢測頭等模塊，旨在構建一個強大的分割網絡，以解決荔枝花分割中的難題。該方法不僅能夠利用先進的計算機視覺技術，自動地從復雜的背景中精確地分割出荔枝花，提高荔枝花的分割精度，還能夠適應不同的環境條件和作物生長階段，為荔枝樹的自動化識別和管理提供一種有效的解決方案。

技術實現思路

1、針對現有技術中缺陷與不足的問題，提高荔枝花識別的準確性和效率，本發明提出了一種基于語義分割算法的冠層荔枝花分割方法。該系統能夠利用先進的計算機視覺技術，自動地從復雜的背景中精確地分割出荔枝花，為荔枝樹的自動化識別和管理提供一種有效的解決方案。

2、本發明的目的之一是提供一種基于語義分割算法的冠層荔枝花分割方法，包括：

3、使用無人機在不同高度采集荔枝樹圖像；

4、對所述荔枝樹圖像進行預處理，得到多株預處理后圖像；

5、使用unet網絡模型對多株預處理后圖像進行語義分割，得到多株荔枝樹冠層圖像；

6、使用改進的語義分割模型upernet將每株荔枝樹冠層圖像的冠層荔枝花分割出來，得到冠層荔枝花圖像。

7、所述使用unet網絡模型對多株預處理后圖像進行語義分割，得到多株荔枝樹冠層圖像，包括：

8、對unet模型進行訓練；

9、將多株荔枝樹冠層圖像輸入所述unet模型進行分割，輸出多株荔枝樹冠層圖像。

10、所述使用改進的語義分割模型upernet將每株荔枝樹冠層圖像的冠層荔枝花分割出來，得到冠層荔枝花圖像之前，還包括：

11、采集遙感圖像數據集，通過所述遙感圖像數據集對upernet網絡進行訓練；

12、在upernet網絡中將骨干網絡中的殘差網絡resnet替換為twins-pcpvt，在骨干網絡的特征提取層嵌入cbam注意力機制模塊，改進檢測頭；

13、在upernet網絡中，選取交叉熵損失函數作為損失函數，得到改進的語義分割模型upernet。

14、所述在upernet網絡中將骨干網絡中的殘差網絡替換為twins-pcpvt，在骨干網絡的特征提取層嵌入cbam注意力機制模塊，改進檢測頭，包括：

15、將upernet網絡中的骨干網絡由resnet殘差網絡替換為以transformer中的encoder編碼器為核心的twins-pcpvt；

16、在骨干網絡層輸出特征后，即backbone骨干網絡和檢測頭之間添加cbam注意力機制，增強網絡特征融合能力；

17、調整所述檢測頭的結構。

18、所述使用改進的語義分割模型upernet將每株荔枝樹冠層圖像的冠層荔枝花分割出來，得到冠層荔枝花圖像，包括：

19、對每株荔枝樹冠層圖像進行卷積操作，提取初始特征圖；

20、將所述初始特征圖分為多個圖像塊；

21、對所述圖像塊進行下采樣，得到下采樣特征圖；

22、計算所述下采樣特征圖的自注意力，得到自注意力圖像；

23、對所述自注意力圖像進行非線性激活和歸一化處理，得到冠層荔枝花圖像。

24、所述在骨干網絡層輸出特征后，即backbone骨干網絡和檢測頭之間添加cbam注意力機制，增強網絡特征融合能力，包括：

25、對輸入特征圖進行全局平均池化，得到平均池化特征圖；

26、對所述輸入特征圖進行全局最大池化，得到最大池化特征圖；

27、將所述平均池化特征圖和所述最大池化特征圖輸入到共享全連接網絡中，進行非線性激活，得到非線性激活結果；

28、將所述非線性激活結果輸入全連接層，進行全連接運算，得到第一全連接特征圖和第二全連接特征圖；

29、將所述第一全連接特征圖和所述第二全連接特征圖相加，得到相加特征圖；使用relu激活函數對所述相加特征圖進行激活，生成通道注意力圖；

30、將所述通道注意力圖與所述輸入特征圖逐通道相乘，得到加權特征圖；

31、對所述加權特征圖進行特征聚合操作，得到聚合特征圖；在通道維度上對所述聚合特征圖分別進行全局平均池化和全局最大池化，得到第一空間特征圖和第二空間特征圖；

32、將所述第一空間特征圖和所述第二空間特征圖在通道維度上進行連接，經過卷積處理，得到空間注意力圖；

33、將所述空間注意力圖與所述通道注意力圖逐像素相乘，得到最終特征圖。

34、所述調整所述檢測頭的結構，包括：

35、去除所述特征頭的特征融合模塊；

36、將所述特征頭的第一輸出層的輸出端連接輸出卷積層的輸入端，將所述輸出卷積層的輸出端連接預測層。

37、所述得到改進的語義分割模型upernet之后，還包括對改進的語義分割模型upernet進行訓練，訓練過程包括：

38、數據集劃分：將收集到的荔枝花數據集分為第一訓練集、第一驗證集和第一測試集；

39、參數設定：初始化學習率、定義類別數量、設置訓練迭代次數以及批處理大小；

40、圖像標注：標注出所述第一訓練集中的圖像的荔枝冠層；

41、數據增強：對訓練數據進行平移、縮放、旋轉、翻轉和色彩變化中的一種或多種操作；

42、超參數調整：通過調整訓練過程中的超參數，優化模型性能；

43、模型訓練：利用設定的參數和增強后的數據集對unet模型進行訓練，直至收斂，訓練完成后，獲得模型的推理權重，所述推理權重用于樹冠語義分割。

44、所述使用改進的語義分割模型upernet將每株荔枝樹冠層圖像的冠層荔枝花分割出來，得到冠層荔枝花圖像之后，還包括：

45、根據以下公式計算像素準確率：

46、

47、其中，pa為像素準確率，tp為真正樣本,tn為真負樣本，fp為假正樣本，fn為假負樣本；

48、通過計算背景和花兩個類別的像素準確率的平均值得到平均像素精確度；

49、根據以下公式計算交并比：

50、

51、通過計算背景和花兩個類別的交并比的平均值得到平均交并比。

52、本發明的目的之二是提供一種基于語義分割算法的冠層荔枝花分割系統，包括：

53、圖像采集模塊，用于使用無人機在不同高度采集荔枝樹圖像；

54、預處理模塊，用于對所述荔枝樹圖像進行預處理，得到多株預處理后圖像；

55、語義分割模塊，用于使用unet網絡模型對多株預處理后圖像進行語義分割，得到多株荔枝樹冠層圖像；

56、冠層荔枝花分割模塊，用于使用改進的語義分割模型upernet將每株荔枝樹冠層圖像的冠層荔枝花分割出來，得到冠層荔枝花圖像。

57、本發明提出了一種基于語義分割算法的冠層荔枝花分割方法，該方法使用無人機遙感技術可以高效采集荔枝樹圖像。對荔枝樹圖像進行預處理，得到多株預處理后圖像。使用unet網絡模型對多株預處理后圖像進行語義分割，對荔枝樹冠層進行精確的圖像分割，使用改進的語義分割模型upernet將每株荔枝樹冠層圖像的冠層荔枝花精確的分割出來。在冠層荔枝花的區域較為精確的情況下，可以精確測定單株荔枝樹花朵的生長面積。本發明在設計上特別考慮了荔枝樹冠層和花朵的外形特征，同時深入分析了不同深度學習模型對分割精度的具體影響。為了實現精確分割，本發明采用了包括twins-pcpvt、cbam以及改進的網絡模型檢測頭等在內的先進模塊，構建了一個綜合的深度學習網絡模型。這些技術的結合顯著提升了模型對荔枝樹冠層及花朵特征的分割精度，確保了每類別特征的精確分割。在模型推理應用方面，本發明針對訓練樣本數量有限的情況，設計了小型網絡結構模型，使其更適合在邊緣端設備上運行，即便在算力受限的環境下也能保持高效的推理性能。此外，本發明還包括了現場實施預測與可視化顯示，允許用戶直觀地查看分割結果，從而在實際應用中提供了一種有效的荔枝花監測手段。通過本發明，可以顯著提升荔枝花生長狀況監測的效率和準確性，為荔枝樹的精準農業管理提供強有力的技術支持。