一種適合邊緣計算的融合多源時序數據的火災預測方法

本發明屬于火災檢測領域，尤其涉及一種適合邊緣計算的融合多源時序數據的火災預測方法。

背景技術：

1、野外火災預測的概念是指利用數據分析、機器學習和深度學習等技術，通過對歷史數據和特定特征的分析，建立預測模型來識別潛在的野外火災風險實現預測野外火災，以便提前采取預防措施或實時應對。舉例來說，一個適合邊緣計算的野外火災預測系統可以使用傳感器數據和天氣數據來預測野外火災的可能性。系統首先收集歷史傳感器數據，包括溫度、濕度、煙霧密度等信息，以及天氣數據如風速和氣壓。然后，利用這些數據訓練比如基于lstm的神經網絡模型，來學習數據中的模式和特征。最終通過野外火災預測系統，可以提前識別潛在的火災風險，幫助減少野外火災造成的損失和危害。

2、目前，野外火災預測的一個重要問題，野外火災預測需要大量的數據支持，包括傳感器數據、氣象數據等。然而，數據質量存在問題，導致數據樣本的不足，最終影響預測模型的準確性。目前主要存在三個關鍵的工程問題：

3、（1）野外火災一般持續的時間長，從火星產生到形成具有明顯煙霧及明火的特征需要數十個小時，顯然其檢測不適合采用等間距采樣方法。在長時間監測的前提下，如何分析大量數據，是一大工程問題。

4、（2）檢測視角以及數據樣本不足問題。在野外火災檢測中，檢測視角固定以及數據樣本不足是一個重要的問題，特別是針對野外火災這種罕見但又極其重要的事件。這會導致模型的訓練不充分，影響模型的泛化能力和準確性。

5、（3）在夜間螢火蟲的光亮容易被誤報為暗火，頻繁的誤報可能會降低火災檢測模型的可靠性，使其難以識別真正的火災跡象，從而影響應急響應的效率。這也是一大工程問題。

6、對于這三個問題，現有的野外火災預測解決方案的研究集中在不斷提高野外火災的識別方面，但是未考慮以上這兩個工程問題。

技術實現思路

1、發明目的：本發明的目的在于提供一種適合邊緣計算的融合多源時序數據的火災預測方法。在野外火災預測時，解決樣本數據不足的問題，并且提高對于長時間監測的準確性。從而幫助減少火災造成的人員傷亡和財產損失，提高應對火災的效率和及時性。

2、技術方案：本發明的一種適合邊緣計算的融合多源時序數據的火災預測方法，其特征在于，包括如下步驟：

3、步驟1、采集目標區域多視角rgb圖像、多視角紅外圖像和氣象數據，并對多視角rgb圖像和氣象數據進行預處理；

4、步驟2、對多視角紅外圖像進行高斯平滑處理；

5、步驟3、以cnn為骨干網絡構建smokey?net預測模型，將預處理后的多視角rgb圖像和氣象數據，以及高斯平滑處理后的多視角紅外圖像輸入smokey?net預測模型，進行多源數據融合；

6、步驟4、選擇稀疏注意力機制、強注意力機制和多頭注意力機制三種注意力機制；

7、步驟5、添加外部寄存器模塊和長短期記憶網絡；

8、步驟6、對smokey?net預測模型進行訓練，通過隨機梯度下降更新模型權重，并調整損失函數和優化器，得到訓練完成的smokey?net預測模型，通過訓練完成的smokey?net預測模型對目標區域火災進行預測。

9、進一步的，步驟1具體包括如下步驟：

10、步驟1.1、選擇來自不同來源的數據，包括不同方位攝像機所拍攝的不同角度的野外火災發生的rgb圖片、紅外圖片以及溫度濕度的相關氣象數據，原始數據集如下表示：

11、其中表示原始數據集，表示時刻視角的紅色圖片，表示時刻視角的綠色圖片，表示時刻視角的藍色圖片，表示時刻視角的rgb圖片相對應的紅外圖片，表示時刻的溫度數據，表示時刻的風力數據，表示時刻的濕度數據；

12、步驟1.2、對數據集中的溫度，濕度，風力數據進行預處理，使其范圍符合圖片像素范圍0-255，以減少模型訓練過程中的權重偏差問題，對溫度，風力，濕度數據進行預處理方式為歸一化，以下公式表示：

13、；

14、則經過預處理后的數據集表示為：

15、其中為時刻溫度數據歸一化結果；為時風力數據歸一化結果；為時刻濕度數據歸一化結果；表示時刻的溫度數據，表示時刻的風力數據，表示時刻的濕度數據；為溫度最小值，?為溫度最大值，為風力最小值，?為風力最大值，為濕度最小值，?為濕度最大值；

16、步驟1.3、對數據進行標記或標注，即為每個樣本分配正確的標簽或類別，利用計算機視覺技術進行自動標記，即使用目標檢測、語義分割的技術來檢測圖像中的火焰或煙霧區域；

17、步驟1.4、將數據集劃分為訓練集、驗證集和測試集。

18、進一步的，步驟2具體包括如下步驟：

19、步驟2.1、采取高斯濾波將每個數據點周圍的鄰域權重化，使得距離中心點越遠的數據點權重越小，設一個大小為的高斯核，中心點為，對于紅外圖像中的每個像素記為，以下公式表示：

20、；；

21、其中，?和?是高斯核的索引，循環遍歷的范圍為，是輸入圖像中像素的灰度值，是卷積后的輸出圖像中像素的值，是高斯核的標準差，是自然對數的底；

22、步驟2.2、確定窗口大小，考慮圖像的特性、噪聲水平以及應用需求，選擇7×7的窗口用以更好地平滑圖像。

23、進一步的，步驟3具體包括如下步驟：

24、步驟3.1、利用cnn分別提取每一幀rgb三色圖像和紅外圖像，選取選擇vgg16的倒數第二個卷積塊的最后一層，也就是block5_conv3層，進行特征提取，vgg16的工作流程為輸入時刻視角的紅色圖片、時刻視角的綠色圖片、時刻視角的藍色圖片及紅外圖像經過vgg16后得到的特征圖分別記為?，以下公式表示：

25、；

26、步驟3.2、進行多源數據融合，將經過cnn提取的每一幅rgb三色圖像和紅外圖像的特征圖片，與溫度濕度風力的氣象因素融合，生成新的特征圖片，首先設溫度、濕度、風向這三個數據源在時刻的權重分別為，則加權融合的公式表示為：

27、；

28、則融合完成后第時刻的特征記為，公式表示為：

29、。

30、進一步的，步驟4具體為：稀疏注意力機制sparse?attention的原理如下，選擇rgb三色時序圖像和紅外時序圖像的特征像素，以rgb三色時序圖像中的紅色r的第個元素為例，其中是輸入序列的第個時刻第個元素，記為 f 1，因此第個元素的個時間序列為輸入序列表示為，是序列的長度，首先是計算相似度，對于每個位置計算它與其他位置之間的關聯度，通過內積、歐氏距離或余弦相似度來衡量，該過程為注意力機制內部黑盒計算，根據計算出的相似度，選擇與每個位置最相關的一些位置，形成稀疏子集，所使用的方法為根據相似度閾值選擇，對于每個位置，利用選擇的稀疏子集中的位置，通過?softmax?函數計算注意力權重，其中的公式如下：

31、；

32、其中?表示位置和?之間的相似度，是溫度參數用于控制分布的平滑度，

33、最后根據得到的注意力權重，得到位置?的輸出特征，其公式為：

34、；

35、強注意力機制hard?attention原理如下，在氣溫數據中，選取第個時刻，其中是輸入序列的第個時刻第個元素，記為，則其輸入序列，是序列的長度，在每個時間步?，hard?attention會根據貪心策略選擇一個位置，作為當前時間步的注意力焦點，然后根據選擇的位置，計算當前時間步的注意力權重向量?，其中只有位置?的權重為1，其他位置的權重為0，并且使用注意力權重向量?對值向量進行加權求和，得到當前時間步的輸出向量，公式如下：

36、；

37、最后根據每個時間步選擇的位置得到的輸出向量序列；

38、多頭注意力機制multi-head?attention原理如下，選擇rgb三色圖像和紅外圖像的特征像素以及氣象數據的第個時刻，其中是輸入序列的第個時刻第個元素，記為，則其輸入序列：

39、；

40、是序列的長度，首先，通過將輸入序列乘以查詢矩陣、鍵矩陣?和值矩陣，得到查詢、鍵?和值，然后，將查詢、鍵和值分別分割成?個頭，得到?，其中表示第個頭，對每個頭，計算注意力分數?，公式如下：

41、；

42、其中，是鍵的維度；

43、計算每個頭的注意力輸出，公式如下：

44、

45、最后將所有頭的注意力輸出連接起來，并乘以輸出矩陣?得到最終的輸出見如下公式：

46、。

47、進一步的，步驟5具體包括如下步驟：

48、步驟5.1、增加外部寄存器，通過外部寄存器的使用來存儲額外的特征圖片同時不斷更新以存儲特征圖片，從而增強其性能和泛化能力，工作過程為在訓練過程中，選擇性地將當前特征圖片存儲到外部寄存器中，替換舊的特征圖片，每次更新1組，以保證外部寄存器中始終有10組數據；最后在模型的前向傳播過程中，結合當前輸入數據和外部寄存器中的特征圖片；

49、步驟5.2、引入lstm框架，其中時刻lstm狀態的計算公式為：

50、；

51、式中：為輸入向量；為遺忘門在時刻的激活向量；為輸入門在時刻的激活向量；為輸出門在時刻的激活向量；為時刻的記憶細胞激活向量；為時刻的隱藏狀態激活向量；為各自門的輸入內核；為各自門的循環內核；為偏差；為sigmoid激活函數;tanh為雙曲正切激活函數。

52、進一步的，步驟6中，通過隨機梯度下降更新模型權重具體為：確定學習率，不斷調整損失函數和優化器的設置，更新之后的學習率為如下所示

53、

54、上式中，設定了初始動量power為?0.8?和初始學習率為?0.001，并使用表示最大迭代次數，表示當前迭代次數。

55、本發明還公開一種適合邊緣計算的融合多源時序數據的火災預測系統，包括多視角多方位數據模塊、紅外數據平滑處理模塊、新型smokey?net架構模塊和訓練參數設置模塊；

56、所述多視角多方位數據模塊，包含不同方位攝像機所拍攝的不同角度的野外火災發生前后的rgb圖片、紅外圖片以及溫度、濕度、風力氣象數據；該模塊用以提供更全面、多樣化的信息，提高系統的魯棒性，使其對于不同環境條件和火災特征具有更好的適應能力；

57、所述紅外數據平滑處理模塊用于去除紅外圖片中所含夜間干擾光源；

58、所述新型smokey?net架構模塊通過結合cnn、lstm和多模態稀疏變壓器，smokeynet架構能夠將輸入的rgb圖片、紅外圖片以及溫度、濕度、風力氣象數據充分結合充分利用不同類型數據的信息，準確檢測出野火煙霧并且預測野火的發展態勢；

59、所述訓練參數設置模塊調整相關參數，提高野外火災檢測模型的訓練效率、泛化能力和性能表現。

60、本發明還公開一種計算機裝置，包括存儲器、處理器及存儲在存儲器上的計算機程序，所述處理器執行所述計算機程序以實現本發明方法的步驟。

61、有益效果：與現有技術相比，本發明具有如下顯著優點：首先，本發明提升數據利用效率。主要體現在本發明利用稀疏注意力機制，有效解決了野外火災預測中樣本數據過多的問題。傳統方法通常需要大量標記數據來訓練模型，而稀疏注意力機制能夠在保持準確性的同時，利用少量樣本進行高效學習。這種方法極大地提高了數據利用效率。其次本發明通過引入外部寄存器存儲額外的特征圖片同時不斷更新以存儲最好的特征圖片，從而增強其性能和泛化能力，提高了對于長時間監測的準確性。新型smokey?net架構模型的提出，使得本發明在火災預測和監測中能夠快速響應潛在的火災風險。與傳統方法相比，不僅能夠更早地發現潛在火災跡象，還能夠在火災發生前采取更及時有效的措施，如快速調度資源、預警社區和準備應急響應計劃，這將有效降低火災帶來的人員傷亡和財產損失。