本發明涉及數據異步更新領域,具體是一種基于邊緣計算的數據異步更新方法和系統。
背景技術:
1、隨著車聯網技術的不斷發展,車輛產生的數據量持續激增,包括車輛狀態、行駛路線、?駕駛行為、環境信息等數據信息,需要大量的存儲和計算資源及時對這些數據進行準確的處理和分析,以實現車輛的智能化和自動化,對通信網絡的服務質量提出更高的要求。然而,現有的車聯網無法滿足車載應用在計算資源和時延方面的需求,數據處理的速度過慢就會導致車輛行駛的穩定性和安全性下降。而且,在數據采用同步更新模式下,如果數據更新操作因為網絡延遲、設備故障等原因阻塞,那么整個系統可能會因此陷入等待狀態,影響其他操作的執行。而異步更新則允許系統在遇到阻塞時繼續執行其他任務,從而增強系統的穩定性。
2、因此,采用邊緣計算以滿足新型車載應用對計算資源和時延的需求,可以實現低延遲和降低帶寬消耗;同時,數據異步更新通過提高系統響應速度、優化網絡資源利用、增強系統穩定性、提升用戶體驗并支持靈活的數據處理策略,實現了更高效、更可靠的數據傳輸與更新機制。
技術實現思路
1、(1)要解決的技術問題
2、本發明的目的在于提供一種基于邊緣計算的數據異步更新方法和系統,以解決數據由于復雜的因素,包括網絡延遲、設備故障等原因導致數據無法及時有效的進行數據更新的問題。
3、(2)技術方案
4、為實現上述目的,一方面,本發明提供了一種基于邊緣計算的數據異步更新方法,所述方法包括:
5、s1、獲取車聯網終端的數據,將所述車聯網終端的數據根據遷移計算方法傳輸至邊緣計算節點并通過數據緩存方法進行分層存儲;通過邊緣計算節點實時監測數據狀態,所述數據狀態包括數據的時間戳、數據變化、緩存容量;
6、s2、根據所述數據狀態設定異步更新的觸發條件;獲取數據狀態滿足異步更新的觸發條件的數據并記為待更新數據;獲取待更新數據的重要性和更新頻率,根據所述待更新數據的重要性和更新頻率通過統計分析方法進行優先級排序得到待更新數據的排序結果;根據所述排序結果進行異步更新;
7、s3、將所述待更新數據通過數據壓縮算法和數據加密算法后根據所述異步更新傳輸至接收方;當所述接收方接收到所述待更新數據后,則進行數據驗證;當監測待更新數據傳輸失敗時,則根據預設的重試次數和重試間隔進行重新傳輸;
8、s4、當監測邊緣計算節點進行數據更新后則更新緩存狀態,所述更新緩存狀態包括更新管理緩存空間、更新緩存時間戳。
9、進一步地,所述根據所述數據狀態設定異步更新的觸發條件;獲取數據狀態滿足異步更新的觸發條件的數據并記為待更新數據;獲取待更新數據的重要性和更新頻率,根據所述待更新數據的重要性和更新頻率通過統計分析方法進行優先級排序得到待更新數據的排序結果;根據所述排序結果進行異步更新的方法包括:
10、所述觸發條件包括數據過期、數據發生變化、緩存容量達到閾值;所述數據過期為數據當前時間超出數據有效時間戳加上預設的時間閾值;所述數據發生變化為監測到數據變化量超過預設的變化量閾值;所述緩存容量達到閾值為邊緣計算節點的當前緩存容量占用率超過預設的緩存容量占用率閾值;
11、通過獲取邊緣計算節點接收的歷史數據,所述歷史數據包括數據傳輸時間、數據類型、數據量、傳輸頻率;通過所述歷史數據通過趨勢分析得到分析結果,根據所述分析結果調整異步更新的觸發條件;
12、獲取邊緣計算節點的集合并記為?,通過動態差分算法得到第個邊緣計算節點在時間??的待更新數據;所述待更新數據的計算公式為:
13、?;
14、其中??表示時間??的數據狀態,為上一時間的數據狀態,為衰減因子,為指數衰減函數,為上次數據更新時間;
15、根據所述排序結果并按照異步更新時間進行異步更新,所述異步更新時間通過異步傳輸時間預測方法得到。
16、進一步地,所述根據所述排序結果并按照異步更新時間進行異步更新,所述異步更新時間通過異步傳輸時間預測方法得到的方法包括:
17、獲取網絡帶寬使用情況,通過時間序列分析建立網絡帶寬隨時間變化的預測模型,根據所述預測模型得到,所述表示網絡帶寬隨時間?的變化;通過網絡性能分析方法實時檢測得到,所述表示第?個邊緣計算節點到接收方的實時傳輸速率;通過異步傳輸時間預測方法得到異步更新時間;所述異步更新時間的計算公式為:
18、;
19、其中,?用于計算在時間區間?內,網絡帶寬的累積量減去所有邊緣計算節點所需傳輸數據量的累積差;表示所有邊緣計算節點在時間時每秒需要傳輸的時間;表示所有邊緣計算節點在平均傳輸速率下完成數據傳輸所需的網絡帶寬累積量;?是第?個邊緣計算節點需要傳輸的待更新數據增量,所述待更新數據增量的計算公式為:
20、;
21、為第?個邊緣計算節點的平均傳輸速率,通過獲取預設時間段內的并通過均值計算方法得到所述平均傳輸速率;所述平均傳輸速率的計算公式為:
22、;
23、其中,是預設的時間窗口,是預設的起始時間。
24、進一步地,所述將所述待更新數據通過數據壓縮算法和數據加密算法后根據異步更新時間傳輸至接收方的方法包括:
25、將所述待更新數據通過數據壓縮算法后得到第一壓縮數據,將所述第一壓縮數據通過壓縮效率算法得到壓縮效率評估值,通過所述壓縮效率評估值選擇數據壓縮算法;所述壓縮效率評估值的計算公式為:
26、*;
27、其中,為待更新數據的數據量;為第一壓縮數據的數據量,表示壓縮前后數據量的壓縮效率;表示壓縮效率指標;?表示壓縮效率指標調整因子;為的使用影響系數,所述根據實驗數據通過統計分析得到;表示使用率,所述通過系統性能監控方法得到;
28、根據待更新數據的重要性選擇不同的數據加密算法對數據進行加密。
29、進一步地,所述將所述車聯網終端的數據根據遷移計算方法傳輸至邊緣計算節點并通過數據緩存方法進行分層存儲的方法包括:
30、獲取邊緣計算節點的距離、帶寬、處理能力、負載情況并記為第一數據,將所述第一數據通過數據歸一化后得到第二數據,將所述第二數據通過線性加權算法得到綜合權重值;獲取車聯網終端到所有邊緣計算節點的綜合權重值,將車聯網終端的數據傳輸到綜合權重值的最大值對應的邊緣計算節點;
31、通過實時監測邊緣計算節點的負載情況調整傳輸策略,獲取邊緣計算節點的負載情況的增長速率,根據所述增長速率預測邊緣計算節點的負載情況達到預設的負載飽和閾值的飽和時間;獲取數據傳輸到邊緣計算節點的完成時間,當所述完成時間位于所述飽和時間之后,則按照綜合權重值從大到小的順序依次重新選擇邊緣計算節點;
32、所述數據緩存方法是按照數據的訪問頻率和重要性進行分層存儲;所述分層存儲的緩存層級是根據訪問速度和緩存容量進行預設定。
33、基于同一發明構思,本發明還提供了一種基于邊緣計算的數據異步更新系統,所述系統包括:數據獲取和管理模塊、數據異步更新觸發模塊、數據異步更新管理模塊、數據緩存管理模塊,各個模塊之間依次通訊連接;
34、數據獲取和管理模塊,用于獲取車聯網終端的數據,將所述車聯網終端的數據根據遷移計算方法傳輸至邊緣計算節點并通過數據緩存方法進行分層存儲;通過邊緣計算節點實時監測數據狀態,所述數據狀態包括數據的時間戳、數據變化、緩存容量;
35、數據異步更新觸發模塊,用于根據所述數據狀態設定異步更新的觸發條件;獲取數據狀態滿足異步更新的觸發條件的數據并記為待更新數據;獲取待更新數據的重要性和更新頻率,根據所述待更新數據的重要性和更新頻率通過統計分析方法進行優先級排序得到待更新數據的排序結果;根據所述排序結果進行異步更新;
36、數據異步更新管理模塊,用于將所述待更新數據通過數據壓縮算法和數據加密算法后根據所述異步更新傳輸至接收方;當所述接收方接收到所述待更新數據后,則進行數據驗證;當監測待更新數據傳輸失敗時,則根據預設的重試次數和重試間隔進行重新傳輸;
37、數據緩存管理模塊,用于當監測邊緣計算節點進行數據更新后則更新緩存狀態,所述更新緩存狀態包括更新管理緩存空間、更新緩存時間戳。
38、進一步地,所述數據異步更新觸發模塊包括:
39、觸發條件管理模塊,用于所述觸發條件包括數據過期、數據發生變化、緩存容量達到閾值;所述數據過期為數據當前時間超出數據有效時間戳加上預設的時間閾值;所述數據發生變化為監測到數據變化量超過預設的變化量閾值;所述緩存容量達到閾值為邊緣計算節點的當前緩存容量占用率超過預設的緩存容量占用率閾值;通過獲取邊緣計算節點接收的歷史數據,所述歷史數據包括數據傳輸時間、數據類型、數據量、傳輸頻率;通過所述歷史數據通過趨勢分析得到分析結果,根據所述分析結果調整異步更新的觸發條件;
40、待更新數據計算模塊,用于獲取邊緣計算節點的集合并記為?,通過動態差分算法得到第個邊緣計算節點在時間??的待更新數據;所述待更新數據的計算公式為:
41、?;
42、其中??表示時間??的數據狀態,為上一時間的數據狀態,為衰減因子,為指數衰減函數,為上次數據更新時間;
43、異步更新執行模塊,用于根據所述排序結果并按照異步更新時間進行異步更新,所述異步更新時間通過異步傳輸時間預測方法得到。
44、進一步地,所述異步更新執行模塊包括以下步驟:
45、獲取網絡帶寬使用情況,通過時間序列分析建立網絡帶寬隨時間變化的預測模型,根據所述預測模型得到,所述表示網絡帶寬隨時間?的變化;通過網絡性能分析方法實時檢測得到,所述表示第?個邊緣計算節點到接收方的實時傳輸速率;通過異步傳輸時間預測方法得到異步更新時間;所述異步更新時間的計算公式為:
46、;
47、其中,?用于計算在時間區間?內,網絡帶寬的累積量減去所有邊緣計算節點所需傳輸數據量的累積差;表示所有邊緣計算節點在時間時每秒需要傳輸的時間;表示所有邊緣計算節點在平均傳輸速率下完成數據傳輸所需的網絡帶寬累積量;?是第?個邊緣計算節點需要傳輸的待更新數據增量,所述待更新數據增量的計算公式為:
48、;
49、為第?個邊緣計算節點的平均傳輸速率,通過獲取預設時間段內的并通過均值計算方法得到所述平均傳輸速率;所述平均傳輸速率的計算公式為:
50、;
51、其中,是預設的時間窗口,是預設的起始時間。
52、進一步地,所述數據異步更新管理模塊包括以下步驟:
53、將所述待更新數據通過數據壓縮算法后得到第一壓縮數據,將所述第一壓縮數據通過壓縮效率算法得到壓縮效率評估值,通過所述壓縮效率評估值選擇數據壓縮算法;所述壓縮效率評估值的計算公式為:
54、*;
55、其中,為待更新數據的數據量;為第一壓縮數據的數據量,表示壓縮前后數據量的壓縮效率;表示壓縮效率指標;?表示壓縮效率指標調整因子;為的使用影響系數,所述根據實驗數據通過統計分析得到;表示使用率,所述通過系統性能監控方法得到;
56、根據待更新數據的重要性選擇不同的數據加密算法對數據進行加密。
57、進一步地,所述數據獲取和管理模塊包括以下步驟:
58、獲取邊緣計算節點的距離、帶寬、處理能力、負載情況并記為第一數據,將所述第一數據通過數據歸一化后得到第二數據,將所述第二數據通過線性加權算法得到綜合權重值;獲取車聯網終端到所有邊緣計算節點的綜合權重值,將車聯網終端的數據傳輸到綜合權重值的最大值對應的邊緣計算節點;
59、通過實時監測邊緣計算節點的負載情況調整傳輸策略,獲取邊緣計算節點的負載情況的增長速率,根據所述增長速率預測邊緣計算節點的負載情況達到預設的負載飽和閾值的飽和時間;獲取數據傳輸到邊緣計算節點的完成時間,當所述完成時間位于所述飽和時間之后,則按照綜合權重值從大到小的順序依次重新選擇邊緣計算節點;
60、所述數據緩存方法是按照數據的訪問頻率和重要性進行分層存儲;所述分層存儲的緩存層級是根據訪問速度和緩存容量進行預設定。
61、(3)有益效果
62、與現有技術相比,本發明的有益效果是:
63、1.通過設定異步更新的觸發條件,并結合數據的重要性和更新頻率進行優先級排序,實現了對車聯網終端數據的智能、高效異步更新。借助動態差分算法預測待更新數據,以及通過異步傳輸時間預測方法確定最佳更新時間,進一步優化了數據傳輸策略,減少了不必要的網絡帶寬占用,提升了整體的數據傳輸效率。
64、2.通過數據壓縮算法和加密算法對待更新數據進行處理,不僅減少了數據傳輸所需的時間和帶寬,還提高了數據在傳輸過程中的安全性。通過綜合考慮邊緣計算節點的距離、帶寬、處理能力和負載情況,選擇最合適的節點進行數據緩存和分層存儲,進一步增強了數據異步更新處理的高效性和可靠性。