本公開涉及數據處理,尤其涉及一種跨地域數據傳輸的一致性檢測方法及裝置、電子設備。
背景技術:
1、相關技術中,在對跨地域數據傳輸的一致性進行檢測時,常采用基于主從加權灰色關聯模型的傳輸數據一致性檢測方法,主從加權過程是根據不同階段的相對重要性對所有階段賦權,依次求出不同階段的灰色關聯度,若灰色關聯度一致,則認為數據一致。但是上述方法必須停止異地數據傳輸才可完成,造成一致性檢測過程中,異地數據和本地數據不一致的問題。
技術實現思路
1、本公開提供了一種跨地域數據傳輸的一致性檢測方法、裝置、電子設備和存儲介質。其主要目的在于解決在對輸出傳輸的一致性進行檢測時,必須停止異地數據傳輸才可完成,造成一致性檢測過程中,異地數據和本地數據不一致的問題。
2、根據本公開的第一方面,提供了一種跨地域數據傳輸的一致性檢測方法,其中,包括:
3、在待檢測數據從第一數據庫向第二數據庫傳輸前,對所述待檢測數據進行第一分塊處理,并對分塊后的待檢測數據進行第一摘要值計算,得到第一摘要值以及第一數據包序列;
4、在所述待檢測數據傳輸至所述第二數據庫之后,對所述待檢測數據進行第二分塊處理,并對分塊后的待檢測數據進行第二摘要值計算,得到第二摘要值以及第二數據包序列;
5、分別根據所述第一摘要值與第二摘要值,第一數據包序列及第二數據包序列的比較結果確定所述待檢測數據是否一致。
6、在一些實施例中,所述分別根據所述第一摘要值與第二摘要值,第一數據包序列及第二數據包序列的比較結果確定所述待檢測數據是否一致包括:
7、若所述第一摘要值與第二摘要值不一致,且所述第一數據包序列和/或所述第二數據包序列不連續,則確定所述待檢測數據在傳輸前后不一致;
8、若所述第一摘要值與第二摘要值一致,且所述第一數據包序列和所述第二數據包序列不連續,則確定所述待檢測數據在傳輸前后一致;
9、若所述第一摘要值與第二摘要值不一致,且所述第一數據包序列和所述第二數據包序列連續,在將第一摘要值與第二摘要值不一致的數據重新傳輸至所述第二數據庫后,確定所述第一摘要值與第二摘要值一致后,確定所述待檢測數據在傳輸前后一致。
10、在一些實施例中,所述對所述待檢測數據進行第一分塊處理,并對分塊后的待檢測數據進行第一摘要值計算,得到第一摘要值以及第一數據包序列包括:
11、將所述待檢測數據轉換為二進制串;
12、在所述二進制串中添加比特序列,按照預設規格對添加比特序列的二進制串進行第一分塊處理,得到多個第一數據單元,每個第一數據單元通過第一數據包序列編號;
13、在當前數據單元與第一歷史數據摘要值間按照第一數據包序列逐位摘要值計算,直到計算完所有的第一數據單元,得到所述第一摘要值,其中,所述第一歷史數據摘要值為在所述第一數據包序列中當前數據包序列之前計算得到的摘要值。
14、在一些實施例中,所述方法還包括:
15、將計算得到的所述第一摘要值以及第一數據包序列存儲于所述第一數據庫中。
16、在一些實施例中,所述對所述待檢測數據進行第二分塊處理,并對分塊后的待檢測數據進行第二摘要值計算,得到第二摘要值以及第二數據包序列包括:
17、將所述待檢測數據轉換為二進制串;
18、在所述二進制串中添加比特序列,按照預設規格對添加比特序列的二進制串進行第二分塊處理,得到多個第二數據單元,每個第二數據單元通過第二數據包序列編號;
19、在當前數據單元與第二歷史數據摘要值間按照第二數據包序列逐位摘要值計算,直到計算完所有的第二數據單元,得到所述第二摘要值,其中,所述第二歷史數據摘要值為在所述第二數據包序列中當前數據包序列之前計算得到的摘要值。
20、在一些實施例中,所述方法還包括:
21、將計算得到的所述第二摘要值以及第二數據包序列存儲于所述第二數據庫中。
22、在一些實施例中,在確定所述第一數據包序列和所述第二數據包序列不連續之后,所述方法還包括:
23、確定序列不連續的目標時刻,并獲取包含所述目標時刻的時間段內的變化數據集;
24、在所述變化數據集重新傳輸至所述第二數據庫后,若確定更新后的變化數據集對應所述第一摘要值與第二摘要值一致,則確定所述待檢測數據在傳輸前后一致。
25、根據本公開的第二方面,提供了一種跨地域數據傳輸的一致性檢測裝置,包括:
26、第一處理單元,用于在待檢測數據從第一數據庫向第二數據庫傳輸前,對所述待檢測數據進行第一分塊處理,并對分塊后的待檢測數據進行第一摘要值計算,得到第一摘要值以及第一數據包序列;
27、第二處理單元,用于在所述待檢測數據傳輸至所述第二數據庫之后,對所述待檢測數據進行第二分塊處理,并對分塊后的待檢測數據進行第二摘要值計算,得到第二摘要值以及第二數據包序列;
28、第一確定單元,用于分別根據所述第一摘要值與第二摘要值,第一數據包序列及第二數據包序列的比較結果確定所述待檢測數據是否一致。
29、在一些實施例中,所述第一確定單元,還用于:
30、若所述第一摘要值與第二摘要值不一致,且所述第一數據包序列和/或所述第二數據包序列不連續,則確定所述待檢測數據在傳輸前后不一致;
31、若所述第一摘要值與第二摘要值一致,且所述第一數據包序列和所述第二數據包序列不連續,則確定所述待檢測數據在傳輸前后一致;
32、若所述第一摘要值與第二摘要值不一致,且所述第一數據包序列和所述第二數據包序列連續,在將第一摘要值與第二摘要值不一致的數據重新傳輸至所述第二數據庫后,確定所述第一摘要值與第二摘要值一致后,確定所述待檢測數據在傳輸前后一致。
33、在一些實施例中,所述第一處理單元還用于:
34、將所述待檢測數據轉換為二進制串;
35、在所述二進制串中添加比特序列,按照預設規格對添加比特序列的二進制串進行第一分塊處理,得到多個第一數據單元,每個第一數據單元通過第一數據包序列編號;
36、在當前數據單元與第一歷史數據摘要值間按照第一數據包序列逐位摘要值計算,直到計算完所有的第一數據單元,得到所述第一摘要值,其中,所述第一歷史數據摘要值為在所述第一數據包序列中當前數據包序列之前計算得到的摘要值。
37、在一些實施例中,所述裝置還包括:
38、第一存儲單元,用于將計算得到的所述第一摘要值以及第一數據包序列存儲于所述第一數據庫中。
39、在一些實施例中,所述第二處理單元還用于:
40、將所述待檢測數據轉換為二進制串;
41、在所述二進制串中添加比特序列,按照預設規格對添加比特序列的二進制串進行第二分塊處理,得到多個第二數據單元,每個第二數據單元通過第二數據包序列編號;
42、在當前數據單元與第二歷史數據摘要值間按照第二數據包序列逐位摘要值計算,直到計算完所有的第二數據單元,得到所述第二摘要值,其中,所述第二歷史數據摘要值為在所述第二數據包序列中當前數據包序列之前計算得到的摘要值。
43、在一些實施例中,所述裝置還包括:
44、第二存儲單元,用于將計算得到的所述第二摘要值以及第二數據包序列存儲于所述第二數據庫中。
45、在一些實施例中,所述裝置還包括:
46、第二確定單元,還用于在所述確定單元確定所述第一數據包序列和所述第二數據包序列不連續之后,確定序列不連續的目標時刻;
47、獲取單元,用于獲取包含所述目標時刻的時間段內的變化數據集;
48、所述第一確定單元,還用于在所述變化數據集重新傳輸至所述第二數據庫后,若確定更新后的變化數據集對應所述第一摘要值與第二摘要值一致,則確定所述待檢測數據在傳輸前后一致。
49、根據本公開的第三方面,提供了一種電子設備,包括:
50、至少一個處理器;以及
51、與所述至少一個處理器通信連接的存儲器;其中,
52、所述存儲器存儲有可被所述至少一個處理器執行的指令,所述指令被所述至少一個處理器執行,以使所述至少一個處理器能夠執行前述第一方面所述的方法。
53、根據本公開的第四方面,提供了一種存儲有計算機指令的非瞬時計算機可讀存儲介質,其中,所述計算機指令用于使所述計算機執行前述第一方面所述的方法。
54、根據本公開的第五方面,提供了一種計算機程序產品,包括計算機程序,所述計算機程序在被處理器執行時實現如前述第一方面所述的方法。
55、本公開提供的跨地域數據傳輸的一致性檢測方法、裝置、電子設備和存儲介質,在待檢測數據從第一數據庫向第二數據庫傳輸前,對所述待檢測數據進行第一分塊處理,并對分塊后的待檢測數據進行第一摘要值計算,得到第一摘要值以及第一數據包序列;在所述待檢測數據傳輸至所述第二數據庫之后,對所述待檢測數據進行第二分塊處理,并對分塊后的待檢測數據進行第二摘要值計算,得到第二摘要值以及第二數據包序列;分別根據所述第一摘要值與第二摘要值,第一數據包序列及第二數據包序列的比較結果確定所述待檢測數據是否一致。本技術實施例所述的方法,解決了現有技術在數據一致性檢測過程中容易造成異地數據和本地數據不一致的問題,同時也能保證在某段時間內的數據一致性,具有提升傳輸數據一致性檢測準確率,減少數據比對檢測時間,以及提高數據比對檢測效率等技術效果。
56、應當理解,本部分所描述的內容并非旨在標識本技術的實施例的關鍵或重要特征,也不用于限制本技術的范圍。本技術的其它特征將通過以下的說明書而變得容易理解。