數據一致性分析方法、裝置、設備及存儲介質與流程

本發明涉及計算機，尤其涉及一種數據一致性分析方法、裝置、設備及存儲介質。

背景技術：

1、分布式架構是大型項目必用的架構方式，也是云原生、serverless等新興技術的底層基石。為了提升業務系統整體性能、可靠性、研發效率等，通常按業務或功能拆分成更獨立的應用模塊，完整的業務系統由多個微服務應用組成，對外是整體，對內是分散的獨立的。一筆完整的交易，通常要貫穿各個微服務應用，在各個應用生成獨有的數據，這些數據之間存在一定的必然聯系。在這種分散的數據存儲形式下，依據任何一個應用的數據狀態確認外部請求的結果都是存在風險的，只有數據的整體一致性才能客觀反映業務處理的正確性。因此必須要保證各個微服務應用之間的數據一致性，尤其是涉及核心業務生成的訂單、資金變動等數據，要進行強一致性稽核，保證一致性。

2、但是，現有的數據一致性的方法主要是通過日終對賬，實時性差，發現問題較滯后。

技術實現思路

1、本發明的主要目的在于提供一種數據一致性分析方法、裝置、設備及存儲介質，旨在解決現有的數據一致性的方法主要是通過日終對賬，實時性差，發現問題較滯后的技術問題。

2、為實現上述目的，本發明提供一種數據一致性分析方法，所述數據一致性分析方法包括：

3、獲取業務系統的日志數據，并讀取事件預期模型，獲得事件關聯關系，所述事件關聯關系為基準應用與預期應用之間的關聯關系；

4、根據所述事件關聯關系查詢所述日志數據，獲得所述基準應用的事件數據；

5、根據所述基準應用的事件數據查詢所述日志數據，獲得所述預期應用的事件數據；

6、根據所述基準事件的事件數據和所述預期應用的事件數據分析所述基準應用與所述預期應用之間的數據一致性。

7、可選地，所述根據所述基準事件的事件數據和所述預期應用的事件數據分析所述基準應用與所述預期應用之間的數據一致性，包括：

8、從所述事件預期模型中獲取預期設置的預期表達式；

9、將所述基準事件的事件數據和所述預期應用的事件數據填充到所述預期表達式中，獲得預期結果；

10、根據所述預期結果與數據一致性的對應關系分析所述基準應用與所述預期應用之間的數據一致性。

11、可選地，所述根據所述預期結果與數據一致性的對應關系分析所述基準應用與所述預期應用之間的數據一致性之后，還包括：

12、查找所述預期結果對應的處理方式，并查找數據一致性結果對應的處理方式；

13、根據所述預期結果對應的處理方式和所述數據一致性結果對應的處理方式分別進行結果處理。

14、可選地，所述根據所述基準事件的事件數據和所述預期應用的事件數據分析所述基準應用與所述預期應用之間的數據一致性之前，還包括：

15、讀取所述事件預期模型，獲得時間窗口；

16、相應地，所述根據所述基準事件的事件數據和所述預期應用的事件數據分析所述基準應用與所述預期應用之間的數據一致性，包括：

17、在當前時間滿足所述時間窗口時，根據所述基準事件的事件數據和所述預期應用的事件數據分析所述基準應用與所述預期應用之間的數據一致性。

18、可選地，所述獲取業務系統的日志數據，并讀取事件預期模型，獲得事件關聯關系之前，還包括：

19、獲取業務系統的日志數據；

20、根據所述日志數據自學習式計算事件關聯關系；

21、基于所述事件關聯關系構建事件預期模型。

22、可選地，所述根據所述日志數據自學習式計算事件關聯關系，包括：

23、從所述日志數據中獲取基準應用日志和預期應用日志；

24、根據請求id對所述基準應用日志和所述預期應用日志進行分組，獲得同一個上下文的日志記錄；

25、遍歷所述日志記錄中的鍵值對，根據所述鍵值對的值進行分組，提取相同值的關鍵字，建立關聯關系列表；

26、為所述關聯關系列表中的關聯關系設置對應的關聯質量系數，并根據所述關聯質量系數值計算所述關聯關系的關聯質量；

27、根據所述關聯質量對所述關聯關系列表進行更新，獲得事件關聯關系。

28、可選地，所述基于所述事件關聯關系構建事件預期模型，包括：

29、基于目標屬性構建預期配置項，預期配置項包括預期關系類型、預期設置、預期結果、數據一致性、時間窗口以及處理方式中的至少一項；

30、根據所述事件關聯關系和所述預期配置項構建事件預期模型。

31、此外，為實現上述目的，本發明還提出一種數據一致性分析裝置，所述數據一致性分析裝置包括：

32、獲取模塊，用于獲取業務系統的日志數據，并讀取事件預期模型，獲得事件關聯關系，所述事件關聯關系為基準應用與預期應用之間的關聯關系；

33、查詢模塊，用于根據所述事件關聯關系查詢所述日志數據，獲得所述基準應用的事件數據；

34、查詢模塊，還用于根據所述基準應用的事件數據查詢所述日志數據，獲得所述預期應用的事件數據；

35、分析模塊，用于根據所述基準事件的事件數據和所述預期應用的事件數據分析所述基準應用與所述預期應用之間的數據一致性。

36、此外，為實現上述目的，本發明還提出一種數據一致性分析設備，所述數據一致性分析設備包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的數據一致性分析程序，所述數據一致性分析程序配置為實現如上文所述的數據一致性分析方法。

37、此外，為實現上述目的，本發明還提出一種存儲介質，所述存儲介質上存儲有數據一致性分析程序，所述數據一致性分析程序被處理器執行時實現如上文所述的數據一致性分析方法。

38、在本發明中，公開了獲取業務系統的日志數據，并讀取事件預期模型，獲得事件關聯關系，事件關聯關系為基準應用與預期應用之間的關聯關系，根據事件關聯關系查詢日志數據，獲得基準應用的事件數據，根據基準應用的事件數據查詢日志數據，獲得預期應用的事件數據，根據基準事件的事件數據和預期應用的事件數據分析基準應用與預期應用之間的數據一致性；由于本發明從實時性更高的日志數據中提煉出描述數據一致性的要素，確定出數據的一致性結果，改進了日終對賬發現數據差錯不及時的問題，從而提高了數據一致性分析的實時性。

技術特征：

1.一種數據一致性分析方法，其特征在于，所述數據一致性分析方法包括：

2.如權利要求1所述的數據一致性分析方法，其特征在于，所述根據所述基準事件的事件數據和所述預期應用的事件數據分析所述基準應用與所述預期應用之間的數據一致性，包括：

3.如權利要求2所述的數據一致性分析方法，其特征在于，所述根據所述預期結果與數據一致性的對應關系分析所述基準應用與所述預期應用之間的數據一致性之后，還包括：

4.如權利要求1所述的數據一致性分析方法，其特征在于，所述根據所述基準事件的事件數據和所述預期應用的事件數據分析所述基準應用與所述預期應用之間的數據一致性之前，還包括：

5.如權利要求1至4中任一項所述的數據一致性分析方法，其特征在于，所述獲取業務系統的日志數據，并讀取事件預期模型，獲得事件關聯關系之前，還包括：

6.如權利要求5所述的數據一致性分析方法，其特征在于，所述根據所述日志數據自學習式計算事件關聯關系，包括：

7.如權利要求5所述的數據一致性分析方法，其特征在于，所述基于所述事件關聯關系構建事件預期模型，包括：

8.一種數據一致性分析裝置，其特征在于，所述數據一致性分析裝置包括：

9.一種數據一致性分析設備，其特征在于，所述數據一致性分析設備包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的數據一致性分析程序，所述數據一致性分析程序被所述處理器執行時實現如權利要求1至7中任一項所述的數據一致性分析方法。

10.一種存儲介質，其特征在于，所述存儲介質上存儲有數據一致性分析程序，所述數據一致性分析程序被處理器執行時實現如權利要求1至7中任一項所述的數據一致性分析方法。

技術總結
本發明涉及計算機技術領域，公開了一種數據一致性分析方法、裝置、設備及存儲介質，該方法包括：獲取業務系統的日志數據，并讀取事件預期模型，獲得事件關聯關系，事件關聯關系為基準應用與預期應用之間的關聯關系，根據事件關聯關系查詢日志數據，獲得基準應用的事件數據，根據基準應用的事件數據查詢日志數據，獲得預期應用的事件數據，根據基準事件的事件數據和預期應用的事件數據分析基準應用與預期應用之間的數據一致性；由于本發明從實時性更高的日志數據中提煉出描述數據一致性的要素，確定出數據的一致性結果，改進了日終對賬發現數據差錯不及時的問題，從而提高了數據一致性分析的實時性。

技術研發人員：徐軍偉,陳明,郝文超,張寧,楊守濱,王明月
受保護的技術使用者：中移動金融科技有限公司
技術研發日：
技術公布日：2024/10/21