本公開涉及數據處理領域,具體涉及一種數據稽核方法與裝置、電子設備、可讀存儲介質。
背景技術:
1、數據質量問題、資源的數據準確性問題,直接影響到全網資源管理效果。數據稽核是提升數據質量海域準確性的有效手段。
2、現有技術中,在進行數據稽核時會在原始數據文件中進行采集,將采集到的待稽核數據存儲到分布式關系型數據庫,例如postgres,greenplum等,并按照運營商的稽核要求,創建相關業務的存儲過程,進行數據稽核。但是,關系型數據庫的數據入庫效率較差,大數據量情況下的多數據關聯查詢效率較差,不僅稽核效率較差,也存在cpu功耗較高,容易導致進程死鎖的問題。
技術實現思路
1、本公開提供了一種數據稽核方法與裝置、電子設備、可讀存儲介質,以在一定程度上提升數據稽核效率與稽核系統的穩定性。
2、第一方面,本公開提供了一種數據稽核方法,包括:響應于數據稽核請求,獲取待稽核數據;對所述待稽核數據進行拆分,得到多表關聯數據與單表核查數據;利用分布式查詢引擎對所述多表關聯數據進行稽核;利用數據管理系統對所述單表核查數據進行稽核。
3、根據本公開的第一方面所述的方法,所述利用分布式查詢引擎對所述多表關聯數據進行稽核,包括:將所述多表關聯數據寫入消息隊列;利用所述分布式查詢引擎對所述消息隊列中的消息進行數據稽核。
4、根據本公開的第一方面所述的方法,所述利用數據管理系統對所述單表核查數據進行稽核,包括:將所述單表核查數據寫入所述數據管理系統;所述數據管理系統包括:列式數據管理系統;利用所述數據管理系統對所述單表核查數據進行數據稽核。
5、根據本公開的第一方面所述的方法,所述方法還包括:將所述多表關聯數據的稽核結果寫入所述數據管理系統;匯總所述多表關聯數據的稽核結果與所述單表核查數據的稽核結果。
6、根據本公開的第一方面所述的方法,所述響應于數據稽核請求,獲取待稽核數據,包括:響應于數據稽核請求,獲取目標業務場景對應的業務數據,得到所述待稽核數據;或者,響應于數據稽核請求,獲取目標業務場景對應的業務數據,并對所述業務數據進行預處理,得到所述待稽核數據;其中,所述預處理包括如下至少一種:數據清洗、數據補全。
7、根據本公開的第一方面所述的方法,當所述預處理為數據清洗時,所述對所述業務數據進行預處理,得到所述待稽核數據,包括:基于稽核規則,確定所述業務數據中的待清洗數據;利用關系型數據庫對所述待清洗數據進行數據清洗,得到所述待稽核數據。
8、根據本公開的第一方面所述的方法,所述業務數據的數據源包括如下至少一種:csv數據、關系型數據庫、大數據平臺。
9、第二方面,本公開提供了一種數據稽核裝置,所述裝置包括:獲取單元,用于響應于數據稽核請求,獲取待稽核數據;拆分單元,用于對所述待稽核數據進行拆分,得到多表關聯數據與單表核查數據;第一稽核單元,用于利用分布式查詢引擎對所述多表關聯數據進行稽核;第二稽核單元,用于利用數據管理系統對所述單表核查數據進行稽核。
10、第三方面,本公開提供了一種電子設備,包括:存儲器,用于存儲計算機可讀指令;以及處理器,用于運行計算機可讀指令,使得電子設備執行如上所述的數據稽核方法。
11、第四方面,本公開提供了一種非瞬時性計算機可讀存儲介質,用于存儲計算機可讀指令,其特征在于,當所述計算機可讀指令由處理器執行時,使得處理器執行如上所述的數據稽核方法。
12、如以下將詳細描述的,根據本公開實施例的數據稽核技術方案,能夠將待稽核數據進行拆分,并采用不同的稽核方式分別進行稽核;具體的,針對單表核查數據直接利用數據管理系統進行數據稽核,簡便高效;而針對多表關聯數據,利用分布式查詢引擎實現高效并行處理,大大提升了多表關聯數據的稽核效率。相較于現有技術中利用分布式關系型數據庫中的數據稽核方式,本公開能夠基于不同的數據類型采取更節省功耗與提升效率的方式進行數據稽核,有效提升稽核效率,降低功耗與資源占用情況,避免了現有技術中可能出現的進程死鎖問題,穩定性較好。
13、要理解的是,前面的一般描述和下面的詳細描述兩者都是示例性的,并且意圖在于提供要求保護的技術的進一步說明。
1.一種數據稽核方法,其特征在于,所述方法包括:
2.如權利要求1所述的方法,其特征在于,所述利用分布式查詢引擎對所述多表關聯數據進行稽核,包括:
3.如權利要求1所述的方法,其特征在于,所述利用數據管理系統對所述單表核查數據進行稽核,包括:
4.如權利要求1所述的方法,其特征在于,所述方法還包括:
5.如權利要求1-4任一項所述的方法,其特征在于,所述響應于數據稽核請求,獲取待稽核數據,包括:
6.如權利要求5所述的方法,其特征在于,當所述預處理為數據清洗時,所述對所述業務數據進行預處理,得到所述待稽核數據,包括:
7.如權利要求5所述的方法,其特征在于,所述業務數據的數據源包括如下至少一種:csv數據、關系型數據庫、大數據平臺。
8.一種數據稽核裝置,其特征在于,所述裝置包括:
9.一種電子設備,其特征在于,包括:
10.一種非瞬時性計算機可讀存儲介質,用于存儲計算機可讀指令,其特征在于,當所述計算機可讀指令由處理器執行時,使得所述處理器執行如權利要求1-7的任一項所述的方法。