本申請涉及互聯網,具體涉及一種數據處理方法、裝置、計算機設備及存儲介質。
背景技術:
1、隨著互聯網技術的發展,對數據處理的類型越來越多樣化,例如,可以通過特征平臺對數據進行特征計算和存儲等。目前,對數據進行特征計算,一般只有單一的spark批處理模式或flink流計算模式,導致對數據進行特征計算的可靠性和準確性降低,降低了對數據處理的質量。以及,對數據處理的各個模塊之間集成化度不高,各個模塊之間存在很多適配工作,導致使用不通暢,降低了對數據處理的效率。
技術實現思路
1、本申請實施例提供一種數據處理方法、裝置、計算機設備及存儲介質,可以提高對數據處理準確性和效率。
2、為解決上述技術問題,本申請實施例提供以下技術方案:
3、本申請實施例提供了一種數據處理方法,包括:
4、獲取待處理的數據源,以及獲取所述數據源的業務類型;
5、將所述數據源的數據格式轉換為目標數據格式,得到轉換后數據;
6、獲取與所述業務類型匹配的特征任務配置信息;
7、根據所述特征任務配置信息,確定所述轉換后數據的特征計算策略;
8、根據所述特征計算策略對所述轉換后數據進行特征計算,得到特征數據;
9、對所述特征數據進行處理。
10、根據本申請的一個方面,還提供了一種數據處理裝置,包括:
11、第一獲取單元,用于獲取待處理的數據源,以及獲取所述數據源的業務類型;
12、轉換單元,用于將所述數據源的數據格式轉換為目標數據格式,得到轉換后數據;
13、第二獲取單元,用于獲取與所述業務類型匹配的特征任務配置信息;
14、確定單元,用于根據所述特征任務配置信息,確定所述轉換后數據的特征計算策略;
15、計算單元,用于根據所述特征計算策略對所述轉換后數據進行特征計算,得到特征數據;
16、處理單元,用于對所述特征數據進行處理。
17、根據本申請的一個方面,還提供了一種計算機設備,包括處理器和存儲器,所述存儲器中存儲有計算機程序,所述處理器調用所述存儲器中的計算機程序時執行本申請實施例提供的任一種數據處理方法。
18、根據本申請的一個方面,還提供了一種存儲介質,所述存儲介質用于存儲計算機程序,所述計算機程序被處理器加載,以執行本申請實施例提供的任一種數據處理方法。
19、根據本申請的一個方面,還提供了一種計算機程序產品,包括計算機程序,所述計算機程序被處理器加載,以執行本申請實施例提供的任一種數據處理方法。
20、本申請實施例可以獲取待處理的數據源和數據源的業務類型,以及將數據源的數據格式轉換為目標數據格式,得到轉換后數據;獲取與業務類型匹配的特征任務配置信息,根據特征任務配置信息確定轉換后數據的特征計算策略;然后可以根據特征計算策略對轉換后數據進行特征計算,得到特征數據,此時可以對特征數據進行處理。該方案通過數據源進行數據格式轉換,統一數據格式,以適配多種不同的數據源,以及基于與業務類型匹配的特征任務配置信息對應的特征計算策略對統一數據格式后的轉換后數據進行特征計算,從而可以根據不同業務類型對應的不同特征計算策略適配且高效地對轉換后數據進行特征計算,提高了對數據處理準確性和效率。
1.一種數據處理方法,其特征在于,包括:
2.根據權利要求1所述的數據處理方法,其特征在于,所述根據所述特征計算策略對所述轉換后數據進行特征計算,得到特征數據,包括:
3.根據權利要求1所述的數據處理方法,其特征在于,所述根據所述特征計算策略對所述轉換后數據進行特征計算,得到特征數據,包括:
4.根據權利要求1所述的數據處理方法,其特征在于,所述根據所述特征計算策略對所述轉換后數據進行特征計算,得到特征數據,包括:
5.根據權利要求1所述的數據處理方法,其特征在于,所述根據所述特征計算策略對所述轉換后數據進行特征計算,得到特征數據,包括:
6.根據權利要求1所述的數據處理方法,其特征在于,所述根據所述特征計算策略對所述轉換后數據進行特征計算,得到特征數據,包括:
7.根據權利要求6所述的數據處理方法,其特征在于,所述邏輯計算引擎包括第一邏輯計算引擎,所述特征數據通過所述第一邏輯計算引擎對所述轉換后數據進行特征邏輯計算得到,通過所述第一邏輯計算引擎對所述轉換后數據進行特征邏輯計算,得到特征數據,包括:
8.根據權利要求7所述的數據處理方法,其特征在于,所述通過所述第一邏輯計算引擎調用編譯器對所述特征任務進行編譯,得到目標符號表,包括:
9.根據權利要求8所述的數據處理方法,其特征在于,對所述特征任務的源代碼文件進行詞法分析,得到字符流,包括:
10.根據權利要求8所述的數據處理方法,其特征在于,所述根據所述中間代碼生成目標符號表,包括:
11.根據權利要求6所述的數據處理方法,其特征在于,所述邏輯計算引擎包括第二邏輯計算引擎,所述特征數據通過所述第二邏輯計算引擎對所述轉換后數據進行特征邏輯計算得到,通過所述第二邏輯計算引擎對所述轉換后數據進行特征邏輯計算,得到特征數據,包括:
12.根據權利要求1所述的數據處理方法,其特征在于,所述將所述數據源的數據格式轉換為目標數據格式,得到轉換后數據,包括:
13.根據權利要求1所述的數據處理方法,其特征在于,所述獲取待處理的數據源,包括:
14.根據權利要求1至13任一項所述的數據處理方法,其特征在于,所述對所述特征數據進行處理,包括:
15.根據權利要求1至13任一項所述的數據處理方法,其特征在于,所述對所述特征數據進行處理,包括:
16.一種數據處理裝置,其特征在于,包括:
17.一種計算機設備,其特征在于,包括處理器和存儲器,所述存儲器中存儲有計算機程序,所述處理器調用所述存儲器中的計算機程序時執行如權利要求1至15任一項所述的數據處理方法。
18.一種存儲介質,其特征在于,所述存儲介質用于存儲計算機程序,所述計算機程序被處理器加載以執行權利要求1至15任一項所述的數據處理方法。