本申請涉及數據處理,具體涉及一種業務數據加載方法、裝置、電子設備、產品及存儲介質。
背景技術:
1、目前在互聯網和電子商務領域,分布式緩存系統被用于實時數據分析、數據湖集成和加速、大規模數據提取-轉換-加載,(extract-transform-load,etl)等場景。它可以將數據從hadoop等批處理系統緩存到內存中,提供低延遲的數據查詢和分析,增強實時決策能力。除了上述行業,還有許多大規模的行業也在廣泛應用分布式緩存系統來處理大規模數據和加速數據處理任務,例如人工智能和機器學習、廣告技術、物聯網安全、基因組學等領域。
2、現有的分布式緩存系統加載業務數據的方式主要是通過被動加載以及基于規則主動加載方式,被動加載方式在業務高峰時容易產生資源爭用,而基于規則主動加載方式不靈活同時維護成本也高,效果難以評估。
3、上述業務數據的加載方法的資源利用率低。
技術實現思路
1、本申請實施例提供一種業務數據加載方法、裝置、電子設備、產品及存儲介質,用以解決業務數據加載的資源利用率低的技術問題。
2、第一方面,本申請實施例提供一種業務數據加載方法,包括:根據用戶實時訪問多個業務數據表的多條實時訪問記錄,確定每個所述業務數據表的實際訪問占比;根據所述用戶在歷史周期內訪問多個所述業務數據表的多條歷史訪問記錄,確定多個所述業務數據表的趨勢數組指標;基于所述實際訪問占比和所述趨勢數組指標,加載所述業務數據表的業務數據。
3、在一個實施例中,所述根據用戶實時訪問多個業務數據表的多條實時訪問記錄,確定每個所述業務數據表的實際訪問占比,包括:根據多條所述實時訪問記錄的業務數據表加載開始時間、業務數據表加載完成時間、業務數據表加載路徑、業務數據表加載底層存儲類型和業務數據表加載次數,對多條所述實時訪問記錄進行分組;將分組后的所述實時訪問記錄映射到每個所述業務數據表的表訪問記錄集,所述表訪問記錄集包括訪問所述業務數據表的多條所述實時訪問記錄;根據所述表訪問記錄集的每小時訪問頻次和多條所述實時訪問記錄中的總訪問次數的比值,確定每個所述業務數據表的每小時訪問頻次占比,所述每小時訪問頻次為每小時訪問所述業務數據表的次數,所述總訪問次數為每小時訪問所有所述業務數據表的次數;基于每個所述業務數據表的所述每小時訪問頻次占比和設定權重的乘積,確定每個所述業務數據表的實際訪問占比,所述設定權重表征所述業務數據表的重要程度。
4、在一個實施例中,所述根據所述用戶在歷史周期內訪問多個所述業務數據表的多條歷史訪問記錄,確定多個所述業務數據表的趨勢數組指標,包括:根據多條所述歷史訪問記錄的業務數據表加載開始時間、業務數據表加載完成時間、業務數據表加載路徑和業務數據表加載底層存儲類型,對多條所述歷史訪問記錄進行分組;根據所述歷史訪問記錄的業務數據表加載次數,對分組后的所述歷史訪問記錄進行聚合,得到所有所述業務數據表的所述趨勢數組指標,所述趨勢數組指標包括每個所述業務數據表在歷史時間段內的訪問次數、訪問時長和用戶訪問占比。
5、在一個實施例中,所述基于所述實際訪問占比和所述趨勢數組指標,加載所述業務數據表的業務數據,包括:基于所述實際訪問占比和所述趨勢數組指標,將所述業務數據表確定為待加載業務數據表,確定所述待加載業務數據表的加載時間;基于所述加載時間,加載所述待加載業務數據表的業務數據。
6、在一個實施例中,所述基于所述實際訪問占比和所述趨勢數組指標,將所述業務數據表確定為待加載業務數據表,包括:定期判斷所述趨勢數組指標的用戶訪問占比,當所述用戶訪問占比大于設定參數時,將所述用戶訪問占比對應的所述業務數據表確定為所述待加載業務數據表;當所述實際訪問占比處于遞增狀態,且在預設時間內,所述實際訪問占比將大于所述設定參數時,將所述實際訪問占比對應的所述業務數據表確定為所述待加載業務數據表。
7、在一個實施例中,所述基于所述加載時間,加載所述待加載業務數據表的業務數據之前,還包括:校驗所述待加載業務數據表的源端數據和加載權限;當所述待加載業務數據表的所述源端數據和所述加載權限均存在時,對所述待加載業務數據表執行所述基于所述加載時間,加載所述待加載業務數據表的業務數據的步驟。
8、第二方面,本申請實施例提供一種業務數據加載系統,應用于第一方面所述的業務數據加載方法,包括業務計算模塊和加載模塊;所述業務計算模塊,用于根據用戶實時訪問多個業務數據表的多條實時訪問記錄,確定每個所述業務數據表的實際訪問占比;根據所述用戶在歷史周期內訪問多個所述業務數據表的多條歷史訪問記錄,確定多個所述業務數據表的趨勢數組指標;所述加載模塊,用于基于所述實際訪問占比和所述趨勢數組指標,加載所述業務數據表的業務數據。
9、第三方面,本申請實施例提供一種電子設備,包括處理器和存儲有計算機程序的存儲器,所述處理器執行所述程序時實現第一方面所述的業務數據加載方法。
10、第四方面,本申請實施例提供一種計算機程序產品,包括計算機程序,所述計算機程序被處理器執行時實現第一方面所述的業務數據加載方法。
11、第五方面,本申請實施例提供一種非暫態計算機可讀存儲介質,其上存儲有計算機程序,該計算機程序被處理器執行時實現第一方面所述的業務數據加載方法。
12、本申請提供的業務數據加載方法、裝置、電子設備、產品及存儲介質,根據用戶實時訪問多個業務數據表的多條實時訪問記錄,確定每個所述業務數據表的實際訪問占比;根據所述用戶在歷史周期內訪問多個所述業務數據表的多條歷史訪問記錄,確定多個所述業務數據表的趨勢數組指標;基于所述實際訪問占比和所述趨勢數組指標,加載所述業務數據表的業務數據。本申請通過實際訪問占比和趨勢數組指標,加載業務數據,實現了基于用戶需求加載業務數據,提升了緩存資源的使用率,有利于提升訪問效率,能夠更好的服務于用戶。
1.一種業務數據加載方法,其特征在于,包括:
2.根據權利要求1所述的業務數據加載方法,其特征在于,所述根據用戶實時訪問多個業務數據表的多條實時訪問記錄,確定每個所述業務數據表的實際訪問占比,包括:
3.根據權利要求1所述的業務數據加載方法,其特征在于,所述根據所述用戶在歷史周期內訪問多個所述業務數據表的多條歷史訪問記錄,確定多個所述業務數據表的趨勢數組指標,包括:
4.根據權利要求1所述的業務數據加載方法,其特征在于,所述基于所述實際訪問占比和所述趨勢數組指標,加載所述業務數據表的業務數據,包括:
5.根據權利要求4所述的業務數據加載方法,其特征在于,所述基于所述實際訪問占比和所述趨勢數組指標,將所述業務數據表確定為待加載業務數據表,包括:
6.根據權利要求4所述的業務數據加載方法,其特征在于,所述基于所述加載時間,加載所述待加載業務數據表的業務數據之前,還包括:
7.一種業務數據加載系統,其特征在于,應用于如權利要求1至6中任一項所述的業務數據加載方法,包括業務計算模塊和加載模塊;
8.一種電子設備,包括處理器和存儲有計算機程序的存儲器,其特征在于,所述處理器執行所述計算機程序時實現權利要求1至6任一項所述的業務數據加載方法。
9.一種計算機程序產品,包括計算機程序,其特征在于,所述計算機程序被處理器執行時實現權利要求1至6任一項所述的業務數據加載方法。
10.一種非暫態計算機可讀存儲介質,其上存儲有計算機程序,其特征在于,所述計算機程序被處理器執行時實現權利要求1至6任一項所述的業務數據加載方法。