本申請涉及數據存儲,尤其涉及一種數據處理方法及相關設備。
背景技術:
1、在現有技術中,基于微服務鏈路,經常存在向下游批量請求數據的場景,在請求數據過程中,每當收到一條數據請求時便需要向下游請求一次數據,但在實際操作中發現,多條數據請求間存在大量重復的數據需求,又因數據請求的數量在上述場景下過于龐大,導致需要下游發起多次重復請求,壓力過大。
技術實現思路
1、有鑒于此,本申請的目的在于提出一種數據處理方法及相關設備。
2、基于上述目的,本申請提供了一種數據處理方法,包括:
3、接收多個第一數據請求;
4、對所述多個第一數據請求所請求的第一目標數據進行分類,得到第一數據類別;
5、根據所述第一數據類別發送第二數據請求,以獲取所述第二數據請求對應的第一目標數據。
6、在一種可能的實現方式中,所述第一目標數據包括對象關聯信息;
7、所述對所述多個第一數據請求所請求的第一目標數據進行分類,得到第一數據類別,包括:
8、基于所述對象關聯信息對應的對象標識,對所述對象關聯信息進行分類,得到所述第一數據類別。
9、在一種可能的實現方式中,所述根據所述第一數據類別發送第二數據請求,包括:
10、根據所述第一數據類別,構建數據請求隊列;所述數據請求隊列包括第一數據類別請求,所述第一數據類別請求與所述第一數據類別一一對應;
11、根據所述數據請求隊列,發送所述第二數據請求。
12、在一種可能的實現方式中,所述方法,還包括:
13、根據所述第一數據類別,構建第一訂閱隊列;所述第一訂閱隊列與所述第一數據類別一一對應;
14、響應于所述第一數據請求所請求的其中一個第一目標數據屬于所述第一數據類別,將與所述第一目標數據對應的第一等待獲取數據請求加入與所述第一數據類別對應的所述第一訂閱隊列中,得到訂閱線程;
15、響應于獲取所述第一目標數據,將所述第一目標數據廣播至對應的所述第一訂閱隊列中所有的訂閱線程,并將所述第一目標數據暫時存儲于預設內存中。
16、在一種可能的實現方式中,所述方法,還包括:
17、響應于接收到第三數據請求,對所述第三數據請求所請求的第二目標數據進行分類,得到第二數據類別;
18、響應于所述第二數據類別存在第一類別與所述第一數據類別不同,將與所述第一類別對應的第二數據類別請求添加至所述數據請求隊列中。
19、在一種可能的實現方式中,所述方法,還包括:
20、響應于接收到第三數據請求,對所述第三數據請求所請求的第二目標數據進行分類,得到第二數據類別;
21、根據所述第二數據類別與所述第一數據類別之間的關系,處理所述第三數據請求。
22、在一種可能的實現方式中,所述根據所述第二數據類別與所述第一數據類別之間的關系,處理所述第三數據請求,包括:
23、響應于所述第二數據類別存在第一類別與所述第一數據類別不同,根據所述第一類別構建第二訂閱隊列,并將所述第三數據請求中屬于第一類別的第二目標數據所對應的第二等待獲取數據請求加入所述第二訂閱隊列中;
24、響應于所述第二數據類別存在第二類別與所述第一數據類別相同,將所述第三數據請求中屬于第二類別的第二目標數據所對應的第三等待獲取數據請求加入與所述第二類別對應的所述第一訂閱隊列中。
25、在一種可能的實現方式中,所述數據請求隊列間隔預設間隔獲取對應的所述第一目標數據;
26、通過下述方法獲取所述預設間隔:
27、設置第一間隔;
28、獲取所述第一間隔中所述第二數據請求的第一數量和所述第一數據類別的第二數量;
29、計算所述第一數量和所述第二數量的比值,得到調整參數;
30、在間隔閾值內調整所述第一間隔的大小并對應的計算所述調整參數,響應于所述調整參數達到最大值,將所述第一間隔作為所述預設間隔。
31、在一種可能的實現方式中,所述方法,還包括:
32、響應于獲取所述第一目標數據,將所述第一目標數據存儲至預設的分布式緩存中;
33、響應于接收到第三數據請求,判斷所述分布式緩存中是否存在所述第三數據請求所請求的第二目標數據;
34、響應于所述分布式緩存中存在所述第三數據請求所請求的第二目標數據,從所述分布式緩存中獲取所述第二目標數據。
35、基于同一發明構思,本申請實施例還提供了一種數據處理裝置,包括:
36、接收模塊,被配置為接收多個第一數據請求;
37、分類模塊,被配置為對所述多個第一數據請求所請求的第一目標數據進行分類,得到第一數據類別;
38、獲取模塊,被配置為根據所述第一數據類別發送第二數據請求,以獲取所述第二數據請求對應的第一目標數據。
39、基于同一發明構思,本申請實施例還提供了一種電子設備,包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序,所述處理器執行所述程序時實現如上述任意一項所述的數據處理方法。
40、基于同一發明構思,本申請實施例還提供了一種非暫態計算機可讀存儲介質,所述非暫態計算機可讀存儲介質存儲計算機指令,所述計算機指令用于使所述計算機執行上述任一所述的數據處理方法。
41、從上面所述可以看出,本申請提供的數據處理方法及相關設備,通過接收多個第一數據請求;對所述多個第一數據請求所請求的第一目標數據進行分類,得到第一數據類別;根據所述第一數據類別發送第二數據請求,以獲取所述第二數據請求對應的第一目標數據。本申請實施例通過對接收的第一數據請求進行分類,并針對分類后得到的第一數據類別來發送第二數據請求以獲取第一目標數據,有效降低了向下游批量請求數據時請求數據的次數,進而降低了接收數據請求端和下游的數據傳輸的壓力,節約了數據處理以及數據傳輸所耗費的資源。
1.一種數據處理方法,其特征在于,包括:
2.根據權利要求1所述的方法,其特征在于,所述第一目標數據包括對象關聯信息;
3.根據權利要求1所述的方法,其特征在于,所述根據所述第一數據類別發送第二數據請求,包括:
4.根據權利要求1所述的方法,其特征在于,所述方法,還包括:
5.根據權利要求3所述的方法,其特征在于,所述方法,還包括:
6.根據權利要求4所述的方法,其特征在于,所述方法,還包括:
7.根據權利要求6所述的方法,其特征在于,所述根據所述第二數據類別與所述第一數據類別之間的關系,處理所述第三數據請求,包括:
8.根據權利要求3所述的方法,其特征在于,所述數據請求隊列間隔預設間隔獲取對應的所述第一目標數據;
9.根據權利要求1所述的方法,其特征在于,所述方法,還包括:
10.一種數據處理裝置,其特征在于,包括:
11.一種電子設備,包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序,其特征在于,所述處理器執行所述程序時實現如權利要求1至9任意一項所述的方法。
12.一種非暫態計算機可讀存儲介質,所述非暫態計算機可讀存儲介質存儲計算機指令,其特征在于,所述計算機指令用于使計算機執行權利要求1至9任意一項所述的方法。