本發明涉及數據溯源,尤其是涉及一種數據溯源方法、裝置、溯源服務器、集群溯源設備及介質。
背景技術:
1、算力網絡通過連接多源泛在計算資源,能夠提供高效、便捷的計算服務。由于計算節點的廣泛接入,其位置、計算能力、可信性等均不相同。在開展計算服務的過程中,需要通過編排管理能力進行調度,配合完成計算服務,這就使得數據在計算過程中要進行流轉。為了保障算力服務的可靠可信,對數據在算網流轉過程進行溯源是提供給用戶數據合法使用的重要證據。
2、目前已有通過日志分析或流量解析進行數據溯源的技術方案,但這些方案在算力網絡場景下使用具有較大的限制性,難以實現算力網絡中的數據溯源。
技術實現思路
1、本發明的目的在于提供一種數據溯源方法、裝置、溯源服務器、集群溯源設備及介質,用于解決現有數據溯源方案難以實現算力網絡中的數據溯源的問題。
2、為了達到上述目的,第一方面,本發明實施例提供一種數據溯源方法,應用于溯源服務器,包括:
3、獲取n個集群溯源設備上報的m個溯源記錄;其中,所述集群溯源設備部署于數據處理集群側,每個所述集群溯源設備對應一個數據處理集群,所述溯源記錄包括第一校驗信息和第二校驗信息,所述第一校驗信息是根據第一溯源記錄生成元對第一數據生成的,所述第二校驗信息是根據第二溯源記錄生成元對第二數據生成的,所述第一數據和所述第二數據是預設處理前后的數據,m≥n,且m、n為正整數;
4、根據所述m個溯源記錄,獲得目標用戶數據在算力網絡中流轉的全流程溯源。
5、在一些實施例中,所述根據所述m個溯源記錄,獲得目標用戶數據在算力網絡中流轉的全流程溯源,包括:
6、在接收到針對所述目標用戶數據的溯源請求的情況下,確定第一溯源記錄,所述第一溯源記錄為所述目標用戶數據對應的溯源記錄;
7、根據所述第一溯源記錄以及所述m個溯源記錄中除所述第一溯源記錄之外的其他溯源記錄,確定出所述目標用戶數據由第一跳至最后一跳的溯源記錄;
8、將所述目標用戶數據對應的溯源記錄、所述目標用戶數據由第一跳至最后一跳的溯源記錄確定為所述目標用戶數據在算力網絡中流轉的全流程溯源。
9、在一些實施例中,根據所述第一溯源記錄以及所述m個溯源記錄中除所述第一溯源記錄之外的其他溯源記錄,確定出所述目標用戶數據由第一跳至最后一跳的溯源記錄,包括:
10、在根據第一計算結果,所述第一計算結果是由所述第一溯源記錄中的第二校驗信息與第二溯源記錄中的第一校驗信息執行雙線性對計算得到的,對所述第一溯源記錄中已加密的溯源信息成功解密的情況下,確定所述第二溯源記錄為所述目標用戶數據第一跳的溯源記錄;
11、在根據第二計算結果,所述第二計算結果是由所述第二溯源記錄中的第二校驗信息與第三溯源記錄中的第一校驗信息執行雙線性對計算得到的,對所述第二溯源記錄中已加密的溯源信息成功解密的情況下,確定所述第三溯源記錄為所述目標用戶數據第二跳的溯源記錄,直至確定出目標溯源記錄,所述目標溯源記錄為所述目標用戶數據最后一跳的溯源記錄,所述目標溯源記錄中的第二校驗信息為零;其中,所述第二溯源記錄、所述第三溯源記錄和所述目標溯源記錄均為所述m個溯源記錄中的一者。
12、在一些實施例中,所述確定第一溯源記錄,包括:
13、利用第一對稱加密密鑰,對所述m個溯源記錄中的溯源記錄進行解密;
14、將從中解密出所述目標用戶數據的溯源記錄確定為所述第一溯源記錄。
15、在一些實施例中,所述方法還包括:
16、獲取所述n個集群溯源設備上報的m個日志校驗信息;
17、在確定第一日志文件需要驗證的情況下,根據所述第一日志文件,獲得第一校驗值,并根據所述第一校驗值和日志驗證生成元,計算得到第一密鑰;
18、利用所述第一密鑰,對第一日志校驗信息進行解密,獲得解密結果;其中,所述第一日志校驗信息為所述m個日志校驗信息中與所述第一日志文件對應的日志校驗信息;
19、在所述解密結果表征解密失敗的情況下,確定所述第一日志文件對應的溯源記錄不可信;
20、在所述解密結果是第一特征向量,且所述第一特征向量與第一日志文件中的特征值不同的情況下,確定所述第一日志文件對應的溯源記錄不可信;
21、在所述解密結果是第一特征向量,且所述第一特征向量與第一日志文件中的特征值相同的情況下,確定所述第一日志文件對應的溯源記錄可信。
22、在一些實施例中,所述方法還包括:
23、按照所述目標用戶數據在數據處理集群間的流轉順序,向k個集群溯源設備中的每個所述集群溯源設備發送第一溯源記錄生成元和第二溯源記錄生成元;
24、其中,所述第一溯源記錄生成元和所述第二溯源記錄生成元均用于生成所述溯源記錄,且按照所述流轉順序,第i個所述集群溯源設備獲得的所述第二溯源生成元與第i+1個所述集群溯源設備獲得的所述第一溯源生成元相同,所述k個集群溯源設備包括參與所述目標用戶數據的計算任務的k個數據處理集群側各自部署的集群溯源設備,k,i均為正整數。
25、在一些實施例中,所述方法還包括:
26、向k個集群溯源設備中的每個所述集群溯源設備發送日志驗證生成元;其中,所述日志驗證生成元用于生成日志文件的第二對稱加密密鑰,所述第二對稱加密密鑰用于加密所述日志文件對應的特征向量。
27、第二方面,本發明實施例還提供一種數據溯源方法,應用于集群溯源設備,包括:
28、獲取數據處理集群的日志文件;其中,所述日志文件用于記錄與第一數據的計算處理相關的信息;所述集群溯源設備部署于所述數據處理集群側;
29、根據所述日志文件、第一溯源記錄生成元和第二溯源記錄生成元,獲得溯源記錄;其中,所述溯源記錄包括第一校驗信息和第二校驗信息,所述第一校驗信息是根據所述第一溯源記錄生成元對所述第一數據生成的,所述第二校驗信息是根據所述第二溯源記錄生成元對第二數據生成的,所述第一數據和所述第二數據是預設處理前后的數據;
30、向溯源服務器上報所述溯源記錄。
31、在一些實施例中,所述獲取數據處理集群的日志文件,包括:
32、提取所述數據處理集群內參與所述第一數據的計算處理的各算力節點的日志記錄;
33、根據所述參與所述第一數據的計算處理的各算力節點的日志記錄,獲得原始日志文件;
34、對所述原始日志文件進行日志清洗,獲得日志清洗后的日志文件。
35、在一些實施例中,所述根據所述日志文件、第一溯源記錄生成元和第二溯源記錄生成元,獲得溯源記錄,包括:
36、從所述日志文件中提取溯源信息;
37、根據所述第一數據和所述第一溯源記錄生成元,生成所述第一校驗信息;
38、根據所述第二數據和所述第二溯源記錄生成元,生成所述第二校驗信息,所述第二數據為所述第一數據經數據處理后的數據;
39、利用第二密鑰加密所述溯源信息,得到已加密的溯源信息,所述第二密鑰基于所述第二溯源記錄生成元獲得;
40、獲得所述溯源記錄,所述溯源記錄包括所述已加密的溯源信息、所述第一校驗信息和所述第二校驗信息。
41、在一些實施例中,所述方法還包括:
42、在所述第一數據為目標用戶數據的情況下,利用第一對稱加密密鑰,對所述目標用戶數據進行加密,獲得加密后的數據,所述溯源記錄還包括所述加密后的數據。
43、在一些實施例中,所述方法還包括:
44、接收所述溯源服務器發送的所述第一溯源記錄生成元和所述第二溯源記錄生成元。
45、在一些實施例中,所述方法還包括:
46、提取所述日志文件的特征值;
47、根據所述日志文件的特征值,獲得特征向量;
48、基于日志驗證生成元,生成所述日志文件的第二對稱加密密鑰;
49、利用所述第二對稱加密密鑰加密所述特征向量,獲得日志校驗信息。
50、在一些實施例中,所述方法還包括:
51、接收所述溯源服務器發送的所述日志驗證生成元。
52、第三方面,本發明實施例還提供一種數據溯源裝置,應用于溯源服務器,包括:
53、第一獲取模塊,用于獲取n個集群溯源設備上報的m個溯源記錄;其中,所述集群溯源設備部署于數據處理集群側,每個所述集群溯源設備對應一個數據處理集群,所述溯源記錄包括第一校驗信息和第二校驗信息,所述第一校驗信息是根據第一溯源記錄生成元對第一數據生成的,所述第二校驗信息是根據第二溯源記錄生成元對第二數據生成的,所述第一數據和所述第二數據是預設處理前后的數據,m≥n,且m、n為正整數;
54、溯源處理模塊,用于根據所述m個溯源記錄,獲得目標用戶數據在算力網絡中流轉的全流程溯源。
55、第四方面,本發明實施例還提供一種溯源服務器,包括處理器和收發器,所述收發器在處理器的控制下接收和發送數據,所述處理器用于執行以下操作:
56、獲取n個集群溯源設備上報的m個溯源記錄;其中,所述集群溯源設備部署于數據處理集群側,每個所述集群溯源設備對應一個數據處理集群,所述溯源記錄包括第一校驗信息和第二校驗信息,所述第一校驗信息是根據第一溯源記錄生成元對第一數據生成的,所述第二校驗信息是根據第二溯源記錄生成元對第二數據生成的,所述第一數據和所述第二數據是預設處理前后的數據,m≥n,且m、n為正整數;
57、根據所述m個溯源記錄,獲得目標用戶數據在算力網絡中流轉的全流程溯源。
58、第五方面,本發明實施例還提供一種溯源服務器,包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的程序;所述處理器執行所述程序時實現如上述第一方面所述的數據溯源方法。
59、第六方面,本發明實施例還提供一種數據溯源裝置,應用于集群溯源設備,包括:
60、第二獲取模塊,用于獲取數據處理集群的日志文件;其中,所述日志文件用于記錄與第一數據的計算處理相關的信息;所述集群溯源設備部署于所述數據處理集群側;
61、第一處理模塊,用于根據所述日志文件、第一溯源記錄生成元和第二溯源記錄生成元,獲得溯源記錄;其中,所述溯源記錄包括第一校驗信息和第二校驗信息,所述第一校驗信息是根據所述第一溯源記錄生成元對所述第一數據生成的,所述第二校驗信息是根據所述第二溯源記錄生成元對第二數據生成的,所述第一數據和所述第二數據是預設處理前后的數據;
62、第一發送模塊,用于向溯源服務器上報所述溯源記錄。
63、第七方面,本發明實施例還提供一種集群溯源設備,包括處理器和收發器,所述收發器在處理器的控制下接收和發送數據,所述處理器用于執行以下操作:
64、獲取數據處理集群的日志文件;其中,所述日志文件用于記錄與第一數據的計算處理相關的信息;所述集群溯源設備部署于所述數據處理集群側;
65、根據所述日志文件、第一溯源記錄生成元和第二溯源記錄生成元,獲得溯源記錄;其中,所述溯源記錄包括第一校驗信息和第二校驗信息,所述第一校驗信息是根據所述第一溯源記錄生成元對所述第一數據生成的,所述第二校驗信息是根據所述第二溯源記錄生成元對第二數據生成的,所述第一數據和所述第二數據是預設處理前后的數據;
66、向溯源服務器上報所述溯源記錄。
67、第八方面,本發明實施例還提供一種集群溯源設備,包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的程序;所述處理器執行所述程序時實現如上述第二方面所述的數據溯源方法。
68、第九方面,本發明實施例還提供一種計算機可讀存儲介質,其上存儲有計算機程序,該程序被處理器執行時實現如上述第一方面所述的數據溯源方法中的步驟,或者實現如上述第二方面所述的數據溯源方法中的步驟。
69、第十方面,本發明實施例還提供一種計算機程序產品,包括計算機指令,所述計算機指令被處理器執行時實現如上述第一方面所述的數據溯源方法中的步驟,或者實現如上述第二方面所述的數據溯源方法中的步驟。
70、本發明的上述技術方案至少具有如下有益效果:
71、本發明實施例中,通過獲取n個集群溯源設備上報的m個溯源記錄;其中,所述集群溯源設備部署于數據處理集群側,每個所述集群溯源設備對應一個數據處理集群,所述溯源記錄包括第一校驗信息和第二校驗信息,所述第一校驗信息是根據第一溯源記錄生成元對第一數據生成的,所述第二校驗信息是根據第二溯源記錄生成元對第二數據生成的,所述第一數據和所述第二數據是預設處理前后的數據,m≥n,且m、n為正整數;根據所述m個溯源記錄,獲得目標用戶數據在算力網絡中流轉的全流程溯源,即利用溯源記錄中生成校驗信息的溯源記錄生成元的雙線性性,通過雙線性配對獲得目標用戶數據在算力網絡中流轉的全流程溯源,這樣,通過上述處理,實現了算力網絡中跨數據處理集群的數據溯源。