本技術實施例涉及數據安全領域,特別是涉及一種數據處理及數據驗證方法、裝置、設備及存儲介質。
背景技術:
1、用戶使用算力網絡執行數據計算或存儲任務時,需要將數據上傳至算力網絡,算網大腦再將用戶數據分發至各個算力節點上進行計算或存儲,這其中,用戶數據可能流轉經過多個節點。但不同節點的安全環境存在差異,用戶數據在流轉過程中可能會被篡改、竊取,其流轉路徑有被惡意修改的風險。因此,在對算網用戶數據分發流轉過程中的數據安全問題尚缺乏保護及驗證機制。
技術實現思路
1、基于背景技術中所提出的技術問題,本發明提供了一種數據處理及數據驗證方法、裝置、計算節點及存儲介質。
2、第一方面,本發明提供了一種數據處理方法,包括如下步驟:
3、接收待流轉數據集;
4、基于當前算力節點的染色值,對所述待流轉數據進行染色處理,得到染色數據集,其中,所述染色值是根據所述當前算力節點的特征值和染色值參數范圍計算獲得的;
5、將所述染色數據集發送至下一個算力節點。
6、進一步地,所述基于當前算力節點的染色值,對所述待流轉數據進行染色處理,得到染色數據集,包括:
7、按照預設的分組間隔對所述待流轉數據集進行分組,獲得多個分組數據,其中,所述分組間隔與所述染色值參數范圍的大小呈正相關;
8、計算每個分組數據的染色分片值;
9、在每個分組數據中嵌入對應的染色分片值,得到染色數據集;
10、其中,計算一個分組數據的染色分片值的方法,包括:將一個分組數據中每個元組的第j列作為待嵌入數據列,并對所述待嵌入數據列進行數值化處理,得到每個元組的嵌入位置數值;
11、計算所述待流轉數據集已經流轉的全部算力節點的染色值的乘積,獲取總染色值z;
12、根據所述總染色值與所述嵌入位置數值計算染色分片值c,其中,所述染色分片值c為滿足的最小值,n為所述分組數據包含的元組個數,aij為第i個元組的嵌入位置數值。
13、進一步地,所述當前算力節點的染色值的計算方法,包括:
14、獲取當前算力節點的算網任務id;
15、對所述當前算力節點的特征值和算網任務id進行編碼,得到中間特征數據;
16、將所述中間特征數據對所述染色值參數范圍的最大值進行取余運算,若余數大于所述染色值參數范圍的最小值,則將距離所述余數最近的質數作為所述當前算力節點的染色值,否則將余數作為所述當前算力節點的染色值。
17、進一步地,所述在每個分組數據中嵌入對應的染色分片值,得到染色數據集,包括:
18、在每個分組數據中生成新元組,使得所述新元組的第j列為對應的染色分片值,獲得染色數據集。
19、本發明還提供了一種數據驗證方法,包括:
20、獲取待驗證數據集;
21、對所述待驗證數據集進行解析,得到待驗證染色值序列,其中,所述待驗證染色值序列包含所述待驗證數據集實際流轉的算力節點的對應染色值,所述染色值是根據所述算力節點的特征值和染色值參數范圍計算獲得的;
22、獲取目標染色值序列,其中,所述目標染色值序列包含所述待驗證數據集應當流轉的算力節點的對應染色值;
23、根據所述待驗證染色值序列和所述目標染色值序列的比對結果,確認所述待驗證數據集的安全性。
24、進一步地,所述根據所述待驗證染色值序列和所述目標染色值序列的比對結果,確認所述待驗證數據集的安全性,包括;
25、將所述待驗證染色值序列和所述目標染色值序列進行比對,若所述待驗證染色值序列中包含所述目標染色值序列且兩者順序一致,則確認所述待驗證數據集通過安全性驗證,否則確認所述待驗證數據集未通過安全性驗證。
26、進一步地,所述對所述待驗證數據集進行解析,得到待驗證染色值序列,包括:
27、按照預設的分組間隔對所述待驗證數據集進行分組,獲得多個待驗證分組數據,其中,所述分組間隔與染色值參數范圍的大小呈正相關;
28、計算每個分組數據的質數序列;
29、對全部質數序列進行篩選,得到所述待驗證染色值序列;
30、其中,計算一個分組數據的質數序列的方法,包括:
31、將一個分組數據中每個元組的第j列作為待解析數據列,并對所述待解析數據列進行數值化處理,得到每個元組的解析位置數值;
32、對所述分組數據中全部元組的解析位置數值之和進行質因數分解,獲取該分組數據的質數序列。
33、進一步地,所述對全部質數序列進行篩選,得到所述待驗證染色值序列,包括:
34、統計全部質數序列中所包含質數的出現頻次;
35、去除不在所述染色值參數范圍之內的質數和小于預設頻次閾值的質數,得到所述待驗證染色值序列。
36、第三方面,本發明還提供一種數據處理裝置,包括:
37、數據接收模塊,用于接收待流轉數據集;
38、數據染色模塊,用于基于當前算力節點的染色值,對所述待流轉數據進行染色處理,得到染色數據集,其中,所述染色值是根據所述當前算力節點的特征值和染色值參數范圍計算獲得的;
39、數據發送模塊,用于將所述染色數據集發送至下一個算力節點。
40、第四方面,本發明還提供一種數據驗證裝置,包括:
41、驗證數據獲取模塊,用于獲取待驗證數據集;
42、驗證序列獲取模塊,用于對所述待驗證數據集進行解析,得到待驗證染色值序列,其中,所述待驗證染色值序列包含所述待驗證數據集實際流轉的算力節點的對應染色值,所述染色值是根據所述算力節點的特征值和染色值參數范圍計算獲得的;
43、目標序列獲取模塊,用于獲取目標染色值序列,其中,所述目標染色值序列包含所述待驗證數據集應當流轉的算力節點的對應染色值;
44、安全確認模塊,用于根據所述待驗證染色值序列和所述目標染色值序列的比對結果,確認所述待驗證數據集的安全性。
45、第五方面,本發明還提供一種計算機設備,包括處理器、存儲器以及存儲在所述存儲器中且被配置為由所述處理器執行的計算機程序,所述處理器執行所述計算機程序時實現如第一方面或第二方面所述的數據處理及數據驗證方法。
46、第六方面,本發明還提供一種計算機可讀存儲介質,所述計算機可讀存儲介質存儲有計算機程序,在所述計算機程序運行時控制所述計算機可讀存儲介質所在設備執行如第一方面或第二方面所述的數據處理及數據驗證方法。
47、本發明提出了一種數據處理方法及數據驗證方法,通過接收待流轉數據集,再基于當前算力節點的染色值,對待流轉數據進行染色處理,得到染色數據集,再將染色數據集發送至下一個算力節點,以此實現數據集對算力節點信息的攜帶;當需對已停止流轉的數據集進行驗證時,對待驗證數據集進行解析,獲得其實際流轉的算力節點染色值序列,再獲取該待驗證數據集應當流轉的算力節點染色值序列,最終根據兩個染色值序列的比對結果,確認待驗證數據集的安全性。本發明能夠記錄數據流轉算力節點的信息,從而驗證流轉鏈路是否按預定分配的算力節點進行,進而實現算力網絡中流轉數據集的完整性及流轉路徑驗證。
48、為了更清楚地說明本技術實施例或現有技術中的技術方案,下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是本技術的一些實施例,對于本領域普通技術人員來講,在不付出創造性勞動的前提下,還可以根據這些附圖獲得其他的附圖。