一種在大數據背景下的數據安全存儲方法
【技術領域】
[0001] 本發明屬于電數據數字處理技術領域，涉及一種針對計算系統安全的方法，更具 體而言，涉及一種在大數據背景下的數據安全存儲方法。
【背景技術】
[0002] 隨著社會工業化、信息化水平的不斷提高，如今數據已取代計算成為信息計算的 中心，云計算、大數據正在成為一種趨勢和潮流。包括存儲容量、可用性、I/O性能、數據 安全性、可擴展性等諸多方面。大數據是規模非常巨大和復雜的數據集。大數據有4V: Volume (大量），數據量持續快速增加 ；Velocity (高速），數據I/O速度更快；Variety (多 樣），數據類型和來源多樣化；Value (價值），其存在各方面的可用價值。與此同時，該趨勢 對存儲技術提出越來越高的要求，包括對數據庫高并發讀寫要求、對海量數據的高效率存 儲和訪問需求、對數據庫高可擴展性和高可用性的需求，其中焦點集中在增強數據安全性 同時提高效率，因此需要對用戶的數據進行加密保護，并對方案進行不斷優化和改進。
[0003] 對于數據中心，由于可能受到惡意用戶或者自然災害的攻擊，或者當該數據中心 由低效率和可靠性的節點組成時，安全性尤為重要。盡管技術人員嘗試使用安全的分布式 以及RS編碼來解決該問題，但其帶來低效的問題，特別是對于處理云計算中的數據。
[0004] 現有技術中公開了一些相關的方案，例如在申請號201410485029的專利申請中， 公開了一種基于云計算的數據對稱和非對稱混合加解密方法，其實現過程為：數據加密通 過AES對稱加密算法密鑰和RSA非對稱算法對公開密鑰進行加密；數據解密通過RSA非對 稱算法對AES算法的公開密鑰密文進行，還原出數據的明文。然而，盡管這種基于云計算的 數據對稱和非對稱混合加解密方法比較有效解決了云計算中數據安全存儲的問題，適用于 大數據量的加密和解密，但其效率不夠高。
[0005] 再例如，在申請號201410265820的專利申請中，公開了一種面向行業大數據多樣 性應用的混合型處理系統及方法，包括：分布式數據采集子系統，用于從外部系統采集數 據；存儲和并行計算子系統，用于對所采集的數據進行存儲和計算；一體化資源和系統管 理平臺，用于對所存儲和計算的數據進行管理；其中存儲和并行計算子系統，包括大數據存 儲子系統和大數據處理子系統；其中大數據處理子系統，包括內存計算引擎，其中內存計算 引擎，用于在無共享集群中提供分布式內存抽象，并對采集的數據進行并行流水化和線程 輕量級處理。盡管該方法提高了效率，但是其安全性不夠強。
[0006] 有鑒于此，本發明提出一種在大數據背景下的數據安全存儲方法，其滿足在大數 據信息處理時既安全又高效的問題。
【發明內容】
[0007] 本發明的目的之一是提供一種在大數據背景下的數據安全存儲方法，其既增強了 數據安全性，同時也提高了效率。
[0008] 本發明為解決上述技術問題而采取的技術方案為：一種在大數據背景下的數據安 全存儲方法，包括：接收待存儲的文件，確認文件完整性和有效性；估計待存儲文件大小， 并進行目的地空間判斷；劃分待存儲文件；對待存儲文件進行分布；對待存儲文件進行編 碼加密；對待存儲文件進行存儲；以及對待存儲文件進行解碼和恢復。
[0009] 根據本發明的一個方面，接收待存儲的文件以確認文件完整性和有效性包括：如 果文件完整且有效則進行下一步操作，否則返回給發送者，以提示重新發送；估計待存儲文 件大小并進行目的地空間判斷包括：如果待存儲文件大小大于諸如存儲器塊之類的目的地 空間的單位單元的大小，則用前者除以后者，以確定存儲單位單元的數量，如果相除結果不 大于一，則確定數量為一個，否則按"進一法"確定單位單元數量。
[0010] 根據本發明的另一個方面，劃分待存儲文件包括：將文件劃分為N個消息，其中N 是正整數。
[0011] 根據本發明的另一個方面，劃分待存儲文件包括將文件劃分為N個消息具體包 括：將確定完整且有效的待存儲文件稱為F，它是包含N個消息的串，F =(屯，d2,……，dN)， 其中屯是w個碼元形式的第i個消息，i和w都是正整數，即d i= (d (i-i)w+i，......，diw)， 優選的是w是32字節，即256比特，因此文件F可被分為Nw個消息碼元：F =(屯，...... ，dw)，（dw+i，......，d_2W)，......，（d (N-I) w+l)......，dNw)。
[0012] 根據本發明的另一個方面，對待存儲文件進行分布包括：
[0013] 分布函數R(d)如下：
[0014]
【主權項】
1. 一種在大數據背景下的數據安全存儲方法，包括： 接收待存儲的文件，確認文件完整性和有效性； 估計待存儲文件大小，并進行目的地空間判斷； 劃分待存儲文件； 對待存儲文件進行分布； 對待存儲文件進行編碼加密； 對待存儲文件進行存儲；以及 對待存儲文件進行解碼和恢復。
2. 如權利要求1所述的在大數據背景下的數據安全存儲方法，其中接收待存儲的文件 并確認文件完整性和有效性包括：如果文件完整且有效則進行下一步操作，否則返回給發 送者，以提示其重新發送；估計待存儲文件大小并進行目的地空間判斷包括：如果待存儲 文件大小大于諸如存儲器塊之類的目的地空間的單位單元的大小，則用前者除以后者，以 確定存儲單位單元的數量，如果相除結果不大于一，則確定數量為一個，否則按"進一法"確 定單位單元數量。
3. 如權利要求1所述的在大數據背景下的數據安全存儲方法，其中劃分待存儲文件包 括：將文件劃分為N個消息，其中N是正整數。
4. 如權利要求3所述的在大數據背景下的數據安全存儲方法，其中劃分待存儲文件包 括將文件劃分為N個消息具體包括：將確定完整且有效的待存儲文件稱為F，它是包含N個 消息的串，F = ((I1, d2,......, dN)，其中屯是w個碼元形式的第i個消息，i和w都是正整數， 即(Ii= (d (i_1)w+1，......，diw)，優選的是w是32字節，即256比特，因此文件F可被分為Nw 個消息碼元：F = ((I1,......，dw)，（dw+1,......, d2w),......, (d (N-I) w+l)......，dNw) ο
5. 如權利要求1到4中任一個所述的在大數據背景下的數據安全存儲方法，其中對待 存儲文件進行分布包括： 分布函數R(d)為： I ⑷+ T'(d) ()-冗凡)+ ·其中d=1，2,……，k; 其中的函數1(d)表示如下： 如果 d = 1，則 I (d) = Ι/k ; 如果 d = 2, 3，......，k，則 I (d) = l/(d*(d_l)); 函數T (d)表示： 如果 d = 1，2，......，（k/s)-l，則 T(d) = s/(k*d); 如果 d= (k/s)，則 T(d) =s*ln(s/f)/k，； 如果 d = (k/s)+l,......，k，則 T(d) = 0 ; 其中 s = c*ln(k/f)* V k ; k表示整數，d表示小于k的整數，c、f為常數。
6. 如權利要求5所述的在大數據背景下的數據安全存儲方法，其中c>0。
7. 如權利要求5到6中任一個所述的在大數據背景下的數據安全存儲方法，其中對待 存儲文件進行編碼加密包括：加密后的文件為F'，其由N+1個加密的消息組成，其形式為： F? = (e1； e2,......，eN+1) %是屯經編碼加密后的消息，其中加密的消息ei=di十EK(I+i),其 中I是初始化向量，Ek (i)表示基于密鑰的加密算法，而eN+1表示之前所有加密消息e i，e2，… …，％的密鑰K和哈希的異或函數，即：eN+尸KeH(ei，e2,……，e N)，其中H(i)是密碼算法； 其中K是從塊分組密碼中隨機選取的密鑰。
8. 如權利要求7所述的在大數據背景下的數據安全存儲方法，其中E K (i)選擇AES算 法，而H(i)選擇SHA算法。
9. 如權利要求5到8中任一個所述的在大數據背景下的數據安全存儲方法，其中對待 存儲文件進行存儲包括：將二進制形式的源文件的數據進行分組處理，以形成相同數據組； 根據數據組在源文件中的次序而對每個數據組產生相應的二維坐標以形成坐標組；將坐標 組存儲在存儲設備上。
10. 如權利要求5到9中任一個所述的在大數據背景下的數據安全存儲方法，其中 對待存儲文件進行解碼和恢復包括：通過從碼元解碼消息 ei而解碼F' ；通過使用F' = (e1； e2,......, eN+1)的前N個消息而計算哈希!Ke1, e2,......, eN);通過使用F'的最后一條消 息eN+1和哈希而計算密鑰K，使得K=eN+i ?H(ei,e2,......，eN);通過使用加密的消息Gi和用 密鑰K的解密來計算初始消息Cli，使得di=ei?EK(I+i)。
【專利摘要】本發明屬于電數據數字處理技術領域，涉及一種針對計算系統安全的方法，更具體地涉及在大數據背景下的數據安全存儲方法，包括：接收待存儲的文件，確認文件完整性和有效性；估計待存儲文件大小，進行目的地空間判斷；劃分待存儲文件；分布待存儲文件；編碼加密待存儲文件；存儲待存儲文件；解碼和恢復待存儲文件。通過使用特定的合理分布，既確保了數據分布得適當，使得待編碼加密的碼元數量的分布在某個區間不至于太小；也能確保后期數據恢復的準確和快捷，確保數據存儲、恢復的安全性和穩定性，尤其在實現安全性和穩定性的同時確保了高效率。而且存儲的數據文件越多，本發明的技術優勢越明顯，順應了云計算、大數據的趨勢和潮流。
【IPC分類】G06F17-30, G06F21-60
【公開號】CN104636673
【申請號】CN201510104431
【發明人】謝叔陽
【申請人】四川中科騰信科技有限公司
【公開日】2015年5月20日
【申請日】2015年3月10日