一種分布式協同加密方法及裝置的制造方法
【技術領域】
[0001] 本發明涉及大數據領域的加密技術，尤其涉及一種分布式協同加密方法及裝置。
【背景技術】
[0002] 現有數據加密方式包括單系統加密方式和鏡像拷貝方式，這兩者適合于單數據平 臺或數據規模較小的情況；其中，由于數據是以表方式存儲的，鏡像加密方式基本上是表級 數據對象的映射同步，不適合多平臺的異構環境模型。對于海量數據的加密，現有技術一般 存在兩種解決方案：
[0003] -種解決方案是采用由分布式數據倉庫與其他數據庫組成的異構數據平臺系統， 在該異構數據平臺系統中，同步各平臺間的隱私數據保護采用的是二次加密方式，即數據 倉庫加密和其他數據庫的加密是分兩次進行的：首先，數據倉庫根據已經設定的安全策略 對庫內的隱私數據進行加密；之后，其他數據庫根據自身的安全策略再進行加密；當使用 隱私數據時用各自的安全策略包括加密算法和密鑰進行還原。
[0004] 另一種解決方案是在數據提取、轉換和加載（ETL，Extraction Transformation Loading)的過程中采用一次加密，然后異步傳輸給數據倉庫與數據集市。這種方案的問題 是無法保證數據倉庫由于其他原因發生變更時，數據的一致性同步，比如密鑰發生變更后， 加密數據要重新更新，ETL無法負責同時增加ETL的管理負載，從而降低了數據裝載的速 度。
[0005] 現有技術所采用的二次加密方式導致同一數據源信息要進行兩次加密，消耗大量 計算資源，同時二次加密會導致分開加密的算法、密鑰可能不一致，客戶隱私數據可能會產 生加密結果差異；現有技術所采用的異步傳輸方式可以實現一次加密，但是無法保障在異 步傳輸過程中由于網絡故障，緩沖溢出導致的數據丟失、錯序，帶來的數據質量問題。
[0006] 以上兩種解決方案都無法解決異構大數據平臺系統在運營過程中，主數據倉庫由 于密鑰版本更新等而導致客戶隱私數據密文發生變更后，數據倉庫與其他數據庫中客戶隱 私數據的關聯同步和一致性問題。
【發明內容】
[0007] 有鑒于此，本發明實施例為解決現有技術中存在的問題而提供一種分布式協同加 密方法及裝置，在實現一次加密的同時，能夠解決數據倉庫與系統內其他數據庫之間隱私 數據的協同管理問題。
[0008] 本發明實施例的技術方案是這樣實現的：
[0009] -種分布式協同加密方法，應用于異構數據平臺系統，所述異構數據平臺系統包 括數據提取、轉換和加載ETL服務器、數據倉庫和一個以上的數據集市，所述數據倉庫中的 第一數據對象與所述一個以上的數據集市中的各第二數據對象之間分別存在映射關系；配 置源數據中的隱私數據的范圍和隱私屬性，所述隱私屬性至少包括加密的第一版本信息和 加密策略，所述方法包括：
[0010] 所述ETL服務器在對源數據進行加載的過程中，根據所述隱私數據的范圍確定所 加載的源數據包括隱私數據時，讀取為所加載的源數據配置的加密策略，根據所述加密策 略對所述隱私數據進行加密，得到加密后的源數據；
[0011] 所述ETL服務器將所述加密后的源數據發送給所述數據倉庫；
[0012] 所述數據倉庫將所述加密后的源數據寄存于緩存中；
[0013] 所述數據倉庫根據所述映射關系在所述一個以上的數據集市中確定目標數據集 市和所述目標數據集市中對應的目標數據對象；
[0014] 所述數據倉庫向所述目標數據集市發送數據同步請求消息，并將所述加密后的源 數據寫入所述數據倉庫的磁盤中；其中，所述數據同步請求消息中包括所述加密的第一版 本信息。
[0015] 一種分布式協同加密方法，應用于異構數據平臺系統的數據提取、轉換和加載ETL 服務器，所述異構數據平臺系統包括ETL服務器和數據倉庫；
[0016] 所述ETL服務器配置源數據中的隱私數據的隱私屬性，所述隱私屬性至少包括加 密策略，所述方法包括：
[0017] 在對源數據進行加載的過程中，所述ETL服務器根據所述隱私數據的范圍確定所 加載的源數據包括隱私數據時，讀取為所加載的源數據配置的加密策略，所述加密策略作 為動態鏈接庫中函數的執行輸入參數；
[0018] 所述ETL服務器根據所述加密策略對所述隱私數據進行加密，得到加密后的源數 據；
[0019] 所述ETL服務器將所述加密后的源數據發送給所述數據倉庫。
[0020] -種分布式協同加密方法，應用于異構數據平臺系統，所述異構數據平臺系統包 括數據提取、轉換和加載ETL服務器、數據倉庫和一個以上的數據集市，所述數據倉庫中的 第一數據對象與所述一個以上的數據集市中的各第二數據對象之間分別存在映射關系；
[0021] 所述方法包括：
[0022] 所述數據倉庫接收ETL服務器發送的加密后的源數據，并將所述加密后的源數據 寄存于所述數據倉庫的緩存中；
[0023] 所述數據倉庫根據所述映射關系確定在所述一個以上的數據集市中目標數據集 市和所述目標數據集市中對應的目標數據對象；
[0024] 所述數據倉庫將所述加密后的源數據寫入所述數據倉庫的磁盤中；
[0025] 所述數據倉庫接收所述目標數據集市發送的數據同步響應消息后，根據所述數據 同步響應消息對寄存于所述緩存中的所述加密后的源數據進行處理。
[0026] -種分布式協同加密裝置，應用于異構數據平臺系統，所述異構數據平臺系統包 括數據提取、轉換和加載ETL服務器、數據倉庫和一個以上的數據集市，所述數據倉庫中的 第一數據對象與所述一個以上的數據集市中的各第二數據對象之間分別存在映射關系；所 述裝置包括配置單元、加密單元、存儲單元、第一確定單元、寫入單元和第一處理單元，其 中：
[0027] 所述配置單元，用于配置源數據中的隱私數據的隱私屬性，所述隱私屬性至少包 括加密版本信息和加密策略；
[0028] 所述加密單元，用于在對源數據的提取、轉換和加載ETL的加載過程中，當根據所 述隱私數據的范圍確定所加載的源數據包括隱私數據時，讀取配置好的加密策略，根據所 述加密策略對所述隱私數據進行加密，得到加密后的源數據，并將所述加密后的源數據發 送給所述數據倉庫；
[0029] 所述存儲單元，用于將所述加密后的源數據寄存于所述數據倉庫的緩存中；
[0030] 所述第一確定單元，用于根據所述映射關系確定在所述一個以上的數據集市中目 標數據集市和所述目標數據集市中對應的目標數據對象；
[0031] 所述寫入單元，用于向所述目標數據集市發送數據同步請求消息，所述數據同步 請求消息中包括加密版本信息，將所述加密后的源數據寫入所述數據倉庫的磁盤上；
[0032] 所述第一處理單元，用于接收所述目標數據集市發送的數據同步響應消息后，根 據所述數據同步響應消息對寄存于所述緩存中的所述加密后的源數據進行處理。
[0033] -種分布式協同加密裝置，應用于異構數據平臺系統的數據提取、轉換和加載ETL 服務器，所述異構數據平臺系統包括ETL服務器和數據倉庫；
[0034] 所述裝置包括配置單元、讀取單元、第一加密單元和第一發送單元，其中：
[0035] 所述配置單元，用于配置源數據中的隱私數據的隱私屬性，所述隱私屬性至少包 括加密策略；
[0036] 所述讀取單元，用于在對源數據的提取、轉換和加載ETL的加載過程中，當確定所 加載的源數據包括隱私數據時，讀取配置好的加密策略，所述加密策略作為動態鏈接庫中 函數的執行輸入參數；
[0037] 所述第一加密單元，用于根據所述加密策略對所述隱私數據進行加密，得到加密 后的源數據；
[0038] 所述第一發送單元，用于將所述加密后的源數據發送給所述數據倉庫。
[0039] -種分布式協同加密裝置，應用于異構數據平臺系統，所述裝置包括存儲單元、第 一確定單元、寫入單元和處理單元，其中：
[0040] 所述存儲單元，用于接收ETL服務器發送的加密后的源數據，并將所述加密后的 源數據寄存于所述數據倉庫的緩存中；
[0041] 所述第一確定單元，用于根據所述映射關系確定在所述一個以上的數據集市中目 標數據集市和所述目標數據集市中對應的目標數據對象；
[0042] 所述寫入單元，用于將所述加密后的源數據寫入所述數據倉庫的磁盤中；
[0043] 所述處理單元，用于接收所述目標數據集市發送的數據同步響應消息后，根據所 述數據同步響應消息對寄存于所述緩存中的所述加密后的源數據進行處理。
[0044] 本發明實施例中，在對源數據的ETL的加載過程中，當根據所述隱私數據的范圍 確定所加載的源數據包括隱私數據時，讀取配置好的加密策略，根據所述加密策略對所述 隱私數據進行加密；將加密后的源數據發送給所述數據倉庫，所述加密后的源數據寄存于 所述數據倉庫的緩存中；根據所述映射關系確定在所述一個以上的數據集市中目標數據集 市和所述目標數據集市中對應的目標數據對象；向所述目標數據集市發送數據同步請求消 息；將所述加密后的源數據寫入所述數據倉庫的磁盤中；接收所述目標數據集市發送的數 據同步響應消息后，根據所述數據同步響應消息對寄存于所述緩存中的所述加密后的源數 據進行處理；如此，在實現一次加密的同時，能夠解決數據倉庫與系統內其他數據庫之間隱 私數據的協同管理問題。
【附圖說明】
[0045] 圖1為本發明實施例一異構數據平臺系統的組成結構示意圖；
[0046] 圖2為本發明實施例二分布式協同加密方法的實現流程示意圖；
[0047] 圖3為本發明實施例三分布式協同加密方法部署在數據倉庫上的實現流程示