一種基于工業大數據的云平臺數據管理系統及其構建方法
【技術領域】
[0001]本發明涉及一種數據管理系統，尤其涉及一種基于工業大數據的數據管理系統以及構建方法。
【背景技術】
[0002]隨著云計算技術的不斷成熟，云計算以其虛擬化、高可靠、可擴展、低成本等特點得到廣泛的應用，越來越多的企業通過云計算技術將將其數據中心存儲至云端，從而保證數據的可靠性，并節約大量成本。云平臺架構從下至上主要包括三層，即基礎設施即服務(IaaS)、平臺即服務(PaaS)和軟件即服務(SaaS)，當前比較成熟的云計算相關技術主要有openstack，Hadoop，spark等，而主流的云平臺數據管理系統也都是在它們的基礎上構建的。目前基于消費級海量數據這一應用場景的云平臺數據管理系統構建方案已比較成熟，并得到大量應用，與消費級數據相比，工業數據對平臺的實時性、可靠性及安全性及可靠性有著更高的要求，因此已有的云平臺數據管理系統構建方案不能很好的應用到工業大數據這一場景中，而且目前專門針對工業大數據的云平臺數據管理系統構建方案還比較少，因此如何根據工業數據本身的特點，發明出一種能夠適應工業需求的云平臺數據管理系統構建方案，是當前比較迫切的一個問題。
[0003]當前已有的云平臺數據管理系統構建方案都是基于消費級海量數據這一應用場景，而工業數據云平臺管理系統對數據的實時性、可靠性及安全性有著更高的要求，當前已有的云平臺數據管理系統構建方案不能很好的應用到工業數據環境中，本發明根據工業數據本身的特點，發明出一種能夠適應工業需求的云平臺數據管理系統構建方案。
【發明內容】
[0004]本發明的主要目的在于根據工業大數據本身的特點，發明出一種能夠適應工業需求的云平臺數據管理系統構建方案，能夠滿足工業大數據對云平臺數據管理系統可靠性、實時性及安全性的要求。
[0005]為解決上述問題，本發明提出一種基于工業大數據的云平臺數據管理系統，其特征在于:所述的云平臺數據管理系統包括數據采集系統、工業現場數據模塊、Hadoop集群模塊、數據聚合模塊、數據分發模塊和數據持久存儲模塊，其中，所述的工業現場數據模塊位于數據采集系統中，所述的數據采集系統將采集到的非結構化工業數據傳輸給工業現場數據模塊，所述的工業現場數據模塊與所述的Hadoop集群模塊連接，所述的Hadoop集群模塊與所述的數據聚合模塊連接，所述的Hadoop集群模塊將處理后的數據發送給所述的數據聚合模塊;所述的數據聚合模塊與所述的數據分析模塊連接，所述的數據聚合模塊將處理后的數據發送給所述的數據分析模塊進行分析;所述的數據分發模塊與所述的數據持久存儲模塊連接，所述的數據分發模塊將接收到的數據分配到數據持久存儲模塊中。
[0006]優選地，所述的云平臺數據管理系統還包括安全模塊，所述的安全模塊分別與所述的Hadoop集群模塊、所述的數據聚合模塊、所述的數據分發模塊、所述的數據持久存儲模塊連接。
[0007]優選地，所述的Hadoop集群模塊包括數據結構化模塊、數據除錯模塊、數據去重模塊、數據整合模塊，各模塊之間串聯連接。
[0008]優選地，所述的數據聚合模塊包括數據聚類模塊、數據耦合模塊和數據壓縮模塊；所述的數據聚類模塊與所述的數據耦合模塊連接，所述的數據耦合模塊與所述的數據壓縮模塊連接。
[0009]本發明還公開了一種根據上述基于工業大數據的云平臺數據管理系統的構建方法，包括以下步驟:
[0010]S1.所述的數據采集系統采集工業現場數據，并將采集到的數據傳輸給工業現場數據模塊；
[0011 ] S2.所述的工業現場數據模塊將接收到的非結構化工業數據進行結構化處理并生成半結構化數據，然后將所述的半結構化數據通過網絡傳輸給所述的Hadoop集群模塊；
[0012]S3.所述的Hadoop集群模塊處理所述的半結構化數據，并發送給所述的數據聚合豐旲塊;
[0013]S4.所述的數據聚合模塊處理相應的數據，并發送給所述的數據分發模塊；
[0014]S5.所述的數據分發模塊將接收到的數據分配到數據持久存儲模塊中。
[0015]優選地，所述的構建方法還包括步驟S6:所述的云平臺數據管理系統還包括安全模塊，所述的安全模塊與各個處理模塊進行通信，保證數據的安全性。
[0016]優選地，步驟S3包括:所述的Hadoop集群模塊還包括數據結構化模塊、數據除錯模塊、數據去重模塊、數據整合模塊，所述的數據結構化模塊結構化處理接收到的所述的半結構化數據，生成結構化數據;所述的數據除錯模塊去除錯誤的結構化數據，所述的數據去重模塊排除重復的結構化數據，所述的數據整合模塊整合所述數據除錯模塊和所述數據去重模塊模塊處理后的數據。
[0017]優選地，步驟S4包括，所述的數據聚合模塊包括數據聚類模塊、數據耦合模塊和數據壓縮模塊;所述的數據聚類模塊將相似的數據聚集在一起，生成相似數據類，所述的數據耦合模塊整合所述的相似數據類，優化所述相似數據類的數據;所述的數據壓縮模塊調用數據壓縮算法壓縮所述相似數據類的數據。
[0018]本發明的技術方案具有以下有益效果:
[0019](1)利用分布式思想，將現場工業數據的結構化處理下放至企業端，這樣處理后的數據能夠直接交付給Hadoop集群使用，不僅降低了云平臺數據管理系統的負載，而且提高了云平臺數據處理的實時性。
[0020](2)在將數據聚類生成相似數據類之后，在之前數據整合的基礎上再次對相似數據類進行整合，進一步提高了數據的有效性。
[0021](3)在數據分發模塊中使用數據壓縮算法對一個相似數據塊進行壓縮，從而降低數據塊的大小，提高數據存儲效率。
[0022](4)在數據處理及傳輸過程中，使用安全模塊進行多次認證和授權，充分保證數據的可靠性。
【附圖說明】
[0023]圖1為本發明的一種基于工業大數據的云平臺數據管理系統的示意圖。
【具體實施方式】
[0024]為使本發明實施例的目的、技術方案和優點更加清楚，下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本發明一部分實施例，而不是全部的實施例。
[0025]如圖1為本發明的一種基于工業大數據的云平臺數據管理系統的示意圖。其中，所述的云平臺數據管理系統包括數據采集系統、工業現場數據模塊、Hadoop集群模塊、數據聚合模塊、數據分發模塊和數據持久存儲模塊，其中，所述的工業現場數據模塊位于數據采集系統中，所述的數據采集系統將采集到的非結構化工業數據傳輸給工業現場數據模塊，所述的工業現場數據模塊與所述的Hadoop集群模塊連接，所述的Hadoop集群模塊與所述的數據聚合模塊連接，所述的Hadoop集群模塊將處理后的數據發送給所述的數據聚合模塊;所述的數據聚合模塊與所述的數據分析模塊連接，所述的數據聚合模塊將處理后的數據發送給所述的數據分析模塊進行分析;所述的數據分發模塊與所述的數據持久存儲模塊連接，所述的數據分發模塊將接收到的數據分配到數據持久存儲模塊中。
[0026]所述的云平臺數據管理系統還包括安全模塊，所述的安全模塊分別與所述的Hadoop集群模塊、所述的數據聚合模塊、所述的數據分發模塊、所述的數據持久存儲模塊連接。
[0027]所述的Hadoop集群模塊包括數據結構化模塊、數據除錯模塊、數據去重模塊、數據整合模塊，各模塊之間串聯連接。
[0028]所述的數據聚合模塊包括數據聚類模塊、數據耦合模塊和數據壓縮模塊;所述的數據聚類模塊與所述的數據耦合模塊連接，所述的數據耦合模塊與所述的數據壓縮模塊連接。