一種用于地質監測的數據集成方法和系統的制作方法
【專利摘要】本發明公開了一種用于地質監測的數據集成方法和系統，該方法包括：S1：從預先獲取的數據源中獲取原始數據；S2：將所述原始數據轉換為預設格式的目標數據，并將所述目標數據集成至目標數據庫中。該方法將來源于不同的監測儀器得到的不同格式的數據進行格式轉化，以得到具有同一格式的數據，解決了地質監測中，不同儀器得到的數據因為不兼容而不能進行統一使用的問題，實現了這些多源異構數據的快速、實時、有效地集成。
【專利說明】
一種用于地質監測的數據集成方法和系統
技術領域
[0001]本發明屬于數據處理領域，具體涉及一種用于地質監測的數據集成的方法和系統。
【背景技術】
[0002]地質災害監測是提升主動應對地質災害能力的重要手段，通過利用各種監測傳感器，如雨量、位移、地下水與受力等，對地質災害的變形量等控制性因素進行監測，常見的有人工監測、半自動監測及全自動化監測等方式。隨著地質災害信息化管理的發展和各種監測技術的日益成熟與廣泛應用，極大地推動了地質災害無線自動化監測的進步，提高了監測數據的可靠性和實時性。
[0003]然而，地質災害的監測工作中，使用的監測儀器往往來自不同的生產廠家，這些廠家擁有各自的業務系統，因而獲取的監測數據結構也各不相同。這些數據分散于各個獨立的數據庫中，并且各自擁有獨立的數據庫管理系統，構成了一個龐大而且復雜的多源異構的數據源。監測人員只能在各監測儀器的業務系統中分析監測數據，很難在同一平臺中對監測數據進行統一的分析與管理，使得監測工作變得異常繁瑣復雜。
【發明內容】
[0004]本發明所要解決的技術問題如何實現多源異構數據的快速、實時、有效地集成。
[0005]針對該技術問題，本發明提供了一種用于地質監測的數據集成方法，包括:
[0006]S1:從預先獲取的數據源中獲取原始數據；
[0007]S2:將所述原始數據轉換為預設格式的目標數據，并將所述目標數據集成至目標數據庫中。
[0008]優選地，所述步驟S2具體包括:
[0009]S21:將所述原始數據轉化為預設格式的目標數據后，對所述目標數據進行檢查，若檢查到異常數據，對所述異常數據進行處理，以得到修正的目標數據；
[0010]S22:將所述修正的目標數據集成至目標數據庫中。
[0011]優選地，所述將原始數據轉化為預設格式的目標數據的方法包括:
[0012]映射轉換，用于所述原始數據的數據表和與之對應的目標數據的數據表的字段不同的情況。
[0013]直接提取，用于所述原始數據的數據結構和與之與之對應的目標數據的數據結構相同的情況。
[0014]換算轉換，用于所述原始數據為直接監測得到的數據且需要通過計算進行轉換的情況。
[0015]優選地，所述對所述異常數據進行處理的方法包括:
[0016]插值處理、三點移動平均法修勻數據、均值替換法、等間距處理、數據消噪處理。
[0017]優選地，還包括:
[0018]S3:對所述原始數據和獲取所述原始數據相應的儀器參數進行備份。
[0019]另一方面，本發明提供了一種用于地質監測的數據集成系統，包括:
[0020]獲取模塊，用于從預先獲取的數據源中獲取原始數據；
[0021 ]轉換模塊，用于將所述原始數據轉換為預設格式的目標數據，并將所述目標數據集成至目標數據庫中。
[0022]優選地，所述轉換模塊還用于將所述原始數據轉化為預設格式的目標數據后，對所述目標數據進行檢查，若檢查到異常數據，對所述異常數據進行處理，以得到修正的目標數據并將所述修正的目標數據集成至目標數據庫中。
[0023]優選地，所述轉換模塊在將原始數據轉化為預設格式的目標數據的方法包括:
[0024]映射轉換，用于所述原始數據的數據表和與之對應的目標數據的數據表的字段不同的情況。
[0025]直接提取，用于所述原始數據的數據結構和與之與之對應的目標數據的數據結構相同的情況。
[0026]換算轉換，用于所述原始數據為直接監測得到的數據且需要通過計算進行轉換的情況。
[0027]優選地，所述轉換模塊對所述異常數據進行處理的方法包括:
[0028]插值處理、三點移動平均法修勻數據、均值替換法、等間距處理、數據消噪處理。
[0029]優選地，還包括備份模塊，用于對所述原始數據和獲取所述原始數據相應的儀器參數進行備份
[0030]本發明提供的用于地質監測的數據集成的方法和系統，將來源于不同的監測儀器得到的不同格式的數據進行格式轉化，以得到具有同一格式的數據，解決了地質監測中，不同儀器得到的數據因為不兼容而不能進行統一使用的問題，實現了這些多源異構數據的快速、實時、有效地集成。
【附圖說明】
[0031]為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作一簡單地介紹，顯而易見地，下面描述中的附圖是本發明的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。
[0032]圖1是本發明實施例提供的用于地質監測的數據集成方法的流程示意圖；
[0033]圖2是本發明實施例提供的幾種多源異構數據集成方法的流程示意圖；
[0034]圖3是本發明實施例提供的用于地質監測的數據集成系統的結構示意圖。
【具體實施方式】
[0035]為使本發明實施例的目的、技術方案和優點更加清楚，下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本發明一部分實施例，而不是全部的實施例。基于本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬于本發明保護的范圍。
[0036]圖1是本實施例提供的用于地質監測的數據集成方法的流程示意圖，參見圖1，該方法包括:
[0037]S1:從預先獲取的數據源中獲取原始數據；
[0038]S2:將所述原始數據轉換為預設格式的目標數據，并將所述目標數據集成至目標數據庫中。
[0039]數據源是原始數據的來源，可以是不同的數據庫中的數據，也可以是不同的監測儀器獲取的數據。
[0040]該方法將來源于不同的監測儀器得到的不同格式的數據進行格式轉化，以得到具有同一格式的數據，解決了地質監測中，不同儀器得到的數據因為不兼容而不能進行統一使用的問題，實現了這些多源異構數據的快速、實時、有效地集成。
[0041]更進一步地，所述步驟S2具體包括:
[0042]S21:將所述原始數據轉化為預設格式的目標數據后，對所述目標數據進行檢查，若檢查到異常數據，對所述異常數據進行處理，以得到修正的目標數據；
[0043]S22:將所述修正的目標數據集成至目標數據庫中。
[0044]通常，在對原始數據進行數據格式的轉化后，即可將轉化后的目標數據集成至數據庫中，但是由于原始數據在獲取的過程中會受到很多不確定性因素的影響，因此需要對目標數據進行檢查并對檢查出的異常數據進行處理，以使得處理之后的監測數據能在最大程度上反映真實情況。
[0045]原始數據在獲取的過程中受到的不確定性因素有:如電壓不穩、連接傳感器失敗、傳感器損壞、網絡傳輸失敗等，這些因素會導致監測數據出現丟失、跳躍等現象。
[0046]具體地，所述將原始數據轉化為預設格式的目標數據的方法包括:
[0047]映射轉換，用于所述原始數據的數據表和與之對應的目標數據的數據表的字段不同的情況。
[0048]直接提取，用于所述原始數據的數據結構和與之與之對應的目標數據的數據結構相同的情況。
[0049]換算轉換，用于所述原始數據為直接監測得到的數據且需要通過計算進行轉換的情況。
[0050]針對不同的原始數據的不同處理方法有助于更快的得到同意格式的目標數據。[0051 ]具體地，所述對所述異常數據進行處理的方法包括:
[0052]插值處理、三點移動平均法修勻數據、均值替換法、等間距處理、數據消噪處理。
[0053]更進一步地，還包括:
[0054]S3:對所述原始數據和獲取所述原始數據相應的儀器參數進行備份。
[0055]對原始數據進行備份供后期分析使用，充分保障了入庫的監測數據的真實性與可靠性。
[0056]作為一種更為具體的示例，圖2是本實施例提供的幾種多源異構數據集成方法的流程示意圖，參見圖2，原始數據來源于不同的數據庫，例如SQL Server ,Oracle,My SQL和Access，這些原始數據通過借鑒ETL(—種將數據從源端經過抽取-轉換-加載到目的端的過程)方法，結合作業表(Jobs)，通過自主開發的數據訪問組件(圖2中的HCY.DBUtility)從各數據源進行數據提取，得到原始數據集。經過“多源異構數據自動入庫系統”完成數據的集成。
[0057]然后，對原始數據集中的數據進行格式轉換，具體的參見圖2中的中間件所示的過程。中間件通過數據訪問組件從數據源獲取原始數據，大多數時候原始數據并不能直接入庫操作，還需對數據格式進行轉換，通常情況下有三種方式，即:映射轉換、直接提取和換算轉換(圖2中的①、②和③)。
[0058]①映射轉換:這種方式適用于源數據表和目標數據表的字段名不同、且不需要對數據做特殊處理的情況，只需要對字段進行映射處理即可，其常用的處理方式是利用數據庫的功能，即采用SQL語句對數據集進行映射重組。
[0059]②直接提取:當源數據表和目標數據表的數據結構一致時，則可以直接提取，無需任何特殊操作，這實際上是“映射轉換”的一種特殊情況。
[0060]③換算轉換:如果源數據表中存儲的數據為監測儀器傳回的原始記錄，則需要根據不同的監測儀器從數據庫中提取相應的公式、從參數表中提取參數，將原始記錄轉換為物理量，在進行入庫操作，這是最常見的一種情況。
[0061]對展緩格式的數據進行數據異常處理(圖2中的HCY.DataProcess)，方法有如下幾種:插值處理、三點移動平均法修勻數據、均值替換法、等間距(等時間間隔)處理、數據消噪處理等。該過程中可同時將原始監測數據進行備份，供后期分析使用，充分保障入庫的監測數據的真實性與可靠性。
[0062]通過上述步驟得到最終數據集后，結合通用數據訪問組件，將分析處理后的監測數據進行數據入庫(圖2中的HCY.DBUtility)，集成到地質災害監測數據中心平臺的目標數據庫中，即完成多源數據的集成工作。
[0063]該方法通過建立地質災害監測類型編碼規則，針對不同監測類型的監測數據能夠按照該規則實現自動化集成入庫，實現了監測數據的快速處理與分析，使得地質災害監測工作更加自動化，并提高了監測工作的可靠性和時效性。
[0064]實現了對各類數據庫的支持，如SQL Server、0racle、MySQL、Access等常見數據庫，同時能夠輕松擴展以支持其它數據庫，并自主開發了通用數據庫訪問組件類庫，為多源地質災害監測數據的集成奠定了基礎。
[0065]地質災害監測類型多，數據結構復雜，因此，建立地質災害監測數據編碼體系，實現數據格式統一、標準化及規范化，從而大大地促進了數據分析的速度。
[0066]由于監測儀器不間斷地采集數據，因此要求監測數據集成系統必須一直穩定地運行，為此本發明將該系統設計為“系統服務”，保證集成系統隨服務器一起自動運行，無需用戶干預，完全自動化完成整個監測數據集成流程。除此之外，軟件本身在內存管理、變量使用、數據庫連接等方面做了相應的處理，避免長時間運行導致內存溢出、程序崩潰等現象，并開發了服務監視模塊，監視數據集成系統運行情況，一旦發生異常，立即重啟服務，并自動向管理員發送郵件或短信，充分保障監測數據能夠及時入庫。與現有技術相比，本發明提出的技術方案中建立了地質災害監測類型編碼規則和數據集成規則，不僅僅從技術方面能夠實現對應的功能，更能從理論深度上確保構建地質災害實時監測數據集成的可靠性與準確性。
[0067]另一方面，本發明提供了一種用于地質監測的數據集成系統30，如圖3所示，包括:
[0068]獲取模塊31，用于從預先獲取的數據源中獲取原始數據；
[0069]轉換模塊32，用于將所述原始數據轉換為預設格式的目標數據，并將所述目標數據集成至目標數據庫中。
[0070]優選地，所述轉換模塊還用于將所述原始數據轉化為預設格式的目標數據后，對所述目標數據進行檢查，若檢查到異常數據，對所述異常數據進行處理，以得到修正的目標數據并將所述修正的目標數據集成至目標數據庫中。
[0071 ]優選地，所述轉換模塊在將原始數據轉化為預設格式的目標數據的方法包括:
[0072]映射轉換，用于所述原始數據的數據表和與之對應的目標數據的數據表的字段不同的情況。
[0073]直接提取，用于所述原始數據的數據結構和與之與之對應的目標數據的數據結構相同的情況。
[0074]換算轉換，用于所述原始數據為直接監測得到的數據且需要通過計算進行轉換的情況。
[0075]優選地，所述轉換模塊對所述異常數據進行處理的方法包括:
[0076]插值處理、三點移動平均法修勻數據、均值替換法、等間距處理、數據消噪處理。
[0077]優選地，還包括備份模塊，用于對所述原始數據和獲取所述原始數據相應的儀器參數進行備份
[0078]該系統將來源于不同的監測儀器得到的不同格式的數據進行格式轉化，以得到具有同一格式的數據，解決了地質監測中，不同儀器得到的數據因為不兼容而不能進行統一使用的問題，實現了這些多源異構數據的快速、實時、有效地集成。
[0079]以上所述僅為本發明的優選實施例而已，并不用于限制本發明，對于本領域的技術人員來說，本發明可以有各種更改和變化。凡在本發明的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發明的保護范圍之內。
【主權項】
1.一種用于地質監測的數據集成方法，其特征在于，包括: S1:從預先獲取的數據源中獲取原始數據； S2:將所述原始數據轉換為預設格式的目標數據，并將所述目標數據集成至目標數據庫中。2.根據權利要求1所述的方法，其特征在于，所述步驟S2具體包括: 521:將所述原始數據轉化為預設格式的目標數據后，對所述目標數據進行檢查，若檢查到異常數據，對所述異常數據進行處理，以得到修正的目標數據； 522:將所述修正的目標數據集成至目標數據庫中。3.根據權利要求1所述的方法，其特征在于，所述將原始數據轉化為預設格式的目標數據的方法包括: 映射轉換，用于所述原始數據的數據表和與之對應的目標數據的數據表的字段不同的情況。 直接提取，用于所述原始數據的數據結構和與之與之對應的目標數據的數據結構相同的情況。 換算轉換，用于所述原始數據為直接監測得到的數據且需要通過計算進行轉換的情況。4.根據權利要求2所述的方法，其特征在于，所述對所述異常數據進行處理的方法包括: 插值處理、三點移動平均法修勻數據、均值替換法、等間距處理、數據消噪處理。5.根據權利要求1所述的方法，其特征在于，還包括: S3:對所述原始數據和獲取所述原始數據相應的儀器參數進行備份。6.一種用于地質監測的數據集成系統，其特征在于，包括: 獲取模塊，用于從預先獲取的數據源中獲取原始數據； 轉換模塊，用于將所述原始數據轉換為預設格式的目標數據，并將所述目標數據集成至目標數據庫中。7.根據權利要求6所述的系統，其特征在于，所述轉換模塊還用于將所述原始數據轉化為預設格式的目標數據后，對所述目標數據進行檢查，若檢查到異常數據，對所述異常數據進行處理，以得到修正的目標數據并將所述修正的目標數據集成至目標數據庫中。8.根據權利要求6所述的系統，其特征在于，所述轉換模塊在將原始數據轉化為預設格式的目標數據的方法包括: 映射轉換，用于所述原始數據的數據表和與之對應的目標數據的數據表的字段不同的情況。 直接提取，用于所述原始數據的數據結構和與之與之對應的目標數據的數據結構相同的情況。 換算轉換，用于所述原始數據為直接監測得到的數據且需要通過計算進行轉換的情況。9.根據權利要求7所述的系統，其特征在于，所述轉換模塊對所述異常數據進行處理的方法包括: 插值處理、三點移動平均法修勻數據、均值替換法、等間距處理、數據消噪處理。10.根據權利要求1所述的系統，其特征在于，還包括備份模塊，用于對所述原始數據和獲取所述原始數據相應的儀器參數進行備份。
【文檔編號】G06F17/30GK105975524SQ201610280625
【公開日】2016年9月28日
【申請日】2016年4月28日
【發明人】何朝陽, 巨能攀, 黃健
【申請人】成都理工大學