基于分布式及多層次匯交的大數據交換系統及方法
【技術領域】
[0001]本發明涉及一種數據交換系統及方法,屬于地理信息數據管理領域,具體涉及一種基于分布式及多層次匯交的大數據交換系統及方法。
【背景技術】
[0002]目前在地理信息數據的管理和保障方面,各級各類應用系統還是采取獨立建設和維護的模式。這樣就造成了如下不足:
[0003](1)地理信息數據的保障模式不統一
[0004]由于地理數據由各級應用系統獨立建設、維護和保障,“煙鹵”式的使得不同時期,不同用戶在地理信息的數據處理,使用上缺少一致的保障維護體制及規范。
[0005](2)地理信息數據的管理時效不足
[0006]目前主要依靠人工通過存儲介質來進行地理數據的導入導出,各級各類應用系統之間缺少地理信息數據的網絡化共享能力,雖然系統建設耗時耗力,數據更新周期長,但是數據共享及應用比較局限。而且通常的手工操作的模式不僅導致數據的管理及維護投入巨大,同時也容易受到人為因素的影響,使得數據管理的安全性問題頻發。
[0007](3)地理信息數據的支持能力不夠
[0008]現有的地理信息的數據管理模式比較單一,而且未能提供對地理空間數據的多源、多時相版本,同時可以跨平臺的統一的數據管理支持,因此,大大的限制了地理數據的應用發展。
[0009]由于存在以上問題,現有地理數據的管理還是各級、各類系統,各自管理各自地理數據的模式。這樣一來,各系統所負責管理的那部分地理信息數據,在完成數據的訂閱使用及數據下發時,主要依靠人工通過存儲介質來進行地理數據的導入導出來進行同步和傳送。這樣的方式會有以下缺點:
[0010](1)人工處理,簡單重復,但需要有較大投入,而且手工操作的模式也容易造成人為問題。
[0011](2)現有的同步機制,各個應用系統所需要的數據管理,由各個系統單獨處理,只支持單數據源,屬于是單純的數據同步操作,對于包含數據版本的時相數據無法提供更新、同步及版本管理的能力。
[0012](3)對不同時期、不同用戶在地理信息數據的受領、處理和使用上,也缺少一致的管理、保障、維護體制和規范。
[0013]本發明將解決通過同步和推送機制,實現了各個數據中心節點數據更新的一致性及有效性,而且任何一個更新節點故障都不會影響整體。從而提高地理信息數據的高效、網絡化。并對數據的應用更加廣泛。減少數據傳輸的次數,提高工作效率。
【發明內容】
[0014]本發明主要是解決現有技術所存在的上述的技術問題,提供了一種基于分布式及多層次匯交的大數據交換系統及方法。該系統及方法使用無人值守方式,自動完成對分布存儲于各級不同數據中心的地理信息數據交匯、同步與更新,并提供全方位的任務的狀態監控,并且支持數據訂閱及推送兩種方式,來實現對數據的更新。
[0015]為了解決上述問題,根據本發明的一方面,提供了一種基于分布式及多層次匯交的大數據交換系統,包括:
[0016]服務中心,與地理信息源相連,用于提供地理信息的存儲和服務;
[0017]前置節點,部署于用戶系統內,用于為其所屬的用戶系統進行數據管理、緩存和服務,以及從區域中心獲取地理信息數據;
[0018]其中,所述服務中心進一步包括:
[0019]全國中心,用于提供各類地理數據的接入存儲以及同步操作,進行地理數據的編目和同步;
[0020]區域中心,與全國中心相連,用于承擔區域地理數據服務,各區域中心形成分布式數據服務網絡。
[0021]優化的,上述的一種基于分布式及多層次匯交的大數據交換系統,還包括用于進行數據訂閱和獲取的同步模塊,所述同步模塊進一步包括:
[0022]區域中心同步模塊,位于區域中心內,用于向全國中心訂閱所需數據,接收全國中心所返回的訂閱數據;
[0023]前置節點同步模塊,位于前置節點內,用于向區域中心訂閱所需數據,接收區域中心所返回的訂閱數據。
[0024]優化的,上述的一種基于分布式及多層次匯交的大數據交換系統,所述同步模塊在設置需要訂閱數據的數據中心信息,然后通過設置定時任務間隔性的探測和同步節點編目表,在編目表的相關屬性標記發生變化時,開始觸發數據的同步和推送操作。
[0025]優化的,上述的一種基于分布式及多層次匯交的大數據交換系統,其特征在于,還包括:
[0026]服務發布系統,與用戶系統相連,用于在用戶系統接受到推送或同步的數據后發布或更新服務;
[0027]運維系統,與服務中心、前置節點以及服務發布系統相連,用于對數據分類和數據推送取向提供全方位的任務的狀態監控。
[0028]為了解決上述問題,根據本發明的另一方面,提供了一種基于分布式及多層次匯交的大數據交換方法,包括:
[0029]建立與地理信息源相連的服務中心,由服務中心提供地理信息的存儲和服務;
[0030]在用戶系統部署前置節點,由前置節點為用戶系統進行數據管理、緩存和服務,以及從區域中心獲取地理信息數據;
[0031 ] 其中,在所述服務中心內分別建立全國中心和與全國中心相連的區域中心,由全國中心提供各類地理數據的接入存儲以及同步操作,進行地理數據的編目和同步;由區域中心承擔區域地理數據服務,各區域中心形成分布式數據服務網絡。
[0032]優化的,上述的一種基于分布式及多層次匯交的大數據交換方法,通過同步模式來訂閱和獲取數據,由區域中心向全國中心訂閱所需數據,接收全國中心所返回的訂閱數據;前置節點向區域中心訂閱所需數據,接收區域中心所返回的訂閱數據。
[0033]優化的,上述的一種基于分布式及多層次匯交的大數據交換方法,在數據同步時,先設置需要訂閱數據的數據中心信息,然后通過設置定時任務間隔性的探測和同步節點編目表,在編目表的相關屬性標記發生變化時,開始觸發數據的同步和推送操作。
[0034]優化的,上述的一種基于分布式及多層次匯交的大數據交換方法,其特征在于,還包括:
[0035]在用戶系統接受到推送或同步的數據后,利用與用戶系統相連的服務發布系統發布或更新服務;
[0036]利用與服務中心、前置節點以及服務發布系統相連的運維系統對數據分類和數據推送取向提供全方位的任務狀態監控。
[0037]因此,本發明具有如下優點:1.使用無人值守方式,自動完成對分布存儲于各級不同數據中心的地理信息數據交匯、同步與更新,并提供全方位的任務的狀態監控;2.支持數據訂閱及推送兩種方式,來實現對數據的更新。
【附圖說明】
[0038]附圖1是本發明的系統原理圖;
[0039]附圖2是本發明的信息交互圖;
[0040]附圖3是本發明的信息同步機制圖。
【具體實施方式】
[0041]下面通過實施例,并結合附圖,對本發明的技術方案作進一步具體的說明。
[0042]實施例:
[0043]如圖1所示,一種基于分布式及多層