分布式實時數據融合系統的制作方法
【技術領域】
[0001]本發明涉及計算機技術領域，尤其涉及一種分布式實時數據融合系統。
【背景技術】
[0002]隨著傳感器技術及其相關技術的不斷發展，傳感器技術的應用場景不斷豐富，工業、農業、軍事等領域都在大量地使用傳感器來感知環境中的各種參數。多傳感器數據融合技術是一門集多種學科于一體的前沿技術，已經廣泛應用于戰場監視、自動目標識別、工業過程控制、機器人、遙感、醫療診斷等領域。多傳感器數據融合技術經過多年的研宄與發展已經取得了豐碩的理論和應用成果，計算機技術、通信技術和數據處理技術等相關技術的進步也為多傳感器數據融合技術的發展提供了新的動力。
[0003]在民用領域，傳感器技術用在自動化生產過程中可以監控生產設備的各項指標并及時地反饋生產過程狀態或發出報警，確保生產設備處于正確的工作狀態；在軍事領域，傳感器的應用更為重要，通過部署大量傳感器彌補了人工監視和人工探測在距離與持久性等方面的短板，對現代國防工業的發展具有重要的意義。但是在目前的實際應用中，只采用單一種類傳感器提供的感知或觀測數據已經遠遠無法滿足我們日益增長的需求，必須通過使用多種類型傳感器的感知或觀測數據綜合計算與分析，得到目標或場景的狀態和參數。其中，實時處理技術在多傳感器數據融合系統中的作用和地位越來越重要，應用也越來越廣泛。隨著系統結構越來越復雜，數據規模越來越大，隨著系統結構越來越復雜，數據規模越來越大，需要一種實時數據處理策略來維持系統的穩定運行，確保采集的數據流得到實時的計算。
【發明內容】
[0004]本發明所要解決的技術問題是:隨著傳感器類型的增加、傳感器部署區域的擴大，多傳感器數據融合技術的應用場景也越來越多，加上現代數據融合的算法更加復雜，新型傳感器感知數據的結構更加多樣，多傳感器數據融合系統在并發性和擴展性上將逐漸受到限制，傳統的集中式數據融合系統面臨著嚴峻的性能考驗。
[0005]為了解決上述技術問題，本發明提供了一種基于Storm引擎的分布式實時數據融合系統，充分利用了 Storm引擎分布式集群的高性能并行處理能力。
[0006]本發明的技術方案為:
[0007]—種分布式實時數據融合系統，包括:
[0008]數據采集模塊，設置為獲取并解析多個數據源發送的感知數據；
[0009]預處理模塊，設置為依次對各個數據源對應的解析后的感知數據進行濾波；
[0010]對準模塊，設置為將各個數據源對應的濾波后的感知數據對齊到同一采樣時間點或時間片上；
[0011]狀態估計模塊，設置為利用各個數據源對應的對準后的感知數據生成并更新曲線擬合方程，并根據更新后的曲線擬合方程預估目標特征數據；
[0012]威脅估計模塊，設置為根據預設的決策策略和預估的目標特征數據，得到決策信息；以及
[0013]決策信息分發模塊，設置為將決策信息分發給訂閱用戶；
[0014]依次運行在Storm引擎的五個工作節點上的數據采集模塊、預處理模塊、對準模塊、狀態估計模塊和威脅估計模塊均受控于Storm引擎的Zookeeper節點。
[0015]優選的是，所述數據采集模塊包括:
[0016]采集單元，設置為與各個數據源建立連接，并獲取各個數據源發送的感知數據；
[0017]格式化單元，設置為對各個數據源對應的感知數據進行格式化；
[0018]去冗余單元，設置為刪除各個數據源對應的格式化后的感知數據中的冗余數據，得到各個數據源對應的解析后的感知數據。
[0019]優選的是，所述數據采集模塊還包括與所述去冗余單元電連接的日志生成單元，所述日志生成單元設置為利用各個數據源對應的解析后的感知數據生成運行日志，并將生成的運行日志提交給日志記錄單元。
[0020]優選的是，所述預處理模塊包括:
[0021]第一接收單元，設置為接收所述數據采集模塊發送的各個數據源對應的解析后的感知數據；
[0022]第一緩存單元，設置為依次對每個數據源，將所述數據源對應的解析后的感知數據存入相應的預處理緩存隊列中；
[0023]第一判斷單元，設置為判斷所述預處理緩存隊列中的解析后的感知數據的個數是否大于或者等于預設的第一數據個數；
[0024]濾波單元，設置為在所述預處理緩存隊列里的解析后的感知數據的個數大于或者等于第一數據個數時，從所述預處理緩存隊列里取出從當前時刻起的第一數據個數的解析后的感知數據，并將取出的解析后的感知數據裝載進濾波算法執行器中進行分析和計算，得到所述數據源對應的濾波后的感知數據。
[0025]優選的是，所述預處理模塊還包括與所述濾波單元電連接的優化單元；
[0026]所述優化單元，設置為依次對每個數據源，利用所述數據源對應的濾波后的感知數據替換所述數據源對應的預處理緩存隊列里的解析后的感知數據。
[0027]優選的是，所述對準模塊包括:
[0028]第二接收單元，設置為接收所述預處理模塊發送的各個數據源對應的濾波后的感知數據；
[0029]第二緩存單元，設置為依次對每個數據源，將所述數據源對應的濾波后的感知數據存入相應的對準緩存隊列中；
[0030]第二判斷單元，設置為判斷各個數據源對應的對準緩存隊列中的濾波后的感知數據的個數是否均大于或者等于預設的第二數據個數；
[0031]對準單元，設置為在各個數據源對應的對準緩存隊列中的濾波后的感知數據的個數均大于或者等于第二數據個數時，依次從各個數據源對應的對準緩存隊列里取出從當前時刻起的第二數據個數的濾波后的感知數據，并將取出的濾波后的感知數據裝載進對準算法執行器中進行分析和計算，得到各個數據源對應的對準后的感知數據。
[0032]優選的是，所述狀態估計模塊包括:
[0033]第三接收單元，設置為接收所述對準模塊發送的各個數據源對應的對準后的感知數據；
[0034]第三緩存單元，設置為依次對每個數據源，將所述數據源對應的對準后的感知數據存入相應的狀態估計緩存隊列中；
[0035]第三判斷單元，設置為判斷所述狀態估計緩存隊列里的對準后的感知數據的個數是否大于或者等于預設的第三數據個數；
[0036]狀態估計單元，設置為在所述狀態估計緩存隊列里的對準后的感知數據的個數大于或者等于第三數據個數時，從所述狀態估計緩存隊列里取出從當前時刻起的第三數據個數的對準后的感知數據，并將取出的對準后的感知數據裝載進狀態估計算法執行器中進行分析和計算，得到所述目標特征數據。
[0037]優選的是，所述威脅估計模塊包括:
[0038]第四接收單元，設置為接收所述狀態估計模塊發送的目標特征數據；
[0039]策略執行單元，設置為根據所述目標特征數據從評估策略集中選擇威脅評估策略；
[0040]決策信息生成單元，設置為根據所述目標特征數據和所述威脅評估策略，生成決策?目息O
[0041]優選的是，所述決策信息分發模塊包括:
[0042]第一連接構建單元，設置為構建集成在威脅估計模塊中的發布者客戶端與決策信息分發單元之間的第一連接；
[0043]第二連接構建單元，設置為構建集成在決策信息分發模塊中的訂閱者客戶端與服務器之間的第二連接；
[0044]主題創建單元，設置為在決策信息分布模塊中創建主題；
[0045]決策信息分布單元，設置為通過所述第一連接接收所述威脅估計模塊發送的決策信息且使所述決策信息與一個主題相關聯，并通過所述第二連接將與訂閱用戶對應的服務器訂閱的主題相關聯的決策信息分發給所述訂閱用戶。
[0046]優選的是，所述數據源為傳感器、視頻輸出設備、雷達或者集成網關。
[0047]與現有技術相比，上述方案中的一個或多個實施例可以具有如下優點或有益效果:
[0048]應用本發明實施例提供的分布式實時數據融合系統基于分布式軟件架構，采用Storm實時流式計算引擎作為系統的基礎設施，使數據采集模塊、預處理模塊、對準模塊、狀態估計模塊和威脅估計模塊分別運行在Storm集群環境中的五個工作節點上，能夠充分利用Storm分布式集群的高性能并行處理能力，大大提高了分布式實時數據融合系統的數據實時處理能力、容錯性和穩定性，增強了分布式實時數據融合系統的并發性和擴展性，克服了傳統的集中式數據融合系統存在的在并發性和擴展性上將受到限制的技術缺陷。
[0049]本發明的其它特征和優點將在隨后的說明書中闡述，并且部分地從說明書中變得顯而易見，或者通過實施本發明而了解。本發明的目的和其他優點可通過在說明書、權利要求書以及附圖中所特別指出的結構來實現和獲得。
【附圖說明】
[0050]附圖用來提供對本發明的進一步理解，并且構成說明書的一部分，與本發明的實施例共同用于解釋本發明，并不構成對本發明的限制。在附圖中:
[0051]圖1示出了本發明實施例分布式實時數據融合系統的結構示意圖；
[0052]圖2示出了圖1所示的分布式實時數據融合系統的具體結構示意圖；
[0053]圖3示出了本發明實施例分布式實時數據融合系統的拓