一種基于Hadoop的油氣生產物聯網大數據的處理方法及系統的制作方法
【技術領域】
[0001 ]本申請涉及油氣生產物聯網數據處理技術領域，特別涉及一種基于Hadoop的油氣生產物聯網大數據的處理方法及系統。
【背景技術】
[0002]近年來，基于井場、站庫等油氣田生產現場的數據采集、過程控制、參數優化、管理決策等凸現重要，將自動化技術、通信技術、信息技術融合的油氣生產物聯網系統在智能識另IJ、數據融合、數據應用等方面發揮越來越大的作用，油氣生產物聯網是油氣田信息化建設發展的必然趨勢。
[0003]目前，所建立的油氣生產物聯網系統主要包括感知層、傳輸層以及應用層等結構。其中，感知層主要由各種感知設備和控制設備構成;其主要通過有/無線溫度變送器、有/無線壓力變送器、流量計等傳感器，自動采集油氣水井、集輸管網及油氣處理站庫等生產單元的生產數據(主要包括壓力、溫度、工作電流、載荷以及有毒有害氣體濃度等)，從而實現對生產狀態的全面感知以及對各種設備的自動控制。傳輸層主要采用有線傳輸或無線傳輸的方式，將感知層所采集到的油氣田生產數據傳輸至應用層進行分析。應用層主要用于對所接收的油氣田生產數據進行分析，根據分析結果來對生產設備的生產狀態進行判斷和統計，幫助用戶監控生產情況。應用層一般包括應用系統、關系數據庫以及Web應用系統等結構。
[0004]在實現本申請過程中，發明人發現現有技術中至少存在如下問題:
[0005]而現有技術中的應用系統主要是基于關系數據庫的靜態數據來進行分析，這無法對油氣田生產物聯網大數據進行實時分析，從而導致無法實現實時監控生產單元狀態、統計油氣田生產情況的目的。
【發明內容】
[0006]本申請實施例的目的是提供一種基于Hadoop的油氣生產物聯網大數據的處理方法及系統，以實現對油氣生產物聯網大數據進行實時分析的目的。
[0007]為解決上述技術問題，本申請實施例提供一種基于Hadoop的油氣生產物聯網大數據的處理方法及系統是這樣實現的:
[0008]本申請實施例提供了一種基于Hadoop的油氣生產物聯網大數據的處理方法，包括:
[0009]Hadoop平臺從實時數據庫中獲取生產單元的油氣生產物聯網大數據；
[0010]所述Hadoop平臺對所獲取的油氣生產物聯網大數據進行分布式計算；
[0011]所述Hadoop平臺將所述油氣生產物聯網大數據的計算結果與預設閾值進行對比，以判斷所述生產單元發生異常；
[0012I所述Hadoop平臺在判斷出所述生產單元發生異常時，輸出所述油氣生產物聯網大數據的分析結果。
[0013]可選的，在至少一實施例中，所述從實時數據庫中獲取生產單元的油氣生產物聯網大數據包括:
[0014]利用所獲取的配置文件中對油氣生產物聯網大數據所設定的標識，從所述實時數據庫中獲取具有與所述標識相匹配的油氣生產物聯網大數據。
[0015]可選的，在至少一實施例中，所述對所獲取的油氣生產物聯網大數據進行分布式計算包括:
[0016]根據所獲取的配置文件中的算法配置參數，從邏輯算法庫中調用對應的邏輯算法;
[0017]利用所調用的算法對所獲取的油氣生產物聯網大數據進行分布式計算。
[0018]可選的，在至少一實施例中，在利用所調用的算法對所獲取的油氣生產物聯網大數據進行分布式計算之前，該方法還包括:
[0019]利用所述配置文件，對所獲取的油氣生產物聯網大數據進行分類；
[0020]利用所述配置文件，對所述油氣生產物聯網大數據進行排序。
[0021]可選的，在至少一實施例中，所述將所述油氣生產物聯網大數據的計算結果與預設閾值進行對比，以判斷所述生產單元發生異常包括:
[0022]根據所述油氣生產物聯網大數據的計算結果與預設閾值的對比結果，判斷所述油氣生產物聯網大數據中是否存在異常數據；
[0023]在判斷出所述油氣生產物聯網大數據中存在異常數據時，判斷所述生產單元發生異常。
[0024]可選的，在至少一實施例中，所述輸出所述油氣生產物聯網大數據的分析結果包括:
[0025]將所述分析結果存儲在關系數據庫中；
[0026]在接收到用戶指令或自動化腳本指令時，從所述關系數據庫中查找與所述用戶指令或所述自動化腳本指令相匹配的分析結果；
[0027]將所查找到的分析結果發送給用戶。
[0028]可選的，在至少一實施例中，所述分析結果包括所述油氣生產物聯網大數據與預設閾值的對比結果、異常數據和/或警示信息。
[0029]本申請實施例還提供了一種基于Hadoop的油氣生產物聯網大數據的處理系統，包括:
[0030]應用層，所述應用層包括實時數據庫和Hadoop平臺，其中，
[0031]所述實時數據庫用于實時存儲所采集的生產單元的油氣生產物聯網大數據；
[0032]所述Hadoop平臺包括:
[0033]獲取單元，用于從所述實時數據庫中獲取生產單元的油氣生產物聯網大數據；
[0034]計算單元，用于對所獲取的油氣生產物聯網大數據進行分布式計算；
[0035]對比單元，用于將所述油氣生產物聯網大數據的計算結果與預設閾值進行對比，以判斷所述生產單元發生異常；
[0036]輸出單元，用于在判斷出所述生產單元發生異常時，輸出所述油氣生產物聯網大數據的分析結果。
[0037]可選的，在至少一實施例中，所述獲取單元包括:
[0038]獲取子單元，用于利用所獲取的配置文件中對油氣生產物聯網大數據所設定的標識，從所述實時數據庫中獲取具有與所述標識相匹配的油氣生產物聯網大數據。
[0039]可選的，在至少一實施例中，所述計算單元包括:
[0040]調用子單元，用于根據所獲取的配置文件中的算法配置參數，從邏輯算法庫中調用對應的邏輯算法；
[0041]計算子單元，用于利用所調用的算法對所獲取的油氣生產物聯網大數據進行分布式計算。
[0042]可選的，在至少一實施例中，所述系統還包括:
[0043]分類單元，用于利用所述配置文件，對所獲取的油氣生產物聯網大數據進行分類；
[0044]排序單元，用于利用所述配置文件，對所述油氣生產物聯網大數據進行排序。
[0045]可選的，在至少一實施例中，所述輸出單元包括:
[0046]存儲子單元，用于將所述分析結果存儲在關系數據庫中；
[0047]查找子單元，用于在接收到用戶指令或自動化腳本指令時，從所述關系數據庫中查找與所述用戶指令或所述自動化腳本指令相匹配的分析結果；
[0048]發送子單元，用于將所查找到的分析結果發送給用戶。
[0049]可選的，在至少一實施例中，所述應用層還包括:
[0050]應用裝置，所述應用裝置用于將所述輸出單元所輸出的分析結果提供給用戶。
[0051 ] 可選的，在至少一實施例中，所述處理系統還包括:
[0052]感知層，所述感知層用于采集油氣生產物聯網大數據以及監控所述生產單元；
[0053]傳輸層，所述傳輸層用于將感知層所采集到的油氣生產物聯網大數據通過有線傳輸或無線傳輸的方式發送給應用層以實時存儲在所述實時數據庫中。
[0054]由以上本申請實施例提供的技術方案可見，本申請實施例通過從實時數據庫中獲取油氣生產物聯網大數據，然后對所獲取的油氣生產物聯網大數據進行分布式計算，而不是從關系數據庫中獲取油氣生產物聯網大數據，并且采用分布式計算可以對實時數據庫中的實時油氣生產物聯網大數據進行并發處理，因而可以實現對油氣生產物聯網大數據進行實時分析的目的。
【附圖說明】
[0055]為了更清楚地說明本申請實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本申請中記載的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動性的前提下，還可以根據這些附圖獲得其他的附圖。
[0056]圖1是本申請