一種海量電力計量數據的快速檢索方法
【專利摘要】本發明公開了一種海量電力計量數據快速檢索方法，它包括終端、數據采集層和數據層，其特征在于：該方法首先從各計量點及采集終端抽取需要檢索的電流、電壓、功率因素、表碼等計量數據，并基于LVS技術進行服務器均衡進行快速入庫；然后將大規模數據按格式上送云平臺，云存儲平臺采用Hadoop分布式文件系統HDFS，具有高度容錯性的系統，適合部署在廉價的機器上，能提供高吞吐量的數據訪問，非常適合大規模數據集上的應用；根據系統對各計量點電量、線損等的精確統計與計算，用戶可通過數據檢索服務，實施對電力計量數據的快速檢索。為對電流、電壓、功率因素、表碼等這類電力計量大規模數據能有效快速的提供檢索服務。
【專利說明】一種海量電力計量數據的快速檢索方法
【技術領域】
[0001]本發明涉及集群管理、云存儲服務、云數據庫服務、數據查詢、監控管理、信息快速檢索等領域，具體為一種基于云計算技術的電力計量數據快速檢索方法。
【背景技術】
[0002]近年來，電網公司不斷投入電能計量自動化系統的建設，各供電局已基本建成了涵蓋各種計量點及采集終端的集信息采集、監控、分析和計量管理于一體的計量自動化應用平臺，完成了對電廠、變電站、公變、專變、低壓集抄等發電側、供電側、配電側、售電側的綜合性統一數據的自動采集監。供電企業的抄表結算、電能計量管理、營銷管理、線損管理、錯峰管理、節能及優質服務等多項核心業務從手工人工水平發展到系統自動化水平，實現對居民用電的遠程集中抄表功能。計量自動化系統與營銷管理系統、生產調度系統等均不同程度的通過數據接口實現了數據共享。規范了計量現場管理，提高了計量準確率，為供電企業經濟運行、配網生產管理、線損管理、電力營銷服務提供了先進的技術手段，提高了營銷管理自動化、信息化水平。然而，隨著系統的日趨完善和計量數據的積累，如何快速、有效地對計量數據進行檢索，已經成為當前電力企業越來越迫切想要解決的問題，如用電異常分析中最為直接和最為重要的指標是線損異常，而線損異常分析需基于采集終端及相關計量系統收集到的電流、電壓、功率因素、表碼等數據，這些數據每日上億數據，每年幾百億，要對這類海量數據進行存儲，還要對數據進行快速檢索，傳統技術很難處理，目前的關系型數據庫到I億條的數據量將難以有效的進行管理和檢索查詢。因此以往關系型數據庫完全不能滿足需求，要能實現數據快速的檢索并支持模糊查詢，需要用到云計算相關技術。
[0003]本發明針對區計量主站系統的各類數據，研究電力計量信息的快速檢索方法，設計基于云計算技術的運算平臺。采用LVS(Linux Virtual Server)技術,實現采集與導入節點機的集群管理；云存儲平臺采用Hadoop分布式文件系統HDFS (Hadoop DistributedFile System);云存儲數據庫建立基于HBase (Hadoop database),使用Hive進行結構化存儲和檢索，并提供相應的數據服務接口 ；搭建Ganglia監控，實時監控各個節點的狀態、性能、網絡。
【發明內容】
[0004]本發明的目的是提供一種基于云計算技術的海量電力計量數據的快速檢索系統，以解決現有計量數據量大，難以進行有效的電力管理和檢索查詢等問題。
[0005]為了達到上述目的，本發明所采用的技術方案為:
一種海量電力計量數據的快速檢索方法，它包括終端、數據采集層和數據層，其特征在于包括:
數據采集層直接面對電力終端，通過光纖專網、無線網絡、短信通信塔和相應的通訊方式與終端進行數據交互。
[0006]所述的終端主要由負控終端、廠站終端、配網終端和集抄終端，以及相關數據采集設備組成，負責采集電力相關數據；其中，負控終端、廠站終端和配網終端通過無線網絡與數據采集層通信；集抄終端通過短信通信與與數據采集層通信。
[0007]所述的數據層包括數據庫服務器，通過GPRS，SMS，CDMA，光纖，電力載波，電話撥號等通信方式與數據采集層及數據應用層聯系。
[0008]所述的數據采集層采用“集群前置機”結構，含若干臺前置機、一個短信服務器和一個前置路由器形成集群前置機，是前置采集部份。
[0009]所述的數據應用層包括一組由含計算機構成的服務器節點、交換機、路由器和用戶端，其中節點主要 有主節點、從節點、和若干節點，各節點通過路由器、交換機連接到高速的局域網或者地理分布的廣域網上，并與數據層的數據庫服務器連接；主節點負責負載調度(Load Balancing Scheduler),將用戶發出的請求調度到各服務器節點上,從而使得服務器集群的結構對客戶是透明的，用戶端訪問集群系統提供的網絡服務就像在訪問一臺高性能、高可用的服務器一樣。
[0010]本海量電力計量數據的快速檢索方法，基于云計算技術的運算平臺，采用LVS技術，實現采集與導入節點機的集群管理；云存儲平臺采用Hadoop分布式文件系統HDFS，存儲數據以及存儲云數據庫元數據；云存儲數據庫建立基于HBase，使用Hive進行結構化存儲和檢索，提供相應的數據服務接口 ；可通過數據檢索服務，快速對實時負荷、電流電壓、負載率的快速檢索；搭建Ganglia監控，以實時監控各個節點的狀態、性能、網絡。用戶端實現對電流、電壓、功率因素、表碼等相關數據快速檢索可通過下面步驟完成:
步驟1:計量數據抽取，包括以下子步驟:
S1.1:確定抽取數據
確定檢索數據需用到的基礎數據信息，如線損分析需抽取電流、電壓、功率因素、表碼等計量數據信息；
51.2:抽取實時數據
從各計量點及采集終端抽取需要檢索的電流、電壓、功率因素、表碼等計量數據；
步驟2:服務器均衡，包括以下子步驟:
應用LVS技術，主節點和從節點部署前端的主從LVS-DR均衡調度器，各個采集節點機部署采集程序以及Keepalived模塊，均衡算法采用加權LCS (Least-ConnectionScheduling)調度算法；
52.1:應用LVS技術
應用LVS技術，主節點和從節點部署前端的主從LVS-DR均衡調度器；LVS (LinuxVirtual Server)集群采用IP負載均衡技術和基于內容請求分發技術；從LVS-DR均衡調度器為集群服務器的唯一入口點，用于接收用戶的請求，采用IP負載均衡算法選取一臺采集節點機，將包轉發過去；
S2.2:采集節點機部署
各個采集節點機部署采集程序及Keepalived模塊，Keepalived模塊負責對各節點進行健康狀況的檢測，確保處理TCP數據的節點可用；
S2.3:服務器負載分配
采用加權LCS調度算法確定服務器負載分配；權LCS調度算法實現；
步驟3:數據入庫，基于步驟2實現服務器均衡，進行大規模的數據快速入庫；用1^5技術，主節點和從節點部署前端的主從LVS-DR均衡調度器，各個采集節點機部署采集程序以及Keepalived模塊，均衡算法采用加權LCS調度算法；
步驟4:大數據導入云平臺，包括以下子步驟:
S4.1:建立云存儲平臺
云存儲平臺采用Hadoop分布式文件系統HDFS，HDFS設計成適合運行在通用硬件commodity hardware上的分布式文件系統,它和現有的分布式文件系統有很多共同點；同時，它和其他的分布式文件系統的區別也是很明顯的，具有高度容錯性，HDFS能提供高吞吐量的數據訪問，非常適合大規模數據集上的應用；
S4.2:建立云數據庫服務
云數據庫建立基于HBase，使用Hive進行結構化存儲和檢索，提供相應的數據服務接口 ；Hive是建立在Hadoop之上的數據倉庫架構，提供了一套方便的實施數據抽取(ETL)的工具，一種讓用戶對數據描述其結構的機制，支持用戶對存儲在Hadoop中的海量數據進行查詢和分析；
步驟5:數據快速檢索，在上述步驟完成后，包括對實時負荷、電流電壓、負載率這類日數據量上億，年數據量上百億進行云存儲，建立HBASE的云數據庫，基于云存儲服務的方式提供大規模海量數據的存儲服務。通過HIVE開發接口提供快速的檢索服務，用戶可通過數據檢索服務，實施對實時負荷、電流電壓、負載率的快速檢索。
[0011]為實現以上要求，按照功能需求對數據檢索服務劃分為:檢索接口組件、檢索服務組件和檢索執行組件。
[0012](I)檢索接口組件接收客戶端的數據檢索查詢請求，通過向分布式應用服務注冊，同服務器端建立會話連接，與查詢服務組件進行交互，并返回查詢結果給客戶端。
[0013](2)檢索服務組件運行在各個數據服務器節點上，與查詢接口組件建立會話連接，對客戶端進行管理，負責響應檢索查詢接口組件的查詢請求，對查詢請求進行調度管理，并將查詢的結果數據返回給查詢接口組件。
[0014](3)檢索執行組件實現分布式的數據檢索，以原始狀態或內插值擬合狀態返回給檢索服務組件。該組件通過調用本地接口獲取當前節點的快照子系統實時數據、系統歷史數據，通過分布式應用服務請求獲取備份節點數據。
[0015]本發明與已有技術相比具有以下優點:
本發明云平臺基于Hadoop管理理念,利用Map/Reduce框架來處理數據，使Hadoop具有高效性的特點。Hadoop是并行工作的，以加快任務的處理速度，除此之外它還有很多特色的功能，因此可以說是云計算平臺上的最佳選擇。云計算系統采集與導入節點機的集群管理，采用LVS技術，LVS的伸縮空間比較大，如果對并發連接進行擴展，最多可以擴展到百萬級，具有高可擴展性的優點。因此，相對于Microsoft集群支持的較少的節點數目、MOSIX集群依賴單個硬件供應商等，基于LVS的集群是解決負載均衡的理想方式。
[0016]本發明方法簡單易行，便于實現，安裝簡單，基于云計算技術的運算平臺采用LVS技術，整個服務器集群的結構對客戶是透明的，無需修改客戶端和服務器端的程序。云存儲平臺采用Hadoop分布式文件系統(HDFS)，HDFS是一個高度容錯性的系統，適合部署在廉價的機器上，同時，HDFS能提供高吞吐量的數據訪問，非常適合大規模數據集上的應用。建立HBASE的云數據庫，通過HIVE開發接口提供快速的檢索服務，對實時負荷、電流電壓這類日數據量上億，年數據量數百億進行云存儲并提供基于云的快速檢索服務。系統具有透明性、可伸縮性、高可用性和易管理性。
【專利附圖】
【附圖說明】
[0017]圖1是本發明的結構示意圖；
圖2是本發明提出的一種負載動態平衡策略示意圖；
圖3是本發明的數據快速檢索流程示意圖。
【具體實施方式】
[0018]下面結合附圖，對本發明的技術方案作進一步具體的說明。
[0019]圖1所示，是是本發明的結構示意圖，從圖中可知，它包括終端、數據采集層和數據層，以及數據應用層。其中，終端主要由負控終端、廠站終端、配網終端和集抄終端，以及相關數據采集設備組成，負責采集電力相關數據；負控終端、廠站終端和配網終端通過無線網絡與數據采集層通信，集抄終端通過短信通信與與數據采集層通信。數據采集層采用“集群前置機”結構，含若干臺前置機、一個短信服務器和一個前置路由器形成集群前置機，是前置采集部份，通過光纖專網、無線網絡、短信通信塔等通訊方式采集終端數據。數據層包括數據庫服務器，主要完成數據預處理、數據檢查和數據入庫等應用邏輯功能。
[0020]數據應用層采集與導入節點機的集群管理，基于LVS技術。LVS網絡架構包括一組服務器節點、交換機、路由器和用戶端，其中節點主要有主節點、從節點、和若干節點，各節點通過路由器、交換機連接到高速的局域網或者地理分布的廣域網上，并與數據層的數據庫服務器連接；主節點負責負載調度(Load Balancing Scheduler),將用戶發出的請求調度到各服務器節點上，從而使得服務器集群的結構對客戶是透明的，用戶端訪問集群系統提供的網絡服務就像在訪問一臺高性能、高可用的服務器一樣。
[0021]從圖1中可知，本發明的數據采集層采用“集群前置機”方式，能實現大規模的數據快速入庫。前置機為數據接入前端，完成通信的核心功能，直接面對采集終端，本實施例
中采集終端主要采集的電流(I )、電壓)、功率因數(COS#)、表碼等計量數據。各部分
的作用為:
前置路由器作用:路由轉發，根據應用服務器的報文，尋找此報文的終端地址所在的前置機n，將此報文轉發給相應的前置機和相應的主站模塊。
[0022]前置機進行數據匯總。對于下行數據，將數據匯總，統一將數據轉發給應用服務器，為應用服務器提供統一的數據接口。
[0023]通信調度:前置路由器統一調度各前置機，可以根據數據采集實時性高低級別和內容，按照最優方式進行負載均衡，互為備用，協同工作。多個前置機和一個前置路由器(可以還有備份前置路由器)形成集群前置機，是前置采集部分。
[0024]數據層還包括應用服務器，通過網絡與數據采集層聯系。應用服務器主要完成數據預處理、數據檢查、數據計算、用戶數據下發、采集任務調度和數據入庫等應用邏輯功能，是數據預處理部分。
[0025]在這里采用“集群”的技術，前置接入服務器的數量可以根據實際情況進行擴展，如果要支持新增規約的終端，則只需要加入支持此規約的前置機，后續的前置路由器相應配置一下，就可以實現不同類型、不同廠商的計量自動化終端的接入。
[0026]如圖2所示，是本發明提出一種負載動態平衡策略的設計框架，主要思想是根據LoadManager不斷接收真實服務器(RealServer,簡稱RS)的負載信息來調整RS的權值，以避免RS超載時依然收到大量請求，從而提高整個系統的吞吐率。
[0027]用戶端通過以下步驟能進行電流、電壓、功率因素、表碼相關數據的快速檢索，包括以下步驟:
步驟1:計量數據抽取；
步驟2:服務器均衡；
步驟3:數據入庫；
步驟4:大數據導入云平臺；
步驟5:數據快速檢索。
[0028]所述的步驟I包括以下子步驟:
S1.1:確定抽取數據
確定檢索數據需用到的基礎數據信息，如線損分析需抽取電流、電壓、功率因素、表碼等計量數據信息；
51.2:抽取實時數據
從各計量點及采集終端抽取需要檢索的電流、電壓、功率因素、表碼等計量數據。
[0029]所述的步驟2包括以下子步驟:
應用LVS技術，主節點和從節點部署前端的主從LVS-DR均衡調度器，各個采集節點機部署采集程序以及Keepalived模塊，均衡算法采用加權LCS (Least-ConnectionScheduling)調度算法；
52.1:應用LVS技術
應用LVS技術，主節點和從節點部署前端的主從LVS-DR均衡調度器；LVS (LinuxVirtual Server)集群采用IP負載均衡技術和基于內容請求分發技術；從LVS-DR均衡調度器為集群服務器的唯一入口點，用于接收用戶的請求，采用IP負載均衡算法選取一臺采集節點機，將包轉發過去；
S2.2:采集節點機部署
各個采集節點機部署采集程序及Keepalived模塊，Keepalived模塊負責對各節點進行健康狀況的檢測，確保處理TCP數據的節點可用；
S2.3:服務器負載分配
采用加權LCS調度算法確定服務器負載分配；權LCS調度算法實現，包括以下步驟:
(1)對服務器集合Sf= I^l5Sf23L>1)，確定每個服務器的權值
M?),設每個服務器節點已建立好的相應連接數艱)0.<?<η),則服務器集群當前總的連接數為:
M = L(S1) + L(S2) +L + L(Sn) (I)
(2)計算節點連接數與其權值的比例值，當服務器Si滿足公式:
【權利要求】
1.一種海量電力計量數據的快速檢索方法，它包括終端、數據采集層和數據層，其特征在于: 數據采集層直接面對電力終端，通過光纖專網、無線網絡、短信通信塔和相應的通訊方式與終端進行數據交互； 快速檢索包括以下步驟: 步驟1:計量數據抽取； 步驟2:服務器均衡； 步驟3:數據入庫； 步驟4:大數據導入云平臺； 步驟5:數據快速檢索。
2.根據權利要求1所述的快速檢索方法，其特征在于: 所述的終端主要由負控終端、廠站終端、配網終端和集抄終端，以及相關數據采集設備組成，負責采集電力相關數據；其中，負控終端、廠站終端和配網終端通過無線網絡與數據采集層通信；集抄終端通過短信通信與與數據采集層通信。
3.根據權利要求1所述的快速檢索方法，其特征在于: 所述的數據采集層采用“集群前置機”結構，含若干臺前置機、一個短信服務器和一個前置路由器形成集群前置機，是前置采集部份。
4.根據權利要求1的快速檢索方法，其特征在于: 所述的數據層包括數據庫服務器，通過GPRS，SMS，CDMA，光纖，電力載波，電話撥號等通信方式與數據采集層及數據應用層聯系。
5.根據權利要求1、3所述的快速檢索方法，其特征在于: 所述的數據應用層包括一組由含計算機構成的服務器節點、交換機、路由器和用戶端，其中節點主要有主節點、從節點、和若干節點，各節點通過路由器、交換機連接到高速的局域網或者地理分布的廣域網上，并與數據層的數據庫服務器連接。
6.根據權利要求1所述的一種海量電力計量數據的快速檢索方法，其特征在于: 所述的步驟I包括以下子步驟: S1.1:確定抽取數據 確定檢索數據需用到的基礎數據信息，如線損分析需抽取電流、電壓、功率因素、表碼等計量數據信息； S1.2:抽取實時數據 從各計量點及采集終端抽取需要檢索的電流、電壓、功率因素、表碼等計量數據。
7.根據權利要求1所述的一種海量電力計量數據的快速檢索方法，其特征在于: 所述的步驟2包括以下子步驟: 應用LVS技術，主節點和從節點部署前端的主從LVS-DR均衡調度器，各個采集節點機部署采集程序以及Keepalived模塊，均衡算法采用加權LCS (Least-ConnectionScheduling)調度算法； S2.1:應用LVS技術 應用LVS技術，主節點和從節點部署前端的主從LVS-DR均衡調度器；LVS (LinuxVirtual Server)集群采用IP負載均衡技術和基于內容請求分發技術；從LVS-DR均衡調度器為集群服務器的唯一入口點，用于接收用戶的請求，采用IP負載均衡算法選取一臺采集節點機，將包轉發過去； S2.2:采集節點機部署 各個采集節點機部署采集程序及Keepalived模塊，Keepalived模塊負責對各節點進行健康狀況的檢測，確保處理TCP數據的節點可用； S2.3:服務器負載分配 采用加權LCS調度算法確定服務器負載分配；權LCS調度算法實現，包括以下步驟: 對服務器集合
8.根據權利要求1所述的一種海量電力計量數據的快速檢索方法，其特征在于: 所述的步驟3數據入庫，基于步驟2實現服務器均衡，進行大規模的數據快速入庫；用LVS技術，主節點和從節點部署前端的主從LVS-DR均衡調度器，各個采集節點機部署采集程序以及Keepalived模塊，均衡算法采用加權LCS調度算法。
9.根據權利要求1所述的一種海量電力計量數據的快速檢索方法，其特征在于: 所述的步驟4包括以下子步驟: S4.1:建立云存儲平臺 云存儲平臺采用Hadoop分布式文件系統HDFS，HDFS設計成適合運行在通用硬件commodity hardware上的分布式文件系統,它和現有的分布式文件系統有很多共同點；同時，它和其他的分布式文件系統的區別也是很明顯的，具有高度容錯性，HDFS能提供高吞吐量的數據訪問，非常適合大規模數據集上的應用；S4.2:建立云數據庫服務 云數據庫建立基于HBase，使用Hive進行結構化存儲和檢索，提供相應的數據服務接口 ；Hive是建立在Hadoop之上的數據倉庫架構，提供了一套方便的實施數據抽取(ETL)的工具，一種讓用戶對數據描述其結構的機制，支持用戶對存儲在Hadoop中的海量數據進行查詢和分析。
10.根據權利要求1所述的一種海量電力計量數據的快速檢索方法，其特征在于: 所述的步驟5包括: 在上述步驟完成后，包括對實時負荷、電流電壓、負載率這類日數據量上億，年數據量上百億進行云存儲，建立HBASE的云數據庫，基于云存儲服務的方式提供大規模海量數據的存儲服務；通過HIVE開發接口提供快速的檢索服務，用戶可通過數據檢索服務，實施對實時負荷、電流電壓、負載率的快速檢索。
【文檔編號】G06F17/30GK103955509SQ201410180099
【公開日】2014年7月30日 申請日期:2014年4月30日 優先權日:2014年4月30日
【發明者】何藝, 劉路, 黃富凡, 陳俊, 李剛, 曾博, 秦麗娟, 唐利濤, 張良均, 陳俊德, 劉名軍, 樊哲, 鄭宗銳 申請人:廣西電網公司電力科學研究院, 從興技術有限公司