一種多數(shù)據(jù)源環(huán)境下數(shù)據(jù)缺失自動檢查及集中監(jiān)控方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及企業(yè)數(shù)據(jù)質(zhì)量領(lǐng)域，尤其涉及電力系統(tǒng)實時數(shù)據(jù)的質(zhì)量檢查，更具體 地說，本發(fā)明涉及一種多數(shù)據(jù)源環(huán)境下數(shù)據(jù)缺失自動檢查及集中監(jiān)控方法。
【背景技術(shù)】
[0002] 國家電網(wǎng)華東分部目前建有4套數(shù)據(jù)中心，D5000調(diào)度自動化系統(tǒng)的SCADA(數(shù)據(jù) 采集與監(jiān)控）實時數(shù)據(jù)是數(shù)據(jù)中心中最重要的數(shù)據(jù)之一，該數(shù)據(jù)包含電網(wǎng)重要一次設(shè)備十 幾種遙信遙測數(shù)據(jù)，要求實時接入數(shù)據(jù)中心。在這4套數(shù)據(jù)中心中，由于功能要求不同，接 入數(shù)據(jù)的頻度也不同，有的是1分鐘斷面（1分鐘接入1次），有的是15分鐘斷面，但都要求 數(shù)據(jù)準(zhǔn)確無誤的接入；如果有數(shù)據(jù)丟失，需要及時發(fā)現(xiàn)并進行數(shù)據(jù)補缺。這就需要有一種方 法，能對數(shù)據(jù)入庫情況進行監(jiān)控，及時發(fā)現(xiàn)數(shù)據(jù)丟失并反饋，由于數(shù)據(jù)中心比較多，最好能 對4套數(shù)據(jù)中心統(tǒng)一進行監(jiān)控。
[0003] 監(jiān)控類系統(tǒng)目前在各種生產(chǎn)系統(tǒng)中應(yīng)用的比較多，但都基于各自的實際需要對一 些重要指標(biāo)進行監(jiān)控，并在指標(biāo)達到限值時進行報警，但針對數(shù)據(jù)缺失檢查，特別是針對 D5000調(diào)度自動化系統(tǒng)的SCADA數(shù)據(jù)缺失檢查的系統(tǒng)或方法還沒有。
[0004] 對于將多個系統(tǒng)數(shù)據(jù)匯總到一起，目前市場上成熟的工具比較多，如 ETL(Extract-Transform-Load，抽取-轉(zhuǎn)換-加載）工具、Teiid等，可使用這些工具實現(xiàn)4 套數(shù)據(jù)中心的統(tǒng)一監(jiān)控。但是，現(xiàn)有的這些工具仍然無法解決多數(shù)據(jù)源數(shù)據(jù)丟失情況的集 中監(jiān)控。
【發(fā)明內(nèi)容】
[0005] 本發(fā)明所要解決的技術(shù)問題是針對現(xiàn)有技術(shù)中存在上述缺陷，由此本發(fā)明提供一 種定時丟點掃描方法來實現(xiàn)對數(shù)據(jù)丟失情況的自動檢查，然后將4套數(shù)據(jù)中心的缺失數(shù)據(jù) 匯總在一起，并開發(fā)成報表，從而實現(xiàn)對4套數(shù)據(jù)中心數(shù)據(jù)丟失情況的集中監(jiān)控，解決了多 數(shù)據(jù)源數(shù)據(jù)丟失情況的集中監(jiān)控問題。
[0006] 為了實現(xiàn)上述技術(shù)目的，根據(jù)本發(fā)明，提供了一種多數(shù)據(jù)源環(huán)境下數(shù)據(jù)缺失自動 檢查及集中監(jiān)控方法，包括：第一步驟：執(zhí)行定時查缺處理，其中例如通過程序?qū)Χ嗵讛?shù)據(jù) 中心接入的調(diào)度自動化系統(tǒng)的實時數(shù)據(jù)表進行定時掃描，以查找丟點數(shù)據(jù)并將丟點數(shù)據(jù)保 存起來；第二步驟：執(zhí)行數(shù)據(jù)匯總處理，其中在得到多套數(shù)據(jù)中心的各自的丟點數(shù)據(jù)后，將 不同數(shù)據(jù)中心的丟點數(shù)據(jù)匯總到一起以形成總丟點文件；第三步驟：執(zhí)行集中監(jiān)控處理， 其中使用報表工具將總丟點文件展示出來。
[0007] 優(yōu)選地，在第一步驟中，在執(zhí)行定時查缺處理的過程中，對數(shù)據(jù)中心接入的調(diào)度自 動化系統(tǒng)的實時數(shù)據(jù)表進行定時掃描，以查找丟點數(shù)據(jù)的丟點文件名。
[0008] 優(yōu)選地，第二步驟中使用ETL工具執(zhí)行數(shù)據(jù)匯總處理。
[0009] 優(yōu)選地，在第一步驟中，首先根據(jù)實時數(shù)據(jù)的斷面類型和時間范圍生成全量時間 點，隨后根據(jù)全量時間點判斷數(shù)據(jù)是否是丟點數(shù)據(jù)，并且獲取被判斷為丟點數(shù)據(jù)的數(shù)據(jù)的 丟點時間。
[0010] 優(yōu)選地，在第一步驟中，還進一步將丟點時間轉(zhuǎn)化為丟點文件名。
[0011] 優(yōu)選地，總丟點文件中標(biāo)明了各丟點數(shù)據(jù)的來源。
[0012] 優(yōu)選地，所述來源由丟點數(shù)據(jù)的數(shù)據(jù)中心的名稱表示。
[0013] 優(yōu)選地，在第三步驟中，就總丟點文件集中處理以得到統(tǒng)計報表和詳細報表，并且 將統(tǒng)計報表和詳細報表展示出來。
[0014] 優(yōu)選地，所述多套數(shù)據(jù)中心為四套數(shù)據(jù)中心。
[0015] 優(yōu)選地，所述實時數(shù)據(jù)為SCADA實時數(shù)據(jù)。
【附圖說明】
[0016] 結(jié)合附圖，并通過參考下面的詳細描述，將會更容易地對本發(fā)明有更完整的理解 并且更容易地理解其伴隨的優(yōu)點和特征，其中：
[0017] 圖1示意性地示出了根據(jù)本發(fā)明優(yōu)選實施例的多數(shù)據(jù)源環(huán)境下數(shù)據(jù)缺失自動檢 查及集中監(jiān)控方法的總體流程圖。
[0018] 圖2示意性地示出了根據(jù)本發(fā)明優(yōu)選實施例的數(shù)據(jù)掃描和集中監(jiān)控結(jié)構(gòu)圖。
[0019] 圖3示意性地示出了根據(jù)本發(fā)明優(yōu)選實施例的掃描丟點數(shù)據(jù)過程示例的示意過 程。
[0020] 圖4示意性地示出了根據(jù)本發(fā)明優(yōu)選實施例的定時執(zhí)行丟點掃描示例的示意過 程。
[0021] 需要說明的是，附圖用于說明本發(fā)明，而非限制本發(fā)明。注意，表示結(jié)構(gòu)的附圖可 能并非按比例繪制。并且，附圖中，相同或者類似的元件標(biāo)有相同或者類似的標(biāo)號。
【具體實施方式】
[0022] 為了使本發(fā)明的內(nèi)容更加清楚和易懂，下面結(jié)合具體實施例和附圖對本發(fā)明的內(nèi) 容進行詳細描述。
[0023] 圖1示意性地示出了根據(jù)本發(fā)明優(yōu)選實施例的多數(shù)據(jù)源環(huán)境下數(shù)據(jù)缺失自動檢 查及集中監(jiān)控方法的總體流程圖。圖2示意性地示出了根據(jù)本發(fā)明優(yōu)選實施例的數(shù)據(jù)掃描 和集中監(jiān)控結(jié)構(gòu)圖。
[0024] 具體地說，在實時數(shù)據(jù)監(jiān)控時，首先需要找到缺失數(shù)據(jù)，然后再將缺失數(shù)據(jù)匯總起 來，最后用可視化手段將缺丟數(shù)據(jù)展示出來供運維人員監(jiān)控。如圖1和圖2所示，根據(jù)本發(fā) 明優(yōu)選實施例的多數(shù)據(jù)源環(huán)境下數(shù)據(jù)缺失自動檢查及集中監(jiān)控方法包括：
[0025] 第一步驟S1 :執(zhí)行定時查缺處理，其中例如通過程序?qū)?shù)據(jù)中心接入的調(diào)度自動 化系統(tǒng)（例如D5000)的實時數(shù)據(jù)（例如SCADA實時數(shù)據(jù)）表進行定時掃描，以查找丟點數(shù) 據(jù)（數(shù)據(jù)沒有正常接入的文件名）并將丟點數(shù)據(jù)保存起來。
[0026] 其中，優(yōu)選地，在第一步驟S1中，在執(zhí)行定時查缺處理的過程中，對數(shù)據(jù)中心接入 的調(diào)度自動化系統(tǒng)的SCADA實時數(shù)據(jù)表進行定時掃描，以查找丟點數(shù)據(jù)的丟點文件名，其 具體過程的一個示例可以參見如圖3所示。
[0027] 具體地，定時執(zhí)行掃描工作是保證查缺自動化執(zhí)行的必要條件，過程如圖4所示， 其中程序定義要完成的任務(wù)，調(diào)度程序定義時間頻率，由此使得任務(wù)定時執(zhí)行任務(wù)。
[0028] 第二步驟S2 :執(zhí)行數(shù)據(jù)匯總處理，其中在得到4套數(shù)據(jù)中心（如圖2所示的第一數(shù) 據(jù)中心11、第二數(shù)據(jù)中心12、第三數(shù)據(jù)中心13和第四數(shù)據(jù)中心14)的各自的丟點數(shù)據(jù)后， 將不同數(shù)據(jù)中心的丟點數(shù)據(jù)匯總到一起以形成總丟點文件30 ;在優(yōu)選實施例中，可以使用 ETL工具執(zhí)行數(shù)據(jù)匯總處理。在本說明書中以4套數(shù)據(jù)中心為示例說明了本發(fā)明的原理，但 是顯然本發(fā)明也適用于其它數(shù)量的數(shù)據(jù)中心的情況。
[0029] 第三步驟S3 :執(zhí)行集中監(jiān)控處理，其中使用報表工具將總丟點文件30展示出來。 這樣，運維人員通過該報表就能實現(xiàn)對實時數(shù)據(jù)集中監(jiān)控。
[0030] 下面將具體描述本發(fā)明的具體優(yōu)選示例。
[0031] 〈第一步驟S1的定時查缺處理〉
[0032] 在進行定時查缺時，分為掃描丟點數(shù)據(jù)和自動執(zhí)行掃描兩部分內(nèi)容，下面分別進 行介紹。
[0033] 1、掃描丟點數(shù)據(jù)
[0034] 從前面的背景介紹可知，各數(shù)據(jù)中心都接入D5000調(diào)度自動化系統(tǒng)的SCADA的實 時數(shù)據(jù)，但時間斷面不同，因此在掃描時，需根據(jù)不同的設(shè)備、時間斷面類型采用不同的掃 描策略，執(zhí)行過程的一個具體示例如圖3所示。
[0035] 在圖3所示的掃描過程中，有幾點比較重要：
[0036] (1)全量時間點：在丟點掃描前，可以根據(jù)實時數(shù)據(jù)的斷面類型和時間范圍生成 全量時間點，如15分鐘斷面，例如查詢時間為2015-3-25 00:00~2015-3-25 23:59的時 間點為 2015-3-25 00:00、2015-3-25 00:15、...dOlSUS23:45 共計 96 個時間點。全 量時間點對掃描丟點數(shù)據(jù)非常重要，它是比較的基準(zhǔn)值，如果在比較時發(fā)現(xiàn)全量時間點有 這個時間點，而設(shè)備表缺少該時間點，可判定該點數(shù)據(jù)丟失。
[0037] (2)抽樣設(shè)備：在查詢設(shè)備時間點時，用到了抽樣設(shè)備、查詢時間范圍這兩個約束 條件，主要是為減少查詢的數(shù)據(jù)量，提高執(zhí)行效率。這里的抽樣設(shè)備是事先精選的，要求代 表著不同廠站重要的設(shè)備，且不會同時出現(xiàn)設(shè)備無數(shù)據(jù)情況，選擇3個抽樣設(shè)備既保證執(zhí) 行效率又保證時間點出現(xiàn)與否準(zhǔn)確無誤。
[0038] (3)丟點時間轉(zhuǎn)化為丟點文件：在全量時間點和設(shè)備時間點比較時，得到的是丟 點時間，在保存丟點數(shù)據(jù)時，優(yōu)選地根據(jù)查詢的設(shè)備將丟點時間轉(zhuǎn)化為丟點文件名，這是因 為掃描的結(jié)果是要判斷哪個設(shè)備文件缺失，方便運維人員根據(jù)掃描結(jié)果查找具體的缺失文 件并進行補缺。丟點數(shù)據(jù)內(nèi)容如表1(數(shù)據(jù)中心的丟點數(shù)據(jù)）所示。
[0039] 表 1
【主權(quán)項】
1. 一種多數(shù)據(jù)源環(huán)境下數(shù)據(jù)缺失自動檢查及集中監(jiān)控方法，其特征在于包括： 第一步驟：執(zhí)行定時查缺處理，其中例如通過程序?qū)Χ嗵讛?shù)據(jù)中心接入的調(diào)度自動化 系統(tǒng)的實時數(shù)據(jù)表進行定時掃描，以查找丟點數(shù)據(jù)并將丟點數(shù)據(jù)保存起來； 第二步驟：執(zhí)行數(shù)據(jù)匯總處理，其中在得到多套數(shù)據(jù)中心的各自的丟點數(shù)據(jù)后，將不同 數(shù)據(jù)中心的丟點數(shù)據(jù)匯總到一起以形成總丟點文件； 第三步驟：執(zhí)行集中監(jiān)控處理，其中使用報表工具將總丟點文件展示出來。
2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，在第一步驟中，在執(zhí)行定時查缺處理的過 程中，對數(shù)據(jù)中心接入的調(diào)度自動化系統(tǒng)的實時數(shù)據(jù)表進行定時掃描，以查找丟點數(shù)據(jù)的 丟點文件名。
3. 根據(jù)權(quán)利要求1或2所述的方法，其特征在于，第二步驟中使用ETL工具執(zhí)行數(shù)據(jù)匯 總處理。
4. 根據(jù)權(quán)利要求1或2所述的方法，其特征在于，在第一步驟中，首先根據(jù)實時數(shù)據(jù)的 斷面類型和時間范圍生成全量時間點，隨后根據(jù)全量時間點判斷數(shù)據(jù)是否是丟點數(shù)據(jù)，并 且獲取被判斷為丟點數(shù)據(jù)的數(shù)據(jù)的丟點時間。
5. 根據(jù)權(quán)利要求4所述的方法，其特征在于，在第一步驟中，還進一步將丟點時間轉(zhuǎn)化 為丟點文件名。
6. 根據(jù)權(quán)利要求1或2所述的方法，其特征在于，總丟點文件中標(biāo)明了各丟點數(shù)據(jù)的來 源。
7. 根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述來源由丟點數(shù)據(jù)的數(shù)據(jù)中心的名 稱表不。
8. 根據(jù)權(quán)利要求1或2所述的方法，其特征在于，在第三步驟中，就總丟點文件集中處 理以得到統(tǒng)計報表和詳細報表，并且將統(tǒng)計報表和詳細報表展示出來。
9. 根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述多套數(shù)據(jù)中心為四套數(shù)據(jù)中心。
10. 根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述實時數(shù)據(jù)為SCADA實時數(shù)據(jù)。
【專利摘要】本發(fā)明提供了一種多數(shù)據(jù)源環(huán)境下數(shù)據(jù)缺失自動檢查及集中監(jiān)控方法，包括：執(zhí)行定時查缺處理，其中例如通過程序?qū)Χ嗵讛?shù)據(jù)中心接入的調(diào)度自動化系統(tǒng)的實時數(shù)據(jù)表進行定時掃描，以查找丟點數(shù)據(jù)并將丟點數(shù)據(jù)保存起來；執(zhí)行數(shù)據(jù)匯總處理，其中在得到多套數(shù)據(jù)中心的各自的丟點數(shù)據(jù)后，將不同數(shù)據(jù)中心的丟點數(shù)據(jù)匯總到一起以形成總丟點文件；執(zhí)行集中監(jiān)控處理，其中使用報表工具將總丟點文件展示出來。
【IPC分類】G06F17-30
【公開號】CN104850635
【申請?zhí)枴緾N201510270085
【發(fā)明人】畢曉亮, 張亮, 徐堯強, 岑維新, 吳超, 李麗, 周瑾, 郭華軍, 馬歡, 周曉蘇
【申請人】華東電網(wǎng)有限公司, 上海欣同創(chuàng)科技有限公司
【公開日】2015年8月19日
【申請日】2015年5月24日