一種大數(shù)據(jù)管理方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及通信技術(shù)領(lǐng)域，尤其涉及一種大數(shù)據(jù)管理方法。
【背景技術(shù)】
[0002]大數(shù)據(jù)(big data, mega data)，或稱巨量資料，指的是需要新處理模式才能具有更強(qiáng)的決策力、洞察力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。隨著云時(shí)代的來臨，大數(shù)據(jù)(Big data)也吸引了越來越多的關(guān)注。進(jìn)年來隨著技術(shù)發(fā)展和開源軟件的盛行，大數(shù)據(jù)領(lǐng)域涌現(xiàn)出越來越多的優(yōu)秀軟件，為實(shí)際應(yīng)用解決了許多問題。但這些軟件都存在技術(shù)門檻較高，使用復(fù)雜等問題。本專利申請(qǐng)致力于降低大數(shù)據(jù)使用難度，利用簡(jiǎn)單普及的SQL語句描述業(yè)務(wù)，提供可視化工具描述流程，能快速完成業(yè)務(wù)部署。
[0003]現(xiàn)有技術(shù)公開了“一種基于云計(jì)算技術(shù)的電壓暫降數(shù)據(jù)分析方法”，見公開號(hào)為:103412942A，公開日為:2013-11-27的中國(guó)專利;該方法采用基于hadoopl.1.2的云計(jì)算平臺(tái)，通過MapReduce編程機(jī)制，將關(guān)系型數(shù)據(jù)庫(kù)中的波形數(shù)據(jù)利用轉(zhuǎn)移工具Sqoop轉(zhuǎn)移到KV數(shù)據(jù)庫(kù)中，以鍵值對(duì)形式存儲(chǔ)一個(gè)特定周波的數(shù)據(jù)；每一個(gè)Mapper (映射類)從KV數(shù)據(jù)庫(kù)中讀出一個(gè)鍵值對(duì)作為輸入；遍歷一個(gè)周波數(shù)據(jù)，計(jì)算出RMS(方均根值)值；將所有Mapper (映射類)的輸出結(jié)果進(jìn)行排序；Reducer合并同一事件同一相的RMS數(shù)據(jù)曲線，并遍歷該曲線，計(jì)算出各暫降特征值。該發(fā)明使電壓暫降的相關(guān)數(shù)據(jù)可以直接通過Hadoop云計(jì)算平臺(tái)，在多臺(tái)計(jì)算機(jī)上并行地計(jì)算，真正實(shí)現(xiàn)了多臺(tái)物理計(jì)算機(jī)計(jì)算能力的迭加，從而大大提高了計(jì)算效率，云平臺(tái)的容錯(cuò)性也提升了暫降計(jì)算結(jié)果的可靠性。該發(fā)明所采用的技術(shù)方案與本發(fā)明并不相同；本專利申請(qǐng)是利用簡(jiǎn)單普及的SQL語句描述業(yè)務(wù)，提供可視化工具描述流程。
【發(fā)明內(nèi)容】
[0004]本發(fā)明要解決的技術(shù)問題，在于提供一種大數(shù)據(jù)管理方法，有效降低大數(shù)據(jù)的適用門檻，能根據(jù)業(yè)務(wù)需要進(jìn)行快速部署，并實(shí)現(xiàn)一鍵安裝集群、在線管理服務(wù)器的上線和下線、可視化集群監(jiān)控，從而大大降低了運(yùn)營(yíng)成本。
[0005]本發(fā)明是這樣實(shí)現(xiàn)的:一種大數(shù)據(jù)管理方法，所述方法為:將數(shù)據(jù)庫(kù)數(shù)據(jù)抽取或文本文件作為輸入，用戶根據(jù)業(yè)務(wù)需要配置數(shù)據(jù)處理流程，對(duì)輸入的數(shù)據(jù)進(jìn)行處理，最終將處理的結(jié)果保存到數(shù)據(jù)庫(kù)或大數(shù)據(jù)集群中；所述對(duì)輸入的數(shù)據(jù)進(jìn)行處理具體為:用戶根據(jù)需求配置數(shù)據(jù)處理流程，數(shù)據(jù)處理流程的每個(gè)處理節(jié)點(diǎn)是一段SQL語句或者一段業(yè)務(wù)處理的程序片段，調(diào)度程序會(huì)定時(shí)啟動(dòng)數(shù)據(jù)處理流程，并依次執(zhí)行數(shù)據(jù)處理流程的每個(gè)節(jié)點(diǎn)SQL語句或者程序片段，將執(zhí)行后得到的結(jié)果存儲(chǔ)于一緩存中。
[0006]進(jìn)一步地，所述將數(shù)據(jù)庫(kù)數(shù)據(jù)抽取或文本文件作為輸入具體為:配置數(shù)據(jù)庫(kù)數(shù)據(jù)源信息，并使用sqoop工具，將數(shù)據(jù)庫(kù)的表數(shù)據(jù)按一設(shè)定格式直接抽取到分布式文件系統(tǒng)中；或者允許業(yè)務(wù)程序?qū)?shù)據(jù)結(jié)果放于文件服務(wù)器的指定目錄，文件服務(wù)器將監(jiān)控該目錄，一旦發(fā)現(xiàn)新文件將自動(dòng)上傳到分布式文件系統(tǒng)。
[0007]進(jìn)一步地，所述設(shè)定格式為:以制表符為字段分割符，以回車符為記錄分割符。
[0008]進(jìn)一步地，所述方法還包括處理的結(jié)果的數(shù)據(jù)輸出，該數(shù)據(jù)輸出具體為:由用戶指定數(shù)據(jù)庫(kù)數(shù)據(jù)源信息，通過sqoop工具，將緩存中的數(shù)據(jù)直接寫入數(shù)據(jù)庫(kù)的表中；或者將緩存的數(shù)據(jù)寫入分布式文件系統(tǒng)的制定目錄，并根據(jù)用戶需要，傳送到指定的文件服務(wù)器。
[0009]進(jìn)一步地，所述數(shù)據(jù)處理流程定期執(zhí)行，由調(diào)度服務(wù)進(jìn)行資源分配和任務(wù)管理。
[0010]本發(fā)明具有如下優(yōu)點(diǎn):本發(fā)明致力于降低大數(shù)據(jù)使用難度，利用簡(jiǎn)單普及的SQL語句描述業(yè)務(wù)，提供可視化工具描述流程，將數(shù)據(jù)庫(kù)數(shù)據(jù)抽取或文本文件作為輸入，用戶根據(jù)業(yè)務(wù)需要配置數(shù)據(jù)處理流程，對(duì)輸入的數(shù)據(jù)進(jìn)行處理，最終將處理的結(jié)果保存到數(shù)據(jù)庫(kù)或大數(shù)據(jù)集群中；有效降低大數(shù)據(jù)的適用門檻，能根據(jù)業(yè)務(wù)需要進(jìn)行快速部署，并實(shí)現(xiàn)一鍵安裝集群、在線管理服務(wù)器的上線和下線、可視化集群監(jiān)控，從而大大降低了運(yùn)營(yíng)成本。
【附圖說明】
[0011]圖1為本發(fā)明方法流程示意圖。
[0012]圖2為本發(fā)明數(shù)據(jù)流的走向原理圖。
【具體實(shí)施方式】
[0013]請(qǐng)參閱圖1和圖2所示，本發(fā)明的一種大數(shù)據(jù)管理方法，所述方法為:將數(shù)據(jù)庫(kù)數(shù)據(jù)抽取或文本文件作為輸入，用戶根據(jù)業(yè)務(wù)需要配置數(shù)據(jù)處理流程，對(duì)輸入的數(shù)據(jù)進(jìn)行處理，最終將處理的結(jié)果保存到數(shù)據(jù)庫(kù)或大數(shù)據(jù)集群中；所述對(duì)輸入的數(shù)據(jù)進(jìn)行處理具體為:用戶根據(jù)需求配置數(shù)據(jù)處理流程，數(shù)據(jù)處理流程的每個(gè)處理節(jié)點(diǎn)是一段SQL語句或者一段業(yè)務(wù)處理的程序片段，調(diào)度程序會(huì)定時(shí)啟動(dòng)數(shù)據(jù)處理流程，并依次執(zhí)行數(shù)據(jù)處理流程的每個(gè)節(jié)點(diǎn)SQL語句或者程序片段，將執(zhí)行后得到的結(jié)果存儲(chǔ)于一緩存中。所述數(shù)據(jù)處理流程定期執(zhí)行，由調(diào)度服務(wù)進(jìn)行資源分配和任務(wù)管理，可7X24小時(shí)提供數(shù)據(jù)服務(wù)。
[0014]其中，所述將數(shù)據(jù)庫(kù)數(shù)據(jù)抽取或文本文件作為輸入具體為:配置數(shù)據(jù)庫(kù)數(shù)據(jù)源信息，并使用sqoop工具，將數(shù)據(jù)庫(kù)的表數(shù)據(jù)按一設(shè)定格式直接抽取到分布式文件系統(tǒng)中；或者允許業(yè)務(wù)程序?qū)?shù)據(jù)結(jié)果放于文件服務(wù)器的指定目錄，文件服務(wù)器將監(jiān)控該目錄，一旦發(fā)現(xiàn)新文件將自動(dòng)上傳到分布式文件系統(tǒng)。該設(shè)定格式為:以制表符為字段分割符，以標(biāo)準(zhǔn)的回車符為記錄分割符。此外，也支持自定義格式。
[0015]所述方法還包括處理的結(jié)果的數(shù)據(jù)輸出，該數(shù)據(jù)輸出具體為:由用戶指定數(shù)據(jù)庫(kù)數(shù)據(jù)源信息，通過sqoop工具，將緩存中的數(shù)據(jù)直接寫入數(shù)據(jù)庫(kù)的表中；或者將緩存的數(shù)據(jù)寫入分布式文件系統(tǒng)的制定目錄，并根據(jù)用戶需要，傳送到指定的文件服務(wù)器。
[0016]總之，本發(fā)明致力于降低大數(shù)據(jù)使用難度，利用簡(jiǎn)單普及的SQL語句描述業(yè)務(wù)，提供可視化工具描述流程，將數(shù)據(jù)庫(kù)數(shù)據(jù)抽取或文本文件作為輸入，用戶根據(jù)業(yè)務(wù)需要配置數(shù)據(jù)處理流程，對(duì)輸入的數(shù)據(jù)進(jìn)行處理，最終將處理的結(jié)果保存到數(shù)據(jù)庫(kù)或大數(shù)據(jù)集群中；有效降低大數(shù)據(jù)的適用門檻，能根據(jù)業(yè)務(wù)需要進(jìn)行快速部署，并實(shí)現(xiàn)一鍵安裝集群、在線管理服務(wù)器的上線和下線、可視化集群監(jiān)控，從而大大降低了運(yùn)營(yíng)成本。
[0017]以上所述僅為本發(fā)明的較佳實(shí)施例，凡依本發(fā)明申請(qǐng)專利范圍所做的均等變化與修飾，皆應(yīng)屬本發(fā)明的涵蓋范圍。
【主權(quán)項(xiàng)】
1.一種大數(shù)據(jù)管理方法，其特征在于:所述方法為:將數(shù)據(jù)庫(kù)數(shù)據(jù)抽取或文本文件作為輸入，用戶根據(jù)業(yè)務(wù)需要配置數(shù)據(jù)處理流程，對(duì)輸入的數(shù)據(jù)進(jìn)行處理，最終將處理的結(jié)果保存到數(shù)據(jù)庫(kù)或大數(shù)據(jù)集群中；所述對(duì)輸入的數(shù)據(jù)進(jìn)行處理具體為:用戶根據(jù)需求配置數(shù)據(jù)處理流程，數(shù)據(jù)處理流程的每個(gè)處理節(jié)點(diǎn)是一段SQL語句或者一段業(yè)務(wù)處理的程序片段，調(diào)度程序會(huì)定時(shí)啟動(dòng)數(shù)據(jù)處理流程，并依次執(zhí)行數(shù)據(jù)處理流程的每個(gè)節(jié)點(diǎn)SQL語句或者程序片段，將執(zhí)行后得到的結(jié)果存儲(chǔ)于一緩存中。2.根據(jù)權(quán)利要求1所述的一種大數(shù)據(jù)管理方法，其特征在于:所述將數(shù)據(jù)庫(kù)數(shù)據(jù)抽取或文本文件作為輸入具體為:配置數(shù)據(jù)庫(kù)數(shù)據(jù)源信息，并使用sqoop工具，將數(shù)據(jù)庫(kù)的表數(shù)據(jù)按一設(shè)定格式直接抽取到分布式文件系統(tǒng)中；或者允許業(yè)務(wù)程序?qū)?shù)據(jù)結(jié)果放于文件服務(wù)器的指定目錄，文件服務(wù)器將監(jiān)控該目錄，一旦發(fā)現(xiàn)新文件將自動(dòng)上傳到分布式文件系統(tǒng)。3.根據(jù)權(quán)利要求2所述的一種大數(shù)據(jù)管理方法，其特征在于:所述設(shè)定格式為:以制表符為字段分割符，以回車符為記錄分割符。4.根據(jù)權(quán)利要求1所述的一種大數(shù)據(jù)管理方法，其特征在于:所述方法還包括處理的結(jié)果的數(shù)據(jù)輸出，該數(shù)據(jù)輸出具體為:由用戶指定數(shù)據(jù)庫(kù)數(shù)據(jù)源信息，通過sqoop工具，將緩存中的數(shù)據(jù)直接寫入數(shù)據(jù)庫(kù)的表中；或者將緩存的數(shù)據(jù)寫入分布式文件系統(tǒng)的制定目錄，并根據(jù)用戶需要，傳送到指定的文件服務(wù)器。5.根據(jù)權(quán)利要求1所述的一種大數(shù)據(jù)管理方法，其特征在于:所述數(shù)據(jù)處理流程定期執(zhí)行，由調(diào)度服務(wù)進(jìn)行資源分配和任務(wù)管理。
【專利摘要】本發(fā)明提供一種大數(shù)據(jù)管理方法，所述方法為：將數(shù)據(jù)庫(kù)數(shù)據(jù)抽取或文本文件作為輸入，用戶根據(jù)業(yè)務(wù)需要配置數(shù)據(jù)處理流程，對(duì)輸入的數(shù)據(jù)進(jìn)行處理，最終將處理的結(jié)果保存到數(shù)據(jù)庫(kù)或大數(shù)據(jù)集群中；所述對(duì)輸入的數(shù)據(jù)進(jìn)行處理具體為：用戶根據(jù)需求配置數(shù)據(jù)處理流程，數(shù)據(jù)處理流程的每個(gè)處理節(jié)點(diǎn)是一段SQL語句或者一段業(yè)務(wù)處理的程序片段，調(diào)度程序會(huì)定時(shí)啟動(dòng)數(shù)據(jù)處理流程，并依次執(zhí)行數(shù)據(jù)處理流程的每個(gè)節(jié)點(diǎn)SQL語句或者程序片段，將執(zhí)行后得到的結(jié)果存儲(chǔ)于一緩存中。
【IPC分類】G06F17/30
【公開號(hào)】CN104933119
【申請(qǐng)?zhí)枴緾N201510306918
【發(fā)明人】陳勇, 王劍冰, 陳綱
【申請(qǐng)人】福建富士通信息軟件有限公司
【公開日】2015年9月23日
【申請(qǐng)日】2015年6月5日