專利名稱：一種海量數據的整合方法
技術領域：
本發明屬于信息技術領域，尤其涉及一種海量數據的整合方法。
背景技術：
隨著社會信息化的日益發展，數據庫技術已得到了廣泛的應用。在企業的日常業務處理中，數據的分析相當重要。可以得出系統運行狀況，并為下一步的決策打好基礎。目前，在容量龐大的數據庫系統中，由于后臺數據表的設計缺乏合理性，統計數據的提取往往比較慢，嚴重影響了操作人員的工作效率，同樣也造成了服務器資源的浪費。
發明內容
本發明提供一種海量數據的整合方法以解決上述問題。本發明提供一種海量數據的整合方法，包括以下步驟。將用戶行為記錄到日志表中。獲取日志表中滿足第一預設條件的數據，并導出到第一匯總表中。設置第二預設條件，并獲取所述日志表中滿足第二預設條件的數據，導出到第二匯總表中。將所述第一匯總表及第二匯總表合并到merge表中。相較于先前技術，根據本發明提供的海量數據的整合方法，將用戶行為記錄到日志表中。獲取日志表中滿足第一預設條件的數據，并導出到第一匯總表中。設置第二預設條件，并獲取所述日志表中滿足第二預設條件的數據，導出到第二匯總表中。將所述第一匯總表及第二匯總表合并到merge表中。如此，有效提高了統計數據的提取速度。
此處所說明的附圖用來提供對本發明的進一步理解，構成本申請的一部分，本發明的示意性實施例及其說明用于解釋本發明，并不構成對本發明的不當限定。在附圖中:圖1所示為根據本發明的較佳實施例提供的海量數據的整合方法的流程圖。
具體實施例方式下文中將參考附圖并結合實施例來詳細說明本發明。需要說明的是，在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互組合。圖1所示為根據本發明的較佳實施例提供的海量數據的整合方法的流程圖。如圖1所示，本發明的較佳實施例提供的海量數據的整合方法包括步驟IOf 104。步驟101:將用戶行為記錄到日志表中。具體而言，所述用戶行為，包括對數據庫的查詢、修改、添加及刪除操作。步驟102:獲取日志表中滿足第一預設條件的數據，并導出到第一匯總表中。具體而言，所述第一匯總表，可存儲一天或指定天數的滿足所述第一預設條件的數據。步驟103:設置第二預設條件，并獲取所述日志表中滿足第二預設條件的數據，導出到第二匯總表中。具體而言，當所述第一匯總表中數據量達到預警值時，設置所述第二預設條件。所述第二預設條件，可以與所述第一預設條件在相同方面作限制，也可以于其它方面作不同限制，對此本發明并不作限定。于本實施例中，所述第一匯總表及第二匯總表存儲預設天數的所述導出數據。步驟104:將所述第一匯總表及第二匯總表合并到merge表中。具體而言，根據系統管理員的查詢命令，若需查詢某天的用戶行為統計信息，則系統在所述第一匯總表或第二匯總表中查詢。若需查詢指定時間段的用戶行為統計信息，則系統在所述merge表中查詢。于本實施例中，周期性對所述第一匯總表、第二匯總表及merge表進行備份及刪除。于其它實施例中，可自行設置所述第一匯總表、第二匯總表及merge表的備份方式,對此本發明并不作限定。舉例而言，若2012年5月4日的日志表表名為:user_action_log_20120504，所述日志表中存在age及grade字段。第一預設條件為age>10，且第一匯總表的數據量預警值為I萬條。系統獲取所述日志表中age>10的數據，導出到第一匯總表中。當所述第一匯總表中數據量達到I萬條時，設置第二預設條件為grade>3，并將所述grade>3的數據導出到第二匯總表中。于本實施例中，系統每天將所述第一及第二匯總表中前一天的數據匯總到merge表中，并將所述第一及第二匯總表中前一天的導出數據刪除，以便于所述第一及第二匯總表繼續存儲接下來的導出數據。若系統接收到的查詢指令中包含的日期為所述第一及第二匯總表當前數據的對應日期，則到所述第一及第二匯總表中查詢。若所述查詢指令中包含的日期為指定指定時間段，則系統到merge表中查詢。綜上所述，根據本發明較佳實施例提供的海量數據的整合方法，將用戶行為記錄到日志表中。獲取日志表中滿足第一預設條件的數據，并導出到第一匯總表中。設置第二預設條件，并獲取所述日志表中滿足第二預設條件的數據，導出到第二匯總表中。將所述第一匯總表及第二匯總表合并到merge表中。如此，有效提高了統計數據的提取速度。以上所述僅為本發明的優選實施例而已，并不用于限制本發明，對于本領域的技術人員來說，本發明可以有各種更改和變化。凡在本發明的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發明的保護范圍之內。
權利要求
1.一種海量數據的整合方法，其特征在于，包括以下步驟: 將用戶行為記錄到日志表中； 獲取日志表中滿足第一預設條件的數據，并導出到第一匯總表中； 設置第二預設條件，并獲取所述日志表中滿足第二預設條件的數據，導出到第二匯總表中； 將所述第一匯總表及第二匯總表合并到merge表中。
2.根據權利要求1所述的方法，其特征在于，當所述第一匯總表中數據量達到預警值時，設置所述第二預設條件。
3.根據權利要求1所述的方法，其特征在于，所述第一匯總表及第二匯總表存儲預設天數的所述導出數據。
4.根據權利要求1所述的方法，其特征在于，若需查詢某天的用戶行為統計信息，則到所述第一匯總表或第二匯總表中查詢。
5.根據權利要求1所述的方法，其特征在于，若需查詢指定時間段的用戶行為統計信息，則到所述merge表中查詢。
6.根據權利要求1所述的方法，其特征在于，周期性對所述第一匯總表、第二匯總表及merge表進行備份及刪除。
全文摘要
本發明提供一種海量數據的整合方法，包括以下步驟。將用戶行為記錄到日志表中。獲取日志表中滿足第一預設條件的數據，并導出到第一匯總表中。設置第二預設條件，并獲取所述日志表中滿足第二預設條件的數據，導出到第二匯總表中。將所述第一匯總表及第二匯總表合并到merge表中。
文檔編號G06F17/30GK103218426SQ201310116968
公開日2013年7月24日 申請日期2013年4月5日 優先權日2013年4月5日
發明者不公告發明人 申請人:蘇州聯訊達軟件有限公司