一種數據處理方法及裝置的制造方法
【技術領域】
[0001]本申請涉及數據倉庫技術領域，更具體地說，涉及一種數據處理方法及裝置。
【背景技術】
[0002]數據倉庫是決策支持系統和聯機分析應用數據源的結構化數據環境。數據倉庫研究和解決從數據庫中獲取信息的問題。數據倉庫的體系結構一共分為四個層次，分別為:數據緩沖層、貼源數據集成層、中間層和數據集市。
[0003]數據按指定頻度從源系統傳輸到倉庫后，首先加載到數據緩沖層，再加工至貼源數據集成層。現有的數據倉庫實施方式中，需要為接入的每張數據表都進行數據處理程序的開發，以使得數據表加載至數據倉庫中。當需要接入的數據表數量眾多時，需要逐個為數據表發開數據處理程序，造成大量人力資源的消耗，同時該實施方式將在開發相似程序的重復勞動中耗費大量的人力成本。
【發明內容】
[0004]有鑒于此，本申請提供了一種數據處理方法及裝置，用于解決現有為每個數據表開發數據處理程序的方式所存在的耗費人力資源與成本的問題。
[0005]為了實現上述目的，現提出的方案如下:
[0006]一種數據處理方法，包括:
[0007]接收數據源傳入的數據表；
[0008]查詢預置的與所述數據表的表名對應的作業配置信息，得到目標作業配置信息，所述作業配置信息為用戶預先根據待加工的數據表填寫數據配置模板，并依據填寫后的數據配置模板生成的作業配置信息；
[0009]利用所述目標作業配置信息生成用于進行數據處理的SQL語句；
[0010]利用所述SQL語句對所述數據表進行處理，將所述數據表加載到數據倉庫中。
[0011 ] 優選地，所述目標作業配置信息包括數據表從數據倉庫的數據緩沖層集成至貼源數據集成層的貼源算法的標識，以及數據表從貼源數據集成層至中間層的預處理算法的標識，則所述利用所述目標作業配置信息生成用于進行數據處理的SQL語句，包括:
[0012]在預置的貼源算法參數表中查詢與所述目標作業配置信息中包含的貼源算法的標識相同的貼源算法；
[0013]在預置的預處理算法參數表中查詢與所述目標作業配置信息中包含的預處理算法的標識相同的預處理算法；
[0014]利用查詢到的貼源算法以及預處理算法，生成SQL語句；
[0015]所述利用所述SQL語句對所述數據表進行處理，將所述數據表加載到數據倉庫中，包括:
[0016]利用生成的SQL語句將所述數據表從所述數據緩沖層集成至所述貼源數據集成層，進一步將所述貼源數據集成層中的數據表加載至所述中間層。
[0017]優選地，所述目標作業配置信息還包括數據核檢信息，在所述利用所述SQL語句對所述數據表進行處理，將所述數據表加載到數據倉庫中之前，該方法還包括:
[0018]利用所述數據核檢信息對所述數據表進行數據核檢。
[0019]優選地，所述SQL語句攜帶有流程控制標記，所述利用所述SQL語句對所述數據表進行處理，包括:
[0020]解析所述SQL語句中的流程控制標記，得到流程控制標記的類型；
[0021]按照所述流程控制標記的類型來執行所述SQL語句，以實現對所述數據表的處理。
[0022]一種數據處理裝置，包括:
[0023]數據表接收單元，用于接收數據源傳入的數據表；
[0024]作業配置信息獲取單元，用于查詢預置的與所述數據表的表名對應的作業配置信息，得到目標作業配置信息，所述作業配置信息為用戶預先根據待加工的數據表填寫數據配置模板，并依據填寫后的數據配置模板生成的作業配置信息；
[0025]SQL語句生成單元，用于利用所述目標作業配置信息生成用于進行數據處理的SQL語句；
[0026]數據處理單元，用于利用所述SQL語句對所述數據表進行處理，將所述數據表加載到數據倉庫中。
[0027]優選地，所述目標作業配置信息包括數據表從數據倉庫的數據緩沖層集成至貼源數據集成層的貼源算法的標識，以及數據表從貼源數據集成層至中間層的預處理算法的標識，則所述SQL語句生成單元，包括:
[0028]第一 SQL語句生成子單元，用于在預置的貼源算法參數表中查詢與所述目標作業配置信息中包含的貼源算法的標識相同的貼源算法；
[0029]第二 SQL語句生成子單元，用于在預置的預處理算法參數表中查詢與所述目標作業配置信息中包含的預處理算法的標識相同的預處理算法；
[0030]第三SQL語句生成子單元，用于利用查詢到的貼源算法以及預處理算法，生成SQL語句；
[0031 ] 所述數據處理單元包括:
[0032]第一數據處理子單元，用于利用生成的SQL語句將所述數據表從所述數據緩沖層集成至所述貼源數據集成層，進一步將所述貼源數據集成層中的數據表加載至所述中間層。
[0033]優選地，所述目標作業配置信息還包括數據核檢信息，該裝置還包括:
[0034]數據核檢單元，用于利用所述數據核檢信息對所述數據表進行數據核檢。
[0035]優選地，所述SQL語句攜帶有流程控制標記，所述數據處理單元包括:
[0036]流程控制標記解析單元，用于解析所述SQL語句中的流程控制標記，得到流程控制標記的類型；
[0037]SQL語句執行單元，用于按照所述流程控制標記的類型來執行所述SQL語句，以實現對所述數據表的處理。
[0038]從上述的技術方案可以看出，本申請實施例提供的數據處理方法，預先設計了數據配置模板，用戶根據待加工的數據表填寫數據配置模板，并依據填寫后的數據配置模板生成待加工數據表的作業配置信息，進而在接收到數據源傳入的數據表時，依據數據表的表名查詢對應的作業配置信息，并根據作業配置信息生成SQL語句，利用SQL語句對數據表進行處理，將數據表加載到數據倉庫中。本申請由于設計了數據配置模板，因此針對待加工的數據表，只需按照數據配置模板中各字段的要求進行填寫即可，填寫完畢后生成數據表的作業配置信息，進而在處理數據表時可以直接按照對應的作業配置信息進行處理，無需人工針對每份數據表均編寫數據處理程序，大大節省了人力資源，降低了人力成本，并且也提升了數據處理效率。
【附圖說明】
[0039]為了更清楚地說明本申請實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本申請的實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據提供的附圖獲得其他的附圖。
[0040]圖1為本申請實施例公開的一種數據處理方法流程圖；
[0041]圖2為本申請實施例公開的另一種數據處理方法流程圖；
[0042]圖3為本申請實施例公開的又一種數據處理方法流程圖；
[0043]圖4為本申請實施例公開的又一種數據處理方法流程圖；
[0044]圖5為本申請實施例公開的一種數據處理裝置結構示意圖。
【具體實施方式】
[0045]下面將結合本申請實施例中的附圖，對本申請實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本申請一部分實施例，而不是全部的實施例。基于本申請中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬于本申請保護的范圍。
[0046]參見圖1，圖1為本申請實施例公開的一種數據處理方法流程圖。
[0047]如圖1所示，該方法包括:
[0048]步驟S100、接收數據源傳入的數據表；
[0049]步驟S110、查詢預置的與所述數據表的表名對應的作業配置信息，得到目標作業配置信息；
[0050]具體地，所述作業配置信息為用戶預先根據待加工的數據表填寫數據配置模板，并依據填寫后的數據配置模板生成的作業配置信息。
[0051]本申請預先設計了數據配置模板，在數據配置模板中規定了需要填寫的字段，例如源數據庫名稱、目標數據庫名稱、數據處理算法等。用戶可以根據待加工的數據表填寫數據配置模板，填寫完畢后利用數據配置模板生成數據表的作業配置信息。由數據配置模板至作業配置信息的過程可以是將面向于人的模板轉換為面向程序的可被讀取與執行的信息。
[0052]步驟S120、利用所述