專利名稱：計算機設備中的數據處理方法和系統的制作方法
技術領域：
本發明涉及計算機應用技術，尤其涉及一種計算機設備中的數據處理方法和系統。
背景技術：
銀行在進行業務處理的過程中，可能產生大量的數據，這些數據一般為存儲在計算機設備的數據庫中的數據，比如用戶信息、賬戶信息、賬戶交易信息等等，每條數據均具有多個數據項。例如，賬戶信息可以包括多條賬戶數據，每條賬戶數據均具有賬號、賬戶所在地、賬戶類型等數據項。用于處理銀行業務的系統對這些數據進行處理，在實際操作中，需要這樣的系統能夠處理多種業務需求，這些業務需求包括生成數據的報表、在與外圍設備(比如銀行工作人員的計算機設備、用戶自助服務設備等等)進行數據同步期間進行數據采集和數據加工等等。通常這些數據分成多類，不同類別的數據之間通過一個數據項相關聯，即相關聯的兩類數據具有某個相同的數據項。術語“數據庫”是一種形象化的描述，數據實際上是存儲在存儲介質中的。典型地，為了使用于處理銀行核心業務的系統能夠應對上述業務需求，利用結構化查詢語言(SQL, Structured Query Language)對數據庫進行查詢。然而,這種典型的數據處理方法存在一定的局限性首先，多類數據通過數據項相關聯，當對某一類數據進行查詢時，通常先將與這類數據相關聯的所有其他類數據都查找出來，然后，在所有查詢出來的各類數據的基礎上查找出需要的數據，這樣，對于本次業務處理不需要用到的其他類數據也進行了操作，因此，造成了大量的數據冗余；其次，在實際操作中經常對包含大量(特別是上億條)數據進行上述關聯，因此，造成數據處理效率非常低下，數據處理時間隨著數據量的增長呈現出幾何級的增長。在實際的銀行業務操作中，為了保證與外圍設備的數據同步等目的，必須要解決上述數據冗余和數據處理效率低下的問題。
發明內容
為了解決上述技術問題，本發明提供了一種計算機設備中的數據處理方法和系統。下面將對本發明的技術方案進行詳細描述。本發明提供了一種計算機設備中的數據處理方法，所述計算機設備包括存儲介質，在所述存儲介質中存儲了多條數據，每條數據均由多個數據項組成，其中，所述數據包括第一類和第二類數據，所述第一類數據為待處理的原始采集數據，所述第一類數據包括第一數據項，所述第二類數據為用于對所述第一類數據進行處理的數據，所述第二類數據中包括所述第一數據項，其中，所述數據處理方法包括由所述第一類數據生成多個原始文件，所述原始文件中記載有多條所述第一類數據；
由所述第二類數據生成多個中間文件，所述中間文件中記載有多條所述第二類數據；將各所述中間文件合并到各所述原始文件中，每個合并后的文件中記載有多條數據，每條數據由具有相同的所述第一數據項的所述第一類數據和所述第二類數據組合而成；以每個合并后的文件中單條數據為單位，將所述合并后的文件中的數據的一個或多個數據項作為拆分項，并且根據所述拆分項將所述合并后的文件拆分成多個子文件，每個子文件中記載至少一條所述單條數據；以及將具有相同的所述拆分項的所述子文件分別整合成結果文件。本發明同時提供了一種計算機設備中的數據處理系統，所述計算機設備包括存儲介質，在所述存儲介質中存儲了多條數據，每條數據均由多個數據項組成，其中，所述數據包括第一類和第二類數據，所述第一類數據為待處理的原始采集數據，所述第一類數據包括第一數據項，所述第二類數據為用于對所述第一類數據進行處理的數據，所述第二類數據中包括所述第一數據項，其中，所述數據處理系統包括卸載模塊、預處理模塊、拼接模塊、拆分模塊和整合模塊，其中，所述卸載模塊用于由所述第一類數據生成多個原始文件，所述原始文件中記載有多條所述第一類數據；所述預處理模塊用于由所述第二類數據生成多個中間文件，所述中間文件中記載有多條所述第二類數據；所述拼接模塊用于將各所述中間文件合并到各所述原始文件中，每個合并后的文件中記載有多條數據，每條數據由具有相同的所述第一數據項的所述第一類數據和所述第二類數據組合而成；所述拆分模塊用于以每個合并后的文件中單條數據為單位，將所述合并后的文件中的數據的一個或多個數據項作為拆分項，并且根據所述拆分項將所述合并后的文件拆分成多個子文件，每個子文件中記載至少一條所述單條數據；以及所述整合模塊用于將具有相同的所述拆分項的所述子文件分別整合成結果文件。使用本發明的方法和系統，可以借助于文件操作對具有同數據項的數據進行關聯并且對數據進行分類。因此，解決了數據冗余和數據處理效率低下的問題。
圖1是示出了本發明數據處理方法的流程圖；圖2是示出了本發明數據處理方法的實施例的示意圖；圖3是示出了本發明數據處理方法另一實施例的示意圖；以及圖4是示出了本發明數據處理系統的結構的示意圖。
具體實施例方式下面結合附圖和具體實施例對本發明作進一步詳細描述，但不作為對本發明的限定。
計算機設備包括數據庫，可以將銀行業務的操作中用到的數據存儲在數據庫中，每條數據均由多個數據項組成，其中，所述數據包括第一類和第二類數據，第一類數據為待處理的原始采集數據，第一類數據包括第一數據項，第二類數據為用于對第一類數據進行處理的數據，第二類數據中包括第一數據項。例如，數據庫中包括賬戶數據和客戶數據兩類數據，賬戶數據中每條數據均包括賬號、賬戶所在地和賬號類型三種數據項，客戶數據中每條數據均包括客戶姓名、賬號、客戶類型三種數據項；賬戶數據和客戶數據都具有賬號數據項，也就是說這兩類數據通過賬號數據項相關聯。上述對數據分類存放是為了避免將所有數據都存儲在一起從而導致處理效率低下。圖1是示出了本發明數據處理方法的流程圖，如圖1所示，所述數據處理方法包括如下步驟步驟101，由所述第一類數據生成多個原始文件；待處理的原始采集數據為第一類數據，第一類數據包括第一數據項，第二類數據為用于對第一類數據進行處理的數據，第二類數據中包括第一數據項。將部分存儲介質劃分成占用不同物理地址的多個數據區，將第一類數據按照不同的子類別分別存儲到各個數據區中，為每個數據區中存儲的第一類數據均生成一個原始文件；以數據的一個或多個數據項或者某些時間點為基準來將數據分成子類。此外，在步驟101之前，可以清除計算機設備中存儲的歷史信息，例如，刪除上次生成的數據區、數據文件或其他相關文件；可以根據分區參數動態生成轉存語句，然后計算機設備調用轉存語句以便生成原始文件。特別地，所生成的原始文件的個數可能會達到上百個，這里，原始文件的個數可以由用于將數據分成子類的數據項或時間點來確定；步驟102，由所述第二類數據生成多個中間文件；該步驟可通過兩種方式來實現。在一種方式中，將部分存儲介質劃分成占用不同物理地址的多個數據區；將第二類數據按照不同的子類別分別存儲到各個數據區中；為每個數據區中存儲的第二類數據均生成一個中間文件；或者，在除了第一類數據和第二類數據以外的數據中還包括第三類數據，第二類數據包括第二數據項，第三類數據為用于對第二類數據進行處理的數據，第三類數據中包括第二數據項，則可采用第二種方式來由第二類數據生成中間文件將部分存儲介質劃分成占用不同物理地址的多個數據區；將第二類數據按照不同的子類別分別存儲到各個數據區中；為每個數據區均生成一個第一臨時文件；將部分存儲介質劃分成占用不同物理地址的多個數據區；將第三類數據按照不同的子類別分別存儲到各個數據區中；為每個數據區均生成一個第二臨時文件；以及對于第一臨時文件中的每條數據，均從第二臨時文件中查找出一條數據，使得這兩條數據具有相同的第二數據項，并且將查找出的這條數據中的除了第二數據項以外的全部數據項合并到第一臨時文件中對應的那條數據中以得到一個所述中間文件；步驟103，將各中間文件合并到各原始文件中；其中，將各中間文件合并到各原始文件中具體包括對于原始文件中的每條數據，均從中間文件中查找出一條數據，使得這兩條數據具有相同的第一數據項，并且將查找出的這條數據中的除了第一數據項以外的全部數據項合并到原始文件中對應的那條數據中以得到一個合并后的文件；
步驟104，以每個合并后的文件中單條數據為單位，將合并后的文件中的數據的一個或多個數據項作為拆分項，并且根據拆分項將合并后的文件拆分成多個子文件，每個子文件中記載至少一條單條數據；步驟105，將具有相同的拆分項的子文件分別整合成結果文件。圖2是示出了本發明數據處理方法的一個實施例的示意圖，如圖2所示，該數據處理方法包括如下步驟步驟201，劃分數據區并且將待處理的原始采集數據轉存在通過劃分得到的數據區中；其中，待處理的原始采集數據是從銀行網 絡中計算機節點處獲得的業務數據(t匕如儲蓄數據、轉賬數據、借記數據等等)，銀行網絡中用于處理賬戶交易的計算機設備按照業務數據的業務類型(比如儲蓄、轉賬、借記等等)將業務數據分成N (N為自然數)類，同時將部分存儲介質劃分成N個數據區，即數據區1、數據區2、……數據區N，然后，將每類業務數據轉存在一個相應的數據區中；步驟202，為每個數據區均生成一個原始文件，這些原始文件為原始文件1、原始文件2、……原始文件N，可以利用計算機設備的數據流功能實現本步驟的操作；步驟203，由賬戶數據生成中間文件；其中，賬戶數據包括賬號、賬戶所屬省份和賬戶類型三個數據項，此處限定賬戶類型有三種，例如，賬戶類型包括個人賬戶、企業單位賬戶、金融單位賬戶，按照步驟102中描述的方法由賬戶數據生成賬戶數據文件1、賬戶數據文件2和賬戶數據文件3，在這些賬戶數據文件中保存了數據的賬號、賬戶所屬省份和賬戶類型，這三個賬戶數據文件為中間文件；步驟204，將各中間文件合并到各原始文件中；其中，業務數據和賬戶數據均具有賬號數據項，首先，從原始文件I中取出一條數據；然后，從上述三個賬戶數據文件中依次進行查找，查找出賬號數據項與從原始文件I中取出的那條數據的賬號數據項相同的一條數據，這里，在劃分業務數據和賬戶數據時進行了限定，使得在賬戶數據中只能查找出一條這樣的數據；最后，將查找出的數據的賬戶所屬省份和賬戶類型數據項合并到從原始文件I中取出的那條數據中作為其數據項，從而得到一條新的數據，以此類推；通過這種方式,生成N個新的數據文件，即合并文件1、合并文件2、......合并文件N ；這樣，通過文件實現了業務數據和賬戶數據的關聯；步驟205，以每個合并后的文件中單條數據為單位，將合并后的文件中的數據的一個或多個數據項作為拆分項，并且根據拆分項將合并后的文件拆分成多個子文件，每個子文件中記載至少一條單條數據；其中，根據合并文件中的賬戶所屬省份數據項，以單條數據為單位將這些合并文件拆分成多個子文件，這里，賬戶所屬省份包括省份I和省份2，這樣，將每個合并文件均拆分成兩個子文件，從而得到子文件11、子文件12、子文件21、子文件22、……子文件N1、子文件N2，總計2N個子文件；步驟206、將具有相同的拆分項的子文件分別整合成結果文件；其中，子文件包含的數據中具有省份數據項，將省份數據項相同的數據整合到一個結果文件中，即子文件11、......子文件NI整合成結果文件1，子文件12、......子文件
N2整合成結果文件2 ;這里，每個結果文件均包含了整合前子文件中的各條數據；通過這種方式，將最終生成2個結果文件；這樣，以文件的方式實現了數據的分類。圖3是示出了本發明數據處理方法另一實施例的示意圖，如圖3所示，該數據處理方法包括如下步驟步驟301，劃分 數據區并且將待處理的原始采集數據轉存在通過劃分得到的數據區中；其中，業務數據為待處理的原始采集數據，業務數據包括業務發起地數據項，按照業務發起地對業務數據進行劃分，例如，按照境內交易和境外交易兩種類型進行劃分，將業務數據分成兩類，同時將部分存儲介質分成數據區I和數據區2，然后，將業務數據按照不同的類別通過計算機設備的輸出流分別存儲到各個數據區中；步驟302，為每個數據區均生成一個原始文件；其中，可以以某一時間點(例如，2012年11月I日O點整)為基準，在各個數據區中，均將該時間點之前的業務數據轉存到一個原始文件中，在該時間點之后的業務數據轉存到另一個原始文件中；通過這種方式，總計生成四個原始文件，即原始文件1、……原始文件4 ;步驟303，由賬戶數據和客戶數據分別生成臨時文件，其中，由賬戶數據按照不同的賬戶類型生成多個賬戶數據文件,并且由客戶數據按照不同的客戶類型生成多個客戶數據文件；這里，賬戶數據和客戶數據均具有賬號數據項，可以將賬戶數據分成儲蓄卡賬戶數據和信用卡賬戶數據，將客戶數據分成個人客戶數據和企業客戶數據，從而按照步驟102中描述的方式生成多個數據文件，則總計生成4個數據文件，即賬戶數據文件1、賬戶數據文件2、客戶數據文件1、客戶數據文件2 ；步驟304，將客戶數據文件合并到賬戶數據文件中形成中間文件；這里，以賬戶數據文件中一條賬戶數據為例進行說明，該條賬戶數據中包括賬號數據項，從各個客戶數據文件中查找出一條匹配數據，該匹配數據的賬號數據項與這條賬戶數據的賬號數據項相同，將匹配數據中除了賬號數據項以外的數據項合并到該條賬戶數據中，賬戶數據文件中其他數據進行同樣處理，這樣，修改后的賬戶數據文件就是中間文件，即中間文件I和中間文件2 ；步驟305，將各中間文件合并到各原始文件中；這里，以原始文件中一條數據為例進行說明，該條數據包含賬號數據項，從中間文件中查找出一條匹配數據，該匹配數據的賬號與原始文件中這條數據的賬號相同，然后，將匹配數據中除了賬號數據項以外的數據項合并到原始文件中這條數據中，通過這種方式修改原始文件，修改后的原始文件就是合并后的文件；步驟306，以每個合并后的文件中單條數據為單位，將合并后的文件中的數據的一個或多個數據項作為拆分項，并且根據拆分項將合并后的文件拆分成多個子文件，每個子文件中記載至少一條單條數據；其中，既按照賬戶類型進行拆分又按照客戶類型進行拆分，也就是說，對上述每個合并后的文件中的數據均按照賬戶類型和客戶類型進行分類，每一類數據均轉存到一個子文件中，例如，合并后的文件中賬戶類型為儲蓄賬戶并且客戶類型為個人用戶的數據歸為一類，最終，子文件的個數=合并后的文件的個數X賬戶類型數X客戶類型數；步驟307，將具有相同的拆分項的子文件分別整合成結果文件；其中，將上述子文件中賬戶類型相同的那些條數據整合成一個結果文件；這樣，結果文件的個數與賬戶類型的個數相同。圖4是示出了本發明數據處理系統的結構的示意圖，所述計算機設備包括存儲介質，在所述存儲介質中存儲了多條數據，每條數據均由多個數據項組成，其中，所述數據包括第一類和第二類數據，所述第一類數據為待處理的原始采集數據，所述第一類數據包括第一數據項，所述第二類數據為用于對所述第一類數據進行處理的數據，所述第二類數據中包括所述第一數據項，如圖4所示，該數據處理系統包括卸載模塊401、預處理模塊402、拼接模塊403、拆分模塊404和整合模塊405。所述卸載模塊401用于由所述第一類數據生成多個原始文件，所述原始文件中記載有多條所述第一類數據；所述預處理模塊402用于由所述第二類數據生成多個中間文件，所述中間文件中記載有多條所述第二類數據；所述拼接模塊403用于將各所述中間文件合并到各所述原始文件中，每個合并后的文件中記載有多條數據，每條數據由具有相同的所述第一數據項的所述第一類數據和所述第二類數據組合而成；所述拆分模塊404用于以每個合并后的文件中單條數據為單位，將所述合并后的文件中的數據的一個或多個數據項作為拆分項，并且根據所述拆分項將所述合并后的文件拆分成多個子文件，每個子文件中記載至少一條所述單條數據；以及所述整合模塊405用于將具有相同的所述拆分項的所述子文件分別整合成結果文件。其中，所述卸載模塊還包括第一文件處理模塊，所述第一文件處理模塊用于將部分所述存儲介質劃分成占用不同物理地址的多個數據區；將所述第一類數據按照不同的子類別分別存儲到各個所述數據區中；為每個數據區中存儲的所述第一類數據均生成一個原始文件。其中，所述預處理模塊包括第二文件處理模塊，所述第二文件處理模塊用于將部分所述存儲介質劃分成占用不同物理地址的多個數據區；將所述第二類數據按照不同的子類別分別存儲到各個所述數據區中；為每個數據區中存儲的所述第二類數據均生成一個中間文件。其中，在除了所述第一類數據和所述第二類數據以外的數據中還包括第三類數據，所述第二類數據包括第二數據項，所述第三類數據為用于對所述第二類數據進行處理的數據，所述第三類數據中包括所述第二數據項，所述第二文件處理模塊用于將部分所述存儲介質劃分成占用不同物理地址的多個數據區；將所述第二類數據按照不同的子類別分別存儲到各個所述數據區中；為每個數據區均生成一個第一臨時文件；將部分所述存儲介質劃分成占用不同物理地址的多個數據區；將所述第三類數據按照不同的子類別分別存儲到各個所述數據區中；為每個數據區均生成一個第二臨時文件；以及對于所述第一臨時文件中的每條數據，均從所述第二臨時文件中查找出一條數據，使得這兩條數據具有相同的所述第二數據項，并且將查找出的這條數據中的除了所述第二數據項以外的全部數據項合并到所述第一臨時文件中對應的那條數據中以得到一個所述中間文件。其中，所述拼接模塊包括第三文件處理模塊，所述第三文件處理模塊用于對所述原始文件進行修改，對于所述原始文件中的每條數據，均從所述中間文件中查找出一條數據，使得這兩條數據具有相同的所述第一數據項，并且將查找出的這條數據中的除了所述第一數據項以外的全部數據合并到所述原始文件中對應的那條數據中以得到一個合并后的文件。在本發明中，可以由第一類數據生成多個原始文件，由第二類數據生成多個中間文件，將各所述中間文件合并到各原始文件中，然后，以每個合并后的文件中單條數據為單位，將合并后的文件中的數據的一個或多個數據項作為拆分項，并且根據拆分項將合并后的文件拆分成多個子文件，以及將具有相同的拆分項的子文件分別整合成結果文件。通過本發明的數據處理方法和系統，將數據轉存到文件中并且將數據的關聯和分類操作通過對文件的操作來實現，從而可以解決數據冗余和數據處理效率低下的問題。以上實施例僅為本發明的示例性實施例，不用于限制本發明，本發明的保護范圍由權利要求書限定。本領域技術人員可以在本發明的實質和保護范圍內，對本發明做出各種修改或等同替換，這種修改或等同替換也應視為落在本發明的保護范圍內。
權利要求
1.一種計算機設備中的數據處理方法，所述計算機設備包括存儲介質，在所述存儲介質中存儲了多條數據，每條數據均由多個數據項組成，其中，所述數據包括第一類和第二類數據，所述第一類數據為待處理的原始采集數據，所述第一類數據包括第一數據項，所述第二類數據為用于對所述第一類數據進行處理的數據，所述第二類數據中包括所述第一數據項，其特征在于，所述數據處理方法包括 由所述第一類數據生成多個原始文件，所述原始文件中記載有多條所述第一類數據； 由所述第二類數據生成多個中間文件，所述中間文件中記載有多條所述第二類數據； 將各所述中間文件合并到各所述原始文件中，每個合并后的文件中記載有多條數據，每條數據由具有相同的所述第一數據項的所述第一類數據和所述第二類數據組合而成； 以每個合并后的文件中單條數據為單位，將所述合并后的文件中的數據的一個或多個數據項作為拆分項，并且根據所述拆分項將所述合并后的文件拆分成多個子文件，每個子文件中記載至少一條所述單條數據；以及 將具有相同的所述拆分項的所述子文件分別整合成結果文件。
2.根據權利要求1所述的計算機設備中的數據處理方法，其特征在于，由所述第一類數據生成多個原始文件具體包括 將部分所述存儲介質劃分成占用不同物理地址的多個數據區；將所述第一類數據按照不同的子類別分別存儲到各個所述數據區中；為每個數據區中存儲的所述第一類數據均生成一個原始文件。
3.根據權利要求1所述的計算機設備中的數據處理方法，其特征在于，由所述第二類數據生成多個中間文件包括 將部分所述存儲介質劃分成占用不同物理地址的多個數據區；將所述第二類數據按照不同的子類別分別存儲到各個所述數據區中；為每個數據區中存儲的所述第二類數據均生成一個中間文件。
4.根據權利要求1所述的計算機設備中的數據處理方法，其特征在于，在除了所述第一類數據和所述第二類數據以外的數據中還包括第三類數據，所述第二類數據包括第二數據項，所述第三類數據為用于對所述第二類數據進行處理的數據，所述第三類數據中包括所述第二數據項，由所述第二類數據生成多個中間文件包括 將部分所述存儲介質劃分成占用不同物理地址的多個數據區；將所述第二類數據按照不同的子類別分別存儲到各個所述數據區中；為每個數據區均生成一個第一臨時文件； 將部分所述存儲介質劃分成占用不同物理地址的多個數據區；將所述第三類數據按照不同的子類別分別存儲到各個所述數據區中；為每個數據區均生成一個第二臨時文件；以及 對于所述第一臨時文件中的每條數據，均從所述第二臨時文件中查找出一條數據，使得這兩條數據具有相同的所述第二數據項，并且將查找出的這條數據中的除了所述第二數據項以外的全部數據項合并到所述第一臨時文件中對應的那條數據中以得到一個所述中間文件。
5.根據權利要求1所述的數據處理方法，其特征在于，將所述中間文件合并到所述原始文件中包括對于所述原始文件中的每條數據，均從所述中間文件中查找出一條數據，使得這兩條數據具有相同的所述第一數據項，并且將查找出的這條數據中的除了所述第一數據項以外的全部數據項合并到所述原始文件中對應的那條數據中以得到一個合并后的文件。
6.一種計算機設備中的數據處理系統，所述計算機設備包括存儲介質，在所述存儲介質中存儲了多條數據，每條數據均由多個數據項組成，其中，所述數據包括第一類和第二類數據，所述第一類數據為待處理的原始采集數據，所述第一類數據包括第一數據項，所述第二類數據為用于對所述第一類數據進行處理的數據，所述第二類數據中包括所述第一數據項，其特征在于，所述數據處理系統包括卸載模塊、預處理模塊、拼接模塊、拆分模塊和整合模塊，其中， 所述卸載模塊用于根據所述第一類數據生成多個原始文件，所述原始文件中記載有多條所述第一類數據； 所述預處理模塊用于根據所述第二類數據生成多個中間文件，所述中間文件中記載有多條所述第二類數據； 所述拼接模塊用于將各所述中間文件合并到各所述原始文件中，每個合并后的文件中記載有多條數據，每條數據由具有相同的所述第一數據項的所述第一類數據和所述第二類數據組合而成； 所述拆分模塊用于以每個合并后的文件中單條數據為單位，將所述合并后的文件中的數據的一個或多個數據項作為拆分項，并且根據所述拆分項將所述合并后的文件拆分成多個子文件，每個子文件中記載至少一條所述單條數據；以及 所述整合模塊用于將具有相同的所述拆分項的所述子文件分別整合成結果文件。
7.根據權利要求6所述的計算機設備中的數據處理系統，其特征在于，所述卸載模塊還包括第一文件處理模塊， 所述第一文件處理模塊用于將部分所述存儲介質劃分成占用不同物理地址的多個數據區；將所述第一類數據按照不同的子類別分別存儲到各個所述數據區中；為每個數據區中存儲的所述第一類數據均生成一個原始文件。
8.根據權利要求6所述的計算機設備中的數據處理系統，其特征在于，所述預處理模塊包括第二文件處理模塊， 所述第二文件處理模塊用于將部分所述存儲介質劃分成占用不同物理地址的多個數據區；將所述第二類數據按照不同的子類別分別存儲到各個所述數據區中；為每個數據區中存儲的所述第二類數據均生成一個中間文件。
9.根據權利要求6所述的計算機設備中的數據處理系統，其特征在于，在除了所述第一類數據和所述第二類數據以外的數據中還包括第三類數據，所述第二類數據包括第二數據項，所述第三類數據為用于對所述第二類數據進行處理的數據，所述第三類數據中包括所述第二數據項，所述預處理模塊包括第二文件處理模塊，所述第二文件處理模塊用于 將部分所述存儲介質劃分成占用不同物理地址的多個數據區；將所述第二類數據按照不同的子類別分別存儲到各個所述數據區中；為每個數據區均生成一個第一臨時文件； 將部分所述存儲介質劃分成占用不同物理地址的多個數據區；將所述第三類數據按照不同的子類別分別存儲到各個所述數據區中；為每個數據區均生成一個第二臨時文件；以及 對于所述第一臨時文件中的每條數據，均從所述第二臨時文件中查找出一條數據，使得這兩條數據具有相同的所述第二數據項，并且將查找出的這條數據中的除了所述第二數據項以外的全部數據項合并到所述第一臨時文件中對應的那條數據中以得到一個所述中間文件。
10.根據權利要求6所述的計算機設備中的數據處理系統，其特征在于，所述拼接模塊包括第三文件處理模塊，所述第三文件處理模塊用于 對所述原始文件進行修改，對于所述原始文件中的每條數據，均從所述中間文件中查找出一條數據，使得這兩條數據具有相同的所述第一數據項，并且將查找出的這條數據中的除了所述第一數據項以外的全部數據合并到所述原始文件中對應的那條數據中以得到一個合并后的文件。
全文摘要
本發明提供了一種計算機設備中的數據處理方法和系統，計算機設備中存儲了多條數據，該數據包括第一類和第二類數據，第一類數據為待處理的原始采集數據，所述第一類數據包括第一數據項，所述第二類數據為用于對所述第一類數據進行處理的數據，所述第二類數據中包括所述第一數據項，該數據處理方法包括由第一類數據生成多個原始文件，由第二類數據生成多個中間文件，將中間文件合并到原始文件中，以每個合并后的文件中單條數據為單位，將合并后的文件拆分成多個子文件，以及將子文件整合成結果文件。通過本發明，可以借助于文件操作對具有相同數據項的數據進行關聯并且對數據進行分類，解決了數據冗余和數據處理效率低下的問題。
文檔編號G06F17/30GK103020227SQ20121054021
公開日2013年4月3日 申請日期2012年12月13日 優先權日2012年12月13日
發明者彭豐華, 韓玉忠, 夏理, 劉永鋼, 周凌, 盧超, 尹杰, 劉靜華, 楊濤, 劉芳, 蔡震, 黃鴻濱 申請人:中國銀行股份有限公司