本申請涉及信息數據處理技術領域,更具體地說,涉及一種數據處理方法及裝置。
背景技術:
目前,銀行系統在日間正常營業后,需要一段時間進行日終的批量處理,完成當前日的對賬、資金清算等工作。同時為了更好的為客戶提供服務,需要銀行系統在進行日終批量處理期間,仍然可以為用戶提供聯機交易服務。
現有技術進行日終批量處理的方式為:銀行系統更新當前工作日期,批量處理處理模塊根據批量處理日志進行批量的相關處理,該處理批量處理過程中,批量處理模塊不對需要訪問聯機業務也會訪問的數據表(如卡片表、賬戶表和客戶表)的業務進行處理如賬戶積數或息余計算等,以此實現批量處理和聯機處理的同時進行。
而由于批量處理模塊進行批量處理時不處理訪問公共數據沖突的業務,所以將這部分業務內容抽取出來,由一初筆處理模塊進行處理,其具體執行的是針對某個賬戶在某一日第一筆交易,通過訪問數據表中該賬戶分戶賬戶中的相關日期和當前工作日期比較,進行必要的24小時業務處理。
上述批量處理的方式中批量處理模塊由于不訪問沖突的公共數據沒有處理某些批量業務,造成在批量處理期間進行某些連接交易時,需要調用初筆處理模塊處理這些業務以更新賬戶中的相關信息,然后才對賬戶進行正常的聯機業務處理,相當于在聯機處理中處理了批量業務,導致增加了聯機交易處理的負荷以及聯機交易的響應時間。
技術實現要素:
有鑒于此,本申請提供一種數據處理方法及裝置以解決聯機交易負荷較大響應時間較長的問題。
為了實現上述目的,現提出的方案如下:
本發明提供一種數據處理方法,所述方法包括:
在接收到批量處理觸發請求的情況下,讀取控制表中的日志類別標識;
在第一日志表中寫入日期切換記錄,所述第一日志表的日志類別標識與所述控制表中的日志類別標識相同;
讀取所述第一日志表中日期切換記錄之前的當日的記錄和批量處理所需文件;
根據所述日期切換記錄之前的當日的記錄和所述批量處理所需文件,對所述前一日生成的日初檔數據進行批量處理得到當日生成的日初檔數據,所述前一日生成的日初檔數據包括前一日的批量處理生成的數據表集合;
當接收到聯機交易請求時,讀取控制表中的日志類別標識;
根據所述聯機交易請求和第一數據表集合進行聯機業務處理,所述第一數據表集合的日志類別標識與所述控制表中的日志類別標識相同,并在第一日志表中寫入交易記錄。
本發明還提供一種數據處理裝置,該裝置包括:
第一讀取單元,用于在接收到批量處理觸發請求的情況下,讀取控制表中的日志類別標識;
第一寫入單元,用于在第一日志表中寫入日期切換記錄,所述第一日志表的日志類別標識與所述控制表中的日志類別標識相同;
第二讀取單元,用于讀取第一日志表中日期切換記錄之前的當前的記錄和批量處理所需文件;
批量處理單元,用于根據所述日期切換記錄之前的當日的記錄和所訴批量處理所需文件,對所述前一日生成的日初檔數據進行批量處理得到當日生成的日初檔數據,所述前一日生成的日初檔數據包括前一日的批量處理生成的數據表集合;
第三讀取單元,用于當接收到聯機交易請求時,讀取控制表中的日志類別標識;
聯機交易處理單元,用于根據所述聯機交易請求和第一數據表集合進行聯機業務處理,所述第一數據表集合的日志類別標識與所述控制表中的日志類別標識相同,并在第一日志表中寫入交易記錄。
從上述的技術方案可以看出,本申請的技術方案中,在接收到批量處理觸發請求的情況下,讀取控制表中的日志類別標識,在第一日志表中寫入日切換記錄,其中該第一日志表的日志類別標識與控制表中的日志類別標識不同;讀取第一日志表中日切換記錄之前的當日的記錄,批量處理所需文件以及前一日生成的日初檔數據,其中該日初檔數據中包括前一日的批量處理生成的數據表集合;然后根據讀取的記錄和文件對日初檔數據進行批量處理得到當日生成的日初檔數據;在接收到聯機交易請求時,根據聯機交易請求和第二數據表集合進行聯機業務處理,該第二數據表集合的日志類別標識與控制表的日志類別標識相同。可見,上述技術方案中第二數據表集合供聯機交易處理使用,存儲的前一日的批量處理生成的數據表集合的日初檔數據供批量處理使用;在進行批量處理時,根據當前日的日志記錄和批量所需文件對該日初檔數據進行批量處理即可得到當日生成的日初檔數據,而批量處理期間進行的聯機交易處理則是基于第二數據表進行。相較于現有技術,批量處理和聯機處理都有與其對應的被訪問數據集合,不存在數據訪問沖突,批量處理無需再抽取出部分業務,而是通過存儲的日初檔數據處理所有的批量業務,同時聯機交易根據第二數據表集合進行處理,不再處理某些批量業務,進而減輕了聯機交易處理的負荷以及聯機交易的響應時間。
附圖說明
為了更清楚地說明本申請實施例或現有技術中的技術方案,下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是本申請的一些實施例,對于本領域普通技術人員來講,在不付出創造性勞動的前提下,還可以根據這些附圖獲得其他的附圖。
圖1為本申請實施例公開的一種數據處理方法基本流程圖;
圖2為本申請另一實施例公開的一種數據處理方法基本流程圖;
圖3為本申請一實施例公開的數據處理方法基本流程圖;
圖4為本申請一實施例公開的數據處理方法基本流程圖;
圖5為本申請實施例公開的一種數據處理裝置基本框圖;
圖6為本申請另實施例公開的一種數據處理裝置基本框圖;
圖7為本申請另實施例公開的一種數據處理裝置基本框圖;
圖8為本申請另實施例公開的一種數據處理裝置基本框圖;
圖9為本申請另實施例公開的一種數據處理裝置基本框圖;
圖10為本申請另實施例公開的一種數據處理裝置基本框圖;
具體實施方式
下面將結合本申請實施例中的附圖,對本申請實施例中的技術方案進行清楚、完整地描述,顯然,所描述的實施例僅僅是本申請一部分實施例,而不是全部的實施例。基于本申請中的實施例,本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例,都屬于本申請保護的范圍。
現行的銀行系統數據處理機制包括有單信息處理機制和雙信息處理機制,本申請的技術方案基于雙信息處理機制實現。其中,雙信息處理機制是指聯機交易被實時處理后,還需在批量處理中再進行一次記賬,以信用卡為例,當用戶日間在POS機上刷卡完成一筆消費后,銀行系統會對此交易實時響應,更新用戶信息如扣減客戶額度等,但不記賬,而是在日終批量處理時將該交易入賬,對該用戶進行記賬、利息計算等批量處理。上述的聯機處理和批量處理都需要訪問更新系統各種數據表中的數據如客戶表、賬戶表、卡片表等。
一實施例
本實施例提供一種數據處理方法,如圖1所示,該方法包括
S100、在接收到批量處理觸發請求的情況下,讀取控制表中的日志類別標識;
銀行系統每日在固定時間開始進行日終批量處理,在到達該時間時,批量處理觸發請求會自動觸發,銀行系統接收到該觸發請求后開始進行當日的日終批量處理。其中,系統的控制表中寫有日志類別標識,日志類別標識有兩種類型,以對訪問的不同的數據表和日志表進行區分。
S110、在第一日志表中寫入日期切換記錄,所述第一日志表的日志與所述控制表中的日志類別標識相同;
具體的,日期切換記錄帶有時間戳,在該日期切換記錄之前的截止到T-1日寫入的日期切換記錄的記錄屬于當日即T日的記錄,也即在T-1日寫入的日期切換記錄和T日寫入的日期切換記錄之間的記錄為當日的記錄,而在該日期切換記錄之后寫入的記錄屬于第二日即T+1日的記錄。
S120、讀取第一日志表中日期切換記錄之前的當日的記錄,批量處理所需文件;
該步驟主要為日終批量處理做數據準備,其中讀取出的記錄為第一日志表中當日的記錄,批量處理所需文件主要是批量核心處理所需的各種文件如各種渠道的清算文件、匯率參考文件、年度換卡策略文件等。
S130、根據所述日期切換記錄之前的當日的記錄以及批量處理所需文件,對所有前一日生成的日初檔數據進行批量處理得到當日生成的日初檔數據,所述前一日生成的日初檔數據包括前一日的批量處理生成的數據表集合;
具體的,前一日生成的日初檔數據中包括的前一日的批量處理生成的數據表集合包括有卡片表、賬戶表和客戶表,這些數據表中的數據為前一日經過批量處理后得到的數據;前一日生成的日初檔數據還包括:客戶額度表、客戶余額表、系統業務日期信息等,這些數據用于T+1日的日終批量處理。同時也包含T日的其他信息如授權日志、費用利率、產品參數等,這些數據會保存到系統的備份庫(每日都會備份),用于查詢、排錯和用戶數據校對。
具體的,根據讀取的各種數據,訪問日初檔數據進行當日的日終批量處理,例如授權和清算批量處理、進入交易入賬處理等,進而得到的當日生成的日初檔數據中包括了經過當日的日終批量處理的數據表集合,即對前一日的批量處理生成的數據表集合中的數據進行批量處理更新,將當日生成的日初檔數據存儲,以便T+1日的日終批量處理時使用。
后續還會進行數據備份、報表生成等非核心批量處理工作,該批量處理工作對數據表結構無任何訪問動作,不會對聯機交易造成任何影響。
S140、當接收到聯機交易請求時,讀取控制表中的日志類別標識;
聯機處理和批量處理是兩個并行的處理過程,步驟S140可以發生在步驟S100-S130之間的任一時間。在進行聯機交易處理時也需讀取控制表中的日志類別標識,以確定聯機交易處理使用的數據表集合。
S150、根據所述聯機交易請求和第一數據表集合進行聯機業務處理,該第一數據表集合的日志類別標識與控制表中的日志表類別標識相同;
具體的,根據連接交易請求,訪問日志類別標識與控制表中的日志表類別標識相同的數據表集合,并更新數據表集合中的相關數據,該數據表集合包括了卡片表、用戶表和賬戶表。
本申請的技術方案中,在接收到批量處理觸發請求的情況下,讀取控制表中的日志類別標識,在第一日志表中寫入日切換記錄,其中該第一日志表的日志類別標識與控制表中的日志類別標識不同;讀取第一日志表中日切換記錄之前的當日的記錄,批量處理所需文件以及前一日生成的日初檔數據,其中該日初檔數據中包括前一日的批量處理生成的數據表集合;然后根據讀取的記錄和文件對日初檔數據進行批量處理得到當日生成的日初檔數據;在接收到聯機交易請求時,根據聯機交易請求和第二數據表集合進行聯機業務處理,該第二數據表集合的日志類別標識與控制表的日志類別標識相同。可見,批量處理和聯機處理都有與其對應的被訪問數據,兩個處理過程不再存在數據訪問沖突,批量處理無需再抽取出部分業務,而是通過存儲的日初檔數據處理所有的批量業務,同時的,聯機交易根據第二數據表集合進行處理,不再處理某些批量業務,進而減輕了聯機交易處理的負荷以及聯機交易的響應時間。
另一實施例
本實施例提供一種數據處理方法,如圖2,所述方法包括:
S200、在接收到批量處理觸發請求的情況下,讀取控制表中的日志類別標識;
S210、在第一日志表中寫入日期切換記錄,所述第一日志表的日志與所述控制表中的日志類別標識相同;
S220、讀取第一日志表中日期切換記錄之前的當日的記錄,批量處理所需文件;
S230、根據所述日期切換記錄之前的當日的記錄以及批量處理所需文件,對所有前一日生成的日初檔數據進行批量處理得到當日生成的日初檔數據,所述前一日生成的日初檔數據包括前一日的批量處理生成的數據表集合;
S240、將所述當日生成的日初檔數據中的數據表集合中的數據覆蓋第二數據表集合中的數據,所述第二數據表集合的日志類別標識與所述控制表中的日志類別標識不同;
由于當日生成的日初檔數據中包括有經當日日終批量處理的數據表集合,所以將數據表集合中的數據提取出來覆蓋到第二數據表集合中,以實現對第二數據表集合中的數據進行更新,該第二數據表集合和聯機交易時訪問的數據表集合具有不同的日志類別標識,其中的數據也存在不同。
S250、當接收到聯機交易請求時,讀取控制表中的日志類別標識;
S260、根據所述聯機交易請求和第一數據表集合進行聯機業務處理,該第一數據表集合的日志類別標識與控制表中的日志表類別標識相同;
其中,步驟S200-S230與步驟S100-S130,步驟S250-S260與步驟S140-S150相同,在此不再贅述。
上述實施例中,設置日志類別標識與控制表中的日志類別標識不同的第二數據表集合存儲經當日日終批量處理的數據表集合中的數據。
另一實施例
本實施例提供一種數據處理方法,如圖3,所述方法包括:
S300、在接收到批量處理觸發請求的情況下,讀取控制表中的日志類別標識;
S310、在第一日志表中寫入日期切換記錄,所述第一日志表的日志與所述控制表中的日志類別標識相同;
S320、讀取第一日志表中日期切換記錄之前的當日的記錄,批量處理所需文件;
S330、根據所述日期切換記錄之前的當日的記錄以及批量處理所需文件,對所有前一日生成的日初檔數據進行批量處理得到當日生成的日初檔數據,所述前一日生成的日初檔數據包括前一日的批量處理生成的數據表集合;
S340、將所述當日生成的日初檔數據中的數據表集合中的數據覆蓋第二數據表集合中的數據,所述第二數據表集合的日志類別標識與所述控制表中的日志類別標識不同;
S350、依次讀取所述第一日志表中日期切換記錄后的記錄,根據所述日期切換記錄后的記錄對所述第二數據表集合進行追賬更新;
其中,在批量處理期間,聯機交易是正常進行的,而第二數據表集合中的數據只是經過了當日的日終批量處理的數據,還沒有將批量處理期間進行的聯機交易同步更新進來,所以需對批量處理期間進行的聯機交易進行追賬更新。
具體的,讀取第一日志表中日期切換記錄后的記錄,并根據這些記錄對第二數據表中的數據進行追賬更新,涉及的交易類型包括金融類交易和非金融交易,金融類交易更新操作包括金額扣減、實時額度更新、客戶還款等,非金融類交易更新操作包括客戶封鎖碼更新、客戶狀態維護等,直到記錄讀取完畢,即此時未有新的聯機記錄寫入,屬于T+1日的記錄均處理完畢則追賬完畢。
S360、將所述控制表中的日志類別標識切換為第二數據表的日志類別標識;
其中,由于控制表中的日志類別標識進行了切換,所以后續的聯機交易處理則會訪問具有經批量處理和當前記賬的數據。
S370、當接收到聯機交易請求時,讀取控制表中的日志類別標識;
S380、根據所述聯機交易請求和第一數據表集合進行聯機業務處理,所述第一數據表集合的日志類別標識與所述控制表中的日志類別標識相同,并在第一日志表中寫入交易記錄;
其中,第一數據表集合和第二數據表集合的名稱只是為了指代兩個數據表集合,這兩個數據表集合的實質不同是以日志類別標識區分的。可以理解,日志類表標識與控制表中的日志類別標識相同的數據表集合,稱為第一數據表集合,日志類別標識與控制表中的日志類別標識不同的數據表集合,稱為第二數據表集合,聯機交易處理訪問的是日志類別標識與控制表中的日志類別標識相同的數據表集合。所以,當控制表中的日志類別標識切換后,聯機交易則訪問經過覆蓋更新和追賬更新后的數據表集合,實現了批量處理和聯機處理的同步進行。
上述步驟S300-S340與步驟S200-S240相同,S370-S380與S140-S150相同,在此不再贅述。
上述實施例中,對進行了覆蓋更新的第二數據表集合進行追賬更新,令第二數據表中的數據同步到最新的聯機交易記錄,進而在不進行批量處理時,聯機交易處理能夠訪問更新具有最新數據的數據表集合。
另一實施例
本實施例中提供一種數據處理方法,如圖4所示,該方法包括:
S400、在接收到批量處理觸發請求的情況下,讀取控制表中的日志類別標識;
S410、清空第二日志表,所述第二日志表的類別標識與所述控制表中的日志類別標識不同;在第一日志表中寫入日期切換記錄,所述第一日志表的日志與所述控制表中的日志類別標識相同;將控制表中的系統模式標識由正常模式標識切換為非正常模式標識;
其中,清空第二日志表、寫入日期切換記錄,切換系統模式標識可以是同時執行,或是不限順序的分別執行。
其中,第二日志表和第一日志表具有不同的日志類別標識,且還在控制表中寫入系統當前處于的系統模式,其中正常模式表示系統當前只進行聯機交易處理,沒有進行批量處理,非正常模式則表示系統同時進行批量處理和聯機交易處理。
S420、讀取第一日志表中日期切換記錄之前的當日的記錄,批量處理所需文件;
S430、根據所述日期切換記錄之前的當日的記錄以及批量處理所需文件,對所有前一日生成的日初檔數據進行批量處理得到當日生成的日初檔數據,所述前一日生成的日初檔數據包括前一日的批量處理生成的數據表集合;
S440、將所述當日生成的日初檔數據中的數據表集合中的數據覆蓋第二數據表集合中的數據,所述第二數據表集合的日志類別標識與所述控制表中的日志類別標識不同;
S450、依次讀取所述第一日志表中日期切換記錄后的記錄,根據所述日期切換記錄后的記錄對所述第二數據表集合進行追賬更新;
S460、將所述控制表中的日志類別標識切換為第二數據表的日志類別標識,將系統控制表中的系統模式標識由非正常模式標識切換為正常模式標識;
其中,將系統模式標識切換為正常模式標識表明批量處理已完成,當前系統只執行聯機交易處理。
S470、當接收到聯機交易請求時,讀取控制表中的日志類別標識以及系統模式標識;
S480、判斷所述系統模式標識是否為正常模式標識;是則執行S490,否則執行S491;
S490、根據所述聯機交易請求和所述第一數據表集合進行聯機業務處理,在第一日志表中寫入交易記錄,所述第一數據表集合的日志類別標識與所述控制表中的日志類別標識相同;
S491、根據所述聯機交易請求和所述第一數據表集合進行聯機業務處理,并在所述第一日志表和第二日志表寫入交易記錄。
上述實施例中,采用了雙日志的處理方式,通過系統控制表中寫入的系統模式標識來確定系統當前是否正在進行批量處理,若進行批量處理,則將聯機處理交易同時寫入到兩個日志表中,則類別標識與所述控制表中的日志類別標識不同的第二日志表中只寫入了T+1日的記錄,在進行追賬更新時可以直接讀取第二日志表中的記錄,相較于讀取第一日志表中當日的記錄,該讀取更為簡單,而在控制表中的日志類別標識切換后,聯機交易繼續向第二日志表中寫入日志,保證了當日記錄的完整性。
優選地,日志表包括多個分區,即日志表采用了分區設置,具體的分區方法為:根據客戶編號的首數字0-9進行分區,共分為10個分區,每個分區的數據量較為平均。
在日志表包括多個分區的基礎上,在第一日志表中寫入日期切換記錄為:在第一日志表的每個分區內寫入日期切換記錄;
則在將所述當日生成的日初檔數據中的數據表集合中的數據覆蓋第二數據表集合中的數據后,依次讀取第一日志表中日期切換記錄的日志前,還包括:
在所述第一日志表的每個分區內寫入追賬記錄;其中,該追賬記錄帶有時間戳;
則所述依次讀取第一日志表中日切記錄后的記錄,根據所述日志對所述第二數據表集合進行追賬更新,直到日志讀取完畢,包括:
同時針對每個分區,依次讀取該分區內從日期切換記錄到追賬記錄之間的記錄,根據所述日期切換記錄到追賬記錄之間的記錄對所述第一數據表集合進行追賬更新,直到所有分區的日志讀取完畢;
同時針對每個分區的追賬更新為并行追賬方式,由于日志表中包含了多個分區,進而同時根據每個分區中位于日期切換記錄和追賬記錄之間的記錄對第二數據表中的數據進行追賬更新,如扣除額度等,由于每個分區訪問的記錄獨立,互不影響,同時讀取每個分區中的記錄進行追賬更新提高了數據更新的效率。
按照多個分區內追賬記錄后的記錄的時間順序,依次讀取追賬記錄后的記錄,根據所述追賬記錄后的記錄對所述第二數據表集合進行追賬更新。
分別依次讀取每個分區內追賬記錄后的記錄,根據所述追賬記錄后的記錄對所述第二數據表集合進行追賬更新。
針對多個分區,按照多個分區內記錄的時間順序讀取記錄的方式的追賬更新為串行追賬方式,其追賬范圍是追賬記錄之后到日志表末尾的所有記錄,即不再針對每個分區,按照每個分區內的記錄的時間順序進行記錄的讀取,而是以時間為索引,按照10個分區內所有追賬記錄后的記錄的時間的先后順序,即10個分區內位于追賬記錄后的所有記錄相當于按時間排序,記錄的時間越早越早被讀取到,由于并行追賬更新方式已處理了日志表中日期切換記錄后的大部分日志記錄,而且夜間聯機交易量相對稀少,所以串行追賬方式需要處理的記錄量很少,能夠很快處理到日志表的末尾
在對第二數據進行追賬更新過程中,采用上述并行追賬方式和串行追賬方式的結合,大大提高了追賬的效率。
優選地,非正常模式標識包括日切后模式標識、并行追賬模式標識和串行追賬模式標識;
則將控制表中的系統模式標識由正常模式標識切換為非正常模式標識包括:
將所述系統模式標識切換為日切后模式標識;
則在所述第一日志表的每個分區內寫入追賬記錄后,還包括:
將所述系統模式標識切換為并行追賬模式標識;
則在直到所有分區的日志讀取完畢后,還包括:
將所述系統模式標識切換為串行追賬模式標識。
上述將非正常模式標識細分為日切后模式標識、并行追賬模式標識和串行追賬模式標識3種模式標識的方式,能夠清楚系統當前處于哪個處理狀態。
下面,以一個具體例子對本申請的技術方案進行說明:
日志標識包括A和B兩類,日志類別標識為A的數據表集合A,包括有卡片表A,客戶表A和賬戶表A;日志類別標識為B的數據表集合B,包括有卡片表B、客戶表B和賬戶表B;日志類別標識為A的日志表A,日志類別標識為B的日志表B。
1、系統接收到日終批量處理觸發請求,讀取控制表中的日志類別標識,該日志類別標識為A;
2、在日志表A寫入日期切換記錄,清空日志表B,將系統控制表中的系統模式標識由正常切換為非正常;
3、讀取所述日志表A中日期切換記錄之前的當日的記錄、批量處理所需文件;
4、根據所述日期切換記錄之前的當日的記錄以及所述批量處理所需文件,對所述前一日生成的日初檔數據進行批量處理得到當日生成的日初檔數據,所述前一日生成的日初檔數據包括前一日的批量處理生成的數據表集合。
5、將當日生成的日初檔數據中的數據表集合中的數據覆蓋數據表集合B,實現對數據表集合B中數據的更新;
6、依次讀取日志表A中的日期切換記錄后的記錄,并根據記錄對數據表B進行追賬更新;更新完成后將控制表中的日志類別標識切換為B,將系統模式切換為正常模式。
在步驟1-6之間任一時刻接收到聯機交易請求時,讀取的系統模式標識為非正常模式標識,讀取的日志類別標識為A,根據該聯機交易請求和數據表集合A進行聯機交易處理,并在日志表A和B中寫入交易記錄。
在步驟6之后接收到聯機交易請求時,讀取的系統模式標識為正常模式標識,讀取的日志類別標識為切換后的B,所以根據聯機交易請求和數據表集合B進行聯機交易處理,并在日志表B中寫入交易記錄。
本申請實施例還提供一種數據處理裝置,如圖5所示,該裝置包括:
第一讀取單元500,用于在接收到批量處理觸發請求的情況下,讀取控制表中的日志類別標識;
第一寫入單元510,用于在第一日志表中寫入日期切換記錄,所述第一日志表的日志類別標識與所述控制表中的日志類別標識相同;
第二讀取單元520,用于讀取第一日志表中日期切換記錄之前的當前的記錄和批量處理所需文件;
批量處理單元530,用于根據所述日期切換記錄之前的當日的記錄和所訴批量處理所需文件,對所述前一日生成的日初檔數據進行批量處理得到當日生成的日初檔數據,所述前一日生成的日初檔數據包括前一日的批量處理生成的數據表集合;
第三讀取單元540,用于當接收到聯機交易請求時,讀取控制表中的日志類別標識;
聯機交易處理單元550,用于根據所述聯機交易請求和第一數據表集合進行聯機業務處理,所述第一數據表集合的日志類別標識與所述控制表中的日志類別標識相同,并在第一日志表中寫入交易記錄。
本實施例還提供一種數據處理裝置,如圖6所示,該裝置包括:
第一讀取單元600,用于在接收到批量處理觸發請求的情況下,讀取控制表中的日志類別標識;
第一寫入單元610,用于在第一日志表中寫入日期切換記錄,所述第一日志表的日志類別標識與所述控制表中的日志類別標識相同;
第二讀取單元620,用于讀取第一日志表中日期切換記錄之前的當前的記錄和批量處理所需文件;
批量處理單元630,用于根據所述日期切換記錄之前的當日的記錄和所訴批量處理所需文件,對所述前一日生成的日初檔數據進行批量處理得到當日生成的日初檔數據,所述前一日生成的日初檔數據包括前一日的批量處理生成的數據表集合;
第一更新單元660,用于將所述當日生成的日初檔數據中的數據表集合中的數據覆蓋第二數據表集合中的數據,所述第二數據表集合的日志類別標識與所述控制表中的日志類別標識不同。
第三讀取單元640,用于當接收到聯機交易請求時,讀取控制表中的日志類別標識;
聯機交易處理單元650,用于根據所述聯機交易請求和第一數據表集合進行聯機業務處理,所述第一數據表集合的日志類別標識與所述控制表中的日志類別標識相同,并在第一日志表中寫入交易記錄。
本實施例還提供一種數據處理裝置,如圖7所示,該裝置包括:
第一讀取單元700,用于在接收到批量處理觸發請求的情況下,讀取控制表中的日志類別標識;
第一寫入單元710,用于在第一日志表中寫入日期切換記錄,所述第一日志表的日志類別標識與所述控制表中的日志類別標識相同;
第二讀取單元720,用于讀取第一日志表中日期切換記錄之前的當前的記錄和批量處理所需文件;
批量處理單元730,用于根據所述日期切換記錄之前的當日的記錄和所訴批量處理所需文件,對所述前一日生成的日初檔數據進行批量處理得到當日生成的日初檔數據,所述前一日生成的日初檔數據包括前一日的批量處理生成的數據表集合;
第一更新單元740,用于將所述當日生成的日初檔數據中的數據表集合中的數據覆蓋第二數據表集合中的數據,所述第二數據表集合的日志類別標識與所述控制表中的日志類別標識不同;
第二更新單元750,用于依次讀取所述第一日志表中日期切換記錄后的記錄,根據所述日期切換記錄后的記錄對所述第二數據表集合進行追賬更新;
切換單元760,用于將所述控制表中的日志類別標識切換為第二數據表的日志類別標識;
第三讀取單元770,用于當接收到聯機交易請求時,讀取控制表中的日志類別標識;
聯機交易處理單元780,用于根據所述聯機交易請求和第一數據表集合進行聯機業務處理,所述第一數據表集合的日志類別標識與所述控制表中的日志類別標識相同,并在第一日志表中寫入交易記錄。
本實施例還提供一種數據處理裝置,如圖8所示,該裝置包括:
第一讀取單元800,用于在接收到批量處理觸發請求的情況下,讀取控制表中的日志類別標識;
第一寫入單元810,用于在第一日志表中寫入日期切換記錄,所述第一日志表的日志類別標識與所述控制表中的日志類別標識相同;
清空單元890,用于清空第二日志表,所述第二日志表的類別標識與所述控制表中的日志類別標識不同。
第二讀取單元820,用于讀取第一日志表中日期切換記錄之前的當前的記錄和批量處理所需文件;
批量處理單元830,用于根據所述日期切換記錄之前的當日的記錄和所訴批量處理所需文件,對所述前一日生成的日初檔數據進行批量處理得到當日生成的日初檔數據,所述前一日生成的日初檔數據包括前一日的批量處理生成的數據表集合;
第一更新單元840,用于將所述當日生成的日初檔數據中的數據表集合中的數據覆蓋第二數據表集合中的數據,所述第二數據表集合的日志類別標識與所述控制表中的日志類別標識不同;
第二更新單元850,用于依次讀取所述第一日志表中日期切換記錄后的記錄,根據所述日期切換記錄后的記錄對所述第二數據表集合進行追賬更新;
切換單元860,用于將所述控制表中的日志類別標識切換為第二數據表的日志類別標識;將控制表中的系統模式標識由正常模式標識切換為非正常模式標識,以及將系統控制表中的系統模式標識由非正常模式標識切換為正常模式標識;
第三讀取單元870,用于當接收到聯機交易請求時,讀取控制表中的日志類別標識;
聯機交易處理單元880,用于根據所述聯機交易請求和第一數據表集合進行聯機業務處理,所述第一數據表集合的日志類別標識與所述控制表中的日志類別標識相同,并在第一日志表中寫入交易記錄。
本實施例還提供一種數據處理裝置,如圖9所示,該裝置包括:
第一讀取單元900,用于在接收到批量處理觸發請求的情況下,讀取控制表中的日志類別標識;
第一寫入單元910,用于在第一日志表中寫入日期切換記錄,所述第一日志表的日志類別標識與所述控制表中的日志類別標識相同;
清空單元990,用于清空第二日志表,所述第二日志表的類別標識與所述控制表中的日志類別標識不同。
第二讀取單元920,用于讀取第一日志表中日期切換記錄之前的當前的記錄和批量處理所需文件;
批量處理單元930,用于根據所述日期切換記錄之前的當日的記錄和所訴批量處理所需文件,對所述前一日生成的日初檔數據進行批量處理得到當日生成的日初檔數據,所述前一日生成的日初檔數據包括前一日的批量處理生成的數據表集合;
第一更新單元940,用于將所述當日生成的日初檔數據中的數據表集合中的數據覆蓋第二數據表集合中的數據,所述第二數據表集合的日志類別標識與所述控制表中的日志類別標識不同;
第二更新單元950,用于依次讀取所述第一日志表中日期切換記錄后的記錄,根據所述日期切換記錄后的記錄對所述第二數據表集合進行追賬更新;
切換單元960,用于將所述控制表中的日志類別標識切換為第二數據表的日志類別標識;將控制表中的系統模式標識由正常模式標識切換為非正常模式標識,以及將系統控制表中的系統模式標識由非正常模式標識切換為正常模式標識;
第三讀取單元970,用于當接收到聯機交易請求時,讀取控制表中的日志類別標識和系統模式標識;
判斷單元1000,用于判斷所述系統標識是否為正常模式標識;
聯機交易處理單元980,具體用于當是正常模式標識時,根據所述聯機交易請求和所述第一數據表集合進行聯機業務處理,在第一日志表中寫入交易記錄,所述第一數據表集合的日志類別標識與所述控制表中的日志類別標識相同;當是非正常模式標識時,根據所述聯機交易請求和所述第一數據表集合進行聯機業務處理,并在所述第一日志表和第二日志表寫入交易記錄。
本實施例還提供一種數據處理裝置,如圖10所示,該裝置包括:
第一讀取單元2000,用于在接收到批量處理觸發請求的情況下,讀取控制表中的日志類別標識;
第一寫入單元2100,用于具體用于在第一日志表的每個分區寫入日期切換記錄,所述第一日志表的日志類別標識與所述控制表中的日志類別標識相同;
清空單元2200,用于清空第二日志表,所述第二日志表的類別標識與所述控制表中的日志類別標識不同。
第二讀取單元2300,用于讀取第一日志表中日期切換記錄之前的當前的記錄和批量處理所需文件;
批量處理單元2400,用于根據所述日期切換記錄之前的當日的記錄和所訴批量處理所需文件,對所述前一日生成的日初檔數據進行批量處理得到當日生成的日初檔數據,所述前一日生成的日初檔數據包括前一日的批量處理生成的數據表集合;
第一更新單元2500,用于將所述當日生成的日初檔數據中的數據表集合中的數據覆蓋第二數據表集合中的數據,所述第二數據表集合的日志類別標識與所述控制表中的日志類別標識不同;
第二寫入單元2600,在所述第一日志表的每個分區內寫入追賬記錄;
第二更新單元2700,包括:
并行更新單元2710,用于同時針對每個分區,依次讀取該分區內從日期切換記錄到追賬記錄之間的記錄,根據所述日期切換記錄到追賬記錄之間的記錄對所述第二數據表集合進行追賬更新;
串行更新單元2720,用于按照多個分區內追賬記錄后的記錄的時間順序,依次讀取追賬記錄后的記錄,根據所述追賬記錄后的記錄對所述第二數據表集合進行追賬更新;
切換單元2800,用于將所述控制表中的日志類別標識切換為第二數據表的日志類別標識;將控制表中的系統模式標識由正常模式標識切換為非正常模式標識,以及將系統控制表中的系統模式標識由非正常模式標識切換為正常模式標識;
第三讀取單元2900,用于當接收到聯機交易請求時,讀取控制表中的日志類別標識和系統模式標識;
判斷單元3000,用于判斷所述系統標識是否為正常模式標識;
聯機交易處理單元3100,具體用于當是正常模式標識時,根據所述聯機交易請求和所述第一數據表集合進行聯機業務處理,在第一日志表中寫入交易記錄,所述第一數據表集合的日志類別標識與所述控制表中的日志類別標識相同;當是非正常模式標識時,根據所述聯機交易請求和所述第一數據表集合進行聯機業務處理,并在所述第一日志表和第二日志表寫入交易記錄。
最后,還需要說明的是,在本文中,諸如第一和第二等之類的關系術語僅僅用來將一個實體或者操作與另一個實體或操作區分開來,而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關系或者順序。而且,術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含,從而使得包括一系列要素的過程、方法、物品或者設備不僅包括那些要素,而且還包括沒有明確列出的其他要素,或者是還包括為這種過程、方法、物品或者設備所固有的要素。在沒有更多限制的情況下,由語句“包括一個……”限定的要素,并不排除在包括所述要素的過程、方法、物品或者設備中還存在另外的相同要素。
本說明書中各個實施例采用遞進的方式描述,每個實施例重點說明的都是與其他實施例的不同之處,各個實施例之間相同相似部分互相參見即可。
對所公開的實施例的上述說明,使本領域專業技術人員能夠實現或使用本申請。對這些實施例的多種修改對本領域的專業技術人員來說將是顯而易見的,本文中所定義的一般原理可以在不脫離本申請的精神或范圍的情況下,在其它實施例中實現。因此,本申請將不會被限制于本文所示的這些實施例,而是要符合與本文所公開的原理和新穎特點相一致的最寬的范圍。