數據倉庫的數據處理基礎架構的制作方法
【專利摘要】一種數據倉庫的數據處理基礎架構，包括第二核心交換機、虛擬局域網交換機、第一光纖交換機和第二光纖交換機，還包括第一并行專業系統硬件服務器群、數據倉庫硬件服務器群和第二并行專業系統硬件服務器群，各服務器群分別與第二核心交換機、虛擬局域網交換機、第一光纖交換機和第二光纖交換機建立通信鏈路。這樣軟件系統在業務數據建模的時候考慮維度設計時就可以區分并行系統的相同模型下的數據。在進行主數據加載考慮數據流設計時，從數據處理基礎架構獲得可區分的并行兩系統的主數據。
【專利說明】數據倉庫的數據處理基礎架構
【技術領域】
[0001]本實用新型涉及一種數據處理的硬件結構，特別是涉及一種海量數據處理的硬件結構。
【背景技術】
[0002]在集團企業中實施ERP中，集團中的有限公司會采用獨立的ERP專業系統，例如在集團公司采用完整的SAP的開發、測試、采集調試和生產等專業系統，而在不同的二級企業也會采用完整的開發、測試、采集調試和生產系統，但是集團層面建立數據倉庫時對來自不同專業系統的數據處理會出現以下問題:
[0003]由于數據來源于兩套業務系統，集團和有限公司的業務數據，如采購訂單、銷售訂單等等，可能會出現編碼范圍重復。
[0004]由于數據來源于兩套業務系統，集團和有限公司的主數據，包括人力數據、物料編碼等等，可能會出現編碼重復。
實用新型內容
[0005]本實用新型的目的是提供一種數據倉庫的數據處理基礎架構，利用改變數據倉庫與并行系統數據處理的基礎硬件架構，解決現有并行的業務系統數據無法在數據倉庫進行有效數據處理的技術問題。
[0006]本實用新型的數據倉庫的數據處理基礎架構，包括第二核心交換機、虛擬局域網交換機、第一光纖交換機和第二光纖交換機，還包括第一并行專業系統硬件服務器群、數據倉庫硬件服務器群和第二并行專業系統硬件服務器群，各服務器群分別與第二核心交換機、虛擬局域網交換機、第一光纖交換機和第二光纖交換機建立通信鏈路。
[0007]所述第一并行專業系統硬件服務器群包括第一開發服務器、第一測試服務器、第一采集與調試服務器和第一生產服務器，各服務器分別包括四個數據端口，每個服務器的第一數據端口連接第二核心交換機，每個服務器的第二數據端口連接虛擬局域網交換機，每個服務器的第三數據端口連接第一光纖交換機，每個服務器的第四數據端口連接第二光纖交換機。
[0008]所述數據倉庫硬件服務器群包括第二開發服務器、第二測試服務器、第二采集與調試服務器、第三采集與調試服務器和第二生產服務器，各服務器分別包括四個數據端口，每個服務器的第一數據端口連接第二核心交換機，每個服務器的第二數據端口連接虛擬局域網交換機，每個服務器的第三數據端口連接第一光纖交換機，每個服務器的第四數據端口連接第二光纖交換機。
[0009]所述第二并行專業系統硬件服務器群包括第四采集與調試服務器和第三生產服務器，各服務器分別包括四個數據端口，每個服務器的第一數據端口連接第二核心交換機，每個服務器的第二數據端口連接虛擬局域網交換機，每個服務器的第三數據端口連接第一光纖交換機，每個服務器的第四數據端口連接第二光纖交換機。[0010]還包括日志服務器，第一存儲服務器、第二存儲服務器和磁帶機，實例服務器，核心數據庫服務器；核心數據庫服務器的第一組電數據端口與第一核心交換機建立冗余數據鏈路，核心數據庫服務器的第二組電數據端口與第二核心交換機建立冗余數據鏈路，核心數據庫服務器的第三組電數據端口與虛擬局域網交換機的不同網段建立數據鏈路，實例服務器的第一組電數據端口與第一核心交換機建立冗余數據鏈路，實例服務器的第二組電數據端口與虛擬局域網交換機的不同網段建立數據鏈路。核心數據庫服務器的第一組光數據端口與第一光纖交換機建立數據鏈路，核心數據庫服務器的第二組光數據端口與第二光纖交換機建立數據鏈路。第一光纖交換機和第二光纖交換機通過光數據端口分別與日志服務器，第一存儲服務器、第二存儲服務器和磁帶機建立數據鏈路。
[0011]本實用新型的數據倉庫的數據處理基礎架構中，將并行系統中的源數據生成的專業系統的硬件架構歸一化，使得在源數據生成系統統一的基礎上，區別專業系統不同分支形成的專業系統，并將樹形結構的專業系統與數據倉庫的硬件架構對接，從硬件架構上保證了軟件專業系統中數據可朔源，可以根據硬件架構確定數據的差異性和相關性。這樣軟件系統在業務數據建模的時候考慮維度設計時就可以區分并行系統的相同模型下的數據。在進行主數據加載考慮數據流設計時，從數據處理基礎架構獲得可區分的并行兩系統的主數據。
[0012]下面結合附圖對本實用新型的實施例作進一步說明。
【專利附圖】
【附圖說明】
[0013]圖1為本實用新型數據倉庫的數據處理基礎架構的硬件體系結構示意圖；
[0014]圖2為本實用新型數據倉庫的數據處理基礎架構的并行系統連接結構示意圖；
[0015]圖3為利用本實用新型數據倉庫的數據處理基礎架構的軟件系統的結構示意圖；
[0016]圖4為利用本實用新型數據倉庫的數據處理基礎架構進行軟件系統優化時的方法流程圖。
【具體實施方式】
[0017]如圖1所示，本實施例中包括第一核心交換機11、第二核心交換機12、虛擬局域網交換機15、第一光纖交換機13和第二光纖交換機14，還包括日志服務器19，第一存儲服務器16、第二存儲服務器17和磁帶機18，實例服務器51，核心數據庫服務器52，核心數據庫服務器52的第一組電數據端口與第一核心交換機11建立冗余數據鏈路，核心數據庫服務器52的第二組電數據端口與第二核心交換機12建立冗余數據鏈路，核心數據庫服務器52的第三組電數據端口與虛擬局域網交換機15的不同網段建立數據鏈路，實例服務器51的第一組電數據端口與第一核心交換機11建立冗余數據鏈路，實例服務器51的第二組電數據端口與虛擬局域網交換機15的不同網段建立數據鏈路。核心數據庫服務器52的第一組光數據端口與第一光纖交換機13建立數據鏈路，核心數據庫服務器52的第二組光數據端口與第二光纖交換機14建立數據鏈路。第一光纖交換機13和第二光纖交換機14通過光數據端口分別與日志服務器19，第一存儲服務器16、第二存儲服務器17和磁帶機18建立數據鏈路。日志服務器19、磁帶機18、第一存儲服務器16與光纖交換機在本地部署，第二存儲服務器17在異地部署。[0018]以上硬件架構，通過交換機數據端口在核心數據庫服務器52、實例服務器51和存儲服務器間建立鏈路網絡，使得核心生產系統獲得最可靠的運維環境，使得各專業系統在物理架構上有效分離，任何一個項目系統的改變都不會對核心系統直接產生干擾。
[0019]如圖2所示，本實施例中包括第一并行專業系統硬件服務器群S01、數據倉庫硬件服務器群S02和第二并行專業系統硬件服務器群S03，第一并行專業系統硬件服務器群SOl包括第一開發服務器D01、第一測試服務器Q01、第一采集與調試服務器MOl和第一生產服務器P01，各服務器分別包括四個數據端口，每個服務器的第一數據端口連接第二核心交換機12，每個服務器的第二數據端口連接虛擬局域網交換機15，每個服務器的第三數據端口連接第一光纖交換機13，每個服務器的第四數據端口連接第二光纖交換機14。
[0020]數據倉庫硬件服務器群S02包括第二開發服務器D02、第二測試服務器Q02、第二采集與調試服務器M02、第三采集與調試服務器M03和第二生產服務器P02，各服務器分別包括四個數據端口，每個服務器的第一數據端口連接第二核心交換機12，每個服務器的第二數據端口連接虛擬局域網交換機15，每個服務器的第三數據端口連接第一光纖交換機13，每個服務器的第四數據端口連接第二光纖交換機14。
[0021]第二并行專業系統硬件服務器群S03包括第四采集與調試服務器Ml I和第三生產服務器Pll，各服務器分別包括四個數據端口，每個服務器的第一數據端口連接第二核心交換機12，每個服務器的第二數據端口連接虛擬局域網交換機15，每個服務器的第三數據端口連接第一光纖交換機13，每個服務器的第四數據端口連接第二光纖交換機14。
[0022]通過第二核心交換機12和虛擬局域網交換機15將數據倉庫的硬件架構與配置完整的第一并行專業系統硬件架構完善連接，使得數據和傳輸可以根據需要在相應的服務器間傳輸，并且將第一并行專業系統硬件架構與作為源數據系統子集的第二并行專業系統硬件架構完善連接，為源數據的復制和統一提供了完整的硬件結構。同時利用網絡的網段分害I]，保證了各專業系統地獨立性，避免了具體生產過程或采集調試過程的系統間干擾。
[0023]第一光纖交換機13第二光纖交換機14保證了各系統中服務器與存儲器間傳輸鏈路的可靠性和獨立性，最大限度保障了各服務器的動態數據吞吐量。
[0024]如圖3所示，具體的ERP專業軟件系統以SAP為例，在第一開發服務器DOl和第二開發服務器D02上分別安裝開發環境(DEV)系統，在第一測試服務器QOl和第二測試服務器Q02上分別安裝測試環境(QAS)系統，在第一采集與調試服務器M01、第二采集與調試服務器M02和第四采集與調試服務器Mll上分別安裝真實環境調試(MOCK)系統，在第一生產服務器P01、第二生產服務器P02和第三生產服務器Pll上分別安裝正式生產(PRD)系統。在軟件系統中還包括配置裝置100、信號裝置200和傳輸裝置300。
[0025]配置裝置100，用于接收并行系統中，相同軟件專業系統的數據和信號，完成對數據和信號來源的定義，并輸出；
[0026]信號裝置200，用于接收并行系統的數據和信號，完成相同軟件專業系統中相同類型數據的標志和區分，并輸出；
[0027]傳輸裝置300，用于將并行系統中各軟件專業系統的數據和信號進行匹配，完成數據校驗后傳輸至數據倉庫的對應軟件專業系統。
[0028]通過以上裝置，配合安裝在相應服務器上的SAP系統，就可以將并行系統中各軟件專業系統中的數據進行向數據倉庫中倒換和融合，并且在倒換和融合過程中，完成對并行系統中相同數據源系統數據和數據類型的辨識和標記，并對應傳輸到數據倉庫的相應專業系統中，完成根據數據倉庫業務邏輯進行的數據配置和標志，使得真實完整的并行業務數據可以在數據倉庫的正式生產系統充分融合，實現數據倉庫各特定業務。
[0029]如圖4所示，在本實施案例數據倉庫的數據處理基礎架構上，進行數據倉庫軟件專業系統部署時的主要步驟包括:
[0030]在數據處理基礎架構上的相應服務器上部署開發、測試、采集調試和生產專業軟件系統；
[0031]在配置裝置中設置區分并行專業系統相同對象模型的參考數據；
[0032]在信號裝置中設置區分并行專業系統相同類型數據的標志信號；
[0033]通過傳輸裝置完成各系統間數據和信號傳輸，并行系統的兩組差異化的采集調試系統和生產系統的數據在數據倉庫的相應系統中融合。
[0034]完成各系統間傳輸流，兩個差異化的采集調試系統對生產系統的真實運行環境進行數據模型、類型等關鍵數據進行對比測試。
[0035]通過以上方法步驟，當數據來源于兩套并行業務系統時可以避免出現編碼范圍重復，主數據無法區分，對原系統地映射關系無法區分等問題，人力數據、物料編碼、采購訂單、銷售訂單等相同類型對象的數據都可以全部區分。同時滿足
[0036]進行模型維度調整，或者主數據流調整時，調整前后的對比測試可行，保證調整的模型及業務分析報表不受調整誤差影響。
[0037]具體地，在專業軟件系統中的模擬實現包括通過模型維度設計，建立單獨維度作為區分集團和有限公司的特定維度。在模型中，單獨設計源系統標識的維度，維度中包含相關信息對象，可以對集團及有限公司的數據進行區分。在數據流中，通過編寫代碼的方式，實現集團和有限公司的數據劃分。將來源于并行系統的數據，通過編碼的方式，加以標識“B”，此種方法可以實現數據加載過程中的兩部分數據劃分。結合數據處理基礎架構的硬件架構設計，利用備份系統，進行調整前后的對比測試。
[0038]在調整后的數據模型、數據流等內容傳輸至MOCK系統前，將MOCK系統備份至新的服務器上，完成備份后，再進行內容傳輸。之后，采取兩系統比對測試的方法，將MOCK備份系統的報表、數據模型與MOCK系統的報表、數據模型進行比對，從而保證調整前后的各并行系統報表，均不受調整影響。
[0039]考慮到通信鏈路的可靠性，每一個硬件服務器的任一數據端口都可以配置成一組，實現同一通信鏈路的冗余連接。
[0040]以上所述的實施案例僅僅是對本實用新型的優選實施方式進行描述，并非對本實用新型的范圍進行限定，在不脫離本實用新型設計精神的前提下，本領域普通技術人員對本實用新型的技術方案做出的各種變形和改進，均應落入本實用新型權利要求書確定的保護范圍內。
【權利要求】
1.一種數據倉庫的數據處理基礎架構，包括第二核心交換機(12)、虛擬局域網交換機(15)、第一光纖交換機(13)和第二光纖交換機(14),其特征在于:還包括第一并行專業系統硬件服務器群(SOI)、數據倉庫硬件服務器群(S02)和第二并行專業系統硬件服務器群(S03)，各服務器群分別與第二核心交換機(12)、虛擬局域網交換機(15)、第一光纖交換機(13)和第二光纖交換機(14)建立通信鏈路。
2.根據權利要求1所述的數據倉庫的數據處理基礎架構，其特征在于:所述第一并行專業系統硬件服務器群(SOl)包括第一開發服務器(D01)、第一測試服務器(Q01)、第一采集與調試服務器(MOl)和第一生產服務器(P01 )，各服務器分別包括四個數據端口，每個服務器的第一數據端口連接第二核心交換機(12)，每個服務器的第二數據端口連接虛擬局域網交換機(15)，每個服務器的第三數據端口連接第一光纖交換機(13)，每個服務器的第四數據端口連接第二光纖交換機(14 )。
3.根據權利要求2所述的數據倉庫的數據處理基礎架構，其特征在于:所述數據倉庫硬件服務器群(S02)包括第二開發服務器(D02)、第二測試服務器(Q02)、第二采集與調試服務器(M02)、第三采集與調試服務器(M03)和第二生產服務器(P02)，各服務器分別包括四個數據端口，每個服務器的第一數據端口連接第二核心交換機(12)，每個服務器的第二數據端口連接虛擬局域網交換機(15)，每個服務器的第三數據端口連接第一光纖交換機(13)，每個服務器的第四數據端口連接第二光纖交換機(14)。
4.根據權利要求3所述的數據倉庫的數據處理基礎架構，其特征在于:所述第二并行專業系統硬件服務器群(S03)包括第四采集與調試服務器(Mll)和第三生產服務器(P11)，各服務器分別包括四個數據端口，每個服務器的第一數據端口連接第二核心交換機(12)，每個服務器的第二數據端口連接虛擬局域網交換機(15)，每個服務器的第三數據端口連接第一光纖交換機(13)，每個服務器的第四數據端口連接第二光纖交換機(14)。
5.根據權利要求4所述的數據倉庫的數據處理基礎架構，其特征在于:還包括日志服務器(19)，第一存儲服務器(16)、第二存儲服務器(17)和磁帶機(18)，實例服務器(51)，核心數據庫服務器(52);核心數據庫服務器(52)的第一組電數據端口與第一核心交換機(11)建立冗余數據鏈路，核心數據庫服務器(52 )的第二組電數據端口與第二核心交換機(12)建立冗余數據鏈路，核心數據庫服務器(52)的第三組電數據端口與虛擬局域網交換機(15)的不同網段建立數據鏈路，實例服務器(51)的第一組電數據端口與第一核心交換機(11)建立冗余數據鏈路，實例服務器(51)的第二組電數據端口與虛擬局域網交換機(15)的不同網段建立數據鏈路；核心數據庫服務器(52)的第一組光數據端口與第一光纖交換機(13)建立數據鏈路，核心數據庫服務器(52)的第二組光數據端口與第二光纖交換機(14)建立數據鏈路；第一光纖交換機(13)和第二光纖交換機(14)通過光數據端口分別與日志服務器(19)，第一存儲服務器(16)、第二存儲服務器(17)和磁帶機(18)建立數據鏈路。
【文檔編號】G06F17/30GK203733118SQ201320812840
【公開日】2014年7月23日 申請日期:2013年12月10日 優先權日:2013年12月10日
【發明者】王小玲, 應潔, 李文湘, 陳旸華, 楊凱, 謝正華, 趙暉, 陳凱, 任芳, 李源 申請人:中國海洋石油總公司