一種對消息類業務數據進行多維分析的方法和系統的制作方法

專利名稱：一種對消息類業務數據進行多維分析的方法和系統的制作方法
技術領域：
本發明屬于電信技術領域，涉及一種對消息類增值業務數據進行分析的方法 和系統。
背景技術：
增值業務是電信業一個重要的利潤支撐點，消息類業務是電信增值業務中的 重要收入組成部分。對增值業務的各類數據進行有效分析，將有助于指導業務開 展、提高服務質量、提供決策支持、最終實現持續的利潤增長，因此數據分析的 重要性毋庸置疑。
現階段增值業務的數據分析手段，通常包括兩大類
一類是增值業務設備廠商提供的0&M (運維系統)的分析手段，通過本地操 作維護系統可以實現特定業務流程的信令跟蹤、業務觀察、性能計數器、統計報
表等功能，這些功能主要用于進行問題定位、原始數據收集與匯總；
一類是增值業務的KPI數據采集及上報，比如通過SNMP (簡單網管協議)、 FTP、 FTAM (文件傳輸訪問和管理)等接口提供必要的規范化設備側信息，交由 運營商或者第三方進行后續匯總分析處理，這一類總的說來屬于增值業務的北向 數據接口。對于這種情況，通常是運營商制定統計指標規范，并由設備提供商按 規范進行實現。
現實的情況是，0&M系統雖然可以深入到業務流程的內部，獲得最詳細的業 務數據，但0&M更多關注的是特定的業務流程性信息，而北向數據接口由于受到 運營商規范制定的限制，往往提供的是硬性裁剪后的二維數據，偏重于宏觀的 KPI指標數值，不足以揭示業務的各種豐富的內在聯系。即使運營商通過BOSS 系統或其它第三方系統對采集的原始CDRs進行后續處理，例如經營分析系統， 也通常會缺失業務系統中有價值的原始信息。
總的來講，現有的消息類增值業務的數據統計分析系統和方法具有以下弊
端
1. 相似的增值業務系統缺少統一的數據分析模型，系統重復建設，增大了開 發工作量。
2. 基于二維的RDBMS (關系型數據庫)，業務數據的內在復雜的關聯無法很 好的體現，不利于實現聯機事務分析和決策支持。

發明內容
為解決所述技術問題，本發明提供一種對消息類業務數據進行多維分析的方 法和系統，該方法和系統能夠建立簡潔、快速的數據分析模型，減少開發工作量， 并有利于聯機支持。
本發明的另一個目的在于提供一種對消息類業務數據進行多維分析的方法 和系統，該方法和系統通過星形架構的數據組織模式建立多維數據模型，從而能 夠快速地進行數據分析。
本發明所涉及的一種對消息類業務數據進行多維分析的方法包括如下步驟
1、 數據采集，數據采集模塊負責將業務系統中分散在各個網元節點上的生 產數據采集到統計分析服務器上的一個中間數據庫中；
2、 數據整合，數據轉換與裝載模塊負責將中間數據庫的數據轉換處理到一 個具有星型架構特征的關系型數據庫中，并根據需要進一步處理到數據中；整合 包括對消息類業務的各種待分析數據進行整理，將具有共同或相近特性的數據 進行歸類，并納入到一個統一的維度層次結構中；對中間數據庫的數據進行進一 步的清洗、轉換以處理到另一個多維數據庫中；
3、 數據分析與呈現，通過數據分析與呈現模塊負責對數據倉庫或關系型數 據庫中具有多維特征的業務數據進行分析和呈現。
在數據采集步驟中，首先定義針對不同數據源的數據抽取標準方法，完成異 構數據源(各類數據庫、話單文件和業務日志文件)的原始數據采集工作，并保 存到本地的一個中間數據庫中，該中間數據庫包含了業務系統所有經初步清洗的 待分析數據。在原始數據采集過程中通過配置文件的方式定義待抽取庫表的詳細 信息，包括表名、字段名、字段類型等。
在數據整合步驟中，需要創建消息業務的多維數據模型，實現業務數據的整 合。設計星型架構作為數據組織的基本方式，即以事實數據表為中心，多個維度
表通過各自的鍵列聯接到事實數據表上。
根據星型架構設計與之對應的數據倉庫架構，將該多維數據庫采用增量更新 和按分區刷新相結合的方式裝載到數據倉庫的Cube (多維立方體)中。
星型架構所包含的事實表包含條數、字節流量和費用字段，且每個星型架構 所包含的維度表都有且僅有一個鍵列聯接到事實數據表。
根據該方法建立的一種對消息類業務數據進行多維分析系統，包括以下模
塊
數據采集模塊，負責將業務系統中分散在各個網元節點上的生產數據采集到 統計分析服務器上的一個中間數據庫中。所述的網元節點包括多臺業務處理機、 話單服務器、日志服務器、操作維護服務器。所述的生產數據是放置于網元節點 上的以文件和數據庫方式保存的業務系統原始數據。
數據轉換與裝載模塊，負責將中間數據庫stagedb的數據轉換處理到一個具 有星型架構特征的關系型數據庫olapdb中，并根據需要進一步處理到數據倉庫 中。
數據分析與呈現模塊，負責對數據倉庫或關系型數據庫中具有多維特征的業 務數據進行分析和呈現。所述的分析與呈現是指通過B/S的方式展現預定義報 表、根據分析主題定制査詢和報表、對數據倉庫的數據實現多維分析等。
所述的數據轉換處理包括三個主要模塊維度表處理模塊、事實表處理模塊 和異常數據處理模塊。維度表處理模塊負責完成維度數據的收集和更新，以及對 維度的屬性數據進行預先計算處理；事實表處理模塊負責完成事實數據的收集和
更新，以及通過維護與維度表的主外鍵關系實現與維度表的關聯；異常數據處理
模塊負責對系統異常數據進行額外處理。所述的數據裝載是指將olapdb的星型 架構數據增量或刷新處理到數據倉庫，以便于后續分析的過程。
數據分析與呈現模塊包括預定義報表、定制查詢與報表和多維分析子模塊。 采用本發明，能在相似的增值業務系統中共享多維數據模型，減少系統的開 發周期和成本。應用該模型建立的系統所具有的多維度數據分析的功能，可為運 營商和設備制造商提供更為靈活方便的數據統計方法及決策支持。


圖1是本發明業務數據分析系統的模塊構成與其它元件的連接示意圖2是本發明業務數據分析系統的業務數據星型架構示意圖3是本發明業務數據分析系統的數據轉換與裝載模塊工作原理示意圖。
具體實施例方式
如圖l所示，本發明的業務統計分析系統主要有以下三個模塊組成，包括數 據采集模塊、數據轉換與裝載模塊、數據分析與呈現模塊。
數據采集模塊負責將業務系統各業務處理機的話單文件、日志文件和配置文 件等獲取到統計服務器上并入庫，同時也將業務系統各節點數據庫的用戶信息、 原始配置、計數器數據獲取到統計服務器的數據庫中。
數據轉換與裝載模塊負責將已經入庫的各類原始數據進行進一步清洗和轉 換，使之符合星型架構的庫表結構，并根據需要按照預先設計的規則將星型架構 的關系型數據裝載入數據倉庫。
設計星型架構(圖2所示)作為數據組織的基本方式，即以事實數據表為中 心，多個維度表通過各自的鍵列聯接到事實數據表上。根據業務數據自身特點及 方便后續分析的考慮，為消息類業務設計多個這樣的星型架構。
各星型架構的事實表的數據不重復，以保證整個業務系統數據的一致性，維 度表則為所有事實表所公用。該多維數據模型覆蓋業務系統中所有具有統計分析 價值的數據。
通過對消息類業務的各種待分析數據進行整理，將具有共同或相近特性的數 據進行歸類，并納入到一個統一的維度層次結構中。消息類業務至少可以歸納出 以下維度用戶終端號碼、用戶終端型號、時間、服務提供商信息、業務應用類 型、業務計費類型、0T話單類型、地區信息、業務狀態碼信息等。
對于每一個維度，進一步設計其層次結構級別和維度的成員屬性，例如對于 用戶終端號碼維度，設計為包括歸屬省份代碼、地區代碼、服務品牌代碼等三個 級別，在每一個級別上根據需要再設計出省份描述、地區描述、品牌編碼和品牌 描述等維度成員的屬性。
星型架構所包含的事實表包含條數、字節流量和費用字段，且每個星型架構 所包含的維度表都有且僅有一個鍵列聯接到事實數據表。條數、字節流量和費用等作為業務多維分析的最重要的度量值，后續的統計分析都在計算它們的具體數 值、研究數值的變化規律、影響因素、未來走向等。
對中間數據庫的數據進行進一步的清洗、轉換以處理到另一個多維數據庫 中，該多維數據庫符合前述的星型架構模型。
根據星型架構設計與之對應的數據倉庫架構，將該多維數據庫采用增量更新 和按分區刷新相結合的方式裝載到數據倉庫的Cube (多維立方體)中。
數據分析與呈現模塊負責對裝載入數據倉庫的數據和某些原始關系型數據 進行分析和呈現，該模塊為用戶提供統計報表、即時查詢和多維分析的人機界面。
并根據每個Cube所裝載的業務數據的特點，定制不同主題的統計報表。
再根據聯機分析主題設計B/S界面，完成界面分析主題翻譯成數據倉庫操作 指令，進而將査詢返回結果以報表或圖表的形式進行展現。
以上三個模塊可以放置于一臺計算機上，也可以根據系統業務量負荷分設在 不同的計算機上。
以下分別對業務統計分析系統各個模塊的工作原理進行說明
1、數據采集模塊
數據采集模塊負責將業務系統中分散在各個節點上的生產數據收集到上。分 析服務器這里所指的節點包括多個具有同等業務處理功能的業務處理機，以及話 單服務器、日志服務器和操作維護服務器等。無論是MMS彩信業務還是SMS短消 息業務，從功能劃分上都具有這些服務器，其操作系統包括Unix、 Limix和 Windows等主流操作系統。各節點的數據存放的形式包括數據庫 (Oracle/Sybase/SQL Server)、文件(話單文件、業務日志文件、配置文件等)。
數據采集模塊由獨立的一組進程和基于數據庫的一組任務來完成數據的采 集。數據收集的手段包括文件獲取及入庫、基于鏈接服務器和數據庫復制技術的 數據庫間數據傳送。對于文件類的生產數據由該組獨立進程負責采集，對于數據 庫類的生產數據由該組基于數據庫的任務負責采集。該模塊包括文件類生產數據 處理子模塊和數據庫類生產數據處理子模塊，文件類生產數據采用兩個獨立進程 分別完成文件獲取與入庫工作，進程間不進行通訊。
以下說明文件類生產數據的采集處理過程-
統計服務器上包括兩個獨立的與文件生產數據采集相關的進程，一個是文件獲取進程， 一個是文件解析入庫進程。
文件獲取進程首先讀取包括各節點IP地址、口令、文件存放路徑等配置信 息，之后啟動FTP的客戶端，將各業務節點的文件收集到統計服務器的指定目錄 下。文件獲取進程所依賴的服務器地址信息、日志及話單文件的存放路徑信息、 文件的格式(文本或者二進制)、字段分隔符、文件的命名規則及擴展名信息、 統計分析服務器上日志文件的存放路徑等眾多的信息都是可配置的。本進程的不 同線程完成不同類型文件的處理。對于同類文件的處理又主要分為兩個階段，首 先是將文件獲取到本地一個用于中轉的文件夾"中間數據庫(Stagedb)"(以下 均稱為"中間庫")中，然后根據配置文件對本類文件進行初步分揀和信息完整 性檢査，對于不符合規范的錯誤日志將篩選并保存到獨立的文件中以備后續進行 額外處理。經過以上處理的文件按照文件的不同種類被放置于指定文件夾"關系 型數據庫(olapdb)"。
文件解析入庫進程負責將已獲取到分析服務器上的文件寫入數據庫。入庫過 程對于不同的目標數據庫類型具有相似的處理方式。 一個處理循環包括讀取各 類配置信息、將待入庫數據讀入內存、對源文件進行改名、創建對指定目標數據 庫的數據庫連接、組裝SQL語句、完成批量入庫、對已處理文件改名、重新載入 新文件。
對于存放在各業務節點數據庫中的數據，由于生產數據庫包括0racle、 Sybase和SQL Server等，因此數據抽取方法不一樣，本系統定義了兩種數據抽 取標準，對于Oracle和Sybase,采用鏈接服務器的方式；對于SQL Server,則 采用數據庫復制和DTS(數據轉換服務)的方式。
無論是文件方式還是數據庫方式，生產數據最終都被綜合到stagedb中，該 中間庫包含了所有的經初步抽取和格式轉換后的原始業務信息，也包括所有有用 的系統配置信息。
對于系統注冊用戶數據、手機號段配置信息、SP業務信息、終端型號配置 等信息，數據分布在業務系統的各個節點數據庫中，其數據導入的基本過程以系 統注冊用戶數據為例，包括
1).制定對生產數據庫的訪問通道。讀取配置文件和數據配置表以確定用戶 數據所在的服務器局號、節點號、IP地址、數據庫名稱、訪問方式等，保存為
中間變量。如果生產庫位于多個節點，則循環讀入上述信息。根據中間變量動態 創建鏈接服務器以鏈接至對應的數據庫，并測試鏈接的可用性；此處鏈接服務器 根據源數據庫的類型不同，設定不同的創建參數，包括使用不同數據庫提供程序 如Oracle Provider for OLE DB或Microsoft OLE DB Provider for ODBC等。 2).完成對生產數據庫的數據采集和初步整理。建立好對各生產庫的數據庫 訪問通道后，對待抽取生產庫表進行順序讀取。不同特性的生產庫表在數據量上 差別很大，根據待抽取數據庫表的id主鍵取值確定本條記錄是否為新增記錄， 根據最后更新時間字段確定本條記錄是否進行過更新，并通過DTS (數據轉換服 務)或者存儲過程完成新增及修改記錄向中間庫的同步。 2、 數據轉換與裝載模塊
圖3是數據轉換與裝載模塊的示意圖。本模塊的基本功能是對已經統一寫入 中間數據庫stagedb的數據進行進一步清洗轉換處理，處理的結果數據存放在 olapdb的數據庫中，該數據庫的多表間具有星型架構(如圖2所示)的特點， 為裝載入數據倉庫做好準備。之后，按照已經設計完成的數據倉庫架構，定時任 務會觸發從星型架構的olapdb表往數據倉庫裝載多維數據的過程。
從stagedb到olapdb的數據轉換處理主要包含以下過程
1)維度表數據同步更新；
stagedb庫包含了業務系統各種維度的原始數據，但這些數據是零散的，且 通常不符合維度設計的層次結構要求，因此通過DTS (數據轉換服務)和存儲過 程來實現生產表到維度表的轉換。考慮到每次維度數據同步更新涉及到的數據量 可能較大，加上維度表與事實表數據之間有主外鍵關聯關系，維度表數據不采用 每次重建的方式，而是增量更新的方式。以用戶號碼維度的轉換過程為例，處理 流程依次為在DTS包里完成配置信息的初始化；建立到中間庫的連接；讀取中 間庫號碼表的標志列確定本次待處理行；通過數據庫基本操作指令實現維度數據
的同步；將原始維度表異常數據寫入異常維度信息表；更新olapdb維度表的屬 性字段信息。
處理流程中所述的維度數據的同步包括
A新增維度數據處理根據源表的最新id值將本次新增維度數據插入到
olapdb維度表；
B維度信息更新處理根據源表的id值確定本行不是新增維度信息，根據 源表的標志列確定本行的部分信息發生了更新，在對olapdb數據庫中的維度表 進行更新操作中關聯已確定發生了信息更新的記錄以更新維度表數據；
維度表屬性字段信息通過一組存儲過程來實現，以完成諸如注冊用戶數、新 增注冊用戶數等維度成員屬性的計算。
經過以上處理，將stagedb庫的新增及變化了的原始維度數據以較小的計算 量更新到olapdb的維度表中。
2) 事實表數據抽取與轉換；
一個事實表數據抽取與轉換的過程包括
首先將stagedb中分散在多表的原始事實數據進行規整處理，匯集到olapdb 的一個臨時表中，該臨時表具備對應的星型架構事實表和維度表在最細粒度下的 聚合信息，之后對該臨時表所包含的所有維度信息進行處理，以使其與olapdb 的維度表在最低的層次(Level)上發生關聯，并經過若干中間轉換，最后增量更 新到olapdb的事實表中。例如， 一個話單原始事實表中包含了一個日期類型的 時間字段，而在話單事實表中表示該時間的字段是一個Int型字段，該字段與時 間維度表的Id字段具有外鍵關聯關系。從原始事實表轉換為事實表后，原來的
datetime類型的時間信息就變為對應時間維度表的一個外鍵值。通過一系列處 理將原始事實表中所有具體的維度取值轉換為維度表中對應的鍵值。規整處理的
方法主要包括庫表之間的關聯更新和聚合操作(group by)。 Stagedb中零散的 事實數據在多次轉換后填充到星型架構的事實表中。
由于業務數據的數據量設計為忙時500條/秒或更多，因此在按星型架構組 織的數據庫olapdb中，事實表數據采用按月分表存儲。
3) 質疑數據處理；
對于原始事實表中某些無法與對應的維度表產生主外鍵關聯關系的記錄，稱 為質疑數據。這類數據將一直被保存在異常數據表中，并在每次的事實表數據抽 取與轉換處理的最后階段進行額外處理，重新試圖與維度表進行匹配。若匹配上， 則重新處理到事實表中，否則一直被保留在異常數據表中。
數據裝載主要包括以下過程
基于星型架構的事實表和維度表構建Cube (數據倉庫立方體)，根據后續
0LAP (聯機分析與處理)分析的熱點設計聚合度，增量處理維度更新和維度屬性 值，根據processed標識字段增量裝載事實表數據至Cube的對應分區。 數據裝載具有以下特點
A、 Cube所依賴的事實表不是基于表，而是基于由多個分表所組成的聯合視圖。
B、 Cube采用MOLAP (多維0LAP)的存儲方式，同時由于大量的數據分析通 常發生在少數幾個連續的自然月時間粒度里，因此Cube按月進行自動分區，以 加快后續0LAP分析時的相應速度。
3、 數據分析與呈現模塊
數據分析與呈現模塊直接面向最終用戶，為用戶提供直觀、方便的B/S界面 來分析業務系統的數據。該模塊所基于的數據以數據轉換與裝載模塊中生成的數 據倉庫為主，也可以包括關系型數據庫的數據。
數據分析與呈現模塊包括預定義統計報表子模塊、定制查詢報表子模塊以及 多維分析子模塊。其中，報表子模塊根據數據倉庫Cube的劃分，又分為多個報 表大類，包括綜合類、終端類和SP (服務提供商)類等。預定義報表可以支持 眾多數據的統計分析，可采用小時報表、日報表和月報表的形式進行展現，提供 幾大類、幾十個小類和數百個統計項，典型的統計報表如
A、 綜合類增值業務KPI統計、業務分省地區統計、業務各類成功率統計、 業務流量統計、業務流量分布統計、業務量的用戶分布統計等
B、 終端類系統注冊終端型號數據排名、終端收發消息條數及成功率排名、 終端收發SP消息條數排名及分布統計等
C、 增值業務提供商類SP業務量及成功率統計、SP上下行消息條數綜合統計與排名等
預定義報表的工作流程為通過瀏覽器界面選擇查詢統計報表的條件，程序 根據査詢條件拼裝針對Cube和關系型數據庫的查詢指令，該查詢指令通過預定 義的數據庫/數據倉庫訪問接口傳遞給數據源，界面根據返回的數據集按照設定 的呈現樣式展現統計報表。所述的呈現樣式包括html、 excel、 csv、 pdf和xml 等。
本模塊中，定制査詢與報表的工作流程與預定義報表的流程區別在于定制査詢與報表的行列字段定義都是在界面中設定的，程序獲取定制報表的行列字段
定義進行語法分析，并進一步組裝對于Cube和關系型數據庫的査詢指令。而預 定義報表的査詢主體中行列定義、字段具體含義均預先定義為報表定義文件，査 詢過程只傳遞時間、地區或業務名稱等少量參數。
多維分析與預定義報表、定制報表的區別在于
A、 預定義和定制報表的査詢條件和字段定義確定后，查詢結果將以一張二 維報表的方式進行展現。而多維分析中，界面展現所有Cube維度及度量值的要 素。用戶首先選定某些維度的取值，之后在界面上設置一個或多個維度作為分析 列、 一個或多個維度作為分析行、 一個或多個度量值作為數據項。通過動態展開 分析行及分析列可以獲得在不同維度取值影響下的度量值數據，分析行及分析列 維度在不同層次(level)上自動進行數據的聚合。
B、 預定義和定制報表的數據源既包括關系型數據庫，也包括數據倉庫，而
多維分析模塊的數據源只基于數據倉庫的Cube。具體地，本模塊的多維分析模
塊針對的數據源包括ISDNCube (用戶立方體)、KpiCube (KPI立方體)和SPCube
(服務提供商立方體)等(如圖3所示)。
下面以一個典型的實例來描述業務數據多維分析的工作過程。
原始需求系統用戶為提升服務質量，需要分析近兩月以來彩信業務的所有 終端到終端應用類型中，彩信終端手機收發彩信的OT話單條數、成功率變化趨 勢，并對成功率低于設定數值的情況，進一步分析其狀態碼(用于標識本條業務 流程狀態的編碼，據此了解業務失敗的原因等)的分布情況。
工作過程-1、界面設定。
A、 在用戶界面中設定某些特定維度的具體取值或取值范圍。包括設定終端 類型維度取值為"彩信終端"、設定業務應用類型維度取值為"終端到終端"；
B、 選定待分析的維度為OT話單類型維度、時間維度和狀態碼維度，同時設
定該時間維度的起始和結束時間；
C、 選定業務條數作為本次分析所關注的量化指標；
D、 在界面上定義臨時計算成員"成功率"及其計算公式。
2、點擊分析后，B/S頁面首先將界面的各種設定情況傳遞到統計分析的服務器端，在服務器端完成多維査詢語句的封裝，并送交數據倉庫進行即時査詢，
査詢結果數據不保存在服務器端，而是直接在用戶界面的指定區域以多維報表或
圖表的方式進行呈現。
3、如果需要分析其它指標，將重新進行步驟l、 2的工作流程。 綜上，在完成消息類業務的數據采集、數據轉換與裝載后，系統具備了業務 系統的多維數據模型，進而通過分析和呈現模塊，提供用戶預定義報表、定制査 詢和報表以及多維分析的方法和手段。通過這些分析和呈現手段，可為運營商和 設備制造商提供更為靈活方便的數據統計方法及決策支持。
權利要求
1、一種對消息類業務數據進行多維分析的方法，其特征在于，該方法包括如下步驟1)數據采集，數據采集模塊負責將業務系統中分散在各個網元節點上的生產數據采集到統計分析服務器上的一個中間數據庫中；2)數據整合，數據轉換與裝載模塊負責將中間數據庫的數據轉換處理到一個具有星型架構特征的關系型數據庫中，并根據需要進一步處理到數據庫中，整合包括對消息類業務的各種待分析數據進行整理，將具有共同或相近特性的數據進行歸類，并納入到一個統一的維度層次結構中；對中間數據庫的數據進行進一步的清洗、轉換以處理到另一個多維數據庫中；3)數據分析與呈現，通過數據分析與呈現模塊負責對數據倉庫或關系型數據庫中具有多維特征的業務數據進行分析和呈現。
2、如權利要求1所述的對消息類業務數據進行多維分析的方法，其特征在于 在數據采集步驟中，首先定義針對不同數據源的數據抽取標準方法，完成異構數 據源的原始數據釆集工作，并保存到本地的一個中間數據庫中，該中間數據庫包 含了業務系統所有經初步清洗的待分析數據；在原始數據采集過程中通過配置文 件的方式定義待抽取庫表的詳細信息，包括表名、字段名、字段類型。
3、 如權利要求1所述的對消息類業務數據進行多維分析的方法，其特征在 于在數據整合步驟中，設計星型架構作為數據組織的基本方式，即以事實數據表 為中心，多個維度表通過各自的鍵列聯接到事實數據表上。
4、 如權利要求3所述的對消息類業務數據進行多維分析的方法，其特征在 于根據星型架構設計與之對應的數據倉庫架構，將該多維數據庫采用增量更新和 按分區刷新相結合的方式裝載到數據倉庫的Cube(多維立方體)中。
5、 如權利要求4所述的對消息類業務數據進行多維分析的方法，其特征在 于星型架構所包含的事實表包含條數、字節流量和費用字段，且每個星型架構所 包含的維度表都有且僅有一個鍵列聯接到事實數據表。
6、 如權利要求5所述的對消息類業務數據進行多維分析的方法，其特征在 于，所述中間庫中維度數據轉換處理包括維度報數據同步更新在DTS(數據轉換服務)包里完成配置信息的初始化；建立到中間庫的連接；讀取中間庫號碼表的標志列確定本次待處理行；通過數據庫基本操作指令實現維度數據的同步；將原始維度表異常數據寫入異常維度信息表；更新關系型數據庫維度表的屬性字段信息；中間庫中事實表數據抽取與轉換將中間庫中分散在多表的原始事實數據進行規整處理，匯集到關系型數據庫 的一個臨時表中，該臨時表具備對應的星型架構事實表和維度表在最細粒度下的聚合信息；對該臨時表所包含的所有維度信息進行處理，以使其與關系型數據庫 的維度表在最低的層次上發生關聯，并經過中間轉換；增量更新到關系型數據庫 的事實表中，通過處理將原始事實表中所有具體的維度取值轉換為維度表中對應 的鍵值；規整處理的方法主要包括庫表之間的關聯更新和聚合操作；中間庫中零 散的事實數據在多次轉換后填充到星型架構的事實表中。
7、 如權利要求6所述的對消息類業務數據進行多維分析的方法，其特征在 于，所述維度數據的同步包括A新增維度數據處理根據源表的最新id值將本次新增維度數據插入到關 系型數據庫維度表；B維度信息更新處理根據源表的id值確定本行是不是新增維度信息，根 據源表的標志列確定本行的部分信息發生了更新，在對關系型數據庫中的維度表 進行更新操作中關聯已確定發生了信息更新的記錄以更新維度表數據；C維度表屬性字段信息通過一組存儲過程來實現，以完成維度成員屬性的計算。
8、 一種對消息類業務數據進行多維分析的系統，其特征在于該系統包括獨立設置的以下模塊數據采集模塊，負責將業務系統中分散在各個網元節點上的生產數據采集到 統計分析服務器上的一個中間數據庫中；數據轉換與裝載模塊，負責將中間數據庫的數據轉換處理到一個具有星型架 構特征的關系型數據庫中，并根據需要進一步處理到數據倉庫中；數據分析與呈現模塊，負責對數據倉庫或關系型數據庫中具有多維特征的業 務數據進行分析和呈現。
9、 如權利要求8所述的對消息類業務數據進行多維分析的系統，其特征在 于數據采集模塊包括文件類生產數據處理子模塊和數據庫類生產數據處理子模塊，文件類型的生產數據采用兩個獨立進程分別完成文件獲取與入庫工作；數據 庫類生產數據采用鏈接服務器、DTS和數據庫復制三種方式同步數據；所述的數 據轉換處理包括三個主要模塊維度表處理模塊、事實表處理模塊和異常數據處 理模塊；維度表處理模塊負責完成維度數據的收集和更新，以及對維度的屬性數 據進行預先計算處理；事實表處理模塊負責完成事實數據的收集和更新，以及通 過維護與維度表的主外鍵關系實現與維度表的關聯；異常數據處理模塊負責對系 統異常數據進行額外處理；數據分析與呈現模塊包括預定義統計報表、定制查詢 與報表以及多維分析子模塊；預定義報表子模塊是將査詢主體中行列定義、字段 具體含義均預先定義為報表定義文件，定制查詢子模塊是將與報表的行列字段定 義在界面中預定義，報表子模塊儲存各種報表文件，多維分析子模塊，其是展現 所有Cube維度及度量值的要素，用戶首先選定某些維度的取值，之后在界面上 設置一個或多個維度作為分析列、 一個或多個維度作為分析行、 一個或多個度量 值作為數據項，通過動態展開分析行及分析列可以獲得在不同維度取值影響下的 度量值數據，分析行及分析列維度在不同層次(level)上自動進行數據的聚合; 定制報表的數據源既包括關系型數據庫，也包括數據倉庫，而多維分析模塊的數 據源只基于數據倉庫的Cube 。
全文摘要
本發明是一種對消息類業務數據進行多維分析的方法和系統，其步驟包括、數據采集步驟、數據整合步驟，數據轉換與裝載模塊負責將中間數據庫的數據轉換處理到一個具有星型架構特征的關系型數據庫中，對消息類業務的各種待分析數據進行整理，將具有共同或相近特性的數據進行歸類，并納入到一個統一的維度層次結構中；對中間數據庫的數據進行進一步的清洗、轉換以處理到另一個多維數據庫中；及數據分析與呈現步驟。對應的該系統，包括獨立設置數據采集模塊，數據轉換與裝載模塊及數據分析與呈現模塊，采用本發明，能在相似的增值業務系統中共享多維數據模型，減少系統的開發周期和成本。應用該模型建立的系統所具有的多維度數據分析的功能，可為運營商和設備制造商提供更為靈活方便的數據統計方法及決策支持。
文檔編號H04M3/24GK101197876SQ20061015741
公開日2008年6月11日 申請日期2006年12月6日 優先權日2006年12月6日
發明者巖 丁, 楊淑艷, 柯 蔣, 俊 陳 申請人:中興通訊股份有限公司