基于聯機分析的第三方物流數據處理方法

專利名稱：基于聯機分析的第三方物流數據處理方法
技術領域：
本發明涉及一種基于聯機分析的第三方物流數據處理方法。
背景技術：
物流管理在今日的企業營運中越來越受到重視，原因在于它不但是低成本策略的根源之一，而且是企業在講求“彈性”、“速度”、等條件時重要的策略工具之一。而第三方物流作為貨主和客戶的中間人，面對眾多的貨主和客戶之間復雜的交叉關系，注定需要處理煩雜的出入貨數據。而傳統的電子商務管理平臺只能操作一般的出入貨數據事務處理，無法進行有效的決策分析。
在線聯機分析處理(OLAP)是針對特定問題的聯機分析和數據訪問。通過對信息(維數據)的多種可能的觀察形式進行快速、穩定一致和交互性的存取，允許管理人員對數據進行深入的觀察。OLAP的目標是滿足決策支持和特定多維環境特定的查詢和報表的需求，它的核心技術是“維”這個概念，因此OLAP可以說是多維分析工具的集合。維是人們觀察數據的特定角度，是考慮問題時的一類屬性，屬性集合構成一個維，如時間維和地理維。用戶可以通過OLAP中的上卷、下鉆、鉆入、切片操作對物流數據進行多方面直觀的觀察。

發明內容為了克服已有第三方物流的管理方法的操作復雜、難以直觀的觀察海量貨物存儲及出入倉庫的數據，從而難以做出相應的判斷決策的不足，本發明提供一種操作簡單，將在線分析(OLAP)技術應用于第三方物流系統，從而使得決策人員能夠通過多維度的觀查角度來更直觀地觀察數據的基于聯機分析的第三方物流數據處理方法。
本發明解決其技術問題所采用的技術方案是一種基于聯機分析的第三方物流數據處理方法，所述的方法主要包括以下步驟(1)、以第三方物流公司高級決策人員為聯機分析處理的用戶，確定需要分析的物流數據，包括出貨數據、收貨數據、配送數據，確定的維度時間維、貨品維、倉庫維，觀察的度量值次數、總重量、總體積、總重量；時間維又分層次年、季、月、日；貨品維又分貨品類型、貨品名稱；倉庫維又分倉庫名、庫區、庫位；并確定各個數據在物流管理平臺數據庫中所存放的數據表格；(2)、在服務器端的XML文件中，將所述的維度、度量值和涉及到的表格等信息通過確定格式定義；(3)、系統通過XML文件中的定義，從物流管理平臺數據庫中取出數據，放入數據倉庫子系統中，將從傳統關系數據庫中取出的數據，進行過慮、篩選后以多維立方體的形式存儲所述的倉庫子系統；(4)、當用戶需要通過維度的概念觀察數據時，用戶通過瀏覽器觀察數據，并且通過點擊界面中的樹形數據表格，進行上卷、下鉆、鉆入、切片操作；(5)、系統通過過慮器SERVLET接受用戶操作后提交的HTTP表單，對接受的表單數據進行過慮與判斷，對應到各相應的操作，從而觸發相關的偵聽器類，進行具體操作；(6)、系統根據表單數據，得知用戶的操作，并且，生成數據倉庫子系統能夠識別的多維查詢語言MDX，將生成的MDX語言提交給OLAP數據倉庫子系統操作接口；(7)、數據倉庫子系統從接口處接收到MDX查詢語言，進行相應的數據讀取操作；(8)、數據倉庫子系統將數據返回給系統，系統將以組件(WEBCOMPONENT)的形式將數據表示出來，并數據發送給客戶；(9)、客戶通過瀏覽器接受數據，并對數據進行多維形式的觀察和操作。
進一步，在所述的(3)中，第三方物流管理平臺中的OLAP子系統通過JAVA語言編寫。
再進一步，所述的系統采用B/S結構。即Browser/Server(瀏覽器/服務器)結構，是隨著Internet技術的興起，對C/S結構的一種變化或者改進的結構。在這種結構下，用戶界面完全通過WWW瀏覽器實現，一部分事務邏輯在前端實現，但是主要事務邏輯在服務器端實現。從而能夠使得用戶通過系統自帶的瀏覽器多人次同時觀測數據。
更進一步，所述的(7)中，數據讀取操作的具體步驟為(7.1)、數據倉庫子系統對所需讀取得數據進行判斷；(7.2)、如果內存中已經緩存了該數據，則數據倉庫子系統直接將數據的指針返回給系統；(7.3)、如果內存中沒有，則數據倉庫子系統將數據從硬盤中取得，放入內存中緩存；(7.4)、返回該數據的指針，并且剔除內存中沒訪問的老數據。
所述的(8)中，系統處理數據方法的具體步驟為(8.1)、數據以某個特定組件(WEBCOMPONENT)所定義的格式載入，并以XML協議的形式來存儲數據；(8.2)、系統通過用戶預先在XLST文件中定義的轉換格式，將XML形式存儲的數據轉換為特定協議形式的數據表示方法；(8.3)、系統將已經轉換為用戶可以理解的協議格式的數據發送給客戶。
本發明的工作原理是聯機分析處理(OLAP)的概念最早是由關系數據庫之父E.F.Codd于1993年提出的。OLAP的提出引起了很大的反響，OLAP作為一類產品同聯機事務處理(OLTP)明顯區分開來。
OLAP工具是針對特定問題的聯機數據訪問與分析。它通過多維的方式對數據進行分析、查詢和報表。維是人們觀察數據的特定角度。例如，一個企業在考慮產品的銷售情況時，通常從時間、地區和產品的不同角度來深入觀察產品的銷售情況。這里的時間、地區和產品就是維。而這些維的不同組合和所考察的度量指標構成的多維數組則是OLAP分析的基礎，可形式化表示為(維1，維2，……，維n，度量指標)，如(地區、時間、產品、銷售額)。多維分析是指對以多維形式組織起來的數據采取切片(Slice)、切塊(Dice)、鉆取(Drill-down和Roll-up)、旋轉(Pivot)等各種分析動作，以求剖析數據，使用戶能從多個角度、多側面地觀察數據庫中的數據，從而深入理解包含在數據中的信息。
應用聯機分析處理與傳統的聯機事務處理區別在于聯機分析處理主要通過多維的方式來對數據進行分析，查詢和生成報表。而傳統的電子商務管理平臺使用的聯機事務處理應用，主要是用來完成用戶的事務處理。如民航訂票系統，銀行儲蓄系統等，通常要進行大量的更新操作，同時對響應時間要求比較高。而聯機分析系統應用主要是對用戶當前及歷史數據進行分析，輔助領導決策。其典型的應用有對銀行信用卡風險的分析與預測，公司市場營銷策略的制定等。主要是進行大量的查詢操作，對時間的要求不太嚴格。
本發明將OLAP技術應用于第三方物流管理系統中，從而使得第三方物流公司的決策層人員能夠針對出貨、入貨、配送等特定問題，以多維方式進行分析、查詢、和報表。能夠從更直觀的特定角度觀察數據，從高層次觀測數據規律，從而更好的決策。并且系統采用B/S結構，使得只需系統自帶的瀏覽器便可多人次同時觀測數據。系統用JAVA語言編寫的數據倉庫，相對于傳統的SQLSERVER自帶的OLAP系統，能夠運行于所有帶JRE虛擬機的系統，從而提高了移植性。
本發明的有益效果主要表現在1、操作簡單，將在線分析(OLAP)技術應用于第三方物流系統，從而使得決策人員能夠通過多維度的觀查角度來更直觀地觀察數據；2、采用B/S的系統結構使得用戶只需通過瀏覽器便可在客戶端多人同步觀察；3、用JAVA編寫的OLAP聯機分析系統又同時具備了跨平臺的特點，可運行于各類安裝了JRE虛擬機的系統，從而解決了使用SQLSERVER2000中的多維分析工具只能運行于WINDOWS操作系統的局限性。


圖1是在線分析系統的初始化流程圖。
圖2是在線分析系統的用戶操作交互過程的流程圖。
圖3是在線分析系統的構架圖。
具體實施方式
下面結合附圖對本發明作進一步描述。
參照圖1、圖2、圖3，一種基于聯機分析的第三方物流數據處理方法，所述的方法主要包括以下步驟(1)、第三方物流公司高級決策人員作為OLAP的用戶，首先確定需要分析的物流數據，包括出貨數據、收貨數據、配送數據，然后確定通過哪些維度來觀察需要的數據。并且確定維度的各層次、觀察的度量值、數據在物流管理平臺數據庫中涉及到的表格。比如針對出貨數據來說確定的維度有時間維、貨品維、倉庫維，觀察的度量值出貨次數、出貨總重量、出貨總體積、出貨總重量；時間維又分層次年、季、月、日；貨品維又分貨品類型、貨品名稱；倉庫維又分倉庫名、庫區、庫位；對于收貨數據、配送數據也采用類似的維度。
(2)、將根據需求設計好的維度、度量值、涉及到的表等信息，通過確定格式在服務器端的XML文件中定義。
(3)、系統通過XML文件中的定義，從物流管理平臺數據庫中取出數據，放入數據倉庫子系統中。數據倉庫子系統是按照用戶的需求，將從傳統關系數據庫中取出的數據，進行過慮、篩選后以多維立方體的形式存儲于數據倉庫子系統中。數據倉庫子系統中的海量數據存儲于硬盤中，并且對大量頻繁讀取的數據以緩存的形式存儲于內存中。數據倉庫子系統以多維度立方體的形式存儲數據，這樣可以更方便的以維度的形式定位和讀取數據。比如，在數據倉庫子系統中用戶可以通過MDX語言方便快捷的讀取到地址維是杭州，時間維是2002年的數據，而不用通過SQL語言的GROUP關鍵字對關系數據庫中的數據再次進行分組后讀取。本系統中的數據倉庫子系統通過JAVA語言編寫，可以運行于任何裝有JAVA虛擬機的系統，具有跨平臺的特點。
(4)、當用戶需要通過維度的概念觀察數據時，用戶通過瀏覽器觀察數據，并且通過點擊界面中的樹形數據表格，進行上卷、下鉆、鉆入、切片操作。
(5)、系統通過過慮器SERVLET接受用戶操作后提交的HTTP表單，對接受的表單數據進行過慮與判斷，對應到各相應的操作，從而觸發相關的偵聽器類，進行具體操作。
(6)、系統根據表單數據，得知用戶的操作，并且，生成數據倉庫子系統能夠識別的多維查詢語言MDX。系統將生成的MDX語言提交給OLAP數據倉庫子系統操作接口。如同通過SQL語言對SQLSERVER數據庫進行操作。
(7)、數據倉庫子系統從接口處接收到MDX查詢語言，進行相應的數據讀取操作。具體步驟為(7.1)、數據倉庫子系統對所需讀取得數據進行判斷；(7.2)、如果內存中已經緩存了該數據，則數據倉庫子系統直接將數據的指針返回給系統；(7.3)、如果內存中沒有，則數據倉庫子系統將數據從硬盤中取得，放入內存中緩存；(7.4)、返回該數據的指針，并且剔除內存中沒訪問的老數據。
(8)、數據倉庫子系統將數據返回給系統，系統將以組件(WEBCOMPONENT)的形式將數據表示出來，并將數據發送給客戶。具體的步驟為(8.1)、數據以某個特定組件所定義的格式載入，并以XML協議的形式來存儲數據；(8.2)、系統通過用戶預先在XLST文件中定義的轉換格式，將XML形式存儲的數據轉換為特定協議形式的數據表示方法；(8.3)、系統將已經轉換為用戶可以理解的協議格式的數據發送給客戶。
(9)、客戶通過瀏覽器接受數據，并對數據進行多維形式的觀察和操作。
參照圖1，針對于對出貨表的分析，系統的流程如下初始化階段在服務器端新建CHUHUO.XML文件，文件中定義在關系數據庫中對應的事實表wms_rels_task_item_t，維度時間維、貨品維、倉庫維。度量值出貨次數、出貨總重量、出貨總體積、出貨總重量。時間維又分層次年、季、月、日。貨品維又分貨品類型、貨品名稱。倉庫維又分倉庫名、庫區、庫位。然后啟動WEB服務器，當用戶第一次瀏覽OLAP子系統時，系統根據CHUHUO.XML文件定義，將SQLSERVER2000中wms_rels_task_item_t關系表中的數據取出，并且按照時間、倉庫、貨品三個維度存放于數據倉庫中。
參照圖2、圖3，用戶交互階段的流程第一步、用戶點擊瀏覽器中的樹狀表格，確定數據的維度，比如1998年所有貨品富日物流擁軍庫中的數據，參照表1
表1第二步、瀏覽器生成表單，發送回WEB服務器。
第三步、服務器端觸發相應操作，如取1998年所有貨品富日物流擁軍庫中的數據、展開時間維度到季度層次。并調用OLAP子系統接口進行操作。
第四步、如果是取數據操作，OLAP子系統接受瀏覽器傳入的表單，并將其翻譯為MDX語言。
第五步、OLAP子系統將生成的MDX語言傳入數據倉庫接口，調用其取出數據。
第六步、數據倉庫以維度形式定位多維立體數據立方體中的幾何數據集合，取出放入緩存。
第七步、數據倉庫將用戶需要的數據從緩存中返回OLAP子系統。
第八步、OLAP子系統接受到數據，并根據WEB組件的表現形式(如樹狀表格或圖表)以不同格式的XML形式存儲于OLAP子系統中。
第九步、根據用戶預定義的XLST文件，將XML形式的數據轉換為瀏覽器能夠識別的HTML格式。
第十步、WEB服務器返回表單。
第十一步、客戶端瀏覽器顯示數據。
在線分析系統的結構，參照表2
表2參照圖3，系統構架作為B/S結構的第三方物流管理平臺的OLAP子系統，系統分為客戶端和服務端。客戶端是瀏覽器，以HTTP協議接受HTML格式的數據，然后在瀏覽器中表示。服務器端是第三方物流管理平臺。參照表2，OLAP系統作為第三方物流管理平臺的子系統，又分為四個模塊數據源、數據倉庫、業務處理、數據表示。
數據源指第三方物流管理平臺的SQLSERVER2000數據庫，記錄了日常物流活動中的數據記錄。如出入貨品記錄、客戶記錄、貨主記錄等。是數據倉庫的數據來源。
數據倉庫一個JAVA編寫的平臺通用的數據倉庫，根據決策層人員預定義的決策需求將數據源中的數據按照需求取出，以多維度立方體形式存儲于外存。并且以緩存的形式將比較頻繁讀取的數據存儲于內存。
業務處理根據客戶端發來的表單觸發相應的操作，并且進行用戶的指令，進行上卷、下鉆、鉆入、切片等操作。如果是從數據倉庫取數據的操作，首先根據客戶端發來的表單，生成數據倉庫能夠理解的MDX語句，然后將MDX語句發送給數據倉庫接口，進行取數據操作。最后接收數據倉庫發過來的多維數據，根據不同WEBCOMPONENT組件的表現形式，將數據以不同格式的XML形式存儲于內存中。
數據表示采用XLST技術，即數據表示與數據的業務處理分開的思想。用戶在服務器中以XLST文件形式預先定義數據在客戶端的表示形式。然后OLAP系統在業務處理進行完成后，根據XLST文件的定義，生成特定WEBCOMPONENT的XLST轉換器，利用轉換器，將存儲在XML形式中的數據轉換為客戶端能夠接受的形式，如HTML格式。
權利要求
1.一種基于聯機分析的第三方物流數據處理方法，所述的方法主要包括以下步驟(1)、以第三方物流公司高級決策人員為聯機分析處理的用戶，確定需要分析的物流數據，包括出貨數據、收貨數據、配送數據，確定的維度時間維、貨品維、倉庫維，觀察的度量值次數、總重量、總體積、總重量；時間維又分層次年、季、月、日；貨品維又分貨品類型、貨品名稱；倉庫維又分倉庫名、庫區、庫位；并確定各個數據在物流管理平臺數據庫中所存放的數據表格；(2)、在服務器端的XML文件中，將所述的維度、度量值和涉及到的表格等信息通過確定格式定義；(3)、系統通過XML文件中的定義，從物流管理平臺數據庫中取出數據，放入數據倉庫子系統中，將從傳統關系數據庫中取出的數據，進行過慮、篩選后以多維立方體的形式存儲所述的倉庫子系統；(4)、當用戶需要通過維度的概念觀察數據時，用戶通過瀏覽器觀察數據，并且通過點擊界面中的樹形數據表格，進行上卷、下鉆、鉆入、切片操作；(5)、系統通過過慮器SERVLET接受用戶操作后提交的HTTP表單，對接受的表單數據進行過慮與判斷，對應到各相應的操作，從而觸發相關的偵聽器類，進行具體操作；(6)、系統根據表單數據，得知用戶的操作，并且，生成數據倉庫子系統能夠識別的多維查詢語言MDX，將生成的MDX語言提交給OLAP數據倉庫子系統操作接口；(7)、數據倉庫子系統從接口處接收到MDX查詢語言，進行相應的數據讀取操作；(8)、數據倉庫子系統將數據返回給系統，系統將以組件WEBCOMPONENT的形式將數據表示出來，并數據發送給客戶；(9)、客戶通過瀏覽器接受數據，并對數據進行多維形式的觀察和操作。
2.如權利要求1所述的基于聯機分析的第三方物流數據處理方法，其特征在于在所述的(3)中，第三方物流系統中的聯機分析處理OLAP子系統通過JAVA語言編寫。
3.如權利要求1所述的基于聯機分析的第三方物流管理方法，其特征在于所述的系統采用Browser瀏覽器/Server服務器結構，用戶通過系統自帶的瀏覽器多人次同時觀測數據。
4.如權利要求1-3之一所述的基于聯機分析的第三方物流數據處理方法，其特征在于所述的(7)中，數據讀取操作的具體步驟為(7.1)、數據倉庫子系統對所需讀取得數據進行判斷；(7.2)、如果內存中已經緩存了該數據，則數據倉庫子系統直接將數據的指針返回給系統；(7.3)、如果內存中沒有，則數據倉庫子系統將數據從硬盤中取得，放入內存中緩存；(7.4)、返回該數據的指針，并且剔除內存中沒訪問的老數據。
5.如權利要求1-3之一所述的基于聯機分析的第三方物流數據處理方法，其特征在于所述的(8)中，系統處理數據方法的具體步驟為(8.1)、數據以某個特定組件所定義的格式載入，并以XML協議的形式來存儲數據；(8.2)、系統通過用戶預先在XLST文件中定義的轉換格式，將XML形式存儲的數據轉換為特定協議形式的數據表示方法；(8.3)、系統將已經轉換為用戶可以理解的協議格式的數據發送給客戶。
全文摘要
一種基于聯機分析的第三方物流數據處理方法，將在線聯機分析處理(OLAP)技術應用于第三方物流管理系統中，從而使得第三方物流公司的決策層人員能夠針對出貨、入貨、配送等特定問題，以多維方式進行分析、查詢和報表。能夠從更直觀的特定角度觀察數據，從高層次觀測數據規律，從而更好的決策。本發明相對于現有的聯機事務處理方法，具有操作簡單，將在線聯機分析(OLAP)技術應用于第三方物流系統，從而使得決策人員能夠通過多維度的觀查角度來更直觀地觀察數據的優點。
文檔編號G06F17/30GK1790397SQ20051006230
公開日2006年6月21日 申請日期2005年12月28日 優先權日2005年12月28日
發明者趙燕偉, 關斌, 楊豐玉, 吳斌, 朱磊 申請人:浙江工業大學