一種基于數據集的自助式可視化數據分析方法與流程

本發明涉及大數據技術領域，具體地說是一種基于數據集的自助式可視化數據分析方法。

背景技術：

傳統的商務智能工具，從數據源獲取，到數據的加工處理、存儲，再到數據建模、數據展現，有著超長的數據處理鏈條，需要專業it技術人員處理，提供給業務用戶的數據展現呈現出兩類極端，一類是面向決策層用戶的儀表盤分析（dashboard），由多個不同主題的部件組成，界面美觀、內容固化，用戶調整復雜，另一類是面向分析層用戶的多維分析（olap），基于特定主題的多維模型，可自由拖拽模型字段形成圖表分析，操作復雜靈活，用戶很難掌握，兩者之間特點鮮明，缺少把兩者優點集成在一塊，特別是把olap分析能力融合到dashboard上，限制了決策層用戶對數據的利用，不能及時滿足業務上多變需求。

大數據伴隨著商務智能發展逐漸被越來越多的用戶所認可，當前大數據已經上升為國家戰略，信息化發展由以應用為中心向以數據為中心快速轉變，用戶積累的數據越來越多，對數據的應用要求更加及時、多變，因此本發明基于普遍存在關系型數據集提供一種面向業務用戶的自助式可視化數據分析方法，滿足大數據時代決策層用戶需求。

技術實現要素：

本發明的技術任務是針對以上不足之處，提供一種基于數據集的自助式可視化數據分析方法。

一種基于數據集的自助式可視化數據分析方法，其實現過程為：

首先將原始數據集統一，即對dashboard分析部件依賴數據的數據源進行統一封裝，該數據源包括語義層、sql和存儲過程數據庫層、業務構件層、第三方webservice層四種，作為原始數據集；

對統一后的原始數據集進行模型抽象，將統一后的原始數據集按照抽象規則自動識別出包含維度、量度字段的數據集模型，使數據集自動處理解析，無法解析的則進行人工識別；

基于抽象的數據集模型，綁定圖形數據，即建立數據集與圖形之間的綁定；

綁定過濾條件，根據維度自動構建過濾條件，實現數據靈活過濾分析；

綁定分析數據表，即將數據按照分析維度、分析指標進行分組統計；

最后進行自助式可視化數據分析，通過統計層、分析層、明細層三層視圖對數據進行自助式可視化分析。

在原始數據集統一過程中，對dashboard分析部件依賴數據的數據源采用統一結構進行描述，該統一結構包括數據源類型、數據源配置、數據源位置、訪問方式、刷新頻率。

在數據集模型抽象步驟中，數據集自動處理解析過程為，自動提取出字段類型，把字符型、日期型、布爾型字段識別為維度，把數值型根據貨幣型、雙精度型、符點型、整型首先識別為量度，分析其取值，根據取值占所有數據集行數的占比來識別為維度，其他類型字段作為量度。

在數據集模型抽象步驟中，無法解析的則進行人工識別是指針對無法自助識別的字段，則對該字段的維度、量度進行手工調整。

圖形數據綁定，根據dashboard分析部件原有圖形設置自動進行圖形數據綁定，保持與原有分析圖形效果一致，具體為，對dashboard分析部件原有圖形類型特征進行分析，按照分類軸綁定維度字段、數據軸綁定量度字段進行綁定。

在圖形數據綁定過程中，圖形類型包括柱形圖和餅形圖，其中，柱形圖綁定兩個數據軸，并設置數據軸圖形類型；餅形圖，綁定多個維度，單個維度按普通餅形圖展示，多個維度按多級餅形圖展示；

在圖形數據完成綁定后，分類軸根據維度、量度設置排序依據，使圖形數據有順展示。

過濾條件綁定是指，根據維度自動構建，根據數據特征自動適配相應的幫助控件：根據數據集維度字段紫都構建過濾條件、字符型維度，根據字段長度和取值確定幫助控件類型，即日期型維度按范圍過濾并采用日期空間幫助，布爾型維度采用開關控件幫助。

分析數據表綁定是指，按照分析維度綁定維度字段、分析指標綁定量度字段進行綁定，數據按照分析維度、分析指標進行分組統計：分析數據表根據圖形當前分類進行綁定，根據用戶操作自動傳遞綁定條件，并在分析表標題顯示綁定條件；分析維度設置排序，分析指標設置聚集方式，該聚集方式包括：計數、最大值、最小值、求和、平均值。

自助式可視化分析過程中，統計層采用圖形方式展示，按照圖形數據綁定和過濾條件展示數據；分析層采用分析表格展示，包括分析維度和分析指標列，根據圖形當前分類和過濾條件展示數據；明細層采用明細表格展示，按照分析聯查過來條件顯示數據集明細數據，通過點擊分析表的指標量度進行聯查。

所述自助式可視化數據分析中的統計層、分析層、明細層三層視圖分析分別為：

在統計層，進行圖形聯動分析，根據選擇當前分類按照分析維度、分析指標自動聯動到分析數據表；

在分析層，進行數據表自助分析，根據數據表綁定規則，按照設置的分析維度、指標及圖形聯動條件自動形成分析數據表；

在明細層，穿透明細數據表，即根據數據集模型、圖表和數據表綁定規則，由分析數據表自動穿透到原始的明細數據表。

本發明的一種基于數據集的自助式可視化數據分析方法和現有技術相比，具有以下有益效果：

本發明的一種基于數據集的自助式可視化數據分析方法，旨在打破傳統bi工具因數據處理鏈條太長，決策層必須通過專業it人員輔助才能進行數據分析現狀，滿足大數據時代決策層用戶對數據應用更加及時、多變的需求；對現有dashboard分析部件進行優化，基于部件關聯的關系型數據集，對數據集字段間的關系進行抽象，根據抽象關系采用自助式圖形化方式把olap分析能力引入到部件上，增強dashboard的二次分析能力，使決策層用戶可以更加及時、靈活的利用數據，提升決策效率，實用性強，適用范圍廣泛，具有很好的推廣應用價值。

附圖說明

附圖1為本發明過濾條件控件綁定規則。

附圖2是本發明實現效果原形圖。

附圖3是本發明具體實現步驟圖。

具體實施方式

下面結合具體實施例對本發明作進一步說明。

本發明是提供一種基于數據集的自助式可視化數據分析方法，包括原始數據集統一、數據集模型抽象、圖形數據綁定、過濾條件綁定、分析數據表綁定、自助式分析聯查規則抽象與處理等內容，其中，

原始數據集統一，從形式上包括對語義層、sql和存儲過程數據庫層、業務構件層、第三方webservice層四類常見數據源進行統一封裝，采用統一結構進行描述。

數據集模型抽象，在根據數據集字段類型自動處理基礎上，增加人工識別，增強分析效果；

圖形數據綁定，通過對常見圖表類型特征進行分析，按照分類軸綁定維度字段、數據軸綁定量度字段進行綁定；

過濾條件綁定，根據維度自動構建，條件幫助形式根據數據特征自動適配相應的幫助控件；

分析數據表綁定，按照分析維度綁定維度字段、分析指標綁定量度字段進行綁定，數據按照分析維度、分析指標進行分組統計；

自助式分析聯查規則抽象與處理，分為統計層、分析層、明細層三層視圖對數據進行自助式可視化分析，不同層視圖采用不同的可視化分析技術。

更為具體的，本發明的實現過程為：

原始數據集統一，從形式上包括對語義層、sql和存儲過程數據庫層、業務構件層、第三方webservice層四類常見數據源進行統一封裝，采用統一結構進行描述，其結構包括數據源類型、數據源配置、數據源位置、訪問方式、刷新頻率。

優選的，針對業務數據處理比較復雜、實時性要求較高的數據源處理，通過可擴展配置以自定義業務構件的方式通過二次開發來進行擴展，可滿足個性化應用場景。

數據集模型抽象，在根據數據集字段類型自動處理基礎上，增加人工識別，增強分析效果；自動處理通過對數據集的解析，自動提取出字段類型，把字符型、日期型、布爾型字段識別為維度，把數值型根據貨幣型、雙精度型、符點型、整型首先識別為量度，針對整型進一步分析其取值多少，根據取值占所有數據集行數的占比來識別為維度，其他類型字段作為量度。

優選的，針對自助識別不合理的字段，增加人工識別，可對字段的維度、量度進行手工調整。

圖形數據綁定，通過對常見圖表類型特征進行分析，按照分類軸綁定維度字段、數據軸綁定量度字段進行綁定；與圖表類型相關，柱形圖可綁定兩個數據軸，并可以設置數據軸圖形類型，餅形圖，可綁定多個維度，單個維度按普通餅形圖展示，多個維度按多級餅形圖展示。分類軸可以根據維度、量度設置排序依據，使圖形數據有順展示。

進一步，根據dashboard分析部件原有圖形設置自動進行圖形數據綁定，保持與原有分析圖形效果一致。

過濾條件綁定，根據維度自動構建，條件幫助形式根據數據特征自動適配相應的幫助控件。進一步，根據數據集維度字段構件過濾條件，字符型維度，根據字段長度和取值多少確定幫助控件類型，日期型維度按范圍過濾，布爾型采用開關控件幫助，具體規則見表1。

優選的，彈出幫助支持過濾查找，可以按關鍵字查找定位，方便選擇。

優選的，對于字段長度100個以上幫助條件，支持模糊查找。

分析數據表綁定，按照分析維度綁定維度字段、分析指標綁定量度字段進行綁定，數據按照分析維度、分析指標進行分組統計。進一步，分析數據表綁定與圖形相關，根據圖形當前分類進行綁定，根據用戶操作自動傳遞綁定條件，并在分析表標題顯示綁定條件。分析維度，可設置排序，分析指標，可以設置聚集方式，包括：計數、最大值、最小值、求和、平均值等。

優選的，分析表具備按列選擇動態排序特性。

自助式分析聯查規則抽象與處理，分為統計層、分析層、明細層三層視圖對數據進行自助式可視化分析，不同層視圖采用不同的可視化分析技術，達到由整體到局部再到明細的層層推進可視化分析效果。統計層采用圖形方式展示，按照圖形數據綁定和過濾條件展示數據；分析層采用分析表格展示，包括分析維度和分析指標列，根據圖形當前分類和過濾條件展示數據；明細層采用明細表格展示，按照分析聯查過來條件顯示數據集明細數據，通過點擊分析表的指標量度進行聯查。

進一步，自助分析界面主體布局采用上下結構，如圖2，上部為統計圖，對應統計層分析圖形，下部為數據表，下部數據表又分為分析表和明細表兩個視圖，分析表對應分析層的分析表，明細表對應明細層的明細表；右側為數據集模型綁定區，由數據集到圖形、分析表綁定區，無需進行錄入交互，采用鼠標拖拽方式完成。

以下將通過對本發明的優選實施例的詳細描述，使本發明的上述目標、特征和優點更加清晰、易懂。為了更容易理解本方法的實施方式，以示例進行詳細的說明。

場景：某大型集團企業a，通過實施bi項目，已經形成覆蓋決策層、分析層兩個層面的運營分析系統，決策層通過dashboard功能了解整個集團運營的關鍵kpi指標，可按板塊、區域、產品線三個維度按月查看匯總數據，分析層通過olap功能根據業務需要對大量明細數據進行在線分析，為決策層每月提供運營報告，輔助決策，決策層通過dashboard獲取的數據不夠精細，分析層提供的詳細報告生成相對滯后，迫切需要一種機制，使決策層能夠方便、及時基于明細數據進行分析。

具體實現步驟如圖3，詳細描述如下：

1.原始數據集統一，對dashboard分析部件依賴數據數據源進行統一封裝，作為原始數據集。

2.數據集模型抽象，根據原始數據集按照抽象規則自動識別出包含維度、量度字段的數據集模型。

3.1圖形數據綁定，基于數據集模型，根據抽象圖形綁定方法建立數據集與圖形之間的綁定。

3.2過濾條件綁定，基于數據集模型，根據四種常見條件幫助類型自動構建過濾條件，實現數據靈活過濾分析。

4.自助圖形分析，根據圖形數據綁定規則，按照設置的維度、量度自動形成可視化的圖形分析。

5.圖形聯動分析表，根據選擇當前分類按照分析維度、分析指標自動聯動到分析數據表。

6.數據表自助分析，根據數據表綁定規則，按照設置的分析維度、指標及圖形聯動條件自動形成分析數據表。

7.穿透明細數據表，根據數據集模型、圖表和數據表綁定規則，由分析數據表可以自動穿透到原始的明細數據表。

通過上述步驟，在已有bi項目建設成果基礎之上，基于普遍存在的關系型數據集，按照本發明提供的方法可以快速完善現有系統，打破傳統bi工具因數據處理鏈條太長，決策層必須通過專業it人員輔助才能進行數據分析現狀，在當前大數據時代，激活數據原動力，釋放決策層潛能方面，具有廣闊的市場前景。

通過上面具體實施方式，所述技術領域的技術人員可容易的實現本發明。但是應當理解，本發明并不限于上述的具體實施方式。在公開的實施方式的基礎上，所述技術領域的技術人員可任意組合不同的技術特征，從而實現不同的技術方案。

除說明書所述的技術特征外，均為本專業技術人員的已知技術。