一種數據采集分析系統和方法
【技術領域】
[0001] 本發明設及數據處理技術領域，特別是設及一種數據采集分析方法和一種數據采 集分析裝置。
【背景技術】
[0002] 隨著通信技術的快速發展，尤其是隨著移動互聯網的推廣，智能終端的普及越來 越快，且智能終端的功能也越來越豐富。其中，智能終端通過安裝各種各樣的應用實現其功 能，提供多樣化的服務。
[0003] 為了提高服務質量，各服務平臺的開發人員需要設置的數據采集方案采集應用的 數據，W 了解業務需求。其中，不同的業務需要采集的應用數據不同。因此，服務平臺的開發 人員需要根據不同的業務設置不同的應用數據采集方案。
[0004] 具體的，服務平臺的開發人員需要根據服務平臺提供的業務，設置各應用的采集 參數，按照設置的采集參數對各應用進行數據采集，生成該服務平臺的業務報表，W 了解業 務需求。但是，安裝在智能終端上的應用比較多，即需要采集的應用數據比較多，導致各服 務平臺的數據采集格式難W統一。因此，各服務平臺的開發人員還需要定義各應用的數據 采集格式，使得各服務平臺可W按照設置的數據采集格式采集各應用的數據，進一步增加 開發人員的工作量。
【發明內容】
[0005] 鑒于上述問題，提出了本發明W便提供一種克服上述問題或者至少部分地解決上 述問題的數據采集分析方法和相應的數據采集分析系統。
[0006] 依據本發明的一個方面，提供了一種數據采集分析系統，包括:采集控制服務器、 數據分析服務器、報表生成服務器和至少一個數據終端，所述數據終端中安裝有采集工具； 所述采集控制服務器，用于配置所述采集配置信息給數據終端并下發給相應的數據終端， 其中，所述配置信息用于控制采集參數的采集;所述數據終端，用于在應用運行時調用所述 采集工具，依據采集配置信息對采集參數的參數信息進行采集；W及將采集的參數信息上 傳給所述數據分析服務器;所述數據分析服務器，用于對上傳的各采集參數對應參數信息 進行分析，獲取數據分析結果;將所述數據分析結果發送給所述報表生成服務器;所述報表 生成服務器，用于依據所述數據分析結果生成數據報表。
[0007] 可選地，述采集控制服務器包括云控服務器;所述云控服務器，用于依據應用類型 確定所述應用的采集參數，其中，所述采集參數包括:動態參數和/或靜態參數;依據所述應 用和應用所在終端配置采集配置信息，其中，所述采集配置信息用于控制所述采集參數的 采集和上傳;將采集參數和采集配置信息下發給應用所在的數據終端。
[000引可選地，所述云控服務器，用于配置參數信息的上傳條件和/或采樣條件，將上傳 條件和/或采樣條件添加到采集配置信息中；配置所述應用所在終端對應內存的采集闊值， 將所述采集闊值添加到采集配置信息中；配置所述應用所在終端對應網絡類型的上傳間 隔，將所述上傳間隔添加到所述采集配置信息中；配置所述應用所在終端對應緩存闊值，將 所述緩存闊值添加到采集配置信息中；W及，在所述采集配置信息中配置協議上傳順序、采 樣率和采樣參數的優先級。
[0009] 可選地，所述數據終端，用于采用采集工具依據采集配置信息采集所述應用的靜 態參數的參數信息；W及，采用所述采集工具依據采集配置信息確定待采集的動態參數，依 據所述應用的運行實時采集所述動態參數的參數信息。
[0010] 可選地，所述數據終端，用于當檢測到所述應用的界面切換時，記錄切換前的界面 為上一頁，記錄切換后的界面為當前頁，將所述上一頁和當前頁添加到應用界面啟動信息 中；當檢測到所述應用的按鈕被觸發時，獲取所述按鈕對應的按鈕編號，更新所述按鈕編號 對應的點擊次數，將所述按鈕編號和點擊次數添加到按鈕點擊信息中；采集所述應用相關 的運行時間作為時長信息，其中，所述時長信息包括:界面運行時間和應用運行時間。
[0011] 可選地，所述靜態參數的參數信息包括W下至少一項：終端標識、版本信息、渠道 信息、網絡類型和分辨率信息;所述動態參數的參數信息包括W下至少一項:應用界面啟動 信息、按鈕點擊信息、時長信息、異常信息和會話信息。
[0012] 可選地，所述報表生成服務器，用于依據配置的應用對應自定義事件的自定義管 理信息，獲取業務統計信息；依據所述自定義管理信息和業務統計信息生成自定義事件報 表。
[0013] 可選地，所述報表生成服務器，還用于從所述業務管理頁面中獲取所述應用的應 用路徑，W及所述應用對應自定義事件的自定義事件信息，其中，所述自定義事件信息包 括:事件名稱和事件屬性;采用所述應用路徑和自定義事件信息生成自定義管理信息。
[0014] 可選地，所述報表生成服務器，用于依據所述應用路徑確定應用;針對每個自定義 事件，獲取所述事件名稱對應的邏輯名稱，W及所述事件屬性對應的邏輯屬性;查找所述邏 輯名稱對應采集參數，依據所述邏輯屬性確定所述采集參數對應的業務統計信息；W及確 定各采集參數對應的事件名稱，采用各事件名稱和對應采集參數的業務統計信息生成應用 的自定義事件報表。
[0015] 可選地，所述采集控制服務器，還用于配置所述目標應用對應測試設備的測試信 息；
[0016] 所述數據分析服務器，還用于對所述目標應用對應上傳的參數信息進行分析;判 斷所述參數信息屬于測試設備時，實時對屬于測試設備的參數信息進行分析;所述報表生 成服務器，還用于判斷所述參數信息屬于測試設備時，依據數據分析結果實時生成數據報 表。
[0017] 可選地，所述采集控制服務器，包括:開發配置服務器;所述開發配置服務器，用于 在目標應用完成注冊后，對所述目標應用配置至少一個測試設備的測試標識；為所述目標 應用配置待測試的采集參數，將所述測試標識和采集參數作為測試信息;所述數據分析服 務器，還用于從上傳的參數信息中獲取目標應用對應采集參數的參數信息;通過所述參數 信息中終端參數對應終端標識;判斷所述終端標識與測試設備表中測試標識是否相同，當 所述終端標識與測試設備表中任一測試標識相同時，判斷參數信息屬于測試設備。
[0018] 可選地，所述數據分析服務器，還用于從所述參數信息中查找校驗參數對應校驗 信息;對所述校驗信息進行分析確定劫持校驗結果。
[0019] 可選地，所述數據分析服務器，用于確定校驗參數的參數標識，從所述參數信息中 查找所述參數標識對應校驗信息;檢測所述校驗信息是否為目標信息;若所述校驗信息不 為目標信息，確定流量存在劫持異常，在所述劫持校驗結果中記錄劫持異常;若所述校驗信 息為目標信息，確定數據傳輸正常，在所述劫持校驗結果中記錄傳輸正常。
[0020] 可選地，所述數據分析服務器，還用于從所述參數信息中查找存儲參數對應存儲 信息;依據所述存儲信息檢測數據質量，確定質量校驗結果。
[0021] 可選地，所述數據分析服務器，用于確定存儲參數的存儲標識，從所述參數信息中 查找所述存儲標識對應存儲信息；依據所述存儲信息查找至少一個終端標識；當所述存儲 信息對應一個終端標識，生成質量合格的質量校驗結果；當所述存儲信息對應多于一個終 端標識，查找所述終端標識對應成功上傳信息;將各終端標識對應上傳成功信息進行排序， 依據排序結果確定所述上傳成功信息不存在冗余時，判斷數據異常，生成數據異常的質量 校驗結果。
[0022] 根據本發明的另一方面，提供了所述數據采集分析方法應用于數據采集分析系統 中，數據采集分析系統包括:所述采集控制服務器、數據分析服務器、報表生成服務器和至 少一個數據終端，所述數據終端中安裝有采集工具；
[0023] 所述的方法包括:所述采集控制服務器配置所述采集配置信息給數據終端并下發 給相應的數據終端;所述數據終端在應用運行時調用所述采集工具，依據采集配置信息對 采集參數的參數信息進行采集;所述數據終端將采集的參數信息上傳給所述采集控制服務 器;所述數據分析服務器對上傳的各采集參數對應參數信息進行分析，獲取數據分析結果； 所述數據分析服務器將所述數據分析結果發送給所述報表生成服務器;所述報表生成服務 器依據所述數據分析結果生成數據報表。
[0024] 可選地，所述采集控制服務器配置所述采集配置信息給數據終端并下發給相應的 數據終端，包括:所述采集控制服務器依據應用類型確定所述應用的采集參數，其中，所述 采集參數包括:動態參數和/或靜態參數;依據所述應用和應用所在終端配置的采集配置信 息，其中，所述采集配置信息用于控制所述采集參數的采集和上傳;將采集參數和采集配置 信息下發給應用所在的數據終端。
[0025] 可選地，依據所述應用和應用所在終端配置的采集配置信息的步驟包括W下至少 一種:配置參數信息的上傳條件和/或采樣條件，將上傳條件和/或采樣條件添加到采集配 置信息中；配置所述應用所在終端對應內存的采集闊值，將所述采集闊值添加到采集配置 信息中；配置所述應用所在終端對應網絡類型的上傳間隔，將所述上傳間隔添加到所述采 集配置信息中；配置所述應用所在終端對應緩存闊值，將所述緩存闊值添加到采集配置信 息中；在所述采集配置信息中配置協議上傳順序、采樣率和采樣參數的優先級。
[0026] 可選地，所述依據采集配置信息對采集參數的參數信息進行采集，包括:采用所述 采集工具依據采集配置信息采集所述應用的靜態參數的參數信息;采用所述采集工具依據 采集配置信息確定待采集的動態參數，依據所述應用的運行實時采集所述動態參數的參數 信息。
[0027] 可選地，據所述應用的運行實時采集所述動態參數的參數信息的步驟包括W下至 少一種：當檢測到所述應用的界面切換時，記錄切換前的界面為上一頁，記錄切換后的界面 為當前頁，將所述上一頁和當前頁添加到應用界面啟動信息中；當檢測到所述應用的按鈕 被觸發時，獲取所述按鈕對應的按鈕編號，更新所述按鈕編號對應的點擊次數，將所述按鈕 編號和點擊次數添加到按鈕點擊信息中；采集所述應用相關的運行時間作為時長信息，其 中，所述時長信息包括:界面運行時間和應用運行時間。
[0028] 可選地，所述靜態參數的參數信息包括W下至少一項：終端標識、版本信息、渠道 信息、網絡類型和分辨率信息;所述動態參數的參數信息包括W下至少一項:應用界面啟動 信息、按鈕點擊信息、時長信息、異常信息和會話信息。
[0029] 可選地，所述報表生成服務器依據所述數據分析結果生成數據報表，包括:所述報 表生成服務器依據配置的應用對應自定義事件的自定義管理信息，獲取業務統計信息；依 據所述自定義管理信息和業務統計信息生成自定義事件報表。
[0030] 可選地，還包括配置自定義管理信息的步驟:從所述業務管理頁面中獲取所述應 用的應用路徑，W及所述應用對應自定義事件的自定義事件信息，其中，所述自定義事件信 息包括:事件名稱和事件屬性;采用所述應用路徑和自定義事件信息生成自定義管理信息。 [0031 ]可選地，依據配置的應用對應自定義事件的自定義管理信息，獲取業務統計信息； 依據所述自定義管理信息和業務統計信息生成自定義事件報表，包括:依據所述應用路徑 確定應用;針對每個自定義事件，獲取所述事件名稱對應的邏輯名稱，W及所述事件屬性對 應的邏輯屬性;查找所述邏輯名稱對應采集參數，依據所述邏輯屬性確定所述采集參數對 應的業務統計信息；確定各采集參數對應的事件名稱，采用各事件名稱和對應采集參數的 業務統計信息生成應用的自定義事件報表。
[0032] 可選地，所述方法，還包括:所述采集控制服務器配置所述目標應用對應測試設備 的測試信息;所述數據分析服務器對所述目標應用對應上傳的參數信息進行分析;判斷所 述參數信息屬于測試設備時，實時對屬于測試設備的參數信息進行分析;所述報表生成服 務器判斷所述參數信息屬于測試設備時，依據數據分析結果實時生成數據報表。
[0033] 可選地，配置所述目標應用對應測試設備的測試信息，包括:在目標應用完成注冊 后，對所述目標應用配置至少一個測試設備的測試標識；為所述目標應用配置待測試的采 集參數，將所述測試標識和采集參數作為測試信息；
[0034] 所述的方法還包括:所述數據分析服務器從上傳的參數信息中獲取目標應用對應 采集參數的參數信息;通過所述參數信息中終端參數對應終端標識;判斷所述終端標識與 測試設備表中測試標識是否相同，當所述終端標識與測試設備表中任一測試標識相同時， 判斷參數信息屬于測試設備。
[0035] 可選地，所述方法，還包括:數據分析服務器從所述參數信息中查找校驗參數對應 校驗信息;對所述校驗信息進行分析確定劫持校驗結果。
[0036] 可選地，從所述參數信息中查找校驗參數對應校驗信息;對所述校驗信息進行分 析確定劫持校驗結果，包括:確定校驗參數的參數標識，從所述參數信息中查找所述參數標 識對應校驗信息;檢測所述校驗信息是否為目標信息;若所述校驗信息不為目標信息，確定 流量存在劫持異常，在所述劫持校驗結果中記錄劫持異常;若所述校驗信息為目標信息，確 定數據傳輸正常，在所述劫持校驗結果中記錄傳輸正常。
[0037] 可選地，所述方法，還包括:所述數據分析服務器從所述參數信息中查找存儲參數 對應存儲信息;依據所述存儲信息檢測數據質量，確定質量校驗結果。
[0038] 可選地，從所述參數信息中查找存儲參數對應存儲信息；依據所述存儲信息檢測 數據質量，確定質量校驗結果，包括:確定存儲參數的存儲標識，從所述參數信息中查找所 述存儲標識對應存儲信息；依據所述存儲信息查找至少一個終端標識；當所述存儲信息對 應一個終端標識，生成質量合格的質量校驗結果；當所述存儲信息對應多于一個終端標識， 查找所述終端標識對應成功上傳信息；將各終端標識對應上傳成功信息進行排序，依據排 序結果確定所述上傳成功信息不存在冗余時，判斷數據異常，生成數據異常的質量校驗結 果。
[0039] 應用啟動并進行初始化時調用采集工具，采用該采集工具對應用進行數據采集 時，采集工具可W依據采集配置信息采集所述應用中各采集參數的參數信息。采集工具采 集所述應用中各采集參數的參數信息后，判斷是否滿足上傳條件，若滿足，采集工具按照預 置算法將參數信息進行壓縮，然后上傳給數據分析服務器。
[0040] 數據分析服務器對上傳的各采集參數對應參數信息進行分析，如對各采集參數對 應的參數信息進行統計，從而獲取數據分析結果，再將所述數據分析結果發送給所述報表 生成服務器，所述報表生成服務器依據所述數據分析結果，為各邏輯的數據分析結果配置 可讀的屬性信息生成數據報表，從而可W基于該數據報表確定應用的使用情況。
[0041] 從而通過采集工具能夠在應用運行的數據終端中采集各采集參數的參數信息，在 上傳給數據分析服務器后，依據統計需求進行數據分析，從而生成相應業務的數據報表，通 過該數據報表獲知用戶需求、習慣等，對業務進行調整，更符合用戶需求。
[0042] 上述說明僅是本發明技術方案的概述，為了能夠更清楚了解本發明的技術手段， 而可依照說明書的內容予W實施，并且為了讓本發明的上述和其它目的、特征和優點能夠 更明顯易懂，W下特舉本發明的【具體實施方式】。
【附圖說明】
[0043] 通過閱讀下文優選實施方式的詳細描述，各種其他的優點和益處對于本領域普通 技術人員將變得清楚明了。附圖僅用于示出優選實施方式的目的，而并不認為是對本發明 的限制。而且在整個附圖中，用相同的參考符號表示相同的部件。在附圖中：
[0044] 圖1示出了根據本發明一個實施例的數據采集分析系統結構框圖；
[0045] 圖2示出了根據本發明一個實施例的數據采集分析方法的步驟流程圖；
[0046] 圖3示出了根據本發明另一個實施例的數據采集分析系統結構框圖；
[0047] 圖4示出了根據本發明另一個實施例的數據采集分析方法的步驟流程圖；
[0048] 圖5示出了根據本發明另一個實施例的自定義事件處理方法的步驟流程圖；
[0049] 圖6示出了根據本發明另一個實施例的目標應用的測試方法的步驟流程圖；
[0050] 圖7示出了根據本發明另一個實施例的傳輸校驗方法的步驟流程圖；W及 [0051 ]圖8示出了根據本發明另一個實施例的數據質量校驗方法的步驟流程圖。
【具體實施方式】
[0052]下面將參照附圖更詳細地描述本公開的示例性實施例。雖然附圖中顯示了本公開 的示例性實施例，然而應當理解，可W W各種形式實現本公開而不應被運里闡述的實施例 所限制。相反，提供運些實施例是為了能夠更透徹地理解本公開，并且能夠將本公開的范圍 完整的傳達給本領域的技術人員。
[0053] 實施例一
[0054] 通常，一些終端如手機、平板電腦的供應商、軟件開發商通過采集安裝在終端上的 應用在運行時的數據