一種數據服務系統的制作方法
【專利摘要】本發明涉及信息技術領域，公開了一種數據服務系統，該系統包含：內容管理系統(CMS,Content Management System)；第三方抓取數據庫，用于存儲第三方抓取的數據；數據加工庫，將所述數據分為重點數據與非重點數據，將所述非重點數據存入所述內容管理系統，并將所述重點數據輸入至應用管理系統；以及應用管理系統(AMS，Application Management System)，用于對所述重點數據進行審測，并將審測通過的重點數據存入所述內容管理系統。通過上述技術方案，可對來自第三方抓取數據庫的數據進行分類審測，一方面通過分類提高了數據處理的效率，另一方面保證了存入內容管理系統的數據的有效性，從而用戶可放心獲取的內容管理系統的數據，提高了用戶體驗。
【專利說明】
一種數據服務系統
技術領域
[0001]本發明涉及信息技術領域，具體地，涉及一種數據服務系統。
【背景技術】
[0002]隨著網絡的迅速發展，互聯網成為大量信息的載體，如何有效地提取并利用這些信息成為一個巨大的挑戰。搜索引擎(例如，傳統的通用搜索引擎百度、雅虎和谷歌等)作為一個輔助人們檢索信息的工具成為用戶訪問萬維網的入口和指南。但是，這些通用性搜索引擎也存在著一定的局限性，如:(I)不同領域、不同背景的用戶往往具有不同的檢索目的和需求，通用搜索引擎所返回的結果包含大量用戶不關心的網頁。(2)通用搜索引擎的目標是盡可能大的網絡覆蓋率，有限的搜索引擎服務器資源與無限的網絡數據資源之間的矛盾將進一步加深。(3)萬維網數據形式的豐富和網絡技術的不斷發展，圖片、數據庫、音頻、視頻多媒體等不同數據大量出現，通用搜索引擎往往對這些信息含量密集且具有一定結構的數據無能為力，不能很好地發現和獲取。(4)通用搜索引擎大多提供基于關鍵字的檢索，難以支持根據語義信息提出的查詢。
[0003]為解決上述搜索引擎所存在的缺陷，爬蟲工具應運而生，其可按照一定的規則自動地抓取萬維網信息。然而，爬蟲工具所抓取的數據繁雜，作為運營商而言，某些數據可能無法直接提供給用戶使用。如何對此類數據進行有效管理成為了亟待解決的問題。
【發明內容】
[0004]本發明的目的是提供一種數據服務系統，該數據服務系統可對來自第三方抓取工具(例如，爬蟲工具)的數據進行有效的管理，使其可被安全可靠地提供給用戶使用。
[0005]為了實現上述目的，本發明提供一種數據服務系統，該系統包含:內容管理系統(CMS,Content Management System);第三方抓取數據庫，用于存儲第三方抓取的數據;數據加工庫，將所述數據分為重點數據與非重點數據，將所述非重點數據存入所述內容管理系統，并將所述重點數據輸入至應用管理系統；以及應用管理系統(AMS，Applicat1nManagement System)，用于對所述重點數據進行審測，并將審測通過的重點數據存入所述內容管理系統。
[0006]其中，所述數據加工庫可根據所述數據所屬應用的以下一者或多者來劃分重點數據與非重點數據:每日下載量、每日安裝量、每周下載量、每周安裝量、每月下載量以及每月安裝量。
[0007]其中，所述應用管理系統可對所述重點數據進行以下一個或多個審測:安裝卸載審測、運行穩定性審測、功能遍歷審測以及性能審測。
[0008]其中，該系統還可包含:云測系統，用于對所述應用管理系統及內容管理系統內的數據進行殺毒以及終端適配審測。
[0009]其中，該系統還可包含:開發者平臺，來自該開發者平臺的數據直接存入所述內容管理系統。
[0010]其中，所述應用管理系統還可用于所述開發者平臺的數據進行審測，并將審測通過的數據存入所述內容管理系統。
[0011]其中，所述內容管理系統可針對所存入的數據，生成該數據所屬應用的增量文件。
[0012]其中，從所述第三方抓取數據庫輸入至所述數據加工庫的數據均可為增量數據。
[0013]通過上述技術方案，可對來自第三方抓取數據庫的數據進行分類審測，一方面通過分類提高了數據處理的效率，另一方面保證了存入內容管理系統的數據的有效性，從而用戶可放心獲取的內容管理系統的數據，提高了用戶體驗。
[0014]本發明的其它特征和優點將在隨后的【具體實施方式】部分予以詳細說明。
【附圖說明】
[0015]附圖是用來提供對本發明的進一步理解，并且構成說明書的一部分，與下面的【具體實施方式】一起用于解釋本發明，但并不構成對本發明的限制。在附圖中:
[0016]圖1為本發明提供的數據服務系統的結構框圖。
[0017]附圖標記說明
[0018]100內容管理系統200第三方抓取數據庫
[0019]300數據加工庫 400應用管理系統
[0020]500開發者平臺 600云測系統
【具體實施方式】
[0021]以下結合附圖對本發明的【具體實施方式】進行詳細說明。應當理解的是，此處所描述的【具體實施方式】僅用于說明和解釋本發明，并不用于限制本發明。
[0022]圖1為本發明提供的數據服務系統的結構框圖。如圖1所示，本發明提供一種數據服務系統，該系統包含:內容管理系統100，其是位于Web服務器和后端辦公系統或流程(內容創作、編輯)之間的軟件系統，其所存儲的內容是由創作人員、編輯人員、發布人員提交、修改、審批、發布的內容(例如，應用、文件、表格、圖片、數據庫中的數據甚至視頻等)，從而用戶可從該內容管理系統100下載所需的數據;第三方抓取數據庫200，用于存儲第三方抓取的數據，該第三方抓取的數據可包括利用爬蟲工具從網絡上抓取的各類感興趣數據;數據加工庫300，將所述數據分為重點數據與非重點數據，將所述非重點數據存入所述內容管理系統，并將所述重點數據輸入至應用管理系統；以及應用管理系統400，用于對所述重點數據進行審測，并將審測通過的重點數據存入所述內容管理系統。
[0023]其中，所述系統還可包含開發者平臺500，來自該開發者平臺500的數據可直接存入所述內容管理系統100。一般而言，開發者平臺500為運營商內部人員按照統一的標準完成軟件開發的平臺，其所發布的數據往往比來自第三方抓取數據庫200的數據具有較高的可靠性，故可直接存入所述內容管理系統100，以供用戶使用。當然，所述應用管理系統100亦可對該開發者平臺500的數據進行審測，并將審測通過的數據存入所述內容管理系統，這樣可進一步保證數據可靠性。可分別針對該開發者平臺500以及所述來自數據加工庫300的重點數據設置不同的應用管理系統進行審測。
[0024]所述數據加工庫500可根據所述數據所屬應用的以下一者或多者來劃分重點數據與非重點數據:每日下載量、每日安裝量、每周下載量、每周安裝量、每月下載量以及每月安裝量。例如，可將日下載量突破10000的應用設置為重點應用，日下載量低于5000的應用設置為非重點應用，而分別屬于該重點應用與非重點應用的數據則分別為重點數據和非重點數據。對于非重點數據而言，由于其涉眾不廣，可不對其進行審測而直接將其存入內容管理系統。對于重點數據而言，則需要由應用管理系統400對其進行審測之后方能存入所述內容管理系統100。
[0025]來自所述第三方抓取數據庫200內的數據分為三種數據:增量數據、重點數據、非重點數據。其中，重點數據與非重點數據即構成了即為該第三方抓取數據庫200內的所有數據，增量數據是對重點數據及非重點數據的補充。一般而言，對于數據加工庫300而言，對來自第三方抓取數據庫200的增量數據每5分鐘處理一次，重點數據每小時處理2次，非重點數據2天檢查一次。對于重點數據與非重點數據而言，數據加工庫300對其所進行的處理只是對相應增量數據的檢查。
[0026]所述應用管理系統400可對所述重點數據以及其他需要審測的數據(例如，之前審測失敗的數據)進行以下一個或多個審測:安裝卸載審測(具體為測試應用在指定的百款批量終端上是否可正常安裝、正常卸載)、運行穩定性審測(具體為測試應用實際運行的穩定性，并記錄運行中的錯誤及警告)、功能遍歷審測(具體為自動識別應用可執行的功能，在一定時間內盡可能的遍歷應用的所有功能，通過截圖記錄操作路徑，并記錄日志和崩潰現象)以及性能審測(具體為測試應用在指定終端上運行時的性能數據，包括啟動時間、CPU消耗、內存消耗等，為應用性能優化提供參考)。當然，本發明并不限于此，其他所需的審測亦可適用于此，例如可通過一些人工審核來判斷應用是否存在國家政策敏感的內容等等。
[0027]為進一步保證內容管理系統100內的數據的可靠性，本發明的數據服務系統還可包含:云測系統600，用于對所述應用管理系統400及內容管理系統內的數據100進行殺毒以及終端適配審測(具體為基于真實的終端設備(例如，樂視公司某一型號的手機)，測試并記錄應用實際的顯示界面與目標真實終端的屏幕是否適配等)。
[0028]經過上述處理之后，內容管理系統100可具有所有的數據，其可針對該所有的數據進行增量文件的生成，例如對于某一應用而言，可生成該應用不同版本之間的安卓增量包或升級安裝包，這樣用戶可在進行應用升級時減少不必要文件的下載(例如，整個文件包升級需要下載50MB的流量，而在存在增量文件的情況下，可僅下載1MB的文件就可以完成升級)。
[0029]通過上述技術方案，可對來自第三方抓取數據庫的數據進行分類審測，一方面通過分類提高了數據處理的效率，另一方面保證了存入內容管理系統的數據的有效性，從而用戶可放心獲取的內容管理系統的數據，提高了用戶體驗。
[0030]以上結合附圖詳細描述了本發明的優選實施方式，但是，本發明并不限于上述實施方式中的具體細節，在本發明的技術構思范圍內，可以對本發明的技術方案進行多種簡單變型，這些簡單變型均屬于本發明的保護范圍。
[0031]另外需要說明的是，在上述【具體實施方式】中所描述的各個具體技術特征，在不矛盾的情況下，可以通過任何合適的方式進行組合。為了避免不必要的重復，本發明對各種可能的組合方式不再另行說明。
[0032]此外，本發明的各種不同的實施方式之間也可以進行任意組合，只要其不違背本發明的思想，其同樣應當視為本發明所公開的內容。
【主權項】
1.一種數據服務系統，其特征在于，該系統包含: 內容管理系統； 第三方抓取數據庫，用于存儲第三方抓取的數據； 數據加工庫，將所述數據分為重點數據與非重點數據，將所述非重點數據存入所述內容管理系統，并將所述重點數據輸入至應用管理系統；以及 應用管理系統，用于對所述重點數據進行審測，并將審測通過的重點數據存入所述內容管理系統。2.根據權利要求1所述的數據服務系統，其特征在于，所述數據加工庫根據所述數據所屬應用的以下一者或多者來劃分重點數據與非重點數據:每日下載量、每日安裝量、每周下載量、每周安裝量、每月下載量以及每月安裝量。3.根據權利要求1所述的數據服務系統，其特征在于，所述應用管理系統對所述重點數據進行以下一個或多個審測:安裝卸載審測、運行穩定性審測、功能遍歷審測以及性能審測。4.根據權利要求1所述的數據服務系統，其特征在于，該系統還包含: 云測系統，用于對所述應用管理系統及內容管理系統內的數據進行殺毒以及終端適配審測。5.根據權利要求1所述的數據服務系統，其特征在于，該系統還包含: 開發者平臺，來自該開發者平臺的數據直接存入所述內容管理系統。6.根據權利要求5所述的數據服務系統，其特征在于，所述應用管理系統還用于所述開發者平臺的數據進行審測，并將審測通過的數據存入所述內容管理系統。7.根據權利要求1所述的數據服務系統，其特征在于，所述內容管理系統針對所存入的數據，生成該數據所屬應用的增量文件。8.根據權利要求1所述的數據服務系統，其特征在于，從所述第三方抓取數據庫輸入至所述數據加工庫的數據均為增量數據。
【文檔編號】G06F17/30GK105893416SQ201510861409
【公開日】2016年8月24日
【申請日】2015年12月1日
【發明人】喬磊
【申請人】樂視網信息技術（北京）股份有限公司