數據校驗方法、裝置和服務器的制造方法
【專利摘要】本發明提供了一種數據校驗方法、裝置和服務器,主要涉及互聯網【技術領域】,主要目的在于保證數據的正確性。方法包括:接收外部服務器發送的外部服務器上執行的計算任務中的數據;從接收的數據中提取樣本數據;根據預設的校驗策略,判斷樣本數據是否正確;根據樣本數據是否正確,來判斷外部服務器上的數據是否正確。根據本發明,從外部服務器發送的數據中提取樣本數據,并按照既定的校驗策略進行校驗,樣本數據是否正確也就反映了從外部服務器接收的數據是否正確;同時,由于只對樣本數據進行了校驗計算,所以由數據校驗帶來的負擔非常小。
【專利說明】數據校驗方法、裝置和服務器
【技術領域】
[0001]本發明涉及互聯網【技術領域】,具體而言,涉及一種數據校驗方法、裝置和服務器。
【背景技術】
[0002]在目前的互聯網【技術領域】,對數據的準確性有著非常高的要求,錯誤的數據往往會產生不良的影響。
[0003]例如,某游戲廠商的服務器上運行著游戲程序,產生的數據需要傳輸到數據分析商的服務器進行數據分析,以得到能夠指導游戲廠商合理運營游戲的結果。對于數據分析商服務器上進行的數據分析,不管是游戲廠商發送的數據存在問題,還是采用的數據分析算法不正確,都會造成得到錯誤的分析結果。游戲廠商按照錯誤的分析結果來指導自己的運營,必定會產生不良后果。可見,如果確保數據的準確性是一個重要的課題。
【發明內容】
[0004]鑒于上述問題,提出了本發明以便提供一種克服上述問題或者至少部分地解決上述問題的數據校驗方法、裝置和服務器。
[0005]依據本發明的一個方面,提供了一種數據校驗方法,其包括:接收外部服務器發送的所述外部服務器上執行的計算任務中的數據;從接收的數據中提取樣本數據;根據預設的校驗策略,判斷所述樣本數據是否正確;根據所述樣本數據是否正確,來判斷所述外部服務器上的數據是否正確。
[0006]依據本發明的另一個方面,提供了一種數據校驗裝置,其包括:數據接收模塊,用于接收外部服務器發送的所述外部服務器上執行的計算任務中的數據;樣本數據提取模塊,用于從接收的數據中提取樣本數據;第一判斷模塊,用于根據預設的校驗策略,判斷所述樣本數據是否正確;第二判斷模塊,用于根據所述樣本數據是否正確,來判斷所述外部服務器上的數據是否正確。
[0007]依據本發明的再一個方面,提供了一種服務器,其包括:前述的數據校驗裝置。
[0008]根據以上技術方案,可知本發明的數據校驗方法、裝置和服務器至少具有以下優占.
[0009]從外部服務器發送的數據中提取樣本數據,并按照既定的校驗策略進行校驗,樣本數據是否正確也就反映了從外部服務器接收的數據是否正確;同時,由于只對樣本數據進行了校驗計算,所以由數據校驗帶來的負擔非常小。
[0010]上述說明僅是本發明技術方案的概述,為了能夠更清楚了解本發明的技術手段,而可依照說明書的內容予以實施,并且為了讓本發明的上述和其它目的、特征和優點能夠更明顯易懂,以下特舉本發明的【具體實施方式】。
【專利附圖】
【附圖說明】
[0011]通過閱讀下文優選實施方式的詳細描述,各種其他的優點和益處對于本領域普通技術人員將變得清楚明了。附圖僅用于示出優選實施方式的目的,而并不認為是對本發明的限制。而且在整個附圖中,用相同的參考符號表示相同的部件。在附圖中:
[0012]圖1示出了根據本發明的一個實施例的數據校驗方法的流程圖;
[0013]圖2示出了根據本發明的一個實施例的數據校驗方法的流程圖;
[0014]圖3示出了根據本發明的一個實施例的數據校驗方法的流程圖;
[0015]圖4示出了根據本發明的一個實施例的數據校驗方法的流程圖;
[0016]圖5示出了根據本發明的一個實施例的數據校驗方法的流程圖;
[0017]圖6示出了根據本發明的一個實施例的數據校驗裝置的框圖;
[0018]圖7示出了根據本發明的一個實施例的數據校驗裝置的框圖;
[0019]圖8示出了根據本發明的一個實施例的數據校驗裝置的框圖;
[0020]圖9示出了根據本發明的一個實施例的數據校驗裝置的框圖;
[0021]圖10示出了根據本發明的一個實施例的數據校驗裝置的框圖;
[0022]圖11示出了根據本發明的一個實施例的服務器的框圖。
【具體實施方式】
[0023]下面將參照附圖更詳細地描述本公開的示例性實施例。雖然附圖中顯示了本公開的示例性實施例,然而應當理解,可以以各種形式實現本公開而不應被這里闡述的實施例所限制。相反,提供這些實施例是為了能夠更透徹地理解本公開,并且能夠將本公開的范圍完整的傳達給本領域的技術人員。
[0024]如圖1所示,本發明的一個實施例中提供了一種數據校驗方法,其包括:
[0025]步驟110,接收外部服務器發送的外部服務器上執行的計算任務中的數據。本實施例中,對計算任務的類型不進行限制,其可以根據具體業務來制定。
[0026]步驟120,從接收的數據中提取樣本數據。在本實施例中,樣本數據既可以為計算任務使用的源數據,也可以為計算任務得到的結果數據。在本實施例中,所提取的樣本數據的數據量遠小于所接收的全部數據的數據量。
[0027]步驟130,根據預設的校驗策略,判斷樣本數據是否正確。在本實施例中,對校驗策略不進行限制,其可以根據具體業務來靈活制定。
[0028]步驟140,根據樣本數據是否正確,來判斷外部服務器上的數據是否正確。根據本實施例的技術方案,樣本數據是否正確也就反映了從外部服務器接收的數據是否正確;同時,由于只對樣本數據進行了校驗計算,所以由數據校驗帶來的負擔非常小。
[0029]根據圖1,例如,游戲廠商服務器的游戲數據發送到數據分析商服務器(外部服務器)以進行玩家上線時間分析(計算任務)。從數據分析商服務器獲取分析結果,并從分析結果數據中提取少量作為樣本數據,發現其中記錄的玩家上線時間為每天25小時,超過每天24小時的值域范圍(校驗策略),明顯有悖常理,所以可判斷樣本數據中存在錯誤,進而可判斷數據分析商服務器進行玩家上線時間分析過程中的數據存在錯誤。
[0030]如圖2所示,本發明的一個實施例中提供了一種數據校驗方法,其包括:
[0031]步驟210,接收外部服務器發送的外部服務器上執行的計算任務中的數據。
[0032]步驟220,從接收的數據中提取樣本數據。在本實施例中,樣本數據既可以為計算任務使用的源數據,也可以為計算任務得到的結果數據。
[0033]步驟230,獲取樣本數據的屬性。在本實施例中,對屬性不進行限制,屬性包括但不限于字段含義、類型、值域范圍中的一種或多種。
[0034]步驟240,將樣本數據的屬性,與預設的數據字典中的對計算任務的數據所定義的屬性進行比較。在本實施例中,數據字典中已經規定了正確的屬性,則與數據字典不一致的屬性必然是錯誤的屬性。
[0035]步驟250,根據樣本數據的屬性與數據字典中的屬性是否一致,來判斷樣本數據是否正確。
[0036]步驟260,根據樣本數據是否正確,來判斷外部服務器上的數據是否正確。
[0037]根據圖2,例如,游戲廠商服務器的游戲數據發送到數據分析商服務器(外部服務器)以進行玩家購買道具金額分析(計算任務)。從數據分析商服務器獲取用于進行計算的源數據,并從源數據中提取少量作為樣本數據,從中可以發現起包含了 “PM 9:15”,其為時間數據(類型),而數據字典中規定的源數據應當是貨幣數據(類型),二者不一致,則可判斷樣本數據錯誤,進而可判斷數據分析商服務器進行玩家消費金額分析過程中的數據存在錯誤。
[0038]如圖3所示,本發明的一個實施例中提供了一種數據校驗方法,其包括:
[0039]步驟310,接收外部服務器發送的外部服務器上執行的計算任務中的數據。
[0040]步驟320,根據預設的每個周期、每個時間段的時間長度,獲取計算任務在一個周期中的第一時間段內的數據作為樣本數據,以及獲取計算任務在另一周期內的與第一時間段對應的第二時間段內產生的數據作為樣本數據,其中每個周期包括多個時間段。在本實施例中,樣本數據既可以為計算任務使用的源數據,也可以為計算任務得到的結果數據。在本實施例中,對周期、時間段的長短不進行限制,例如,一周期可以是一天,一個時間段可以是一個小時。
[0041]步驟330,將第一時間段的數據與第二時間段的數據進行比較。在本實施例中,第一時間段和第二時間段是不同的周期中相應的時間段,兩個時間段內的數據應當類似,如果出現較大的差異則說明存在其中一個時間段的數據不正確。
[0042]步驟340,根據第一時間段的數據與第二時間段的數據的差距大小,判斷樣本數據是否正確。
[0043]步驟350,根據樣本數據是否正確,來判斷外部服務器上的數據是否正確。
[0044]根據圖3,例如,游戲廠商服務器的游戲數據發送到數據分析商服務器(外部服務器)以進行玩家注冊行為分析(計算任務)。從數據分析商服務器獲取計算得到的結果數據,從結果數據中提取12月1日的17點-18點時間段(第一時間段)內玩家注冊數量為10000個(樣本數據),提取12月2日的17點-18點時間段(第二時間段)內玩家注冊數量為30個(樣本數據),比較可知二者之間的差距過大,可判斷其中至少一個人數值存在錯誤,進而可以判斷數據分析商服務器進行玩家注冊行為分析過程中的數據存在錯誤。
[0045]如圖4所示,本發明的一個實施例中提供了一種數據校驗方法,其包括:
[0046]步驟410,接收外部服務器發送的外部服務器上執行的計算任務中的數據。本實施例中,對計算任務的類型不進行限制,其可以根據具體業務來制定。
[0047]步驟420,根據預設的每個時間段的時間長度,獲取計算任務在一個時間段內的數據作為樣本數據。在本實施例中,樣本數據既可以為計算任務使用的源數據,也可以為計算任務得到的結果數據。
[0048]步驟430,統計時間段的數據的數據量。
[0049]步驟440,將時間段的數據的數據量,與預設的每個時間段對應的數據量進行比較。
[0050]步驟450,根據時間段的數據的數據量與每個時間段對應的數據量之間的差距大小,判斷樣本數據是否正確。
[0051]步驟460,根據樣本數據是否正確,來判斷外部服務器上的數據是否正確。
[0052]根據圖4,例如,游戲廠商服務器的游戲數據發送到數據分析商服務器(外部服務器)以進行玩家注冊行為分析(計算任務)。從數據分析商服務器獲取用于計算的源數據,從源數據中提取12月1日的17點-18點時間段內產生的數據量為20K,而預設的每個小時內應當產生的數據量為200-300K,對比可知所選時間段內的數據量過少,可判斷是存在數據丟失的問題,進而可以判斷數據分析商服務器進行玩家注冊行為分析過程中的數據存在錯誤。
[0053]如圖5所示,本發明的一個實施例中提供了一種數據校驗方法,其包括:
[0054]步驟510,接收外部服務器發送的外部服務器上執行的計算任務中的數據。計算任務使用的計算策略為第一計算策略。
[0055]步驟520,提取計算任務使用的源數據,以及提取計算任務采用第一計算策略對源數據進行計算得到的第一結果數據,作為樣本數據。
[0056]步驟530,根據預設的第二計算策略對源數據進行計算得到第二結果數據。
[0057]步驟540,將第一結果數據與第二結果數據進行比較。
[0058]步驟550,根據第一結果數據與第二結果數據是否一致,判斷樣本數據是否正確。在本實施例的技術方案中,當第一結果數據和第二結果數據不一致時,表明第一計算策略和第二計算策略之一存在錯誤,當確保第二計算策略無誤,則說明第一計算策略存在錯誤,使用第一計算策略的計算任務得到的數據都存在錯誤。
[0059]步驟560,根據樣本數據是否正確,來判斷外部服務器上的數據是否正確。
[0060]根據圖5,例如,游戲廠商服務器的游戲數據發送到數據分析商服務器(外部服務器)以進行游戲數據分析(計算任務),該數據分析過程采用算法A。從數據分析商服務器獲取用于計算的源數據,從源數據中提取少量作為樣本數據;查詢可知通過算法A對樣本數據計算得到了結果1 ;通過另一種算法B對樣本數據計算得到結果2,比較后發現結果1和結果2不同;已知算法B是正確的算法,則算法A必然存在錯誤,進而可以判斷數據分析商服務器進行游戲數據分析過程中的數據存在錯誤。
[0061]本發明的一個實施例中提供了一種數據校驗方法,其包括:
[0062]步驟110,接收外部服務器發送的外部服務器上執行的計算任務中的數據,并將接收的數據記錄在預設的日志文件中。
[0063]步驟120,從接收的數據中提取樣本數據,即從日志文件中提取樣本數據。在本實施例中,樣本數據既可以為計算任務使用的源數據,也可以為計算任務得到的結果數據。
[0064]步驟130,根據預設的校驗策略,判斷樣本數據是否正確。
[0065]步驟140,根據樣本數據是否正確,來判斷外部服務器上的數據是否正確。
[0066]根據本實施例的技術方案,記錄日志文件的好處在于,可以實時接收外部服務器的數據,并延時進行樣本數據的提取,避免數據提取工作帶來的負擔過大。
[0067]如圖6所示,本發明的一個實施例中提供了一種數據校驗裝置,其包括:
[0068]數據接收模塊610,接收外部服務器發送的外部服務器上執行的計算任務中的數據。本實施例中,對計算任務的類型不進行限制,其可以根據具體業務來制定。
[0069]樣本數據提取模塊620,從接收的數據中提取樣本數據。在本實施例中,樣本數據既可以為計算任務使用的源數據,也可以為計算任務得到的結果數據。在本實施例中,所提取的樣本數據的數據量遠小于所接收的全部數據的數據量。
[0070]第一判斷模塊630,根據預設的校驗策略,判斷樣本數據是否正確。在本實施例中,對校驗策略不進行限制,其可以根據具體業務來靈活制定。
[0071]第二判斷模塊640,根據樣本數據是否正確,來判斷外部服務器上的數據是否正確。根據本實施例的技術方案,樣本數據是否正確也就反映了從外部服務器接收的數據是否正確;同時,由于只對樣本數據進行了校驗計算,所以由數據校驗帶來的負擔非常小。
[0072]根據圖6,例如,游戲廠商服務器的游戲數據發送到數據分析商服務器(外部服務器)以進行玩家上線時間分析(計算任務)。從數據分析商服務器獲取分析結果,并從分析結果數據中提取少量作為樣本數據,發現其中記錄的玩家上線時間為每天25小時,超過每天24小時的值域范圍(校驗策略),明顯有悖常理,所以可判斷樣本數據中存在錯誤,進而可判斷數據分析商服務器進行玩家上線時間分析過程中的數據存在錯誤。
[0073]如圖7所示,本發明的一個實施例中提供了一種數據校驗裝置,其包括:
[0074]數據接收模塊710,接收外部服務器發送的外部服務器上執行的計算任務中的數據。
[0075]樣本數據提取模塊720,從接收的數據中提取樣本數據。在本實施例中,樣本數據既可以為計算任務使用的源數據,也可以為計算任務得到的結果數據。
[0076]屬性獲取模塊730,獲取樣本數據的屬性。在本實施例中,對屬性不進行限制,屬性包括但不限于字段含義、類型、值域范圍中的一種或多種。
[0077]第一比較模塊740,將樣本數據的屬性,與預設的數據字典中的對計算任務的數據所定義的屬性進行比較。在本實施例中,數據字典中已經規定了正確的屬性,則與數據字典不一致的屬性必然是錯誤的屬性。
[0078]第一判斷模塊750,根據樣本數據的屬性與數據字典中的屬性是否一致,來判斷樣本數據是否正確。
[0079]第二判斷模塊760,根據樣本數據是否正確,來判斷外部服務器上的數據是否正確。
[0080]根據圖7,例如,游戲廠商服務器的游戲數據發送到數據分析商服務器(外部服務器)以進行玩家購買道具金額分析(計算任務)。從數據分析商服務器獲取用于進行計算的源數據,并從源數據中提取少量作為樣本數據,從中可以發現起包含了 “PM 9:15”,其為時間數據(類型),而數據字典中規定的源數據應當是貨幣數據(類型),二者不一致,則可判斷樣本數據錯誤,進而可判斷數據分析商服務器進行玩家消費金額分析過程中的數據存在錯誤。
[0081]如圖8所示,本發明的一個實施例中提供了一種數據校驗裝置,其包括:
[0082]數據接收模塊810,接收外部服務器發送的外部服務器上執行的計算任務中的數據。
[0083]樣本數據提取模塊820,根據預設的每個周期、每個時間段的時間長度,獲取計算任務在一個周期中的第一時間段內的數據作為樣本數據,以及獲取計算任務在另一周期內的與第一時間段對應的第二時間段內產生的數據作為樣本數據,其中每個周期包括多個時間段。在本實施例中,樣本數據既可以為計算任務使用的源數據,也可以為計算任務得到的結果數據。在本實施例中,對周期、時間段的長短不進行限制,例如,一周期可以是一天,一個時間段可以是一個小時。
[0084]第二比較模塊830,將第一時間段的數據與第二時間段的數據進行比較。在本實施例中,第一時間段和第二時間段是不同的周期中相應的時間段,兩個時間段內的數據應當類似,如果出現較大的差異則說明存在其中一個時間段的數據不正確。
[0085]第一判斷模塊840,根據第一時間段的數據與第二時間段的數據的差距大小,判斷樣本數據是否正確。
[0086]第二判斷模塊850,根據樣本數據是否正確,來判斷外部服務器上的數據是否正確。
[0087]根據圖8,例如,游戲廠商服務器的游戲數據發送到數據分析商服務器(外部服務器)以進行玩家注冊行為分析(計算任務)。從數據分析商服務器獲取計算得到的結果數據,從結果數據中提取12月1日的17點-18點時間段(第一時間段)內玩家注冊數量為10000個(樣本數據),提取12月2日的17點-18點時間段(第二時間段)內玩家注冊數量為30個(樣本數據),比較可知二者之間的差距過大,可判斷其中至少一個人數值存在錯誤,進而可以判斷數據分析商服務器進行玩家注冊行為分析過程中的數據存在錯誤。
[0088]如圖9所示,本發明的一個實施例中提供了一種數據校驗裝置,其包括:
[0089]數據接收模塊910,接收外部服務器發送的外部服務器上執行的計算任務中的數據。本實施例中,對計算任務的類型不進行限制,其可以根據具體業務來制定。
[0090]樣本數據提取模塊920,根據預設的每個時間段的時間長度,獲取計算任務在一個時間段內的數據作為樣本數據。在本實施例中,樣本數據既可以為計算任務使用的源數據,也可以為計算任務得到的結果數據。
[0091]數據量統計模塊930,統計時間段的數據的數據量。
[0092]第三比較模塊940,將時間段的數據的數據量,與預設的每個時間段對應的數據量進行比較。
[0093]第一判斷模塊950,根據時間段的數據的數據量與每個時間段對應的數據量之間的差距大小,判斷樣本數據是否正確。
[0094]第二判斷模塊960,根據樣本數據是否正確,來判斷外部服務器上的數據是否正確。
[0095]根據圖9,例如,游戲廠商服務器的游戲數據發送到數據分析商服務器(外部服務器)以進行玩家注冊行為分析(計算任務)。從數據分析商服務器獲取用于計算的源數據,從源數據中提取12月1日的17點-18點時間段內產生的數據量為20K,而預設的每個小時內應當產生的數據量為200-300K,對比可知所選時間段內的數據量過少,可判斷是存在數據丟失的問題,進而可以判斷數據分析商服務器進行玩家注冊行為分析過程中的數據存在錯誤。
[0096]如圖10所示,本發明的一個實施例中提供了一種數據校驗裝置,其包括:
[0097]數據接收模塊1010,接收外部服務器發送的外部服務器上執行的計算任務中的數據。計算任務使用的計算策略為第一計算策略。
[0098]樣本數據提取模塊1020,提取計算任務使用的源數據,以及提取計算任務采用第一計算策略對源數據進行計算得到的第一結果數據,作為樣本數據。
[0099]計算模塊1030,根據預設的第二計算策略對源數據進行計算得到第二結果數據。
[0100]第四比較模塊1040,將第一結果數據與第二結果數據進行比較。
[0101]第一判斷模塊1050,根據第一結果數據與第二結果數據是否一致,判斷樣本數據是否正確。在本實施例的技術方案中,當第一結果數據和第二結果數據不一致時,表明第一計算策略和第二計算策略之一存在錯誤,當確保第二計算策略無誤,則說明第一計算策略存在錯誤,使用第一計算策略的計算任務得到的數據都存在錯誤。
[0102]第二判斷模塊1060,根據樣本數據是否正確,來判斷外部服務器上的數據是否正確。
[0103]根據圖10,例如,游戲廠商服務器的游戲數據發送到數據分析商服務器(外部服務器)以進行游戲數據分析(計算任務),該數據分析過程采用算法A。從數據分析商服務器獲取用于計算的源數據,從源數據中提取少量作為樣本數據;查詢可知通過算法A對樣本數據計算得到了結果1 ;通過另一種算法B對樣本數據計算得到結果2,比較后發現結果1和結果2不同;已知算法B是正確的算法,則算法A必然存在錯誤,進而可以判斷數據分析商服務器進行游戲數據分析過程中的數據存在錯誤。
[0104]本發明的一個實施例中提供了一種數據校驗裝置,其包括:
[0105]數據接收模塊610,接收外部服務器發送的外部服務器上執行的計算任務中的數據,并將接收的數據記錄在預設的日志文件中。
[0106]樣本數據提取模塊620,從接收的數據中提取樣本數據,即從日志文件中提取樣本數據。在本實施例中,樣本數據既可以為計算任務使用的源數據,也可以為計算任務得到的結果數據。
[0107]第一判斷模塊630,根據預設的校驗策略,判斷樣本數據是否正確。
[0108]第二判斷模塊640,根據樣本數據是否正確,來判斷外部服務器上的數據是否正確。
[0109]根據本實施例的技術方案,記錄日志文件的好處在于,可以實時接收外部服務器的數據,并延時進行樣本數據的提取,避免數據提取工作帶來的負擔過大。
[0110]根據圖11所示,本發明的一個實施例中提供了一種服務器,其包括:圖6至圖10對應的任一實施例中的數據校驗裝置。
[0111]根據前述的實施例可知,本實施例的服務器從外部服務器發送的數據中提取樣本數據,并按照既定的校驗策略進行校驗,樣本數據是否正確也就反映了從外部服務器接收的數據是否正確;同時,由于只對樣本數據進行了校驗計算,所以由數據校驗帶來的負擔非常小。
[0112]在此提供的算法和顯示不與任何特定計算機、虛擬系統或者其它設備固有相關。各種通用系統也可以與基于在此的示教一起使用。根據上面的描述,構造這類系統所要求的結構是顯而易見的。此外,本發明也不針對任何特定編程語言。應當明白,可以利用各種編程語言實現在此描述的本發明的內容,并且上面對特定語言所做的描述是為了披露本發明的最佳實施方式。
[0113]在此處所提供的說明書中,說明了大量具體細節。然而,能夠理解,本發明的實施例可以在沒有這些具體細節的情況下實踐。在一些實例中,并未詳細示出公知的方法、結構和技術,以便不模糊對本說明書的理解。
[0114]類似地,應當理解,為了精簡本公開并幫助理解各個發明方面中的一個或多個,在上面對本發明的示例性實施例的描述中,本發明的各個特征有時被一起分組到單個實施例、圖、或者對其的描述中。然而,并不應將該公開的方法解釋成反映如下意圖:即所要求保護的本發明要求比在每個權利要求中所明確記載的特征更多的特征。更確切地說,如下面的權利要求書所反映的那樣,發明方面在于少于前面公開的單個實施例的所有特征。因此,遵循【具體實施方式】的權利要求書由此明確地并入該【具體實施方式】,其中每個權利要求本身都作為本發明的單獨實施例。
[0115]本領域那些技術人員可以理解,可以對實施例中的設備中的模塊進行自適應性地改變并且把它們設置在與該實施例不同的一個或多個設備中。可以把實施例中的模塊或單元或組件組合成一個模塊或單元或組件,以及此外可以把它們分成多個子模塊或子單元或子組件。除了這樣的特征和/或過程或者單元中的至少一些是相互排斥之外,可以采用任何組合對本說明書(包括伴隨的權利要求、摘要和附圖)中公開的所有特征以及如此公開的任何方法或者設備的所有過程或單元進行組合。除非另外明確陳述,本說明書(包括伴隨的權利要求、摘要和附圖)中公開的每個特征可以由提供相同、等同或相似目的的替代特征來代替。
[0116]此外,本領域的技術人員能夠理解,盡管在此所述的一些實施例包括其它實施例中所包括的某些特征而不是其它特征,但是不同實施例的特征的組合意味著處于本發明的范圍之內并且形成不同的實施例。例如,在下面的權利要求書中,所要求保護的實施例的任意之一都可以以任意的組合方式來使用。
[0117]本發明的各個部件實施例可以以硬件實現,或者以在一個或者多個處理器上運行的軟件模塊實現,或者以它們的組合實現。本領域的技術人員應當理解,可以在實踐中使用微處理器或者數字信號處理器(DSP)來實現根據本發明實施例的數據校驗裝置中的一些或者全部部件的一些或者全部功能。本發明還可以實現為用于執行這里所描述的方法的一部分或者全部的設備或者裝置程序(例如,計算機程序和計算機程序產品)。這樣的實現本發明的程序可以存儲在計算機可讀介質上,或者可以具有一個或者多個信號的形式。這樣的信號可以從因特網網站上下載得到,或者在載體信號上提供,或者以任何其他形式提供。
[0118]應該注意的是上述實施例對本發明進行說明而不是對本發明進行限制,并且本領域技術人員在不脫離所附權利要求的范圍的情況下可設計出替換實施例。在權利要求中,不應將位于括號之間的任何參考符號構造成對權利要求的限制。單詞“包含”不排除存在未列在權利要求中的元件或步驟。位于元件之前的單詞“一”或“一個”不排除存在多個這樣的元件。本發明可以借助于包括有若干不同元件的硬件以及借助于適當編程的計算機來實現。在列舉了若干裝置的單元權利要求中,這些裝置中的若干個可以是通過同一個硬件項來具體體現。單詞第一、第二、以及第三等的使用不表示任何順序。可將這些單詞解釋為名稱。
[0119]A1、一種數據校驗方法,其包括:
[0120]接收外部服務器發送的所述外部服務器上執行的計算任務中的數據;
[0121]從接收的數據中提取樣本數據;
[0122]根據預設的校驗策略,判斷所述樣本數據是否正確;
[0123]根據所述樣本數據是否正確,來判斷所述外部服務器上的數據是否正確。
[0124]A2、根據A1所述的數據校驗方法,其中,根據預設的校驗策略,判斷所述樣本數據是否正確,具體包括:
[0125]獲取所述樣本數據的屬性;
[0126]將所述樣本數據的屬性,與預設的數據字典中的對所述計算任務的數據所定義的屬性進行比較;
[0127]根據所述樣本數據的屬性與所述數據字典中的屬性是否一致,來判斷所述樣本數據是否正確。
[0128]A3、根據A2所述的數據校驗方法,其中,所述屬性包括字段含義、類型、值域范圍中的一種或多種。
[0129]A4、根據A1所述的數據校驗方法,其中,從接收的數據中提取樣本數據,具體包括:
[0130]根據預設的每個周期、每個時間段的時間長度,獲取所述計算任務在一個周期中的第一時間段內的數據作為所述樣本數據,以及獲取所述計算任務在另一周期內的與所述第一時間段對應的第二時間段內產生的數據作為所述樣本數據,其中所述每個周期包括多個時間段;
[0131]根據預設的校驗策略,判斷所述樣本數據是否正確,具體包括:
[0132]將所述第一時間段的數據與所述第二時間段的數據進行比較;
[0133]根據所述第一時間段的數據與所述第二時間段的數據的差距大小,判斷所述樣本數據是否正確。
[0134]A5、根據A1所述的數據校驗方法,其中,從接收的數據中提取樣本數據,具體包括:
[0135]根據預設的每個時間段的時間長度,獲取所述計算任務在一個時間段內的數據作為所述樣本數據;
[0136]根據預設的校驗策略,判斷所述樣本數據是否正確,具體包括:
[0137]統計所述時間段的數據的數據量;
[0138]將所述時間段的數據的數據量,與預設的所述每個時間段對應的數據量進行比較;
[0139]根據所述時間段的數據的數據量與所述每個時間段對應的數據量之間的差距大小,判斷所述樣本數據是否正確。
[0140]A6、根據A1至A5中任一項所述的數據校驗方法,其中,所述樣本數據為所述計算任務使用的源數據,或所述計算任務得到的結果數據。
[0141]A7、根據A1所述的數據校驗方法,其中,所述計算任務使用的計算策略為第一計算策略;從接收的數據中提取樣本數據,具體包括:
[0142]提取所述計算任務使用的源數據,以及提取所述計算任務采用所述第一計算策略對所述源數據進行計算得到的第一結果數據,作為所述樣本數據;
[0143]根據預設的校驗策略,判斷所述樣本數據是否正確,具體包括:
[0144]根據預設的第二計算策略對所述源數據進行計算得到第二結果數據;
[0145]將所述第一結果數據與所述第二結果數據進行比較;
[0146]根據所述第一結果數據與所述第二結果數據是否一致,判斷所述樣本數據是否正確。
[0147]A8、根據A1所述的數據校驗方法,其中,還包括:
[0148]將所述接收的數據記錄在預設的日志文件中;
[0149]從接收的數據中提取樣本數據,具體包括:
[0150]從所述日志文件中提取所述樣本數據。
[0151]A9、一種數據校驗裝置,其包括:
[0152]數據接收模塊,用于接收外部服務器發送的所述外部服務器上執行的計算任務中的數據;
[0153]樣本數據提取模塊,用于從接收的數據中提取樣本數據;
[0154]第一判斷模塊,用于根據預設的校驗策略,判斷所述樣本數據是否正確;
[0155]第二判斷模塊,用于根據所述樣本數據是否正確,來判斷所述外部服務器上的數據是否正確。
[0156]A10、根據A9所述的數據校驗裝置,其中,還包括:
[0157]屬性獲取模塊,用于獲取所述樣本數據的屬性;
[0158]第一比較模塊,用于將所述樣本數據的屬性,與預設的數據字典中的對所述計算任務的數據所定義的屬性進行比較;
[0159]所述第一判斷模塊根據所述樣本數據的屬性與所述數據字典中的屬性是否一致,來判斷所述樣本數據是否正確。
[0160]All、根據A10所述的數據校驗裝置,其中,所述屬性包括字段含義、類型、值域范圍中的一種或多種。
[0161]A12、根據A9所述的數據校驗裝置,其中,
[0162]所述樣本數據提取模塊根據預設的每個周期、每個時間段的時間長度,獲取所述計算任務在一個周期中的第一時間段內的數據作為所述樣本數據,以及獲取所述計算任務在另一周期內的與所述第一時間段對應的第二時間段內產生的數據作為所述樣本數據,其中所述每個周期包括多個時間段;
[0163]所述裝置還包括:
[0164]第二比較模塊,用于將所述第一時間段的數據與所述第二時間段的數據進行比較;
[0165]所述第一判斷模塊根據所述第一時間段的數據與所述第二時間段的數據的差距大小,判斷所述樣本數據是否正確。
[0166]A13、根據A9所述的數據校驗裝置,其中,所述樣本數據提取模塊根據預設的每個時間段的時間長度,獲取所述計算任務在一個時間段內的數據作為所述樣本數據;
[0167]所述裝置還包括:
[0168]數據量統計模塊,用于統計所述時間段的數據的數據量;
[0169]第三比較模塊,用于將所述時間段的數據的數據量,與預設的所述每個時間段對應的數據量進行比較;
[0170]所述第一判斷模塊根據所述時間段的數據的數據量與所述每個時間段對應的數據量之間的差距大小,判斷所述樣本數據是否正確。
[0171]A14、根據A9至A13中任一項所述的數據校驗裝置,其中,所述樣本數據為所述計算任務使用的源數據,或所述計算任務得到的結果數據。
[0172]A15、根據A9所述的數據校驗裝置,其中,所述計算任務使用的計算策略為第一計算策略;所述樣本數據提取模塊提取所述計算任務使用的源數據,以及提取所述計算任務采用所述第一計算策略對所述源數據進行計算得到的第一結果數據,作為所述樣本數據;
[0173]所述裝置還包括:
[0174]計算模塊,用于根據預設的第二計算策略對所述源數據進行計算得到第二結果數據;
[0175]第四比較模塊,用于將所述第一結果數據與所述第二結果數據進行比較;
[0176]所述第一判斷模塊根據所述第一結果數據與所述第二結果數據是否一致,判斷所述樣本數據是否正確。
[0177]A16、根據A9所述的數據校驗裝置,其中,還包括:
[0178]日志記錄模塊,用于將所述接收的數據記錄在預設的日志文件中;
[0179]所述樣本數據提取模塊從所述日志文件中提取所述樣本數據。
[0180]A17、一種服務器,其包括:
[0181]A9至A16中任一項所述的數據校驗裝置。
【權利要求】
1.一種數據校驗方法,其包括: 接收外部服務器發送的所述外部服務器上執行的計算任務中的數據; 從接收的數據中提取樣本數據; 根據預設的校驗策略,判斷所述樣本數據是否正確; 根據所述樣本數據是否正確,來判斷所述外部服務器上的數據是否正確。
2.根據權利要求1所述的數據校驗方法,其中,根據預設的校驗策略,判斷所述樣本數據是否正確,具體包括: 獲取所述樣本數據的屬性; 將所述樣本數據的屬性,與預設的數據字典中的對所述計算任務的數據所定義的屬性進行比較; 根據所述樣本數據的屬性與所述數據字典中的屬性是否一致,來判斷所述樣本數據是否正確。
3.根據權利要求2所述的數據校驗方法,其中,所述屬性包括字段含義、類型、值域范圍中的一種或多種。
4.根據權利要求1所述的數據校驗方法,其中,從接收的數據中提取樣本數據,具體包括: 根據預設的每個周期、每個時間段的時間長度,獲取所述計算任務在一個周期中的第一時間段內的數據作為所述樣本數據,以及獲取所述計算任務在另一周期內的與所述第一時間段對應的第二時間段內產生的數據作為所述樣本數據,其中所述每個周期包括多個時間段; 根據預設的校驗策略,判斷所述樣本數據是否正確,具體包括: 將所述第一時間段的數據與所述第二時間段的數據進行比較; 根據所述第一時間段的數據與所述第二時間段的數據的差距大小,判斷所述樣本數據是否正確。
5.根據權利要求1所述的數據校驗方法,其中,從接收的數據中提取樣本數據,具體包括: 根據預設的每個時間段的時間長度,獲取所述計算任務在一個時間段內的數據作為所述樣本數據; 根據預設的校驗策略,判斷所述樣本數據是否正確,具體包括: 統計所述時間段的數據的數據量; 將所述時間段的數據的數據量,與預設的所述每個時間段對應的數據量進行比較;根據所述時間段的數據的數據量與所述每個時間段對應的數據量之間的差距大小,判斷所述樣本數據是否正確。
6.一種數據校驗裝置,其包括: 數據接收模塊,用于接收外部服務器發送的所述外部服務器上執行的計算任務中的數據; 樣本數據提取模塊,用于從接收的數據中提取樣本數據; 第一判斷模塊,用于根據預設的校驗策略,判斷所述樣本數據是否正確; 第二判斷模塊,用于根據所述樣本數據是否正確,來判斷所述外部服務器上的數據是否正確。
7.根據權利要求6所述的數據校驗裝置,其中,還包括: 屬性獲取模塊,用于獲取所述樣本數據的屬性; 第一比較模塊,用于將所述樣本數據的屬性,與預設的數據字典中的對所述計算任務的數據所定義的屬性進行比較; 所述第一判斷模塊根據所述樣本數據的屬性與所述數據字典中的屬性是否一致,來判斷所述樣本數據是否正確。
8.根據權利要求7所述的數據校驗裝置,其中,所述屬性包括字段含義、類型、值域范圍中的一種或多種。
9.根據權利要求6所述的數據校驗裝置,其中, 所述樣本數據提取模塊根據預設的每個周期、每個時間段的時間長度,獲取所述計算任務在一個周期中的第一時間段內的數據作為所述樣本數據,以及獲取所述計算任務在另一周期內的與所述第一時間段對應的第二時間段內產生的數據作為所述樣本數據,其中所述每個周期包括多個時間段; 所述裝置還包括: 第二比較模塊,用于將所述第一時間段的數據與所述第二時間段的數據進行比較; 所述第一判斷模塊根據所述第一時間段的數據與所述第二時間段的數據的差距大小,判斷所述樣本數據是否正確。
10.一種服務器,其包括: 權利要求6至9中任一項所述的數據校驗裝置。
【文檔編號】H04L1/00GK104461761SQ201410746433
【公開日】2015年3月25日 申請日期:2014年12月8日 優先權日:2014年12月8日
【發明者】呂本偉, 羅盼 申請人:北京奇虎科技有限公司, 奇智軟件(北京)有限公司