一種測試Hadoop集群穩定性的方法及系統的制作方法
【技術領域】
[0001 ]本發明涉及大數據處理技術領域，更具體地說，涉及一種測試Hadoop集群穩定性的方法及系統。
【背景技術】
[0002]隨著人類社會全面進入信息時代，數據成為與水、石油同等重要的戰略資源。通過挖掘海量數據，能夠使政府和企業的運行決策建立在更加科學的依據基礎上，提高決策效率、危機應對能力和公共服務水平。大數據(big data)，或稱巨量資料，指的是所涉及的資料量規模巨大到無法透過目前主流軟件工具，在合理時間內達到擷取、管理、處理、并整理成為幫助企業經營決策更積極目的的資訊。大數據分析相比于傳統的數據倉庫應用，具有數據量大、查詢分析復雜等特點。大數據需要特殊的技術，以有效地處理大量的容忍經過時間內的數據。適用于大數據的技術，包括大規模并行處理(MPP)數據庫、數據挖掘電網、分布式文件系統、分布式數據庫、云計算平臺、互聯網和可擴展的存儲系統。
[0003]Hadoop是一個開發和運行處理大規模數據的軟件平臺，是Apache的一個用java語言實現開源軟件框架，實現在大量計算機組成的集群中對海量數據進行分布式計算。Hadoop框架中最核心設計就是:HDFS和MapReduce aHDFS提供了海量數據的存儲，MapReduce提供了對數據的計算。Hadoop集群的穩定性取決于HDFS和MapReduce的穩定性，因此，如何測試HDFS和MapReduce的穩定性，從而測試整個Hadoop集群的穩定性，是現在需要解決的問題。
【發明內容】
[0004]本發明的目的在于提供一種測試Hadoop集群穩定性的方法及系統，以測試整個Hadoop集群的穩定性。
[0005]為實現上述目的，本發明實施例提供了如下技術方案:
[0006]一種測試Hadoop集群穩定性的方法，包括:
[0007 ] Namenode服務器運行基準測試，Datanode服務器運行ΝΜ0Ν工具;其中，所述基準測試包括DFS10基準測試和Terasort基準測試；
[0008]所述Namenode服務器通過所述ΝΜ0Ν工具，實時獲取所述Datanode服務器運行基準測試的第一資源消耗數據；
[0009]所述Namenode服務器根據所述第一資源消耗數據判斷Hadoop集群的穩定性。
[0010]優選的，所述Namenode服務器通過所述ΝΜ0Ν工具，實時獲取所述Datanode服務器運行基準測試的資源消耗數據，并根據所述第一資源消耗數據判斷Hadoop集群的穩定性包括:
[0011 ] 所述Namenode服務器通過所述ΝΜ0Ν工具，實時獲取所述Datanode服務器運行DFS10基準測試的第二資源消耗數據，并根據所述第二資源消耗數據判斷所述Hadoop集群的HDFS的穩定性。
[0012]優選的，所述Namenode服務器運行DFS10基準測試包括:所述Namenode服務器運行DFS1-write基準測試和DFS1-Read基準測試。
[0013]優選的，所述Namenode服務器通過所述ΝΜ0Ν工具，實時獲取所述Datanode服務器運行基準測試的資源消耗數據，并根據所述第一資源消耗數據判斷Hadoop集群的穩定性包括:
[0014]所述Namenode服務器通過所述ΝΜ0Ν工具，實時獲取所述Datanode服務器運行Terasort基準測試的第三資源消耗數據，并根據所述第三資源消耗數據判斷所述Hadoop集群的的MapReduce的穩定性。
[0015]優選的，所述Namenode服務器根據所述第一資源消耗數據判斷Hadoop集群的穩定性，包括:
[0016]所述Namenode服務器判斷所述第一資源消耗數據中的資源消耗值是否在預定范圍內；
[0017]若是，則判定所述Hadoop集群的穩定性為穩定;若否，則判定所述所述Hadoop集群的穩定性為不穩定。
[0018]一種測試Hadoop集群穩定性的系統，包括:
[00?9] Namenode服務器和Datanode服務器;其中，所述Namenode服務器運行基準測試，所述Datanode服務器運行ΝΜ0Ν工具;所述基準測試包括DFS10基準測試和Terasort基準測試；[°02°] 所述Namenode服務器用于通過所述匪0N工具，實時獲取所述Datanode服務器運行基準測試的第一資源消耗數據，并根據所述第一資源消耗數據判斷Hadoop集群的穩定性。[0021 ] 優選的，所述Namenode服務器包括:
[0022]第一測試模塊，用于通過所述匪ON工具，實時獲取所述Datanode服務器運行DFS10基準測試的第二資源消耗數據，并根據所述第二資源消耗數據判斷所述Hadoop集群的HDFS的穩定性。
[0023]優選的，所述Namenode服務器運行DFS10基準測試包括:所述Namenode服務器運行DFS1-write基準測試和DFS1-Read基準測試。
[0024]優選的，所述Namenode服務器包括:
[0025]第二測試模塊，用于通過所述ΝΜ0Ν工具，實時獲取所述Datanode服務器運行Terasort基準測試的第三資源消耗數據，并根據所述第三資源消耗數據判斷所述Hadoop集群的的MapReduce的穩定性。
[0026]優選的，所述Namenode服務器包括:
[0027]判斷模塊，用于判斷所述第一資源消耗數據中的資源消耗值是否在預定范圍內；若是，則判定所述Hadoop集群的穩定性為穩定;若否，則判定所述所述Hadoop集群的穩定性為不穩定。
[0028]通過以上方案可知，本發明實施例提供的一種測試Hadoop集群穩定性的方法及系統，包括:Namenode服務器運行基準測試，Datanode服務器運行匪0N工具;其中，所述基準測試包括DFS10基準測試和Terasort基準測試;所述Namenode服務器通過所述ΝΜ0Ν工具，實時獲取所述Datanode服務器運行基準測試的第一資源消耗數據;所述Namenode服務器根據所述第一資源消耗數據判斷Hadoop集群的穩定性，可見，在本實施例中，通過在Namenode服務器上運行DFS10基準測試和Terasort基準測試，能分別測出Hadoop集群HDFS和MapReduce的穩定性，從而測試整個Hadoop集群的穩定性。
【附圖說明】
[0029]為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。
[0030]圖1為本發明實施例公開的一種測試Hadoop集群穩定性的方法流程示意圖；
[0031 ]圖2為本發明實施例公開的一種測試HDFS穩定性的方法流程示意圖；
[0032]圖3為本發明實施例公開的一種測試MapReduce穩定性的方法流程示意圖；
[0033]圖4為本發明實施例公開的一種測試Hadoop集群穩定性的系統結構示意圖。
【具體實施方式】
[0034]下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基于本發明中的實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例，都屬于本發明保護的范圍。
[0035]本發明實施例公開了一種測試Hadoop集群穩定性的方法及系統，以測試整個Hadoop集群的穩定性。
[0036]參見圖1，本發明實施例提供的一種測試Hadoop集群穩定性的方法，包括:
[0037]S101、NamenOde服務器運行基準測試，Datanode服務器運行匪0N工具；其中，所述基準測試包括DFS10基準測試和Terasort基準測試；
[0038]具體的，在本實施例中，在測試Hadoop集群之前要確定搭建Hadoop集群。在部署Hadoop集群時，使用多臺適合大數據傳輸和存儲處理的服務器以及其它相關設備，構建高效能大數據平臺，并可彈性擴展。并且在部署Hadoop集群，嚴格根據具體需求，針對內存、cpu、硬盤、網絡做出最優配置。具體可以準備千兆交換機一臺和4臺服務器構成1+3的Hadoop集群，其中1+3的Hadoop集群為1臺Namenode服務器，3臺Datanode服務器，并且在本實施例中Datanode服務器的數量可以根據實際需要進行自定義設定的，但是數量要大于等于3。
[0039]需要說明的是，在本實施例中，運行DFS10基準測試和TeraSort基準測試時，要保持集群環境唯一性，即集群配置不變，并且集群在同時段只能運行一個任務。
[0040]S102、所述Namenode服務器通過所述ΝΜ0Ν工具，實時獲取所述Datanode服務器運行基準測試的第一資源消耗數據；
[0041]S103、所述Namenode服務器根據所述第一資源消耗數據判斷Hadoop集群的穩定性。
[0042]具體在本實施例中，Namenode服務器通過在測試過程中實時獲取資源消耗數據，判斷Hadoop集群的穩定性是否穩定。其中，資源消耗數據可以包括CPU利用率、網絡吞吐率、硬盤10以及磁盤空間消耗等數據。
[0043]優選的，所述Namenode服務器根據所述第一資源消耗數據判斷Hadoop集群的穩定性，包括:
[0044]所述Namenode服務器判斷所述第一資源消耗數據中的資源消耗值是否在預定范圍內；
[0045]若是，則判定所述Hadoop集群的穩定性為穩定;若否，則判定所述所述Hadoop集群的穩定性為不穩定。
[0046]具體的，在本實施例中，若通過ΝΜ0Ν分析結果，得出穩定性報告中第一資源消耗數據的資源消耗值不在一個穩定的消耗范圍內，則可以判定此時Hadoop集群不穩定，若第一資源消耗數據的資源消耗值在這個穩定的消耗范圍內，則可以說明此Hadoop集群穩定。
[0047]具體在，在本實施例中，測試Hadoop集群穩定性可以通過測試HDFS和MapReduce的穩定性，因此參見圖2，本發明實施例提供的另一種測試HDFS穩定性的方法，包括:
[0048]S201、Namenode服務器運行DFS10基準