專利名稱：數據中心中能耗驅動的應用融合調度和資源動態配置方法
技術領域：
本發明屬于分布式計算領域，具體涉及一種數據中心中能耗驅動的應用融合調度和資源動態配置方法，用于解決數據中心環境中最小化硬件資源能源消耗問題。
背景技術：
最近幾年，在線視頻、電子郵件和娛樂資訊等網絡服務逐漸普及，網絡用戶數量的不斷攀升促進了各種規模數據中心的涌現，數據中心的發展進入了鼎盛時期。數據中心運營服務器數量的快速增加，使得運營這些服務器的電力消耗成為數據中心的主要運營成本。例如一臺300W的高性能服務器，一年運營將消耗大約2628千瓦時的能耗，保證其穩定運行所需要的制冷開銷大約748千瓦時的能耗(請參考R. Bianchini andR. Rajamony. “Power and energy managementfor server systems,，，IEEE computer,37(11)，2004)。美國環境保護署的一份報告中指出，一年數據中心的電力能源消耗已經占到美國全部電力能源消耗的1. 5 約合45億美金(請參考U. S. EnvironmentalProtection Agency. “EPA Report onserver and data center energy efficiency. ”,2007)。如果不采取有效的節能措施，數據中心的能源消耗將嚴重阻礙數據中心的發展。因此，如何降低數據中心能源消耗成為學術界和工業界共同關注的熱點問題。降低數據中心的能源消耗主要從兩方面著手。在硬件方面，根據機器的負載動態調整開啟機器的數目。當一臺機器處于空閑或者低負載時，就可以選擇關閉機器以降低能源消耗。文獻(G. Chen, ff. He, J. Liu, S. Nath, L. Rigas, L. Xiao, and F. Zhao,“Energy-aware server provisioning and load dispatching forconnection-1ntensiveinternet services,，，in Proceedings of the 5th USENIXSymposium on NetworkedSystems Design and Implementation. USENIXAssociation, 2008, pp. 337-350)針對互聯網應用處理用戶請求數量呈現周期性變化的特點，建立應用請求數量評估模型，動態配置數據中心機器開啟的數量，達到降低能源消耗的目標。文獻(A.Verma，G. Dasgupta,T.Nayak, P. De, and R. Kothari, “Server workload analysis for power minimizationusing consolidation,，，inProceedings of the 2009conference on U SENIX Annualtechnical conference. USENIX Association, 2009, pp. 18-28)針對單一應用請求的數據中心環境，建立數據中心能源消耗模型，利用拉格朗日乘數求解最小化數據中心能源消耗的機器數量。然而，機器重啟過程中需要大量的時間和接近滿負荷時刻的能耗，并且頻繁開關機對于整個系統的可靠性也有巨大影響(Q. Zhu, J. Zhu, and G. Agrawal, “Power-awareconsolidation of scientific workflows in virtualizedenvironments,，，inProceedings of the 2010ACM/IEEE International Conference forHigh PerformanceComputing, Networking, Storage and Analysis.1EEE ComputerSociety,2010, pp. 1-12)。有效避免開關機劣勢的技術是動態電壓和頻率調整(Dynamic Voltage and FrequencyScaling, DVFS)技術。DVFS主要通過降低處理器的供給電壓或者運行頻率來達到節能的目的。此方法雖不能像開關機那樣節省大量的能耗，但是對應用請求的性能和系統的可靠性基本無影響。文獻(D.Johnson, “Near optimal bin packing algorithm,，，Ph.D.dissertation, MIT, 1973)對互聯網應用建立負載模型，分析滿足應用請求服務等級協議的條件下，最小化能源消耗的處理器頻率配置。在軟件方面，虛擬化技術和硬件隔離技術使得原本運行在大規模低資源利用率的機器上的應用可以融合到小規模高資源利用率的機器上執行，彼此之間運行相對獨立，互不影響。然而高效的融合并不是簡單地將各維度的資源利用率最大化。文獻(Oh, F.Y.K.and Kim, H.S.and Eom, H.andYeom,Η.Y.“Enabling consolidation and scaling down to provide power managementforcloud computing，，in Proceedings of the 3rd USENIX conference on Hot topicsincloud computing, 2011, pp.14-18)通過大規模實驗驗證具有相似資源需求的應用請求在同一資源上執行時，性能和能耗的損失較大。因此，利用虛擬化技術設計應用請求融合調度和資源配置算法是降低數據中心能源消耗的主要手段。
發明內容
本發明的目的在于解決上述現有技術中存在的難題，提供一種數據中心下能耗驅動的應用融合調度和資源動態配置方法，降低數據中心的能源消耗。本發明是通過以下技術方案實現的:一種數據中心中能耗驅動的應用融合調度和資源動態配置方法，所述方法根據應用請求四個維度的資源需求進行關系評估，并結合應用請求負載的周期性特點，實現數據中心資源的動態配置；所述四個維度的資源需求是指CPU、內存、存儲和網絡。所述方法包括以下步驟:步驟1:初始化數據中心機器數目；步驟2:判斷當前時間周期是否為小周期，如果是，則轉到步驟3，如果否，則等待滿足小周期的條件；步驟3:讀入當前應用請求就緒數目；步驟4:根據所述應用請求的資源需求計算歐氏距離，并標記應用請求的類型；步驟5:循環遍歷當前數據中心中所有空閑機器，選擇符合約束條件的空閑機器，并將應用請求加入到空閑機器的請求隊列中；步驟6:判斷應用請求是否調度成功，即判斷所述空閑機器是否能處理當前就緒請求，如果是，則返回步驟2，如果否，轉入步驟7 ；步驟7:開啟新機器，更新當前數據中心中的機器數目，累加時間周期；步驟8:判斷當前時間周期是否為大周期，如果是，則執行步驟9，如果否，則返回步驟2 ;步驟9:根據數據中心中的應用請求的歷史數據(歷史數據是實驗的輸入數據)利用d-separation算法構建用于應用請求規模評估的有向無環圖；步驟10:利用最大似然估計方法計算所述有向無環圖中節點之間的條件概率值，建立貝葉斯網絡；步驟11:根據貝葉斯網絡計算下一個大周期內的應用請求的數量；步驟12:選取使能源消耗最小化的機器數目；步驟13:動態配置數據中心中的開啟機器的數目，然后返回步驟2。
所述步驟2中的小周期為10分鐘；所述步驟8中的大周期為60分鐘；所述步驟7中的累加時間周期是指對小周期進行累加，當小周期的數量是6的整數倍時，就成為大周期。所述步驟4中的歐氏距離為
權利要求
1.一種數據中心中能耗驅動的應用融合調度和資源動態配置方法，其特征在于:所述方法根據應用請求四個維度的資源需求進行關系評估，并結合應用請求負載的周期性特點，實現數據中心資源的動態配置；所述四個維度的資源需求是指CPU、內存、存儲和網絡。
2.根據權利要求1所述的數據中心中能耗驅動的應用融合調度和資源動態配置方法，其特征在于:所述方法包括以下步驟: 步驟1:初始化數據中心機器數目； 步驟2:判斷當前時間周期是否為小周期，如果是，則轉到步驟3，如果否，則等待滿足小周期的條件； 步驟3:讀入當前應用請求就緒數目； 步驟4:根據所述應用請求的資源需求計算歐氏距離，并標記應用請求的類型； 步驟5:循環遍歷當前數據中心中所有空閑機器，選擇符合約束條件的空閑機器，并將應用請求加入到空閑機器的請求隊列中； 步驟6:判斷應用請求是否調度成功，即判斷所述空閑機器是否能處理當前就緒請求，如果是，則返回步驟2，如果否，轉入步驟7 ； 步驟7:開啟新機器，更新當前數據中心中的機器數目，累加時間周期； 步驟8:判斷當前時間周期是否為大周期，如果是，則執行步驟9，如果否，則返回步驟2； 步驟9:根據數據中心中的應用請求的歷史數據利用d-separation算法構建用于應用請求規模評估的有向無環圖； 步驟10:利用最大似然估計方法計算所述有向無環圖中節點之間的條件概率值，建立貝葉斯網絡； 步驟11:根據貝葉斯網絡計算下一個大周期內的應用請求的數量； 步驟12:選取使能源消耗最小化的機器數目； 步驟13:動態配置數據中心中的開啟機器的數目，然后返回步驟2。
3.根據權利要求2所述的數據中心中能耗驅動的應用融合調度和資源動態配置方法，其特征在于:所述步驟2中的小周期為10分鐘；所述步驟8中的大周期為60分鐘；所述步驟7中的累加時間周期是指對小周期進行累加，當小周期的數量是6的整數倍時，就成為大周期。
4.根據權利要求3所述的數據中心中能耗驅動的應用融合調度和資源動態配置方法，其特征在于:所述步驟4中的歐氏距離為
5.根據權利要求4所述的數據中心中能耗驅動的應用融合調度和資源動態配置方法，其特征在于:所述步驟4中的應用請求的類型包括計算密集型、內存密集型、網絡密集型和I/O密集型。
6.根據權利要求5所述的 數據中心中能耗驅動的應用融合調度和資源動態配置方法，其特征在于:所述步驟5中符合約束條件是指剩余資源滿足需求和滿足應用請求關系。
7.根據權利要求6所述的數據中心中能耗驅動的應用融合調度和資源動態配置方法，其特征在于:所述步驟7中的更新當前數據中心中的機器數目是這樣實現的:將當前機器數目加I。
8.根據權利要求7所述的數據中心中能耗驅動的應用融合調度和資源動態配置方法，其特征在于:所述步驟12是這樣實現的:數據中心在時間間隔T內的能源消耗表示為式(I):
9.根據權利要求8所述的數據中心中能耗驅動的應用融合調度和資源動態配置方法，其特征在于:所述步驟13中的動態配置數據中心中的開啟機器的數目是這樣實現的: 根據步驟12得到的機器數目，選擇開機或關機操作。
全文摘要
本發明提供了一種數據中心中能耗驅動的應用融合調度和資源動態配置方法，屬于分布式計算領域。所述方法根據應用請求四個維度的資源需求進行關系評估，并結合應用請求負載的周期性特點，實現數據中心資源的動態配置；所述四個維度的資源需求是指CPU、內存、存儲和網絡。利用本發明方法能夠降低數據中心的能源消耗，并且能夠降低在一段時間間隔內開關機的數量。
文檔編號G06F9/50GK103076870SQ20131000627
公開日2013年5月1日 申請日期2013年1月8日 優先權日2013年1月8日
發明者蘇森, 雙鍇, 李健, 徐鵬, 王玉龍 申請人:北京郵電大學