一種資源調度管理系統的制作方法
【技術領域】
[0001]本發明涉及互聯網技術領域，特別是涉及一種資源調度管理系統。
【背景技術】
[0002]在一些互聯網企業，為了應對快速增長的業務需求，常常布設有大量的服務器，這些服務器在每天的業務活動中產生海量的數據。這些數據本身就是一個寶庫，其中蘊藏有大量的信息，為了挖掘這些數據的價值，需要將數據從這些服務器上收集起來進行分析。目前一般采用雙層采集架構、利用Flume作為采集工具。Flume是一種分布式、可靠、和高可用的海量日志采集、聚合和傳輸系統，支持在系統中定制各類數據發送方，同時，Flume還提供對數據進行簡單處理。
[0003]在使用Flume進行數據收集時，運維人員需要將Flumeagent部署在業務機上，Flume agent將從業務機上收集的數據發送到部署在中轉機上的中轉層，并由中轉層對數據進行匯總、解析，最后發送到進行數據分析的平臺。由于缺少資源管理，計算資源無法進行高效分配和回收，從而導致資源利用率較低，對于寶貴的服務器資源是一種極大的浪費。
【發明內容】
[0004]有鑒于此，本發明提供一種資源調度管理系統，以解決中轉機的資源利用率較低的問題。
[0005]為了實現上述目的，本發明公開了一種資源調度管理系統，其特征在于，包括:
[0006]Flume管理模塊，用于在業務機和中轉機上部署Flume服務；
[0007]資源配置模塊，用于將所述中轉機的資源分割成多個不可分割的計算單元，并利用配置表描述所述計算單元；
[0008]生命周期管理模塊，用于接收所述業務機發出的申請，并對所述申請進行審批；
[0009]資源調度模塊，用于根據所述生命周期管理模塊對所述申請的審批結果，為所述業務機分配所述計算單元。
[0010]從上述技術方案可以看出，本發明提供了一種資源調度管理系統，包括Flume管理模塊、資源配置模塊、生命周期管理模塊和資源調度模塊。Flume管理模塊用于在業務機和中轉機上部署Flume服務，資源配置模塊則將中轉機的資源分割成多個不可分割的計算單元，生命周期管理模塊用于根據業務機發出的申請，并對接收到的申請進行審批，資源調度模塊則根據生命周期管理模塊對申請的審批結果為業務機分配計算單元。由于生命周期管理模塊的引入，能夠使中轉機的資源根據審批結果進行分配，而業務機上沒有業務需求的Flume服務則不會占用中轉機的資源，從而使中轉機上的資源不會被浪費，從而節省了寶貴的服務器資源。
[0011]另外，通過生命周期的管理和資源分割，使得服務的部署可以通過頁面進行，極大的降低了業務人員和運維人員的溝通成本;資源調度的自動化也使運維成本得到降低。
【附圖說明】
[0012]為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。
[0013]圖1是本發明提供的一種資源調度管理系統實施例的結構框圖；
[0014]圖2是本發明提供的另一種資源調度管理系統實施例的結構框圖；
[0015]圖3為本發明提供的又一種資源調度管理系統實施例的結構框圖。
【具體實施方式】
[0016]下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基于本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬于本發明保護的范圍。
[0017]圖1是本發明提供的一種資源調度管理系統實施例的結構框圖。
[0018]參照圖1所示，本發明提供的資源調度管理系統用于配置于資源管理主機上，具體可以包括如下模塊:Flume管理模塊10、資源配置模塊20、生命周期管理模塊30和資源調度模塊40。
[0019]Flume管理模塊10用于在業務機和中轉機上部署Flume服務，Flume服務包括FlumeAgent和Flume Collector。部署在業務機上的Flume服務即Flume Agent，用于從業務機采集所需要的業務數據、交易數據、日志數據等數據。部署在中轉機上的Flume服務即FlumeCollector，其用于接收Flume Agent收集的各種數據，并轉發到相應的平臺上。
[0020]Flume管理模塊10具體包括業務機Flume管理單元11和中轉機Flume管理單元12，前者用于在業務機上部署Flume Agent并修改Flume Agent的配置;后者則用于在中轉機上部署Flume Collector，還用于修改Flume Collector的配置。
[0021]資源配置模塊20用于將中轉機的資源進行劃分，劃分為多個不可以進一步分割的計算單元，并利用一個配置表描述所有的計算單元。計算單元是一種邏輯上的資源描述，具體為包含一定計算能力、一定存儲容量的單元，并且具有相應的地址和端口的功能組合，還包括為其分配的業務種類、運行狀態信息和服務啟動時間。為了對每個計算單元進行描述，配置表包含了每個計算單元的地址信息、端口信息、業務狀態信息、核數量信息、內存容量信息、分配狀態信息和服務啟動時間信息中的部分或全部信息。
[0022]生命周期管理模塊30用于接收業務機發出的申請，并根據管理員輸入的操作請求對申請進行審批。即做出是否向該業務機的Flume服務提供資源或提供多少資源。
[0023]資源調度模塊40用于根據生命周期管理模塊30做出的審批結果為該業務機分配計算單元。一般可根據業務的需求向該業務機分配一個或多個計算單元。
[0024]從上述技術方案可以看出，本實施例提供了一種資源調度管理系統，包括Flume管理模塊、資源配置模塊、生命周期管理模塊和資源調度模塊。Flume管理模塊用于在業務機和中轉機上部署Flume服務，資源配置模塊則將中轉機的資源分割成多個不可分割的計算單元，生命周期管理模塊用于根據業務機發出的申請，并對接收到的申請進行審批，資源調度模塊則根據生命周期管理模塊對申請的審批結果為業務機分配計算單元。由于生命周期管理模塊的引入，能夠使中轉機的資源根據審批結果進行分配，而業務機上沒有業務需求的Flume服務則不會占用中轉機的資源，從而使中轉機上的資源不會被浪費，從而節省了寶貴的服務器資源。
[0025]另外，由于將中轉機上的資源進行了單元分割，中轉機在處理從業務機接收到的數據時，是在各個單獨的計算單元內進行的，從而不會在業務流程之間造成相互干擾。
[0026]還有，通過細粒度的資源管理，使得資源管理主機可以通過調度算法自動完成服務器部署，過程中無需管理員進行干涉，從而能夠降低運維成本。
[0027]資源調度模塊還用于在中轉機上的Flume服務需要重新部署時，為重新部署后的Flume服務重新分配相應的計算單元。
[0028]通過生命周期的管理和資源分割，使得服務的部署可以通過頁面進行，極大的降低了業務人員和運維人員的溝通成本;資源調度的自動化也使運維成本得到降低。