專利名稱：一種云環(huán)境下存儲參數(shù)的配置方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種云環(huán)境下存儲參數(shù)的配置方法，屬于計(jì)算機(jī)數(shù)據(jù)處理技術(shù)領(lǐng)域。
背景技術(shù)：
通常系統(tǒng)中有大量參數(shù)控制內(nèi)存分布，I/O優(yōu)化，查詢效率，并行等行為，包括普通用戶和系統(tǒng)調(diào)優(yōu)專家在內(nèi)的系統(tǒng)使用者需要花費(fèi)大量精力和時(shí)間將參數(shù)配置調(diào)到較優(yōu)。同時(shí)，長久以來提升系統(tǒng)管理能力的研究很大程度忽略了系統(tǒng)性能優(yōu)化方面的問題，而這其實(shí)是個(gè)很難解決的問題。針對數(shù)據(jù)庫系統(tǒng)的調(diào)優(yōu)配置問題，S. Duan, V. Thummala,和S. Babu于2009年秋天發(fā)表論文 “Tuning Database Configuration Parameters with iTuned”,介紹了首個(gè)使用 預(yù)定義實(shí)驗(yàn)進(jìn)行數(shù)據(jù)庫參數(shù)調(diào)優(yōu)的實(shí)用工具iTuned。其通過設(shè)計(jì)好的實(shí)驗(yàn)積極引入合適的數(shù)據(jù)以找到高影響力、高性能的配置參數(shù)，在產(chǎn)品型數(shù)據(jù)庫上支持在線實(shí)驗(yàn)，幾乎不會給數(shù)據(jù)庫增加額外負(fù)載，并且在不同數(shù)據(jù)庫系統(tǒng)之間具有很好的移植性。其使用已執(zhí)行實(shí)驗(yàn)的數(shù)據(jù)預(yù)測候選試驗(yàn)的可用性，不對潛在響應(yīng)曲面形狀做出假設(shè)，因而可以處理從簡單到復(fù)雜的各種表面。通過引入一系列的特性以減少調(diào)優(yōu)時(shí)間，使其更易擴(kuò)展到更多參數(shù)的配置中去。其中包括可快速消除對性能影響較小參數(shù)配置的敏感度分析算法，并行計(jì)劃與并行實(shí)驗(yàn)執(zhí)行，低可用性實(shí)驗(yàn)的提前終止，工作負(fù)載的壓縮等等。其次還可針對不同負(fù)載類型，數(shù)據(jù)規(guī)模，數(shù)據(jù)庫種類，參數(shù)數(shù)量進(jìn)行評估。但iTuned只支持傳統(tǒng)關(guān)系型數(shù)據(jù)庫上的配置調(diào)優(yōu)，無法對云環(huán)境中的存儲提供參數(shù)配置，而且缺乏一個(gè)方便普通用戶使用的存儲服務(wù)部署及集群性能監(jiān)控手段。
發(fā)明內(nèi)容
本發(fā)明的目的是提出一種云環(huán)境下存儲參數(shù)的配置方法，針對卡珊德拉(以下稱為Cassandra)云存儲系統(tǒng)，設(shè)計(jì)一種新的配置方法，以方便普通用戶使用存儲服務(wù)部署，對系統(tǒng)內(nèi)計(jì)算機(jī)的性能實(shí)現(xiàn)可靠、高效的監(jiān)控。本發(fā)明提出的種云環(huán)境下存儲參數(shù)的配置方法，包括以下步驟(I)用戶從系統(tǒng)界面輸入需優(yōu)化配置的工作負(fù)載參數(shù)，包括工作負(fù)載類型、事務(wù)處理速度和數(shù)據(jù)量大??；(2)用戶從卡珊德拉云存儲系統(tǒng)參數(shù)列表中，指定本次優(yōu)化配置所需的啟動(dòng)參數(shù)和運(yùn)行參數(shù)；(3)啟動(dòng)云環(huán)境存儲的所有計(jì)算機(jī)，使計(jì)算機(jī)根據(jù)用戶輸入的需優(yōu)化配置的工作負(fù)載參數(shù)，分別在用戶指定的本次優(yōu)化配置所需的啟動(dòng)參數(shù)和運(yùn)行參數(shù)下運(yùn)行；(4)根據(jù)用戶指定的云存儲性能指標(biāo)，分別從每臺計(jì)算機(jī)上獲取與上述啟動(dòng)參數(shù)和運(yùn)行參數(shù)相應(yīng)的計(jì)算機(jī)存云儲性能指標(biāo)，將啟動(dòng)參數(shù)、運(yùn)行參數(shù)和相應(yīng)的計(jì)算機(jī)云存儲性能指標(biāo)組成一條原始運(yùn)行數(shù)據(jù)；(5)對上述每條原始運(yùn)行數(shù)據(jù)進(jìn)行格式化處理，得到一個(gè)訓(xùn)練數(shù)據(jù)集；
(6)根據(jù)上述訓(xùn)練數(shù)據(jù)集，生成一個(gè)假設(shè)空間，將卡珊德拉云存儲系統(tǒng)參數(shù)列表中的啟動(dòng)參數(shù)和運(yùn)行參數(shù)依次輸入假設(shè)空間，得到與卡珊德拉云存儲系統(tǒng)啟動(dòng)參數(shù)和運(yùn)行參數(shù)相對應(yīng)的計(jì)算機(jī)存儲性能指標(biāo)；(7)從上述步驟(6)的多個(gè)計(jì)算機(jī)存儲性能指標(biāo)中選擇最優(yōu)量，將與該最優(yōu)量相對應(yīng)的卡珊德拉云存儲系統(tǒng)的啟動(dòng)參數(shù)和運(yùn)行參數(shù)值返回給用戶，用于云環(huán)境下存儲參數(shù)的配置。本發(fā)明提出的云環(huán)境下存儲參數(shù)的配置方法，其優(yōu)點(diǎn)是I、本發(fā)明提出的云環(huán)境下存儲參數(shù)的配置方法，操作人員可以根據(jù)指定的負(fù)載參數(shù)以及關(guān)注的計(jì)算機(jī)云存儲性能指標(biāo)，獲得一組或者幾組較優(yōu)云存儲配置參數(shù)，并且，隨著用戶提供的訓(xùn)練時(shí)間的提升，即可獲得更優(yōu)的配置參數(shù)組合。2、本發(fā)明的配置方法，具有一個(gè)可視化操作管理平臺，用戶可以在不了解Linux 命令和云存儲執(zhí)行命令的基礎(chǔ)上，完成云存儲系統(tǒng)的管理配置。3、本發(fā)明提出的云環(huán)境下存儲參數(shù)的配置方法，即時(shí)可視化監(jiān)控啟動(dòng)云環(huán)境存儲的所有計(jì)算機(jī)當(dāng)前性能指標(biāo)，對啟動(dòng)云環(huán)境存儲的所有計(jì)算機(jī)整體性能以及各計(jì)算機(jī)的性能指標(biāo)給予圖表等可視化界面即時(shí)展示，直觀便捷。
圖I是本發(fā)明提出的云環(huán)境下存儲參數(shù)的配置方法的流程框圖。
具體實(shí)施例方式本分明提出的云環(huán)境下存儲參數(shù)的配置方法，其流程框圖如圖I所示，包括以下步驟(I)用戶從系統(tǒng)界面輸入需優(yōu)化配置的工作負(fù)載參數(shù)，包括工作負(fù)載類型、事務(wù)處理速度和數(shù)據(jù)量大??；其中工作負(fù)載類型表示工作負(fù)載是只讀負(fù)載，只寫負(fù)載，或者讀寫負(fù)載所占比例的大小，事務(wù)處理速度即Transaction Per Second,簡稱TPS,代表每秒操作云存儲系統(tǒng)的事務(wù)個(gè)數(shù)。(2)用戶從卡珊德拉云存儲系統(tǒng)的參數(shù)列表中，指定本次優(yōu)化配置所需的啟動(dòng)參數(shù)和運(yùn)行參數(shù)；卡珊德拉云存儲系統(tǒng)的參數(shù)列表格式如下表I卡珊德拉云存儲系統(tǒng)的啟動(dòng)參數(shù)列表
參數(shù)名默認(rèn)值變化范圍
最大消息長度16(0,64]
結(jié)構(gòu)化傳輸包大小15(0,64]
列索引大小64(0,256]
遠(yuǎn)程過程調(diào)用時(shí)間限制10000(0，100000]
權(quán)利要求
1.一種云環(huán)境下存儲參數(shù)的配置方法，其特征在于該方法包括以下步驟 (1)用戶從系統(tǒng)界面輸入需優(yōu)化配置的工作負(fù)載參數(shù)，包括工作負(fù)載類型、事務(wù)處理速度和數(shù)據(jù)量大?。? (2)用戶從卡珊德拉云存儲系統(tǒng)參數(shù)列表中，指定本次優(yōu)化配置所需的啟動(dòng)參數(shù)和運(yùn)行參數(shù)； (3)啟動(dòng)云環(huán)境存儲的所有計(jì)算機(jī)，使計(jì)算機(jī)根據(jù)用戶輸入的需優(yōu)化配置的工作負(fù)載參數(shù)，分別在用戶指定的本次優(yōu)化配置所需的啟動(dòng)參數(shù)和運(yùn)行參數(shù)下運(yùn)行； (4)根據(jù)用戶指定的云存儲性能指標(biāo)，分別從每臺計(jì)算機(jī)上獲取與上述啟動(dòng)參數(shù)和運(yùn)行參數(shù)相應(yīng)的計(jì)算機(jī)云存儲性能指標(biāo)，將啟動(dòng)參數(shù)、運(yùn)行參數(shù)和相應(yīng)的計(jì)算機(jī)云存儲性能指標(biāo)組成一條原始運(yùn)行數(shù)據(jù)； (5)對上述每條原始運(yùn)行數(shù)據(jù)進(jìn)行格式化處理，得到一個(gè)訓(xùn)練數(shù)據(jù)集； (6)根據(jù)上述訓(xùn)練數(shù)據(jù)集，生成一個(gè)假設(shè)空間，將卡珊德拉云存儲系統(tǒng)參數(shù)列表中的啟動(dòng)參數(shù)和運(yùn)行參數(shù)依次輸入假設(shè)空間，得到與卡珊德拉云存儲系統(tǒng)啟動(dòng)參數(shù)和運(yùn)行參數(shù)相對應(yīng)的多個(gè)計(jì)算機(jī)存儲性能指標(biāo)； (7)從上述步驟(6)的多個(gè)計(jì)算機(jī)存儲性能指標(biāo)中選擇最優(yōu)量，將與該最優(yōu)量相對應(yīng)的卡珊德拉云存儲系統(tǒng)的啟動(dòng)參數(shù)和運(yùn)行參數(shù)值返回給用戶，用于云環(huán)境下存儲參數(shù)的配置。
全文摘要
本發(fā)明涉及一種云環(huán)境下存儲參數(shù)的配置方法，屬于計(jì)算機(jī)數(shù)據(jù)處理技術(shù)領(lǐng)域。首先用戶從系統(tǒng)界面輸入需優(yōu)化配置的工作負(fù)載參數(shù)，從卡珊德拉云存儲系統(tǒng)參數(shù)列表中，指定本次優(yōu)化配置所需的啟動(dòng)參數(shù)和運(yùn)行參數(shù)；啟動(dòng)云環(huán)境存儲的所有計(jì)算機(jī)，在指定啟動(dòng)參數(shù)和運(yùn)行參數(shù)下運(yùn)行；從每臺計(jì)算機(jī)上獲取計(jì)算機(jī)存云儲性能指標(biāo)，將啟動(dòng)參數(shù)、運(yùn)行參數(shù)和相應(yīng)的計(jì)算機(jī)云存儲性能指標(biāo)組成一條原始運(yùn)行數(shù)據(jù)，經(jīng)格式化處理后得到訓(xùn)練數(shù)據(jù)集，將啟動(dòng)參數(shù)和運(yùn)行參數(shù)輸入生成的假設(shè)空間，得到計(jì)算機(jī)存儲性能指標(biāo)，選擇相應(yīng)的最優(yōu)啟動(dòng)參數(shù)和運(yùn)行參數(shù)值返回給用戶。使用本方法，操作人員可根據(jù)負(fù)載參數(shù)及計(jì)算機(jī)云存儲性能指標(biāo)，獲得一組或者幾組較優(yōu)云存儲配置參數(shù)。
文檔編號H04L29/08GK102724298SQ20121016676
公開日2012年10月10日 申請日期2012年5月25日 優(yōu)先權(quán)日2012年5月25日
發(fā)明者丁貴廣, 劉丹, 朱妤晴, 王建民 申請人:清華大學(xué)