一種數據訪問存儲方法及裝置的制造方法
【技術領域】
[0001] 本發明涉及計算機及信息通信技術領域，特別涉及一種數據訪問存儲方法及裝 置。
【背景技術】
[0002] 綠色節能是當前數據中心發展的趨勢，在一個數據中心內，服務器依然還是最大 的電能消耗和冷卻問題的主要設備，存儲系統緊隨其后，研究表明，存儲系統電能消耗一般 占整個數據中心電能消耗的27%左右，其中磁盤是存儲系統中主要的耗能設備，典型的磁 盤陣列獨立磁盤冗余陣列（Redundant Array of Independent Disks, RAID)系統中，磁盤陣 列卡能耗可占到80%左右。一個存儲設備從投入使用到最終淘汰，整個使用過程中所消耗 的能源很可能會超過其本身的購買價格。磁盤陣列在閑置時仍然會使用超過峰值功率80% 的能耗，因此在構建大規模磁盤存儲系統時，需要將節能問題考慮進來。
[0003] 能耗問題的研究最初是為了延長便攜式設備中電池的使用時間，一般采用動態電 源管理（Dynamic Power Management, DPM)節能方法，其首先監控系統中磁盤的空閑時間， 當能耗管理算法預測到將磁盤轉換至低能耗狀態時可以節能時，就將磁盤轉換至低能耗狀 態，以便節約能耗。但在磁盤有相應新的請求前必須重新加速到全速旋轉模式，這一加速 過程會帶來顯著的能量消耗和時間開銷。為了彌補這個開銷，磁盤處于停頓模式所節省的 能耗應該大于重新啟動硬盤帶來的能耗開銷，這是有在后續請求達到時間間隔足夠長時才 行。
[0004] 然而與便攜式設備不同，在企業級數據中心環境中進行節能存在如下一些挑戰： (1)在服務器存儲環境中，由于I/O (輸入/輸出）訪問比較密集，磁盤空閑時間較短，采用 DPM節能方法來關閉磁盤帶來的節能效果十分有限；（2)為了追求最大的數據并行度和可 靠性，數據中心部署的多為并行磁盤系統，如RAID方式，這意味著大部分磁盤都在被訪問， 所有設備始終都在工作，并沒有閑置的設備，從而無法進行空閑狀態切換；（3)當關閉磁盤 進行節能時，還會對存儲系統的性能和可靠性帶來較大影響，這與企業級存儲系統的高性 能、高可靠的目標相悖。
[0005] 在大規模企業級磁盤存儲系統中，采用熱點數據布局的方式來節約能耗是一種比 較有效的方法，如空閑磁盤的大規模陣列（Massive Array of Idle Disks,MAID)存儲系統 等。這些方法將系統中的磁盤劃分為活動和非活動兩類，通過對系統中數據訪問熱度的統 計，將經常訪問的數據緩存或遷移到少部分活動磁盤中，從而將大量不經常訪問的磁盤轉 換到低能耗狀態，進而達到節能的目標。
[0006] 現有的基于數據訪問熱度的節能方法主要從數據訪問的時間局部性特點出發，將 熱點數據存放在活動磁盤中，以減少非活動磁盤的啟動次數和處于活動狀態的時間。表面 上看，這些方法的節能效果與數據命中精度直接相關，但磁盤的機械特性決定了節能與提 高性能方法不同，不命中數據的訪問行為也會對存儲系統節能效果帶來很大影響。如果緩 存磁盤缺失分布較為均勻時，會導致大多數非活動磁盤空閑時間過短，而無法切換到節能 狀態。而且，非活動磁盤處于關閉狀態時，一旦請求數據不在緩存磁盤中時，就需要將關閉 磁盤啟動到活動狀態，然后才能進行相應的數據服務，這個過程會帶來較大的時間延遲和 能量消耗。因此，非活動磁盤頻繁地停止和啟動也會降低其使用壽命。
【發明內容】
[0007] 本發明要解決的技術問題是提供一種數據訪問存儲方法及裝置，用以克服現有存 儲系統節能技術中存在的節能效果不佳、對I/O (輸入/輸出）訪問性能影響大的問題。
[0008] 為了解決上述技術問題，本發明實施例提供一種數據訪問存儲方法，包括步驟：
[0009] 獲得數據讀寫訪問請求；
[0010] 根據所述數據讀寫訪問請求，構造數據訪問關系圖；
[0011] 根據所述數據訪問關系圖，獲得數據移動策略；
[0012] 根據所述數據移動策略對存儲介質上的數據進行移動。
[0013] 進一步地，所述獲得數據讀寫訪問請求的步驟具體為：
[0014] 在塊設備驅動層截獲上層應用下發的數據讀寫訪問請求。
[0015] 進一步地，所述根據所述數據讀寫訪問請求，構造數據訪問關系圖的步驟包括：
[0016] 將每個數據讀寫訪問請求，依據其請求數據的起始邏輯區塊地址和數據大小進行 分塊，并與預設的分塊粒度相對應，每個分塊粒度在關系圖中表示一個頂點；
[0017] 根據所述頂點，構造頂點之間的有向邊生成訪問關系圖。
[0018] 進一步地，所述根據所述頂點，構造頂點之間的有向邊生成訪問關系圖的步驟具 體為：
[0019] 對于在同一預設時間段內出現的數據請求序列，將對應的數據請求的分塊粒度之 間連接一條有向邊，從先出現的節點指向后出現的節點。
[0020] 進一步地，所述根據所述數據讀寫訪問請求，構造數據訪問關系圖的步驟還包括： 獲得每個頂點所對應數據塊的訪問熱度。
[0021] 進一步地，所述獲得每個頂點所對應數據塊的訪問熱度的步驟具體為：
[0022] 根據每個數據塊的訪問頻率、訪問時間來計算訪問熱度，并作為數據塊在訪問關 系圖中對應頂點的權重。
[0023] 進一步地，根據公式
【主權項】
1. 一種數據訪問存儲方法，其特征在于，包括步驟： 獲得數據讀寫訪問請求； 根據所述數據讀寫訪問請求，構造數據訪問關系圖； 根據所述數據訪問關系圖，獲得數據移動策略； 根據所述數據移動策略對存儲介質上的數據進行移動。
2. 根據權利要求1所述的數據訪問存儲方法，其特征在于，所述獲得數據讀寫訪問請 求的步驟具體為： 在塊設備驅動層截獲上層應用下發的數據讀寫訪問請求。
3. 根據權利要求1所述的數據訪問存儲方法，其特征在于，所述根據所述數據讀寫訪 問請求，構造數據訪問關系圖的步驟包括： 將每個數據讀寫訪問請求，依據其請求數據的起始邏輯區塊地址和數據大小進行分 塊，并與預設的分塊粒度相對應，每個分塊粒度在關系圖中表示一個頂點； 根據所述頂點，構造頂點之間的有向邊生成訪問關系圖。
4. 根據權利要求3所述的數據訪問存儲方法，其特征在于，所述根據所述頂點，構造頂 點之間的有向邊生成訪問關系圖的步驟具體為： 對于在同一預設時間段內出現的數據請求序列，將對應的數據請求的分塊粒度之間連 接一條有向邊，從先出現的節點指向后出現的節點。
5. 根據權利要求3所述的數據訪問存儲方法，其特征在于，所述根據所述數據讀寫訪 問請求，構造數據訪問關系圖的步驟還包括： 獲得每個頂點所對應數據塊的訪問熱度。
6. 根據權利要求5所述的數據訪問存儲方法，其特征在于，所述獲得每個頂點所對應 數據塊的訪問熱度的步驟具體為： 根據每個數據塊的訪問頻率、訪問時間來計算訪問熱度，并作為數據塊在訪問關系圖 中對應頂點的權重。
7. 根據權利要求6所述的數據訪問存儲方法，其特征在于，根據公式：
其中，Ptjld是上次統計的熱度值，3是衰減因子，t。是當前時間，&是當前時間片中每次 數據讀寫訪問請求的時間，F(X)為一個遞減函數。
8. 根據權利要求7所述的數據訪問存儲方法，其特征在于，所述根據所述數據讀寫訪 問請求，構造數據訪問關系圖的步驟還包括： 使用鄰接表結構來存儲所述訪問關系圖。
9. 根據權利要求8所述的數據訪問存儲方法，其特征在于，所述根據所述數據訪問關 系圖，獲得數據移動策略的步驟包括： 對所述數據訪問關系圖進行裁剪； 對裁剪后的訪問關系圖進行排序； 按照排序結果，根據數據塊的訪問熱度和訪問關聯信息，得出數據移動策略。
10. 根據權利要求9所述的數據訪問存儲方法，其特征在于，所述對所述數據訪問關系 圖進行裁剪的步驟具體為： 使用邊的支持度和置信度來對關聯圖中的邊進行裁剪，形成若干小的子圖，其中，所述 邊的支持度為邊的權重，所述邊的置信度為Sup(Vi,Vj)/Sup(Vi)，其中Sup(Vi)是頂點Vi出 現的頻率。
11. 根據權利要求10所述的數據訪問存儲方法，其特征在于，所述對裁剪后的訪問關 系圖進行排序的步驟具體為： 在各個訪問子圖中，選取權重最大的頂點作為起始節點，并標記頂點，將所述標記的頂 點加入排序鏈L中； 按照頂點關聯程度來依次選取訪問關系圖中邊的權重較大的其它頂點加入排序鏈L中。
12. -種數據訪問存儲裝置，其特征在于，包括： 請求獲取模塊，用于獲得數據讀寫訪問請求； 關系圖構造模塊，用于根據所述數據讀寫訪問請求，構造數據訪問關系圖； 分析模塊，用于根據所述數據訪問關系圖，獲得數據移動策略； 執行模塊，用于根據所述數據移動策略對存儲介質上的數據進行移動。
13. 根據權利要求12所述的數據訪問存儲裝置，其特征在于，所述關系圖構造模塊包 括： 構造單元，用于對每個數據讀寫訪問請求，依據其請求數據的起始邏輯區塊地址和數 據大小進行分塊，并與預設的分塊粒度相對應，每個分塊粒度在關系圖中表示一個頂點，并 根據所述頂點，構造頂點之間的有向邊生成訪問關系圖。
14. 根據權利要求13所述的數據訪問存儲裝置，其特征在于，所述關系圖構造模塊還 包括： 計算單元，用于計算獲得每個頂點所對應數據塊的訪問熱度。
15. 根據權利要求14所述的數據訪問存儲裝置，其特征在于，所述分析模塊具體包括： 裁剪單元，用于對所述數據訪問關系圖進行裁剪； 排序單元，用于對裁剪后的訪問關系圖進行排序； 計劃制定單元，用于按照排序結果，根據數據塊的訪問熱度和訪問關聯信息，得出數據 移動策略。
【專利摘要】本發明提供了一種數據訪問存儲方法及裝置。所述方法包括步驟：獲得數據讀寫訪問請求；根據所述數據讀寫訪問請求，構造數據訪問關系圖；根據所述數據訪問關系圖，獲得數據移動策略；根據所述數據移動策略對存儲介質上的數據進行移動。本發明上述方案解決了現有存儲系統節能技術中存在的節能效果不佳、對I/O訪問性能影響大的問題，通過將經常訪問且關聯度較高的數據按順序存到緩存磁盤中，利用了活動磁盤中數據的時間局部性和空間局部性，增加了非活動磁盤關閉的次數和時間，在提高磁盤訪問性能的同時，進一步減少了能量的消耗。
【IPC分類】G06F3-06, G06F1-32
【公開號】CN104714753
【申請號】CN201310681928
【發明人】王志坤
【申請人】中興通訊股份有限公司
【公開日】2015年6月17日
【申請日】2013年12月12日
【公告號】WO2015085747A1