一種對象存儲數據生命周期處理方法和系統與流程

本發明屬于數據存儲，尤其涉及一種對象存儲數據生命周期處理方法和系統。

背景技術：

1、現有的生命周期處理方法在獲取對象時是順序執行，存在性能瓶頸，線程池中的線程需等待前置流程完成才能進行并發處理，因此，即使提升線程數量也無法進一步加快處理速度，當存儲桶中對象數量較多時，這一問題將會更加突顯，導致存儲空間無法及時回收。當存儲空間不足時，系統的io性能將大幅下降，甚至會導致系統不可使用。

2、此外，在如何提升生命周期處理和對象回收的速度，提高存儲空間的復用率，以及提升系統在大數據量時的穩定性和可用性等多方面仍存在很大改進空間。

3、因此，有必要提供一種新的對象存儲數據生命周期處理方法和系統，以解決上述問題。

技術實現思路

1、本發明意在提供一種對象存儲數據生命周期處理方法和系統，以解決現有技術中當存儲桶中對象數量較多時因資源使用回收不及時導致處理速度較慢、導致存儲空間無法及時回收，甚至導致相關系統不可使用，如何提高大數據量時存儲空間的復用率等的技術問題，本發明要解決的技術問題通過以下技術方案來實現。

2、本發明第一方面提出一種對象存儲數據生命周期處理方法，包括：步驟s101：獲取標注有線程處理完成時間標簽的以下歷史參數信息，建立訓練數據集：文件大小、資源利用率、任務總量、系統配置、并發線程數量；步驟s102：采用多元線性回歸算法，構建線程預測模型，并使用所述訓練數據集訓練所述線程預測模型；所述線程預測模型的訓練過程還包括以所述歷史參數信息中并發線程數量作為學習參數對所述線程預測模型進行微調以得到并發線程數量的最優解；步驟s103：將當前文件大小、資源利用率、任務總量、系統配置參數輸入訓練好的線程預測模型，輸出相匹配的線程池及并發線程數量；步驟s104：基于所輸出的線程池及并發線程數量，并發執行每個線程，判斷在當前線程中是否有存儲桶的索引分片，當確定有存儲桶的索引分片時，則獲取下一索引分片；步驟s105：進一步判斷所述存儲桶的索引分片中是否存在目標對象，當存在目標對象時，獲取特定數量的目標對象；如果未發現目標對象，則重復執行步驟s103，直到確定有存儲桶的索引分片、且獲取特定數量的目標對象為止；步驟s106，將獲取的特定數量的目標對象提交到待處理隊列，重復確定待處理隊列中是否有未判斷過期的目標對象，直到所有目標對應均已判斷是否過期為止。

3、本發明第二方面提出一種對象存儲數據生命周期處理系統，采用本發明第一方面所述的對象存儲數據生命周期處理方法，所述對象存儲數據生命周期處理系統包括：數據獲取模塊，用于獲取標注有線程處理完成時間標簽的以下歷史參數信息，建立訓練數據集：文件大小、資源利用率、任務總量、系統配置、并發線程數量；模型構建模塊，采用多元線性回歸算法，構建線程預測模型，并使用所述訓練數據集訓練所述線程預測模型；所述線程預測模型的訓練過程還包括以所述歷史參數信息中并發線程數量作為學習參數對所述線程預測模型進行微調以得到并發線程數量的最優解；模型確定模塊，用于將當前文件大小、資源利用率、任務總量、系統配置參數輸入訓練好的線程預測模型，輸出相匹配的線程池及并發線程數量；第一判斷處理模塊，基于所輸出的線程池及并發線程數量，并發執行每個線程，判斷在當前線程中是否有存儲桶的索引分片，當確定有存儲桶的索引分片時，則獲取下一索引分片；第二判斷處理模塊，用于進一步判斷所述存儲桶的索引分片中是否存在目標對象，當存在目標對象時，獲取特定數量的目標對象；如果未發現目標對象，則重復執行步驟s103，直到確定有存儲桶的索引分片、且獲取特定數量的目標對象為止；重復確定模塊，將獲取的特定數量的目標對象提交到待處理隊列，重復確定待處理隊列中是否有未判斷過期的目標對象，直到所有目標對應均已判斷是否過期為止

4、本發明第三方面提供一種電子設備，包括：一個或多個處理器；存儲裝置，用于存儲一個或多個程序；當所述一個或多個程序被所述一個或多個處理器執行，使得所述一個或多個處理器實現本發明第一方面所述的方法。

5、本發明第四方面提供一種計算機可讀介質，其上存儲有計算機程序，所述計算機程序被處理器執行時實現本發明第一方面所述的方法。

6、本發明實施例包括以下優點：

7、與現有技術相比，本發明通過調整對象存儲系統生命周期的處理流程，實現讀取對象到處理對象的全鏈路并發處理，解決了現有方法存在的性能瓶頸，當數據量大時增大線程并發數即可提升生命周期處理和對象回收的速度，提高了存儲空間的復用率，并提升了系統在大數據量時的穩定性和可用性。

8、此外，采用深度強化學習算法，根據歷史參數信息和當前任務總量來決定當前時間段的任務并發量，學習出最佳的任務、即最優解并發量，以使在最短的時間內完成，并且最大化利用服務器資源。

技術特征：

1.一種對象存儲數據生命周期處理方法，其特征在于，包括：

2.根據權利要求1所述的對象存儲數據生命周期處理方法，其特征在于，所述構建線程預測模型，包括：

3.根據權利要求2所述的對象存儲數據生命周期處理方法，其特征在于，進一步包括：

4.根據權利要求1所述的對象存儲數據生命周期處理方法，其特征在于，進一步包括：

5.根據權利要求4所述的對象存儲數據生命周期處理方法，其特征在于，包括：

6.根據權利要求1或5所述的對象存儲數據生命周期處理方法，其特征在于，所述當存在目標對象時，獲取特定數量的目標對象，包括：

7.根據權利要求1所述的對象存儲數據生命周期處理方法，其特征在于，包括：

8.一種對象存儲數據生命周期處理系統，其特征在于，采用權利要求1至7中任一項所述的對象存儲數據生命周期處理方法，所述對象存儲數據生命周期處理系統包括：

9.根據權利要求8所述的對象存儲數據生命周期處理系統，其特征在于，包括：

10.根據權利要求9所述的對象存儲數據生命周期處理系統，其特征在于，包括：

技術總結
本發明屬于數據存儲技術領域，提供一種對象存儲數據生命周期處理方法和系統。該方法包括：自構建優化的線程預測模型，將當前文件大小、資源利用率、任務總量、系統配置參數輸入訓練好的線程預測模型，輸出相匹配的線程池及并發線程數量，并發執行每個線程，判斷在當前線程中是否有存儲桶的索引分片，當確定有存儲桶的索引分片時，則獲取下一存儲桶的索引分片；進一步判斷存儲桶的索引分片中是否存在目標對象，當存在目標對象時，獲取特定數量的目標對象；將獲取的指定數量的目標對象提交到待處理隊列，重復確定待處理隊列中是否有未判斷過期的目標對象，直到所有目標對應均已判斷是否過期為止。本發明能夠有效提升生命周期處理和對象回收的速度。

技術研發人員：黃亞文
受保護的技術使用者：聯通在線信息科技有限公司
技術研發日：
技術公布日：2024/10/21