一種數據遷移的方法、裝置和系統的制作方法
【技術領域】
[0001] 本發明涉及互聯網技術領域,尤其涉及一種數據迀移的方法、裝置和系統。
【背景技術】
[0002] 網絡實現的本質是完成數據的處理以及數據的傳輸,在一些特定場景中,為了更 有效地利用數據,需要將數據整合存放到特定的平臺中,因此,跨平臺及跨機房的數據迀移 是不可避免的。例如,一個大型企業在相距甚遠的另一個城市建立了分公司,此時他們需要 將該企業中的數據庫迀移到分公司的平臺中,以提高數據的利用率。
[0003] 現有技術中,由于源平臺與目標平臺的實際距離比較遠,網絡穩定性差,容易造成 數據丟失等現象,所以為了提高數據迀移的有效性,往往在兩個平臺之間增加若干個中轉 平臺進行數據轉發。實際應用中,跨平臺、跨機房的數據迀移一般采用多階段順次運行的方 式,其中,數據從一個平臺迀移到另一個平臺為一個階段,階段內部采用并行、壓縮等方式 提高數據的迀移速度,階段之間順次完成數據的迀移,即當當前階段完成所有數據的迀移 之后,才進入下一階段。雖然在階段內部采用并行、壓縮等方式進行數據迀移,可以提高數 據迀移的速度,但是階段之間的關聯性很強,即下一階段必須等待上一階段全部進行完數 據迀移后才可進行,所以整個數據迀移過程中消耗的時間為每一階段分別完成所有數據的 數據迀移任務所消耗的時間之和,并且當某一階段發生故障造成數據迀移速度緩慢或者無 法進行時,會導致后續階段均處于等待狀態,而造成整個數據迀移的效率大大降低,甚至無 法完成。此外,某階段的失敗,會導致整個迀移過程失敗,從而可靠性也大大降低。
【發明內容】
[0004] 鑒于上述問題,本發明提出的數據迀移的方法、裝置和系統,能夠解決數據迀移效 率低和可靠性差的問題。
[0005] 為解決上述技術問題,第一方面,本發明提供了一種數據迀移的方法,所述方法包 括:
[0006] 控制源平臺對待迀移數據進行切片,獲得多個數據片;
[0007] 控制源平臺向目標平臺流水線式發送所述多個數據片,其中,所述多個數據片經 過中轉平臺到達所述目標平臺;
[0008] 所述控制源平臺向目標平臺流水線式發送所述多個數據片,包括:
[0009] 控制所述源平臺向所述中轉平臺順序發送所述多個數據片;
[0010] 控制所述中轉平臺從接收到第一個數據片起始,向所述目標平臺發送接收到的數 據片,并同時接收所述源平臺發送的下一個數據片。
[0011] 第二方面,本發明提供了一種數據迀移的裝置,所述裝置包括:
[0012] 第一控制單元,用于控制源平臺對待迀移數據進行切片,獲得多個數據片;
[0013] 第二控制單元,用于控制源平臺向目標平臺流水線式發送所述第一控制單元獲得 的多個數據片,其中,所述多個數據片經過中轉平臺到達所述目標平臺;
[0014] 所述第二控制單元,還用于控制所述源平臺向所述中轉平臺順序發送所述第一控 制單元獲得的多個數據片;
[0015] 所述第二控制單元,還用于控制所述中轉平臺從接收到第一個數據片起始,向所 述目標平臺發送接收到的數據片,并同時接收所述源平臺發送的下一個數據片。
[0016] 第三方面,本發明提供了一種數據迀移的系統,所述系統包括:上層管理設備、源 平臺、中轉平臺和目標平臺;
[0017] 所述上層管理設備,用于控制所述源平臺對待迀移數據進行切片,獲得多個數據 片;
[0018] 所述源平臺,用于在所述上層管理設備的控制下向所述目標平臺流水線式發送所 述多個數據片,其中,所述多個數據片經過中轉平臺到達所述目標平臺;
[0019] 所述源平臺,具體用于在所述上層管理設備的控制下,向所述中轉平臺順序發送 所述多個數據片;
[0020] 所述中轉平臺,用于在所述上層管理設備的控制下,從接收到第一個數據片起始, 向所述目標平臺發送接收到的數據片,并同時接收所述源平臺發送的下一個數據片;
[0021] 所述目標平臺,用于順序接收所述中轉平臺發送的多個數據片。
[0022] 借由上述技術方案,本發明提供的數據迀移的方法、裝置和系統,能夠通過上層管 理設備控制源平臺對待迀移的數據進行切片,獲得多個數據片,并控制源平臺通過流水線 的方式經中轉平臺向目標平臺完成數據片的迀移。與現有技術中依次完成所有數據的迀移 相比,本發明通過采用流水線的方式,將數據片從源平臺經中轉平臺發送到目標平臺,即在 當前平臺向下一級平臺發送所接收到的數據片的同時,接收上一級平臺向其發送的下一個 數據片,從而使得各個平臺均處于數據迀移狀態,而不用等待將所有待迀移的數據接收完 后再向下一級平臺發送該待迀移的數據,進而加快了數據迀移的速度,提高了數據迀移的 效率。
[0023] 上述說明僅是本發明技術方案的概述,為了能夠更清楚了解本發明的技術手段, 而可依照說明書的內容予以實施,并且為了讓本發明的上述和其它目的、特征和優點能夠 更明顯易懂,以下特舉本發明的【具體實施方式】。
【附圖說明】
[0024] 通過閱讀下文優選實施方式的詳細描述,各種其他的優點和益處對于本領域普通 技術人員將變得清楚明了。附圖僅用于示出優選實施方式的目的,而并不認為是對本發明 的限制。而且在整個附圖中,用相同的參考符號表示相同的部件。在附圖中:
[0025] 圖1示出了一種數據迀移的方法的流程圖;
[0026] 圖2示出了數據塊的示意圖;
[0027] 圖3示出了數據迀移的過程示意圖;
[0028] 圖4示出了多級中轉平臺的示意圖;
[0029] 圖5示出了一種數據迀移的裝置的結構示意圖;
[0030] 圖6示出了另一種數據迀移的裝置的結構示意圖;
[0031] 圖7示出了另一種數據迀移的裝置的結構示意圖;
[0032] 圖8示出了另一種數據迀移的裝置的結構示意圖;
[0033] 圖9示出了另一種數據迀移的裝置的結構示意圖;
[0034] 圖10示出了一種數據迀移的系統示意圖;
[0035] 圖11示出了另一種數據迀移的系統示意圖。
【具體實施方式】
[0036] 下面將參照附圖更詳細地描述本公開的示例性實施例。雖然附圖中顯示了本公開 的示例性實施例,然而應當理解,可以以各種形式實現本公開而不應被這里闡述的實施例 所限制。相反,提供這些實施例是為了能夠更透徹地理解本公開,并且能夠將本公開的范圍 完整的傳達給本領域的技術人員。
[0037] 為提高數據迀移的效率,本發明實施例提供了一種數據迀移的方法,本實施例由 上層管理設備來執行,并通過該上層管理設備控制各個平臺來完成數據的迀移,如圖1所 示,該方法包括:
[0038] 101、控制源平臺對待迀移數據進