存儲系統中數據備份的方法及裝置與流程

            文檔序號:11595827閱讀:441來源:國知局

            本發明涉及信息技術領域,特別涉及一種存儲系統中數據備份的方法及裝置



            背景技術:

            為了保證用戶數據的可靠性,存儲系統一般都提供數據復制功能,將用戶數據從存儲系統的源設備復制到備份端設備。當源設備故障時,通過將備份端設備的數據恢復到源設備,進而達到容災的目的。

            現有技術中,通常使用增量復制技術,將源設備發生變化的數據壓縮后備份到備份端設備。但現有技術將有變化的數據塊復制到備份端仍然消耗大量帶寬。



            技術實現要素:

            第一方面,本發明實施例提供了一種存儲系統中數據備份方案。其中,存儲系統中包含源設備和備份端設備,源設備和備份端設備均存儲有第n次快照sn的數據;源設備確定第n次快照sn后寫入源設備的第一數據塊,根據第一數據塊的邏輯地址確定相同邏輯地址中源設備存儲的第n次快照sn記錄的第二數據塊,第一數據塊是第二數據塊的修改塊;其中,n表示某一次快照操作;源設備將第一數據和第二數據塊進行邏輯操作得到第三數據塊,壓縮第三數據塊得到第四數據塊;源設備向備份端設備發送攜帶第四數據塊、第一數據塊的邏輯地址和第n次快照sn的版本號的數據報文;邏輯操作包括同或操作或異或操作,因為第三數據塊為通過邏輯操作得到的,而第一數據塊與第二數據塊中大部分數據相同,因此,第三數據塊包含大量的0(如使用異或操作)或1(如使用同或操作),第三數據塊的壓縮率高于第一數據塊的壓縮率,與將第一數據塊直接壓縮發送到備份端設備相比,減少了向備份端發送的數據量,節省了傳輸帶寬。

            備份端設備接收并解析源設備發送的數據報文獲得第四數據塊、所述第一數據塊的邏輯地址和所述第n次快照sn的版本號;備份端設備根據所述第一數據塊的邏輯地址和所述第n次快照sn的版本號,確定備份端設備存儲的快照sn記錄的所述第二數據塊;解壓縮第四數據塊得到所述第三數據塊;將第三數據塊與第二數據塊進行所述邏輯操作得到所述第一數據塊;將所述第一數據塊寫入所述第一數據塊的邏輯地址。

            可選地,源設備確定第n次快照sn后寫入源設備的第一數據塊,包括:源設備根據第n次快照sn后數據變更日志記錄的寫數據請求攜帶的邏輯地址確定所述第一數據塊。這一實現方式不需要對源設備再次進行快照操作,即可確定第一數據塊。

            可選地,源設備確定第n次快照sn后寫入源設備的第一數據塊,包括:源設備進行第x次快照sx操作,比較所述快照sn與快照sx,確定所述第一數據塊;其中,n和x為整數,并且n<x。

            本發明第一方面實施例提供的方案也可應用于數據恢復,源設備存儲第n次快照sn的數據,備份端設備存儲源設備的第n次快照sn的數據和第x次快照sx的數據;其中,n和x為整數,并且n<x,所述源設備向備份端設備發送數據恢復請求;所述數據恢復請求攜帶所述快照sn的版本號;備份端設備接收并解析源設備發送的數據恢復請求獲得所述快照sn的版本號,根據快照sn的版本號與快照sx的版本號確定第一數據塊,根據第一數據塊的邏輯地址和快照sn的版本號確定快照sn記錄的第二數據塊,將第一數據塊與第二數據塊進行邏輯操作得到第三數據塊,壓縮第三數據塊得到第四數據塊,向源設備發送攜帶第四數據塊和第一數塊的邏輯地址的數據報文;其中,所述第一數據塊為備份端設備備份的所述快照sx記錄的所述源設備在第n次快照sn后寫入的數據塊;所述第一數據塊為所述第二數據塊的修改塊;其中,所述邏輯操作為異或操作或同或操作;在數據過程中,通過邏輯操作和壓縮操作,同樣提高了壓縮率,節省了傳輸帶寬。

            所述源設備接收并解析備份端設備發送的數據報文獲得第四數據塊和第一數塊的邏輯地址;根據第一數據塊的邏輯地址確定快照sn記錄的第二數據塊;解壓縮所述第四數據塊得到第三數據塊;將第三數據塊與第二數據塊進行所述邏輯操作得到第一數據塊;將第一數據塊寫入所述第一數據塊的邏輯地址,從而源設備恢復到與備份端設備相同的狀態。

            與第一方面及第一方面應用的數據場景相對應,本發明實施例還提供了存儲設備,分別用于作為第一方面實施例中存儲系統中的源設備和備份端設備,以實現本發明實施例第一方面提供的方案。存儲設備包括實現第一方面及第一方面應用的數據場景的發明實施例方案的結構單元,或者,存儲設備包括接口和處理器以實現第一方面及第一方面應用的數據場景的實施例方案。

            相應地,本發明實施例還提供了非易失性計算機可讀存儲介質和計算機程序產品,當本發明實施例提供的存儲設備的內存加載非易失性計算機可讀存儲介質和計算機程序產品中包含的計算機指令,存儲設備的中央處理單元(centerprocessingunit,cpu)執行該計算機指令時,使存儲設備作為第一方面實施例中存儲系統中的源設備和備份端設備,以實現本發明實施例第一方面提供的方案。

            第二方面,本發明實施例還提供了另一種存儲系統中數據備份方案。其中,存儲系統包括源設備和備份端設備,源設備和備份端設備均存儲有第n次快照sn的數據;源設備確定第n次快照sn后寫入源設備的第一數據塊,根據第一數據塊的邏輯地址確定第n次快照sn記錄的第二數據塊;其中,第一數據塊是第二數據塊的修改塊;源設備確定第一數據塊需要循環移位的移位數,并根據移位數對第一數據塊循環移位得到第三數據塊;通過循環移位得到第三數據塊,可使第三數據塊與第二數據塊同一位置有更多的相同的數據;源設備將第三數據塊和第二數據塊進行邏輯操作得到第四數據塊;邏輯操作為異或操作或同或操作,通過邏輯操作,第四數據塊中包含大量的0(如使用異或操作)或1(如使用同或操作),壓縮所述第四數據塊得到第五數據塊;第四數據塊的壓縮率高于第一數據塊的壓縮率,與將第一數據塊直接壓縮發送到備份端設備相比,減少了向備份端發送的數據量,節省了傳輸帶寬。源設備向所述備份端設備發送攜帶第五數據塊、第一數據塊的邏輯地址、移位信息和第n次快照sn的版本號的數據報文;其中,移位信息包括循環移位方向和所述移位數。

            所述備份端設備接收并解析所述數據報文獲得第五數據塊、第一數據塊的邏輯地址、移位信息和第n次快照sn的版本號,根據第一數據塊的邏輯地址和第n次快照sn的版本號,確定快照sn記錄的所述第二數據塊,解壓縮第五數據塊得到第四數據塊;將第四數據塊與第二數據塊進行所述邏輯操作得到第三數據塊,根據所述移位信息將第三數據塊反向循環移位得到第一數據塊,將第一數據塊寫入第一數據塊的邏輯地址。

            可選地,源設備配置有如下計算規則:設定n個窗口,對數據塊在每一個窗口中的至少部分數據進行hash計算,其中,每一個窗口的大小相同,第一個窗口的起始位置為所述數據塊的起始位置;最后一個窗口的結束位置等于所述數據塊的結束位置;第i+1個窗口的起始位置與第i個窗口的起始位置相差固定長度;n為整數且不小于2,i為整數,第i個窗口表示第1個至第n個窗口中任一個窗口;

            源設備根據所述計算規則對所述第一數據塊在每一個窗口中的至少部分數據進行hash計算,以及對所述第二數據塊在每一個窗口中的至少部分數據進行hash計算;

            源設備按照hash值設定的順序,從所述第一數據塊的hash值中選擇前m個hash值,從所述第二數據塊的hash值中選擇前m個hash值;m為正整數并且不大于n;

            源設備查找所述第一數據塊的前m個hash值與所述第二數據塊前m個hash值中相同的hash值,確定所述相同的hash值對應的兩個窗口的偏移之差為所述移位數。

            可選地,第i+1個窗口的起始位置與第i個窗口的起始位置相差的固定長度為1位,或多位。

            可選地,源設備按照hash值設定的順序,具體可以按照從小到大的順序或者從大到小的順序。

            可選地,確定所述相同的hash值對應的兩個窗口的偏移之差為所述移位數的同時,還可以確定循環移位方向,具體地,當第一數據塊中相同hash值對應的窗口的偏移減去第二數據塊中相同hash值對應的窗口偏移為正數時,則向左循環移位;當第一數據塊中相同hash值對應的窗口的偏移減去第二數據塊中相同hash值對應的窗口偏移為負數時,則向右循環移位。

            可選地,源設備確定第n次快照sn后寫入源設備的第一數據塊,包括:源設備根據第n次快照sn后數據變更日志記錄的寫數據請求攜帶的邏輯地址確定所述第一數據塊。這一實現方式不需要對源設備再次進行快照操作,即可確定第一數據塊。

            可選地,源設備確定第n次快照sn后寫入源設備的第一數據塊,包括:源設備進行第x次快照sx操作,比較所述快照sn與快照sx,確定所述第一數據塊;其中,n和x為整數,并且n<x。

            本發明第二方面實施例提供的方案也可應用于數據恢復,存儲系統包括源設備和備份端設備,源設備存儲第n次快照sn的數據,備份端設備存儲源設備的第n次快照sn的數據和第x次快照sx的數據;其中,n和x為整數,并且n<x,源設備向所述備份端設備發送數據恢復請求;數據恢復請求攜帶所述快照sn的版本號;備份端設備接收并解析數據恢復請求獲得快照sn的版本號,根據快照sn的版本號與快照sx的版本號確定第一數據塊,根據第一數據塊的邏輯地址和快照sn的版本號確定快照sn記錄的第二數據塊,確定第一數據塊需要循環移位的移位數,并根據移位數對第一數據塊循環移位得到第三數據塊;將第三數據塊與第二數據塊進行邏輯操作得到第四數據塊;邏輯操作為異或操作或同或操作,通過邏輯操作,第四數據塊中包含大量的0(如使用異或操作)或1(如使用同或操作),壓縮第四數據塊得到第五數據塊;第四數據塊的壓縮率高于第一數據塊的壓縮率,與將第一數據塊直接壓縮發送到源設備相比,減少了向源設備發送的數據量,節省了傳輸帶寬。備份端設備向源設備發送攜帶第五數據塊、移位信息和第一數塊的邏輯地址的數據報文;其中,第一數據塊為備份端設備備份的快照sx記錄的源設備在第n次快照sn后寫入的數據塊;第一數據塊為第二數據塊的修改塊;邏輯操作為異或操作或同或操作;移位信息包括循環移位方向和所述移位數。

            源設備接收并解析數據報文獲得第五數據塊、移位信息和第一數塊的邏輯地址,根據第一數據塊的邏輯地址確定快照sn記錄的第二數據塊,解壓縮所述第五數據塊得到所述第四數據塊,將第四數據塊與第二數據塊進行邏輯操作得到第三數據塊,根據移位信息對第三數據塊反向循環移位得到第一數據塊,將第一數據塊寫入第一數據塊的邏輯地址,從而源設備恢復到與備份端設備相同的狀態。

            可選地,備份端設備配置有如下計算規則:設定n個窗口,對數據塊在每一個窗口中的至少部分數據進行hash計算,其中,每一個窗口的大小相同,第一個窗口的起始位置為所述數據塊的起始位置;最后一個窗口的結束位置等于所述數據塊的結束位置;第i+1個窗口的起始位置與第i個窗口的起始位置相差固定長度;n為整數且不小于2,i為整數,第i個窗口表示第1個至第n個窗口中任一個窗口;

            備份端設備根據計算規則對所述第一數據塊在每一個窗口中的至少部分數據進行hash計算,以及對所述第二數據塊在每一個窗口中的至少部分數據進行hash計算;

            備份端設備按照hash值設定的順序,從所述第一數據塊的hash值中選擇前m個hash值,從所述第二數據塊的hash值中選擇前m個hash值;m為正整數并且不大于n;

            備份端設備查找所述第一數據塊的前m個hash值與所述第二數據塊前m個hash值中相同的hash值,確定所述相同的hash值對應的兩個窗口的偏移之差為所述移位數。

            可選地,第i+1個窗口的起始位置與第i個窗口的起始位置相差的固定長度為1位,或多位。

            可選地,備份端設備按照hash值設定的順序,具體可以按照從小到大的順序或者從大到小的順序。

            可選地,確定所述相同的hash值對應的兩個窗口的偏移之差為所述移位數的同時,還可以確定循環移位方向,具體地,當第一數據塊中相同hash值對應的窗口的偏移減去第二數據塊中相同hash值對應的窗口偏移為正數時,則向左循環移位;當第一數據塊中相同hash值對應的窗口的偏移減去第二數據塊中相同hash值對應的窗口偏移為負數時,則向右循環移位。

            與第二方面及第二方面應用的數據場景相對應,本發明實施例還提供了存儲設備,分別用于作為第二方面實施例中存儲系統中的源設備和備份端設備,以實現本發明實施例第二方面提供的方案。存儲設備包括實現第二方面及第二方面應用的數據場景的發明實施例方案的結構單元,或者,存儲設備包括接口和處理器以實現第二方面及第二方面應用的數據場景的實施例方案。

            相應地,本發明實施例還提供了非易失性計算機可讀存儲介質和計算機程序產品,當本發明實施例提供的存儲設備的內存加載非易失性計算機可讀存儲介質和計算機程序產品中包含的計算機指令,存儲設備的中央處理單元(centerprocessingunit,cpu)執行該計算機指令時,使存儲設備作為第二方面實施例中存儲系統中的源設備和備份端設備,以實現本發明實施例第二方面提供的方案。

            附圖說明

            圖1為本發明實施例存儲系統示意圖;

            圖2a為本發明實施例確定移位數的方法示意圖;

            圖2b為本發明實施例確定移位數的方法示意圖;

            圖3為本發明實施例循環移位示意圖;

            圖4為本發明實施例異或操作示意圖;

            圖5為本發明實施例壓縮操作示意圖;

            圖6為本發明實施例數據報文示意圖;

            圖7為本發明實施例異或移位操作示意圖;

            圖8為要發明實施例反向循環示意圖;

            圖9為本發明實施例數據備份后存儲系統示意圖;

            圖10為本發明實施例應用場景示意圖;

            圖11為本發明實施例應用場景示意圖;

            圖12為本發明實施例存儲設備結構示意圖;

            圖13為本發明實施例存儲設備結構示意圖;

            圖14為本發明實施例存儲設備結構示意圖;

            圖15為本發明實施例存儲設備結構示意圖;

            圖16為本發明實施例存儲設備結構示意圖。

            具體實施例

            如圖1所示,存儲系統包括源設備101和備份端設備102,源設備101在第n次快照sn時,存儲數據塊1、數據塊2、數據塊3和數據塊4。備份端設備102存儲源設備101第n次快照sn的備份,即存儲有數據塊1、數據塊2、數據塊3和數據塊4。在第n次快照sn后,源設備101的數據塊2被修改為數據塊2’。根據快照實現機制,數據塊2在快照sn中保存,同時記錄數據塊2’,數據塊2’為對數據塊2修改后的數據塊(也就是說,數據塊2’為數據塊2的修改塊)。因為備份端設備102已經備份源設備101在快照sn的數據,備份端設備102進行了快照sn操作,即在備份端設備102也通過快照sn操作記錄了快照sn時刻的狀態。因此再將源設備101中的數據備份到備份端時,只需要備份數據塊2’。通常,為保證將數據塊2’備份到備份端設備102的過程中不被修改,通常需要進行對源設備101進行快照操作,該快照操作可以是sx,其中,n和x為整數,并且n<x。如圖1所示,快照sx記錄源設備101存儲數據塊1、數據塊2’、數據塊3和數據塊4。數據塊2在快照sn中記錄的邏輯地址與數據塊2’在快照sx記錄的邏輯地址相同,即數據塊2和數據塊2’表示同一邏輯地址在不同時刻的狀態。本發明實施例中,快照記錄的數據、存儲的快照的數據或快照的數據,均表示快照時刻記錄的設備存儲的數據。其中,快照(snapshot)是關于指定數據集合的一個完全可用拷貝,該拷貝包括數據在某個時間點(拷貝開始的時間點)的映像,具體含義可參見存儲網絡行業協會(storagenetworkingindustryassociation,snia)的定義。通常快照有兩種實現方式,即寫時復制(copyonwrite,cow)和寫重定向(redirectonwrite,row),在此不再贅述。可選地,可以通過將快照sx與快照sn進行比對,以確定修改后的數據塊2’。可選地,還可以通過數據變更日志(datachangelog,dcl)來確定修改后數據塊。通過dcl方式,源設備101記錄第n次快照sn后,源設備101接收到的寫數據請求,解析寫數據請求獲得寫數據請求攜帶的邏輯地址,當收到的寫數據請求攜帶的地址為第n次快照sn記錄的數據塊的邏輯地址時,則數據塊被修改。以圖1為例,當源設備101通過dcl記錄第n次快照sn后,源設備101接收到的寫數據請求攜帶數據塊2的邏輯地址,則確定數據塊2被修改。

            步驟1:源設備101確定數據塊2’為數據塊2在第n次快照sn后的修改塊。

            本發明實施例以數據塊2’為001111100000101000100011為例(為方便閱讀,將數據塊2’的內容以4位為單位進行展示)。

            步驟2:源設備根據數據塊2’的邏輯地址確定第n次快照sn記錄的數據塊2。

            本發明實施例中數據塊2為111000011010001000110100。

            步驟3:確定數據塊2’循環移位的移位數,并根據移位數對數據塊2’循環移位。

            可選地,如圖2a所示,源設備101設備有如下計算規則:設定n個窗口,對數據塊在每一個窗口中的至少部分數據進行hash計算,其中,每一個窗口的大小相同,第一個窗口的起始位置為數據塊的起始位置;最后一個窗口的結束位置等于數據塊的結束位置;第i+1個窗口的起始位置與第i個窗口的起始位置相差固定長度;n為整數且不小于2,i為整數,第i個窗口表示第1個至第n個窗口中任一個窗口。

            根據上述計算規則:例如,設置21個窗口(例如窗口大小為4位),相鄰窗口的起始位置相差1位(即第i+1個窗口的起始位置與第i個窗口的起始位置相差1位),源設備101對數據塊2在每一個窗口中的至少部分數據進行hash計算,以及對數據塊2’在每一個窗口中的至少部分數據進行hash計算;按照hash值從大到小的順序,從數據塊2的21個窗口中選擇前4個hash值,分別為a、b、c和d,這4個hash值對應的窗口分別為窗口1、窗口3、窗口9和窗口11,窗口1、窗口3、窗口9和窗口11對應的偏移分別為0、2、8和10。其中,窗口對應的偏移是指窗口的起始位置相對數據塊的起始位置相差的位數,如在數據塊2中,窗口1的起始位置相對數據塊2的起始位置相差的0位,窗口3的起始位置相對數據塊2的起始位置相差的2位;同樣,按照hash值從大到小的順序,從數據塊2’的21個窗口中選擇前4個hash值,分別為a、e、c和d,這4個hash值對應的窗口分別為窗口5’、窗口17’、窗口13’和窗口15’,窗口5’、窗口17’、窗口13’和窗口15’對應的偏移分別為0、2、8和10分別為4、16、12和14。源設備101查找這兩組中相同的hash值,即hash值a、c和d。源設備101確定相同hash值對應的窗口的偏移之差作為移位數。如hash值為a的窗口1和窗口5’的偏移之差為4,如hash值為c的窗口9和窗口13’的偏移之差為4,說明兩個數據塊間很可能內容相同但是有錯位現象,通過向左循環移4位能保證兩個數據塊的相同內容對齊。如果上述方法中得到的偏移之差為-4,則向右循環移4位。當這兩組中的hash值均相同,并且相同hash值對應的偏移也相同,則表示不需要移位,即循環移0位。本發明實施例中,按照hash值從大到小的順序,選擇4個hash值僅是示例性的;可選地,第i+1個窗口的起始位置與第i個窗口的起始位置相差固定長度也可以為多位。可選地,也可以按照hash值從小到大的順序。如圖3所示,本發明實施例中,確定數據塊2’和數據塊2相差4位,則將數據塊2’向左循環移位4位,得到移位后的數據塊(稱為移位的數據塊)為111000001010001000110011。其中,所謂循環移位,是計算機術語,是指在向一端移位時不丟失移位前原范圍的位,而是將它們作為另一端的補入位。例如,向左循環移4位,將0011作為右端的補入位。

            可選地,如圖2b所示,首先,將數據塊2’與數據塊2進行異或操作,得到異或的數據塊a1,獲得異或的數據塊a1中包含0的數量為10;然后將數據塊2’向左循環移1位,將向左循環移1位得到的數據塊與數據塊2進行異或操作,得到異或的數據塊a2,獲得異或的數據塊a2中包含0的數量為10;按照上述規則,直到將數據塊2’向左循環移23位,將向左循環移23位得到的數據塊與數據塊2進行異或操作,得到異或的數據塊a23,確定異或的數據塊a23中包含0的數量。從異或的數據塊a1到a23中確定包含0的數量最多的異或的塊,本發明實施例中為異或的數據塊a5,則確定將數據塊2’向左循環移4位。如果異或的數據塊a1為全0數據,則不需要進行循環移位。從上面的描述可知,異或操作得到的數據中0的位數越多,兩個數據塊相同的數據越多,。

            通過循環移位,使得數據塊2’移位后得到的移位的數據塊與數據塊2有更多相同的數據,從而使得接下來的異或操作得到的數據塊有更多的位為0。當不需要循環移位,即數據塊2’與數據塊2中每一位相同,則循環移0位。

            步驟4:將移位的數據塊與數據塊2進行異或操作,得到數據塊(也就是異或的數據塊)為000000010000000000000111,具體如圖4所示。

            步驟5:源設備101對得到的異或的數據塊進行壓縮操作。

            源設備101對異或的數據塊進行壓縮操作具體可以使用lz4壓縮算法、zlib壓縮算法以及游程編碼(run-lengthencoding,rle)壓縮算法等。本發明實施例對此不作限定。

            以源設備101使用rle壓縮算法對異或的數據塊進行壓縮為例,如圖5所示的實例方式,rle算法從左到右遍歷異或的數據塊,將連續重復的數據用出現的次數代替,則將異或的數據塊壓縮后表示如下:0(7)1(1)0(13)1(3),其中0(7)表示0連續出現7次,1(1)表示1連續出現1次,0(13)表示0連續出現13次,1(3)表示1連續出現3次。上述表示方式是為方便理解與區分,實際實現可參考rle壓縮算法描述(請參見https://en.wikipedia.org/wiki/run-length_encoding)。

            源設備101通過上述步驟,與直接壓縮修改后的數據塊相比,減少了向備份端設備102發送的數據量,從而節省了傳輸帶寬。

            步驟6:源設備101將壓縮后的數據塊封裝到數據報文,發送數據報文到備份端設備102,數據報文中攜帶數據塊2’的邏輯地址、數據塊2’的移位信息、壓縮后的數據塊以及快照sn的版本號。其中,移位信息包括循環移位方向和移位數。

            本發明實施例中對發送備份數據的數據報文的協議不作限定。一種實現方式,如圖6所示,在原有數據報文新增601、602、603和604四個字段。其中,601用于表示數據塊2’的邏輯地址,同時也是數據塊2的邏輯地址;602表示第n次快照sn的版本號,603用于表示數據塊2’的移位信息(本發明實施列中移位數為向左循環移位4位),604用于攜帶壓縮后的數據塊。具體實現中,上述字段順序并沒有限制。603字段中可以用首位表示循環移位的方式,例如0表示向左循環移位,1表示向右循環移位,除首位外的位表示循環移位的移位數,或者默認向一個方向循環移位。快照的版本號為快照的標識,一種實現為隨著快照的增加而線性遞增。

            步驟7:備份端設備102接收并解析數據報文,得到數據報文中攜帶數據塊2’的邏輯地址、數據塊2’的移位信息、壓縮后的數據塊以及快照sn的版本號。

            具體地,當以圖6所示的數據報文為例,備份端設備102解析數據報文得到字段601、602、603和604中的信息。目標端設備102將字段604中攜帶的壓縮的數據塊解壓縮。因為字段604中攜帶的壓縮的數據塊是通過rle壓縮算法得到的,因此,將0(7)10(13)1(3)解壓縮為000000010000000000000111,即源設備101端的異或的數據塊。根據字段601攜帶的修改的數據塊2’的邏輯塊地址以及字段602中攜帶的第n次快照sn的版本號,在備份端設備102確定備份端設備102第n次快照sn記錄的數據塊2,獲得數據塊2為111000011010001000110100。如圖7所示,備份端設備102將數據塊2與異或的數據塊進行異或操作,得到源設備101移位的數據塊111000001010001000110011,也就是數據塊2’移位后的數據塊。備份端設備102根據字段603攜帶的移位信息,進行反向循環移位,如圖8所示,本發明實施例中,反向循環移位為向右循環移位4位,得到源設備101數據塊2’。

            步驟8:備份端設備102將數據塊2’寫入所述從源設備101接收到的數據報文中所攜帶的數據塊2’的邏輯塊地址。

            具體實現中,備份端設備102與源設備101具有相同的邏輯地址,因此備份端設備102存儲數據塊2’的邏輯地址與源設備101存儲數據塊2’的邏輯地址。在上述方案中,備份端設備102根據數據塊2’的邏輯地址,對備份端設備102存儲的數據塊中的數據塊2進行修改得到數據塊2’,使得備份端設備102存儲有存儲數據塊1、數據塊2’、數據塊3和數據塊4。

            因為備份端設備102對數據塊1、數據塊2、數據塊3和數據塊4已經進行了快照操作,得到備份端設備102的快照sn。因此,當備份端設備102對存儲的數據塊2進行修改得到數據塊2’時,同時維持了數據塊2。

            當步驟8之后,數據備份端設備102對備份端進行第x次快照操作,得到快照sx。具體如圖9所示,以快照sx時刻備份端設備102存儲的數據有數據塊1、數據塊2’、數據塊3和數據塊4為例。數據塊2在快照sn中記錄的邏輯地址與數據塊2’在快照sx記錄的邏輯地址相同,即數據塊2和數據塊2’表示同一邏輯地址在不同時刻的狀態。

            當源設備101發生故障造成數據丟失時,可以利用備份端設備102的快照數據進行恢復。本發明實施例中,可以通過備份端設備102將源設備101恢復到第x次快照sx時的狀態。例如,源設備101由于故障丟失了快照sx記錄的數據塊2’(也就是對數據塊2修改后的數據塊),只有快照sn時的數據(或稱為快照sn時的狀態),則源設備101向備份端設備102發送數據恢復請求,數據恢復請求中攜帶源設備101當前的快照sn版本號。則備份端設備102根據數據恢復請求中攜帶源設備101當前的快照sn版本號確定源設備101只有快照sn時刻的數據。第一種實現方式,備份端設備102根據源設備101當前的快照sn版本號,確定需要恢復的數據為數據塊2’,將則數據塊2’的邏輯塊地址以及數據塊2’發送到源設備101,源設備101接收數據塊2’的邏輯塊地址以及數據塊2’,將數據塊2’寫入源設備101上數據塊2’的邏輯塊地址,從而使源設備101恢復到第x次快照sx時的狀態。具體可參考現有基于快照實現源設備數據恢復的方案,在此不再贅述。

            另一種實現方式,備份端設備102根據源設備101發送的數據恢復請求確定需要恢復的數據為數據塊2’,備份端設備102根據數據塊2’的邏輯地址確定快照sn記錄的數據塊2。備份端設備102確定數據塊2’的循環移位的移位數,根據移位數對數據塊2’循環移位,得到移位的數據塊,將移位的數據塊與數據塊進行異或操作,得到壓縮的數據塊將壓縮的數據塊、數據塊2’的邏輯塊地址、第n次快照sn的版本號和數據塊2’的移位信息封裝到數據報文中發送到源設備101。具體實現可參考步驟2-7,具體數據報文格式可參考圖6。相對于第一種實現方式,減少了數據恢復過程中備份端設備102向源設備101發送的數據量,節省了傳輸帶寬。源設備101接收并解析備份端設備102發送的數據報文,根據接收到的報文執行執行異或操作、反向循環移位操作和數據寫入操作,得到數據塊2’。具體實現可以參考上述步驟7和步驟8,將數據塊2’寫入數據塊2’的邏輯地址,從而源設備101恢復到快照sx時的狀態。

            本發明另一實施例提供了源設備101將數據塊2’備份到備份端設備102的另一種實現方式,步驟1’和步驟2’分別如前面步驟1和2,在此不再贅述。

            步驟3’:將數據塊2’與數據塊2進行異或操作,得到異或的數據塊為110111111010100000010111。具體異或操作可參考圖4。

            步驟4’:將異或的數據塊110111111010100000010111進行壓縮。具體實現可參考步驟5的描述,在此不再贅述。

            步驟5’:源設備101將壓縮后的數據塊封裝到數據報文,發送數據報文到備份端設備102。數據報文中攜帶數據塊2’的邏輯地址、壓縮后的數據塊以及快照sn的版本號。

            具體實現可參考圖6,數據報文包含字段601、602和604(因為不需要循環移位操作,因此不需要字段603)。其中,601用于表示數據塊2’的邏輯地址,同時也是數據塊2的邏輯地址;602表示第n次快照sn的版本號,604用于攜帶壓縮后的數據塊。具體實現中,上述字段順序并沒有限制。

            步驟6’:目標端設備102接收并解析數據報文,得到字段601、602和604中的信息。目標端設備102將字段604中攜帶的壓縮的數據塊解壓縮。根據字段601攜帶的修改的數據塊2’的邏輯塊地址以及字段602中攜帶的第n次快照sn的版本號,在備份端設備102確定備份端設備102第n次快照sn記錄的數據塊2,備份端設備102將數據塊2與異或的數據塊110111111010100000010111進行異或操作,得到數據塊2’。

            步驟7’如前面步驟8,在此不再贅述。

            在備份端設備102對源設備103進行數據恢復的另一種實現方式中,備份端設備102根據源設備101發送的數據恢復請求確定需要恢復的數據為數據塊2’,備份端設備102根據數據塊2’的邏輯地址找到快照sn記錄的數據塊2。備份端設備102分別使用前面源設備101執行步驟3’和4’的方式,得到壓縮的數據塊。備份端設備102將壓縮的數據塊、數據塊2’的邏輯塊地址和第n次快照sn的版本號封裝到數據報文中發送到源設備101。具體數據報文格式可參考步驟5’。因此,減少了數據恢復過程中備份端設備102向源設備101發送的數據量,節省了傳輸帶寬。源設備101接收并解析備份端設備102發送的數據報文,使用備份端設備102執行的步驟6’和步驟7’的方式,得到數據塊2’,將數據塊2’寫入數據塊2’的邏輯地址,從而源設備101恢復到快照sx時的狀態。

            本發明各實施例中的異或操作也可以替換為同或操作,可達到相同的效果。具體的,在確定移位數的實現方式中,如果使用同或操作,則將數據塊2’與數據塊2進行同或操作,得到同或的數據塊a1,獲得同或的數據塊a1中包含1的數量;然后將數據塊2’向左循環移1位,將向左循環移1位得到的數據塊與數據塊2進行同或操作,得到同或的數據塊a2,獲得同或的數據塊a2中包含1的數量;按照上述規則,直到將數據塊2’向左循環移23位,將向左循環移23位得到的數據塊與數據塊2進行同或,得到同或的數據塊a23,確定同或的數據塊t中包含1的數量。從同或的數據塊a1到a23中確定包含1的數量最多的同或的塊,本發明實施例中為同或的數據塊a5,則確定將數據塊2’向左循環移4位。如果同或的數據塊a1為全1數據,則不需要進行循環移位。

            本發明各實施描述的數據備份方法與本發明實施例中的數據恢復方法可以相互結合使用,也可以獨立使用。

            本發明實施例中的源設備101和備份端設備102可以為存儲陣列。即源設備101為源存儲陣列,備份端設備102為備份端存儲陣列。存儲陣列結構如圖10所示,包括存儲控制器和多塊硬盤。其中,存儲控制器包括中央處理單元(centerprocessingunit,cpu)和內存,cpu和內存通過總線進行通信,存儲控制器還包含與主機和硬盤通信的接口。存儲控制器將硬盤進行邏輯組合,根據需要劃分成不同的raid組。存儲控制器將raid組的可用容量劃分成較小的單元,稱為邏輯單元(logicunit)。每個邏輯單元會被分配一個唯一的標識,稱為邏輯單元編號(logicalunitnumber,lun)。存儲控制器將一個邏輯單元分配給分配給主機使用,即將該邏輯單元的lun暴露給該主機,具體實現可參考存儲技術領域中邏輯單元分配技術。本發明實施例對源存儲陣列進行備份,可以是對存儲陣列中某一個邏輯單元中的數據塊進行備份,也可以對多個邏輯單元進行備份。在存儲陣列場景下,通過dcl技術確定修改的數據塊,具體為存儲控制器通過解析寫數據請求攜帶的數據塊的地址記錄修改的數據塊的邏輯地址,即記錄攜帶的數據塊的的邏輯塊地址(logicblockaddress,lba)和長度。在圖6所示的字段601攜帶的則為修改的數據塊2’的lba和長度。

            本發明實施例中的源設備101和備份端設備102可以為網絡連接存儲(networkattachedstorage,nas),如圖11所示,包括nas頭和存儲陣列(參見圖9)。nas頭包括cpu和內存,nas頭還包括存儲業界標準的存儲協議和端口,用于連接和管理物理磁盤資源。nas頭cpu執行文件共享協議,實現文件訪問。具體地,文件共享協議包括網絡文件系統(networkfilesystem,nfs)、通用互聯網文件系統(commoninternetfilesystem,cifs)等。本發明實施例對源nas進行備份,可以是對nas中的文件系統進行備份。在nas場景下,通過dcl技術確定修改的數據塊,具體為nas頭通過解析寫數據請求攜帶的數據塊的地址記錄確定修改的數據塊的地址,即記錄攜帶的文件標識、偏移量(offset)和長度。在圖6所示的字段601攜帶的則為文件標識、偏移量(offset)和長度。

            如圖12所示,本發明實施例提供了一種存儲設備,所述存儲設備用于作為存儲系統中的源設備101,所述存儲系統還包括源設備101的備份端設備102,可參考圖1所示的存儲系統,存儲設備101和備份端設備102均存儲有第n次快照sn的數據;n為整數,所述存儲設備101包括接口1201和處理器1202,接口1201與處理器1202通過總線通信,處理器1202,用于確定第n次快照sn后寫入存儲設備101的第一數據塊;根據所述第一數據塊的邏輯地址確定第n次快照sn記錄的第二數據塊;其中,所述第一數據塊是所述第二數據塊的修改塊;對所述第一數據和所述第二數據塊進行邏輯操作得到第三數據塊;其中,所述邏輯操作為異或操作或同或操作;壓縮所述第三數據塊得到第四數據塊;接口1201用于向所述備份端設備102發送攜帶所述第四數據塊、所述第一數據塊的邏輯地址和所述第n次快照sn的版本號的數據報文。可選地,處理器1202具體用于根據第n次快照sn后數據變更日志記錄的寫數據請求攜帶的邏輯地址確定所述第一數據塊。可選地,處理器1202具體用于進行第x次快照sx操作,比較所述快照sn與快照sx,確定所述第一數據塊;其中,n和x為整數,并且n<x。

            如圖12所示,本發明實施例提供了一種存儲設備,所述存儲設備用于作為存儲系統中的備份端設備102,所述存儲系統還包括備份端設備102的源設備101,可參考圖1所示的存儲系統,所述存儲設備102和所述源設備101均存儲有第n次快照sn的數據;n為整數,所述存儲設備102包括接口1201和處理器1202,接口1201與處理器1202通過總線通信,接口1201用于接收并解析所述源設備101發送的數據報文獲得第四數據塊、第一數據塊的邏輯地址和所述第n次快照sn的版本號;處理器1202,用于根據所述第一數據塊的邏輯地址和所述第n次快照sn的版本號,確定所述快照sn記錄的第二數據塊;其中,所述第一數據塊為所述源設備在第n次快照sn后寫入的數據塊;所述第一數據塊為所述第二數據塊的修改塊;解壓縮所述第四數據塊得到第三數據塊;將所述第三數據塊和所述第二數據塊進行邏輯操作得到所述第一數據塊;其中,所述邏輯操作為異或操作或同或操作;將所述第一數據塊寫入所述第一數據塊的邏輯地址。

            如圖12所示,本發明實施例提供了一種存儲設備,所述存儲設備用于作為存儲系統中的備份端設備102,所述存儲系統還包括備份端設備102的源設備101,可參考圖9所示的存儲系統,所述存儲設備102和所述源設備101均存儲有第n次快照sn的數據;n為整數,所述存儲設備102包括接口1201和處理器1202,接口1201,用于接收并解析所述源設備101發送的數據恢復請求獲得所述快照sn的版本號;處理器1202用于根據所述快照sn的版本號與所述快照sx的版本號確定所述快照sx記錄的第一數據塊;根據所述第一數據塊的邏輯地址和所述快照sn的版本號確定所述快照sn記錄的存儲于所述邏輯地址中的第二數據塊;其中,所述第一數據塊為所述存儲設備102備份的所述快照sx記錄的所述源設備101在第n次快照sn后寫入的數據塊;所述第一數據塊為所述第二數據塊的修改塊;將所述第一數據塊與所述第二數據塊進行邏輯操作得到第三數據塊;其中,所述邏輯操作為異或操作或同或操作;壓縮所述第三數據塊得到第四數據塊;接口1202還用于向所述源設備101發送攜帶所述第四數據塊和所述第一數塊的邏輯地址的數據報文。

            如圖12所示,本發明實施例提供了一種存儲設備,所述存儲設備用于作為存儲系統中的源設備101,所述存儲系統還包括源設備101的備份端設備102,可參考圖9所示的存儲系統,所述存儲設備101和所述備份端設備102均存儲有第n次快照sn的數據;n為整數,所述存儲設備101包括接口1201和處理器1202,接口1201與處理器1202通過總線通信,接口1201用于向所述備份端設備102發送數據恢復請求;所述數據恢復請求攜帶所述快照sn的版本號;接收并解析所述備份端設備根據所述數據恢復請求發送的數據報文獲得第四數據塊和第一數塊的邏輯地址;所述第一數據塊為所述備份端設備102備份的所述快照sx記錄的所述邏輯地址中所述存儲設備101在第n次快照sn后寫入的數據塊;處理器1202,用于根據所述第一數據塊的邏輯地址確定源設備存儲的所述快照sn記錄的第二數據塊;所述第一數據塊為所述第二數據塊的修改塊;解壓縮所述第四數據塊得到第三數據塊;將所述第三數據塊與所述第二數據塊進行邏輯操作得到所述第一數據塊;其中,所述邏輯操作為異或操作或同或操作;將所述第一數據塊寫入所述第一數據塊的邏輯地址。

            如圖12所示,本發明實施例提供了一種存儲設備,所述存儲設備作為存儲系統中的源設備101,所述存儲系統還包括源設備101的備份端設備102,可參考圖1所示的存儲系統,所述源設備101和所述備份端設備102均存儲有第n次快照sn的數據;n為整數,所述存儲設備101包括接口1201和處理器1202,接口1201和處理器1202通過總線通信;處理器1202,用于確定第n次快照sn后寫入所述源設備的第一數據塊;根據所述第一數據塊的邏輯地址確定第n次快照sn記錄的第二數據塊;其中,所述第一數據塊是所述第二數據塊的修改塊;確定所述第一數據塊需要循環移位的移位數;根據所述移位數對所述第一數據塊循環移位得到第三數據塊;將所述第三數據塊和所述第二數據塊進行邏輯操作得到第四數據塊;其中,所述邏輯操作為異或操作或同或操作;壓縮所述第四數據塊得到第五數據塊;接口1201,用于向所述備份端設備102發送攜帶所述第五數據塊、所述第一數據塊的邏輯地址、移位信息和所述第n次快照sn的版本號的數據報文;其中,所述移位信息包括循環移位方向和所述移位數。可選地,所述存儲設備101配置有如下計算規則:設定n個窗口,對數據塊在每一個窗口中的至少部分數據進行hash計算,其中,每一個窗口的大小相同,第一個窗口的起始位置為所述數據塊的起始位置;最后一個窗口的結束位置等于所述數據塊的結束位置;第i+1個窗口的起始位置與第i個窗口的起始位置相差固定長度;n為整數且不小于2,i為整數,第i個窗口表示第1個至第n個窗口中任一個窗口;處理器1202具體用于:根據所述計算規則對所述第一數據塊在每一個窗口中的至少部分數據進行hash計算,以及對所述第二數據塊在每一個窗口中的至少部分數據進行hash計算;按照hash值設定的順序,從所述第一數據塊的hash值中選擇前m個hash值,從所述第二數據塊的hash值中選擇前m個hash值;m為正整數并且不大于n;查找所述第一數據塊的前m個hash值與所述第二數據塊前m個hash值中相同的hash值,確定所述相同的hash值對應的兩個窗口的偏移之差為所述移位數。可選地,第i+1個窗口的起始位置與第i個窗口的起始位置相差的固定長度為1位,或多位。可選地,備份端設備按照hash值設定的順序,具體可以按照從小到大的順序或者從大到小的順序。可選地,確定所述相同的hash值對應的兩個窗口的偏移之差為所述移位數的同時,還可以確定循環移位方向,具體地,當第一數據塊中相同hash值對應的窗口的偏移減去第二數據塊中相同hash值對應的窗口偏移為正數時,則向左循環移位;當第一數據塊中相同hash值對應的窗口的偏移減去第二數據塊中相同hash值對應的窗口偏移為負數時,則向右循環移位。可選地,處理器1202具體用于根據所述第n次快照sn后數據變更日志記錄的寫數據請求攜帶的邏輯地址確定所述第一數據塊。可選地,處理器1202具體用于對所述源設備101進行第x次快照sx操作,比較所述快照sn與快照sx,確定所述第一數據塊;其中,n和x為整數,并且n<x。

            如圖12所示,本發明實施例提供了一種存儲設備,所述存儲設備用于作為存儲系統中的備份端設備102,所述存儲系統還包括備份端設備102的源設備101,可參考圖1所示的存儲系統,所述源設備101和所述備份端設備102均存儲有第n次快照sn的數據;n為整數,所述存儲設備102包括接口1201和處理器1202,接口1201和處理器1202通過總線通信;接口1201,用于接收并解析所述源設備101發送的數據報文獲得第五數據塊、第一數據塊的邏輯地址、移位信息和所述第n次快照sn的版本號;處理器1202,用于根據所述第一數據塊的邏輯地址和所述第n次快照sn的版本號,確定所述快照sn記錄的第二數據塊;其中,所述第一數據塊為所述源設備在第n次快照sn后寫入的數據塊;所述第一數據塊為所述第二數據塊的修改塊;解壓縮所述第五數據塊得到第四數據塊;將所述第四數據塊和所述第二數據塊進行邏輯操作得到第三數據塊;其中,所述邏輯操作為異或操作或同或操作;根據所述移位信息對所述第三數據塊進行反向循環移位得到所述第一數據塊;其中,所述移位信息包含所述源設備101對所述第一數據塊循環移位得到所述第三數據塊所需要的移位數以及循環移位方向;將所述第一數據塊寫入所述第一數據塊的邏輯地址。

            如圖12所示,本發明實施例提供了一種存儲設備,所述存儲設備用于作為存儲系統中的備份端設備102,所述存儲系統還包括備份端設備102的源設備101,可參考圖9所示的存儲系統,所述源設備101存儲第n次快照sn的數據,所述備份端設備102存儲所述源設備的第n次快照sn的數據和第x次快照sx的數據;其中,n和x為整數,并且n<x,所述存儲設備102包括接口1201和處理器1202,接口1201和處理器1202通過總線通信;接口1201,用于接收所述源設備101發送的數據恢復請求,所述數據恢復請求中攜帶有所述快照sn的版本號;處理器1202,用于根據所述快照sn的版本號與所述快照sx的版本號確定所述快照sx記錄的第一數據塊,其中,所述第一數據塊為所述備份端設備102備份的所述快照sx記錄的所述源設備101在第n次快照sn后寫入的數據塊;根據所述第一數據塊的邏輯地址和所述快照sn的版本號確定所述快照sn記錄的存儲于所述邏輯地址中的第二數據塊;確定所述第一數據塊需要循環移位的移位數;根據所述移位數對所述第一數據塊循環移位得到第三數據塊;將所述第三數據塊和所述第二數據塊進行邏輯操作得到第四數據塊;壓縮所述第四數據塊得到第五數據塊;其中,所述邏輯操作為異或操作或同或操作;所述接口,用于向所述源設備101發送攜帶所述第五數據塊、所述第一數塊的邏輯地址和移位信息的數據報文;其中,所述移位信息包括循環移位方向和所述移位數。可選地,所述存儲設備101配置有如下計算規則:設定n個窗口,對數據塊在每一個窗口中的至少部分數據進行hash計算,其中,每一個窗口的大小相同,第一個窗口的起始位置為所述數據塊的起始位置;最后一個窗口的結束位置等于所述數據塊的結束位置;第i+1個窗口的起始位置與第i個窗口的起始位置相差固定長度;n為整數且不小于2,i為整數,第i個窗口表示第1個至第n個窗口中任一個窗口;處理器1202具體用于:根據所述計算規則對所述第一數據塊在每一個窗口中的至少部分數據進行hash計算,以及對所述第二數據塊在每一個窗口中的至少部分數據進行hash計算;按照hash值設定的順序,從所述第一數據塊的hash值中選擇前m個hash值,從所述第二數據塊的hash值中選擇前m個hash值;m為正整數并且不大于n;查找所述第一數據塊的前m個hash值與所述第二數據塊前m個hash值中相同的hash值,確定所述相同的hash值對應的兩個窗口的偏移之差為所述移位數。可選地,第i+1個窗口的起始位置與第i個窗口的起始位置相差的固定長度為1位,或多位。可選地,備份端設備按照hash值設定的順序,具體可以按照從小到大的順序或者從大到小的順序。可選地,確定所述相同的hash值對應的兩個窗口的偏移之差為所述移位數的同時,還可以確定循環移位方向,具體地,當第一數據塊中相同hash值對應的窗口的偏移減去第二數據塊中相同hash值對應的窗口偏移為正數時,則向左循環移位;當第一數據塊中相同hash值對應的窗口的偏移減去第二數據塊中相同hash值對應的窗口偏移為負數時,則向右循環移位。

            如圖12所示,本發明實施例提供了一種存儲設備,所述存儲設備用于存儲系統中的源設備101,所述存儲系統還包括源設備101的備份端設備102,可參考圖9所示的存儲系統,所述存儲設備101存儲第n次快照sn的數據,所述備份端設備102存儲所述存儲設備101的第n次快照sn的數據和第x次快照sx的數據;其中,n和x為整數,并且n<x,其特征在于,所述源設備101包括接口1201和處理器1202,接口1201和處理器1202通信總線通信;接口1202,用于向所述備份端設備102發送數據恢復請求;所述數據恢復請求攜帶所述快照sn的版本號;接收并解析所述備份端設備102根據所述數據恢復請求發送的數據報文獲得第五數據塊、第一數塊的邏輯地址和移位信息,其中,所述第一數據塊為所述備份端設備102備份的所述快照sx記錄的所述邏輯地址中所述存儲設備101在第n次快照sn后寫入的數據塊;處理器1202,用于根據所述第一數據塊的邏輯地址確定所述存儲設備101存儲的快照sn記錄的第二數據塊,所述第一數據塊為所述第二數據塊的修改塊;解壓縮所述第五數據塊得到第四數據塊;將所述第四數據塊與所述第二數據塊進行邏輯操作得到所述第三數據塊;其中,所述邏輯操作為異或操作或同或操作;根據所述移位信息對所述第三數據塊反向循環移位得到所述第一數據塊;其中,所述移位信息包含所述備份端設備102對所述第一數據塊循環移位得到所述第三數據塊所需要的移位數以及循環移位方向;將所述第一數據塊寫入所述第一數據塊的邏輯地址。

            本發明上述實施例中的存儲設備中的接口1201和處理器1202,可以為物理結構,也可為邏輯上的劃分,具體實現中,接口1201的部分功能也可由處理器1202實現,或集成到處理器中(即接口為處理器中一部分)。關于存儲設備的具體功能,可參考前面實施例中源設備101和備份端設備102的功能,在此不再贅述。

            如圖13所示,本發明實施例提供了一種存儲設備,用于作為存儲系統中的源設備101,存儲系統還包括源設備101的備份端設備102,可參考圖1所示的存儲系統,所述存儲設備101和所述備份端設備102均存儲有第n次快照sn的數據,n為整數;所述存儲設備101包括確定單元1301,邏輯操作單元1302、壓縮單元1303和發送單元1304。其中,確定單元1301,用于確定第n次快照sn后寫入所述存儲設備101的第一數據塊;根據所述第一數據塊的邏輯地址確定第n次快照sn記錄的第二數據塊;其中,所述第一數據塊是所述第二數據塊的修改塊;邏輯操作單元1302,用于對所述第一數據和所述第二數據塊進行邏輯操作得到第三數據塊;其中,所述邏輯操作為異或操作或同或操作;壓縮單元1303,用于壓縮所述第三數據塊得到第四數據塊;發送單元1304,用于向所述備份端設備102發送攜帶所述第四數據塊、所述第一數據塊的邏輯地址和所述第n次快照sn的版本號的數據報文。可選地,確定單元1301具體用于根據所述第n次快照sn后數據變更日志記錄的寫數據請求攜帶的邏輯地址確定所述第一數據塊。可選地,確定單元1301具體用于進行第x次快照sx操作,比較所述快照sn與快照sx,確定所述第一數據塊;其中,n和x為整數,并且n<x。

            如圖14所示,本發明實施例提供了一種存儲設備,所述存儲設備用于作為存儲系統中的備份端設備102,所述存儲系統還包括備份端設備102的源設備101,可參考圖1所示的存儲系統,所述存儲設備102和所述源設備101均存儲有第n次快照sn的數據,n為整數;所述存儲設備102包括:接收解析單元1401、確定單元1402、解壓縮單元1403、邏輯操作單元1404和寫入單元1405。其中,接收解析單元1401,用于接收并解析所述源設備101發送的數據報文獲得第四數據塊、第一數據塊的邏輯地址和所述第n次快照sn的版本號;確定單元1402,用于根據所述第一數據塊的邏輯地址和所述第n次快照sn的版本號,確定所述快照sn記錄的第二數據塊;其中,所述第一數據塊為所述源設備101在第n次快照sn后寫入的數據塊;所述第一數據塊為所述第二數據塊的修改塊;解壓縮單元1403,用于解壓縮所述第四數據塊得到第三數據塊;邏輯操作單元1404,用于將所述第三數據塊和所述第二數據塊進行邏輯操作得到所述第一數據塊;其中,所述邏輯操作為異或操作或同或操作;寫入單元1405,用于將所述第一數據塊寫入所述第一數據塊的邏輯地址。

            如圖15所示,本發明實施例提供了一種存儲設備,所述存儲設備用于作為存儲系統中的備份端設備102,所述存儲系統還包括備份端設備102的源設備101,可參考圖9所示的存儲系統,所述存儲設備102和所述源設備101均存儲有第n次快照sn的數據,n為整數;所述存儲設備102包括接收解析單元1501、確定單元1502、邏輯操作單元1503、壓縮單元1504和發送單元1505。其中,接收解析單元1501,用于接收并解析所述源設備101發送的數據恢復請求獲得所述快照sn的版本號;確定單元1502,根據所述快照sn的版本號與所述快照sx的版本號確定所述快照sx記錄的第一數據塊;根據所述第一數據塊的邏輯地址和所述快照sn的版本號確定所述快照sn記錄的存儲于所述邏輯地址中的第二數據塊;其中,所述第一數據塊為所述存儲設備102備份的所述快照sx記錄的所述源設備101在第n次快照sn后寫入的數據塊;所述第一數據塊為所述第二數據塊的修改塊;邏輯操作單元1503,用于將所述第一數據塊與所述第二數據塊進行邏輯操作得到第三數據塊;其中,所述邏輯操作為異或操作或同或操作;壓縮單1504元,用于壓縮所述第三數據塊得到第四數據塊;發送單元1505,用于向所述源設備101發送攜帶所述第四數據塊和所述第一數塊的邏輯地址的數據報文。

            如圖16所示,本發明實施例提供了一種存儲設備,所述存儲設備用于作為存儲系統中的源設備101,所述存儲系統還包括源設備101的備份端設備102,可參考圖9所示的存儲系統,所述存儲設備101和所述備份端設備102均存儲有第n次快照sn的數據,n為整數;所述存儲設備包括發送單元1601、接收解析單元1602、確定單元1603、解壓縮單元1604、邏輯操作單元1605和寫入單元1606;其中,發送單元1601,用于向所述備份端設備102發送數據恢復請求;所述數據恢復請求攜帶所述快照sn的版本號;接收解析單元1602,用于接收并解析所述備份端設備102根據所述數據恢復請求發送的數據報文獲得第四數據塊和第一數塊的邏輯地址;所述第一數據塊為所述備份端設備102備份的所述快照sx記錄的所述邏輯地址中所述存儲設備101在第n次快照sn后寫入的數據塊;確定單元1603,用于根據所述第一數據塊的邏輯地址確定存儲設備101存儲的所述快照sn記錄的第二數據塊;所述第一數據塊為所述第二數據塊的修改塊;解壓縮單元1604,用于解壓縮所述第四數據塊得到第三數據塊;邏輯操作單元1605,用于將所述第三數據塊與所述第二數據塊進行邏輯操作得到所述第一數據塊;其中,所述邏輯操作為異或操作或同或操作;寫入單元1606,用于將所述第一數據塊寫入所述第一數據塊的邏輯地址。

            如圖13所示,本發明另一實施例提供了一種存儲設備,用于作為存儲系統中的源設備101,存儲系統還包括源設備101的備份端設備102,可參考圖1所示的存儲系統,所述存儲設備101和所述備份端設備102均存儲有第n次快照sn的數據,n為整數;所述存儲設備101還包括移位單元1305;其中,確定單元1301,用于確定第n次快照sn后寫入所述存儲設備101的第一數據塊;根據所述第一數據塊的邏輯地址確定第n次快照sn記錄的第二數據塊;其中,所述第一數據塊是所述第二數據塊的修改塊;確定所述第一數據塊需要循環移位的移位數;移位單元1305,用于根據所述移位數對所述第一數據塊循環移位得到第三數據塊;邏輯操作單元1302,用于將所述第三數據塊和所述第二數據塊進行邏輯操作得到第四數據塊;其中,所述邏輯操作為異或操作或同或操作;壓縮單元1303,用于壓縮所述第四數據塊得到第五數據塊;發送單元1304,用于向所述備份端設備102發送攜帶所述第五數據塊、所述第一數據塊的邏輯地址、移位信息和所述第n次快照sn的版本號的數據報文;其中,所述移位信息包括循環移位方向和所述移位數。可選地,所述存儲設備101配置有如下計算規則:設定n個窗口,對數據塊在每一個窗口中的至少部分數據進行hash計算,其中,每一個窗口的大小相同,第一個窗口的起始位置為所述數據塊的起始位置;最后一個窗口的結束位置等于所述數據塊的結束位置;第i+1個窗口的起始位置與第i個窗口的起始位置相差固定長度;n為整數且不小于2,i為整數,第i個窗口表示第1個至第n個窗口中任一個窗口;所述確定單元1301具體用于:根據所述計算規則對所述第一數據塊在每一個窗口中的至少部分數據進行hash計算,以及對所述第二數據塊在每一個窗口中的至少部分數據進行hash計算;按照hash值設定的順序,從所述第一數據塊的hash值中選擇前m個hash值,從所述第二數據塊的hash值中選擇前m個hash值;m為正整數并且不大于n;查找所述第一數據塊的前m個hash值與所述第二數據塊前m個hash值中相同的hash值,確定所述相同的hash值對應的兩個窗口的偏移之差為所述移位數。可選地,第i+1個窗口的起始位置與第i個窗口的起始位置相差的固定長度為1位,或多位。可選地,備份端設備按照hash值設定的順序,具體可以按照從小到大的順序或者從大到小的順序。可選地,確定所述相同的hash值對應的兩個窗口的偏移之差為所述移位數的同時,還可以確定循環移位方向,具體地,當第一數據塊中相同hash值對應的窗口的偏移減去第二數據塊中相同hash值對應的窗口偏移為正數時,則向左循環移位;當第一數據塊中相同hash值對應的窗口的偏移減去第二數據塊中相同hash值對應的窗口偏移為負數時,則向右循環移位。

            如圖14所示,本發明另一實施例提供了一種存儲設備,所述存儲設備用于作為存儲系統中的備份端設備102,所述存儲系統還包括備份端設備102的源設備101,可參考圖1所示的存儲系統,所述存儲設備102和所述源設備101均存儲有第n次快照sn的數據,n為整數;所述存儲設備102還包括移位單元1406;其中,接收解析單元1401,用于接收并解析所述源設備101發送的數據報文獲得第五數據塊、第一數據塊的邏輯地址、移位信息和所述第n次快照sn的版本號;確定單元1402,用于根據所述第一數據塊的邏輯地址和所述第n次快照sn的版本號,確定所述快照sn記錄的第二數據塊;其中,所述第一數據塊為所述源設備101在第n次快照sn后寫入的數據塊;所述第一數據塊為所述第二數據塊的修改塊;解壓縮單元1403,用于解壓縮所述第五數據塊得到第四數據塊;邏輯操作單元1404,用于將所述第四數據塊和所述第二數據塊進行邏輯操作得到第三數據塊;其中,所述邏輯操作為異或操作或同或操作;移位單元1406,用于根據所述移位信息對所述第三數據塊進行反向循環移位得到所述第一數據塊;其中,所述移位信息包含所述源設備101對所述第一數據塊循環移位得到所述第三數據塊所需要的移位數以及循環移位方向;寫入單元1406,用于將所述第一數據塊寫入所述第一數據塊的邏輯地址。

            如圖15所示,本發明另一實施例提供了一種存儲設備,所述存儲設備用于作為存儲系統中的備份端設備102,所述存儲系統還包括備份端設備102的源設備101,可參考圖9所示的存儲系統,所述存儲設備102和所述源設備101均存儲有第n次快照sn的數據,n為整數;所述存儲設備102還包括移位單元1506;其中,接收單元1501,用于接收所述源設備101發送的數據恢復請求,所述數據恢復請求中攜帶有所述快照sn的版本號;確定單元1502,用于根據所述快照sn的版本號與所述快照sx的版本號確定所述快照sx記錄的第一數據塊,其中,所述第一數據塊為所述存儲設備102備份的所述快照sx記錄的所述源設備101在第n次快照sn后寫入的數據塊;根據所述第一數據塊的邏輯地址和所述快照sn的版本號確定所述快照sn記錄的存儲于所述邏輯地址中的第二數據塊;確定所述第一數據塊需要循環移位的移位數;移位單元1506,用于根據所述移位數對所述第一數據塊循環移位得到第三數據塊;邏輯操作單元1503,用于將所述第三數據塊和所述第二數據塊進行邏輯操作得到第四數據塊;壓縮單元1504,用于壓縮所述第四數據塊得到第五數據塊;其中,所述邏輯操作為異或操作或同或操作;發送單元1505,用于向所述源設備101發送攜帶所述第五數據塊、所述第一數塊的邏輯地址和移位信息的數據報文;其中,所述移位信息包括循環移位方向和所述移位數。可選地,所述存儲設備102配置有如下計算規則:設定n個窗口,對數據塊在每一個窗口中的至少部分數據進行hash計算,其中,每一個窗口的大小相同,第一個窗口的起始位置為所述數據塊的起始位置;最后一個窗口的結束位置等于所述數據塊的結束位置;第i+1個窗口的起始位置與第i個窗口的起始位置相差固定長度;n為整數且不小于2,i為整數,第i個窗口表示第1個至第n個窗口中任一個窗口;所述確定單元1502具體用于:根據所述計算規則對所述第一數據塊在每一個窗口中的至少部分數據進行hash計算,以及對所述第二數據塊在每一個窗口中的至少部分數據進行hash計算;按照hash值設定的順序,從所述第一數據塊的hash值中選擇前m個hash值,從所述第二數據塊的hash值中選擇前m個hash值;m為正整數并且不大于n;查找所述第一數據塊的前m個hash值與所述第二數據塊前m個hash值中相同的hash值,確定所述相同的hash值對應的兩個窗口的偏移之差為所述移位數。可選地,第i+1個窗口的起始位置與第i個窗口的起始位置相差的固定長度為1位,或多位。可選地,備份端設備按照hash值設定的順序,具體可以按照從小到大的順序或者從大到小的順序。可選地,確定所述相同的hash值對應的兩個窗口的偏移之差為所述移位數的同時,還可以確定循環移位方向,具體地,當第一數據塊中相同hash值對應的窗口的偏移減去第二數據塊中相同hash值對應的窗口偏移為正數時,則向左循環移位;當第一數據塊中相同hash值對應的窗口的偏移減去第二數據塊中相同hash值對應的窗口偏移為負數時,則向右循環移位。

            如圖16所示,本發明另實施例提供了一種存儲設備,所述存儲設備用于作為存儲系統中的源設備101,所述存儲系統還包括源設備101的備份端設備102,可參考圖9所示的存儲系統,所述存儲設備101和所述備份端設備102均存儲有第n次快照sn的數據,n為整數;所述存儲設備101還包括移位單元1607;其中,發送單元1601,用于向所述備份端設備發送數據恢復請求;所述數據恢復請求攜帶所述快照sn的版本號;接收解析單元1602,用于接收并解析所述備份端設備102根據所述數據恢復請求發送的數據報文獲得第五數據塊、第一數塊的邏輯地址和移位信息,其中,所述第一數據塊為所述備份端設備102備份的所述快照sx記錄的所述邏輯地址中所述存儲設備101在第n次快照sn后寫入的數據塊;確定單元1603,用于根據所述第一數據塊的邏輯地址確定所述存儲設備101存儲的快照sn記錄的第二數據塊,所述第一數據塊為所述第二數據塊的修改塊;解壓縮單元1604,用于解壓縮所述第五數據塊得到第四數據塊;邏輯操作單元1605,用于將所述第四數據塊與所述第二數據塊進行邏輯操作得到所述第三數據塊;其中,所述邏輯操作為異或操作或同或操作;移位單元1607,用于根據所述移位信息對所述第三數據塊反向循環移位得到所述第一數據塊;其中,所述移位信息包含所述備份端設備102對所述第一數據塊循環移位得到所述第三數據塊所需要的移位數以及循環移位方向;寫入單元1606,用于將所述第一數據塊寫入所述第一數據塊的邏輯地址。

            本發明實施例圖13-16所示的存儲設備,以圖13為例,存儲設備包括確定單元1301,邏輯操作單元1302、壓縮單元1303和發送單元1304,一種實現方式為存儲設備安裝上有述單元,上述單元可被加載到存儲設備的內存中,由存儲設備的中央處理單元執行同存中的指令,實現本發明對應的實施例中的功能;另一種實現,存儲設備中包含的單元可以由硬件來實現,或者由軟件與硬件組合實現。上述單元也稱為結構單元。

            本發明實施例中存儲設備作為存儲系統中的源設備或備份端設備,是指該存儲設備可以執行存儲系統中源設備或備份端設備的功能,可以與源設備或備份設備具有同樣的結構。也就是可以將存儲系統中的源設備或備份端設備稱為一種存儲設備。

            本發明實施例,還提供了非易失性計算機可讀存儲介質和計算機程序產品,當圖1、圖9、圖10、圖11和圖12所示的設備的內存加載非易失性計算機可讀存儲介質和計算機程序產品中包含的計算機指令,,cpu執行內存中中加載的該計算機指令,以實現本發明各實施中對應的功能。

            在本發明所提供的幾個實施例中,應該理解到,所公開的裝置、方法,可以通過其它的方式實現。例如,以上所描述的裝置實施例所述單元的劃分,僅僅為一種邏輯功能劃分,實際實現時可以有另外的劃分方式,例如多個單元或組件可以結合或者可以集成到另一個系統,或一些特征可以忽略,或不執行。另一點,所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口,裝置或單元的間接耦合或通信連接,可以是電性,機械或其它的形式。

            所述作為分離部件說明的單元可以是或者也可以不是物理上分開的,作為單元顯示的部件可以是或者也可以不是物理單元,即可以位于一個地方,或者也可以分布到多個網絡單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本實施例方案的目的。

            另外,在本發明各個實施例中的各功能單元可以集成在一個處理單元中,也可以是各個單元單獨物理存在,也可以兩個或兩個以上單元集成在一個單元中。

            當前第1頁1 2 
            網友詢問留言 已有0條留言
            • 還沒有人留言評論。精彩留言會獲得點贊!
            1
            婷婷六月激情在线综合激情,亚洲国产大片,久久中文字幕综合婷婷,精品久久久久久中文字幕,亚洲一区二区三区高清不卡,99国产精品热久久久久久夜夜嗨 ,欧美日韩亚洲综合在线一区二区,99国产精品电影,伊人精品线视天天综合,精品伊人久久久大香线蕉欧美
            亚洲精品1区 国产成人一级 91精品国产欧美一区二区 亚洲精品乱码久久久久久下载 国产精品久久久久久久伊一 九色国产 国产精品九九视频 伊人久久成人爱综合网 欧美日韩亚洲区久久综合 欧美日本一道免费一区三区 夜夜爽一区二区三区精品 欧美日韩高清一区二区三区 国产成人av在线 国产精品对白交换绿帽视频 国产视频亚洲 国产在线欧美精品 国产精品综合网 国产日韩精品欧美一区色 国产日韩精品欧美一区喷 欧美日韩在线观看区一二 国产区精品 欧美视频日韩视频 中文字幕天天躁日日躁狠狠躁97 视频一二三区 欧美高清在线精品一区二区不卡 国产精品揄拍一区二区久久 99久久综合狠狠综合久久aⅴ 亚洲乱码视频在线观看 日韩在线第二页 亚洲精品无码专区在线播放 成人亚洲网站www在线观看 欧美三级一区二区 99久久精品免费看国产高清 91麻豆国产在线观看 最新日韩欧美不卡一二三区 成人在线观看不卡 日韩国产在线 在线亚洲精品 亚洲午夜久久久久中文字幕 国产精品成人久久久久久久 精品国产一区二区在线观看 欧美精品国产一区二区三区 中文在线播放 亚洲第一页在线视频 国产午夜精品福利久久 九色国产 精品国产九九 国产永久视频 久久精品人人做人人综合试看 国产一区二区三区免费观看 亚洲精品国产电影 9999热视频 国产精品资源在线 麻豆久久婷婷国产综合五月 国产精品免费一级在线观看 亚洲国产一区二区三区青草影视 中文在线播放 国产成人综合在线 国产在线观看色 国产亚洲三级 国产片一区二区三区 久久99精品久久久久久牛牛影视 亚洲欧美日韩国产 四虎永久免费网站 国产一毛片 国产精品视频在 九九热在线精品 99精品福利视频 色婷婷色99国产综合精品 97成人精品视频在线播放 精品久久久久久中文字幕 亚洲欧美一区二区三区孕妇 亚洲欧美成人网 日韩高清在线二区 国产尤物在线观看 在线不卡一区二区 91网站在线看 韩国精品福利一区二区 欧美日韩国产成人精品 99热精品久久 国产精品免费视频一区 高清视频一区 精品九九久久 欧美日韩在线观看免费 91欧美激情一区二区三区成人 99福利视频 亚洲国产精品91 久热国产在线 精品久久久久久中文字幕女 国产精品久久久久久久久99热 成人自拍视频网 国产精品视频久久久久久 久久影院国产 国产玖玖在线观看 99精品在线免费 亚洲欧美一区二区三区导航 久久久久久久综合 国产欧美日韩精品高清二区综合区 国产精品视频自拍 亚洲一级片免费 久久久久久九九 国产欧美自拍视频 视频一区二区在线观看 欧美日韩一区二区三区久久 中文在线亚洲 伊人热人久久中文字幕 日韩欧美亚洲国产一区二区三区 欧美亚洲国产成人高清在线 欧美日韩国产码高清综合人成 国产性大片免费播放网站 亚洲午夜综合网 91精品久久一区二区三区 国产无套在线播放 国产精品视频网站 国产成人亚洲精品老王 91在线网站 国产视频97 欧美黑人欧美精品刺激 国产一区二区三区免费在线视频 久久久国产精品免费看 99re6久精品国产首页 久久精品91 国产成人一级 国产成人精品曰本亚洲 日本福利在线观看 伊人成综合网 久久综合一本 国产综合久久久久久 久久精品成人免费看 久久福利 91精品国产91久久久久久麻豆 亚洲精品成人在线 亚洲伊人久久精品 欧美日本二区 国产永久视频 国产一区二 一区二区福利 国产一毛片 亚洲精品1区 毛片一区二区三区 伊人久久大香线蕉综合影 国产欧美在线观看一区 亚洲国产欧洲综合997久久 国产一区二区免费视频 国产91精品对白露脸全集观看 久久亚洲国产伦理 欧美成人伊人久久综合网 亚洲性久久久影院 久久99国产精一区二区三区! 91精品国产欧美一区二区 欧美日韩亚洲区久久综合 日韩精品一二三区 久久久夜色精品国产噜噜 国产在线精品福利91香蕉 久久久久久久亚洲精品 97se色综合一区二区二区 91国语精品自产拍在线观看性色 91久久国产综合精品女同我 日韩中文字幕a 国产成人亚洲日本精品 久久国产精品-国产精品 久久国产经典视频 久久国产精品伦理 亚洲第一页在线视频 国产精品久久久久三级 日韩毛片网 久久免费高清视频 麻豆国产在线观看一区二区 91麻豆国产福利在线观看 国产成人精品男人的天堂538 一区二区三区中文字幕 免费在线视频一区 欧美日韩国产成人精品 国产综合网站 国产资源免费观看 亚洲精品亚洲人成在线播放 精品久久久久久中文字幕专区 亚洲人成人毛片无遮挡 国产一起色一起爱 国产香蕉精品视频在 九九热免费观看 日韩亚洲欧美一区 九九热精品在线观看 精品久久久久久中文字幕专区 亚洲欧美自拍偷拍 国产精品每日更新 久久久久国产一级毛片高清板 久久天天躁狠狠躁夜夜中文字幕 久久精品片 日韩在线毛片 国产成人精品本亚洲 国产成人精品一区二区三区 九九热在线观看 国产r级在线观看 国产欧美日韩精品高清二区综合区 韩国电影一区二区 国产精品毛片va一区二区三区 五月婷婷伊人网 久久一区二区三区免费 一本色道久久综合狠狠躁篇 亚洲综合色站 国产尤物在线观看 亚洲一区亚洲二区 免费在线视频一区 欧洲精品视频在线观看 日韩中文字幕a 中文字幕日本在线mv视频精品 91精品在线免费视频 精品国产免费人成在线观看 精品a级片 中文字幕日本在线mv视频精品 日韩在线精品视频 婷婷丁香色 91精品国产高清久久久久 国产成人精品日本亚洲直接 五月综合视频 欧美日韩在线亚洲国产人 精液呈暗黄色 亚洲乱码一区 久久精品中文字幕不卡一二区 亚洲天堂精品在线 激情婷婷综合 国产免费久久精品久久久 国产精品亚洲二区在线 久久免费播放视频 五月婷婷丁香综合 在线亚洲欧美日韩 久久免费精品高清麻豆 精品久久久久久中文字幕 亚洲一区网站 国产精品福利社 日韩中文字幕免费 亚洲综合丝袜 91精品在线播放 国产精品18 亚洲日日夜夜 伊人久久大香线蕉综合影 亚洲精品中文字幕乱码影院 亚洲一区二区黄色 亚洲第一页在线视频 一区二区在线观看视频 国产成人福利精品视频 亚洲高清二区 国内成人免费视频 精品亚洲性xxx久久久 国产精品合集一区二区三区 97av免费视频 国产一起色一起爱 国产区久久 国产资源免费观看 99精品视频免费 国产成人一级 国产精品九九免费视频 欧美91精品久久久久网免费 99热国产免费 久久精品色 98精品国产综合久久 久久精品播放 中文字幕视频免费 国产欧美日韩一区二区三区在线 精品久久蜜桃 国产小视频精品 一本色道久久综合狠狠躁篇 91在线免费观看 亚洲精品区 伊人成综合网 伊人热人久久中文字幕 伊人黄色片 99国产精品热久久久久久夜夜嗨 久久免费精品视频 亚洲一区二区三区高清不卡 久久久久国产一级毛片高清板 国产片一区二区三区 久久狠狠干 99久久婷婷国产综合精品电影 国产99区 国产精品成人久久久久 久久狠狠干 青青国产在线观看 亚洲高清国产拍精品影院 国产精品一区二区av 九九热在线免费视频 伊人久久国产 国产精品久久久久久久久久一区 在线观看免费视频一区 国产精品自在在线午夜区app 国产精品综合色区在线观看 国产毛片久久久久久国产毛片 97国产免费全部免费观看 国产精品每日更新 国产尤物视频在线 九九视频这里只有精品99 一本一道久久a久久精品综合 久久综合给会久久狠狠狠 国产成人精品男人的天堂538 欧美一区二区高清 毛片一区二区三区 国产欧美日韩在线观看一区二区三区 在线国产二区 欧美不卡网 91在线精品中文字幕 在线国产福利 国内精品91久久久久 91亚洲福利 日韩欧美国产中文字幕 91久久精品国产性色也91久久 亚洲性久久久影院 欧美精品1区 国产热re99久久6国产精品 九九热免费观看 国产精品欧美日韩 久久久久国产一级毛片高清板 久久国产经典视频 日韩欧美亚洲国产一区二区三区 欧美亚洲综合另类在线观看 国产精品自在在线午夜区app 97中文字幕在线观看 视频一二三区 精品国产一区在线观看 国产欧美日韩在线一区二区不卡 欧美一区二三区 伊人成人在线观看 国内精品91久久久久 97在线亚洲 国产在线不卡一区 久久久全免费全集一级全黄片 国产精品v欧美精品∨日韩 亚洲毛片网站 在线不卡一区二区 99re热在线视频 久久激情网 国产毛片一区二区三区精品 久久亚洲综合色 中文字幕视频免费 国产视频亚洲 婷婷伊人久久 国产一区二区免费播放 久久99国产精品成人欧美 99国产在线视频 国产成人免费视频精品一区二区 国产不卡一区二区三区免费视 国产码欧美日韩高清综合一区 久久精品国产主播一区二区 国产一区电影 久久精品国产夜色 国产精品国产三级国产 日韩一区二区三区在线 久久97久久97精品免视看 久久国产免费一区二区三区 伊人久久大香线蕉综合电影网 99re6久精品国产首页 久久激情网 亚洲成人高清在线 国产精品网址 国产成人精品男人的天堂538 香蕉国产综合久久猫咪 国产专区中文字幕 91麻豆精品国产高清在线 久久国产经典视频 国产精品成人va在线观看 国产精品爱啪在线线免费观看 日本精品久久久久久久久免费 亚洲综合一区二区三区 久久五月网 精品国产网红福利在线观看 久久综合亚洲伊人色 亚洲国产精品久久久久久网站 在线日韩国产 99国产精品热久久久久久夜夜嗨 国产综合精品在线 国产区福利 精品亚洲综合久久中文字幕 国产制服丝袜在线 毛片在线播放网站 在线观看免费视频一区 国产精品久久久精品三级 亚洲国产电影在线观看 最新日韩欧美不卡一二三区 狠狠综合久久综合鬼色 日本精品1在线区 国产日韩一区二区三区在线播放 欧美日韩精品在线播放 亚洲欧美日韩国产一区二区三区精品 久久综合久久网 婷婷六月激情在线综合激情 亚洲乱码一区 国产专区91 97av视频在线观看 精品久久久久久中文字幕 久久五月视频 国产成人福利精品视频 国产精品网址 中文字幕视频在线 精品一区二区三区免费视频 伊人手机在线视频 亚洲精品中文字幕乱码 国产在线视频www色 色噜噜国产精品视频一区二区 精品亚洲成a人在线观看 国产香蕉尹人综合在线 成人免费一区二区三区在线观看 国产不卡一区二区三区免费视 欧美精品久久天天躁 国产专区中文字幕 久久精品国产免费中文 久久精品国产免费一区 久久无码精品一区二区三区 国产欧美另类久久久精品免费 欧美精品久久天天躁 亚洲精品在线视频 国产视频91在线 91精品福利一区二区三区野战 日韩中文字幕免费 国产精品99一区二区三区 欧美成人高清性色生活 国产精品系列在线观看 亚洲国产福利精品一区二区 国产成人在线小视频 国产精品久久久久免费 99re热在线视频 久久久久久久综合 一区二区国产在线播放 成人国产在线视频 亚洲精品乱码久久久久 欧美日韩一区二区综合 精品久久久久免费极品大片 中文字幕视频二区 激情粉嫩精品国产尤物 国产成人精品一区二区视频 久久精品中文字幕首页 亚洲高清在线 国产精品亚洲一区二区三区 伊人久久艹 中文在线亚洲 国产精品一区二区在线播放 国产精品九九免费视频 亚洲二区在线播放 亚洲狠狠婷婷综合久久久久网站 亚洲欧美日韩网站 日韩成人精品 亚洲国产一区二区三区青草影视 91精品国产福利在线观看 国产精品久久久久久久久99热 国产一区二区精品尤物 久碰香蕉精品视频在线观看 亚洲日日夜夜 在线不卡一区二区 国产午夜亚洲精品 九九热在线视频观看这里只有精品 伊人手机在线视频 91免费国产精品 日韩欧美中字 91精品国产91久久久久 国产全黄三级播放 视频一区二区三区免费观看 国产开裆丝袜高跟在线观看 国产成人欧美 激情综合丝袜美女一区二区 国产成人亚洲综合无 欧美精品一区二区三区免费观看 欧美亚洲国产日韩 日韩亚州 国产欧美日韩精品高清二区综合区 亚洲午夜国产片在线观看 精品久久久久久中文字幕 欧美精品1区 久久伊人久久亚洲综合 亚洲欧美日韩精品 国产成人精品久久亚洲高清不卡 久久福利影视 国产精品99精品久久免费 久久久久免费精品视频 国产日产亚洲精品 亚洲国产午夜电影在线入口 精品无码一区在线观看 午夜国产精品视频 亚洲一级片免费 伊人久久大香线蕉综合影 国产精品久久影院 久碰香蕉精品视频在线观看 www.欧美精品 在线小视频国产 亚洲国产天堂久久综合图区 欧美一区二区三区不卡 日韩美女福利视频 九九精品免视频国产成人 不卡国产00高中生在线视频 亚洲第一页在线视频 欧美日韩在线播放成人 99re视频这里只有精品 国产精品91在线 精品乱码一区二区三区在线 国产区久久 91麻豆精品国产自产在线观看一区 日韩精品成人在线 九九热在线观看 国产精品久久不卡日韩美女 欧美一区二区三区综合色视频 欧美精品免费一区欧美久久优播 国产精品网址 国产专区中文字幕 国产精品欧美亚洲韩国日本久久 日韩美香港a一级毛片 久久精品123 欧美一区二区三区免费看 99r在线视频 亚洲精品国产字幕久久vr 国产综合激情在线亚洲第一页 91免费国产精品 日韩免费小视频 亚洲国产精品综合一区在线 国产亚洲第一伦理第一区 在线亚洲精品 国产精品一区二区制服丝袜 国产在线成人精品 九九精品免视频国产成人 亚洲国产网 欧美日韩亚洲一区二区三区在线观看 在线亚洲精品 欧美一区二区三区高清视频 国产成人精品男人的天堂538 欧美日韩在线观看区一二 亚洲欧美一区二区久久 久久精品中文字幕首页 日本高清www午夜视频 久久精品国产免费 久久999精品 亚洲国产精品欧美综合 88国产精品视频一区二区三区 91久久偷偷做嫩草影院免费看 国产精品夜色视频一区二区 欧美日韩导航 国产成人啪精品午夜在线播放 一区二区视频在线免费观看 99久久精品国产自免费 精液呈暗黄色 久久99国产精品 日本精品久久久久久久久免费 精品国产97在线观看 99re视频这里只有精品 国产视频91在线 999av视频 亚洲美女视频一区二区三区 久久97久久97精品免视看 亚洲国产成人久久三区 99久久亚洲国产高清观看 日韩毛片在线视频 综合激情在线 91福利一区二区在线观看 一区二区视频在线免费观看 激情粉嫩精品国产尤物 国产成人精品曰本亚洲78 国产成人精品本亚洲 国产精品成人免费视频 国产成人啪精品视频免费软件 久久精品国产亚洲妲己影院 国产精品成人久久久久久久 久久大香线蕉综合爱 欧美一区二区三区高清视频 99热国产免费 在线观看欧美国产 91精品视频在线播放 国产精品福利社 欧美精品一区二区三区免费观看 国产一区二区免费视频 国产午夜精品一区二区 精品视频在线观看97 91精品福利久久久 国产一区福利 国产综合激情在线亚洲第一页 国产精品久久久久久久久久久不卡 九色国产 在线日韩国产 黄网在线观看 亚洲一区小说区中文字幕 中文字幕丝袜 日本二区在线观看 日本国产一区在线观看 欧美日韩一区二区三区久久 欧美精品亚洲精品日韩专 国产日产亚洲精品 久久综合九色综合欧美播 亚洲国产欧美无圣光一区 欧美视频区 亚洲乱码视频在线观看 久久无码精品一区二区三区 九九热精品免费视频 久久99精品久久久久久牛牛影视 国产精品成久久久久三级 国产一区福利 午夜国产精品视频 日本二区在线观看 99久久网站 国产亚洲天堂 精品国产一区二区三区不卡 亚洲国产日韩在线一区 国产成人综合在线观看网站 久久免费高清视频 欧美在线导航 午夜精品久久久久久99热7777 欧美久久综合网 国产小视频精品 国产尤物在线观看 亚洲国产精品综合一区在线 欧美一区二区三区不卡视频 欧美黑人欧美精品刺激 日本福利在线观看 久久国产偷 国产手机精品一区二区 国产热re99久久6国产精品 国产高清啪啪 欧美亚洲国产成人高清在线 国产在线第三页 亚洲综合一区二区三区 99r在线视频 99精品久久久久久久婷婷 国产精品乱码免费一区二区 国产在线精品福利91香蕉 国产尤物视频在线 五月婷婷亚洲 中文字幕久久综合伊人 亚洲精品一级毛片 99国产精品电影 在线视频第一页 久久99国产精品成人欧美 国产白白视频在线观看2 成人精品一区二区www 亚洲成人网在线观看 麻豆91在线视频 色综合合久久天天综合绕视看 久久精品国产免费高清 国产不卡一区二区三区免费视 欧美国产中文 99精品欧美 九九在线精品 国产中文字幕在线免费观看 国产一区中文字幕在线观看 国产成人一级 国产精品一区二区制服丝袜 国产一起色一起爱 亚洲精品成人在线 亚洲欧美精品在线 国产欧美自拍视频 99精品久久久久久久婷婷 久99视频 国产热re99久久6国产精品 视频一区亚洲 国产精品视频分类 国产精品成在线观看 99re6久精品国产首页 亚洲在成人网在线看 亚洲国产日韩在线一区 久久国产三级 日韩国产欧美 欧美在线一区二区三区 国产精品美女一级在线观看 成人午夜免费福利视频 亚洲天堂精品在线 91精品国产手机 欧美日韩视频在线播放 狠狠综合久久综合鬼色 九一色视频 青青视频国产 亚洲欧美自拍一区 中文字幕天天躁日日躁狠狠躁97 日韩免费大片 996热视频 伊人成综合网 亚洲天堂欧美 日韩精品亚洲人成在线观看 久久综合给会久久狠狠狠 日韩精品亚洲人成在线观看 日韩国产欧美 亚洲成aⅴ人片在线影院八 亚洲精品1区 99久久精品免费 国产精品高清在线观看 国产精品久久久免费视频 在线亚洲欧美日韩 91在线看视频 国产精品96久久久久久久 欧美日韩国产成人精品 91在线亚洲 热久久亚洲 国产精品美女免费视频观看 日韩在线毛片 亚洲永久免费视频 九九免费在线视频 亚洲一区网站 日本高清二区视频久二区 精品国产美女福利在线 伊人久久艹 国产精品久久久久三级 欧美成人精品第一区二区三区 99久久精品国产自免费 在线观看日韩一区 国产中文字幕一区 成人免费午夜视频 欧美日韩另类在线 久久99国产精品成人欧美 色婷婷中文网 久久天天躁夜夜躁狠狠躁2020 欧美成人伊人久久综合网 国产精品福利资源在线 国产伦精品一区二区三区高清 国产精品亚洲综合色区韩国 亚洲一区欧美日韩 色综合视频 国语自产精品视频在线区 国产高清a 成人国内精品久久久久影 国产在线精品香蕉综合网一区 国产不卡在线看 国产成人精品精品欧美 国产欧美日韩综合精品一区二区三区 韩国电影一区二区 国产在线视频www色 91中文字幕在线一区 国产人成午夜免视频网站 亚洲综合一区二区三区 色综合视频一区二区观看 久久五月网 九九热精品在线观看 国产一区二区三区国产精品 99久热re在线精品996热视频 亚洲国产网 在线视频亚洲一区 日韩字幕一中文在线综合 国产高清一级毛片在线不卡 精品国产色在线 国产高清视频一区二区 精品日本久久久久久久久久 亚洲国产午夜精品乱码 成人免费国产gav视频在线 日韩欧美一区二区在线观看 欧美曰批人成在线观看 韩国电影一区二区 99re这里只有精品6 日韩精品一区二区三区视频 99re6久精品国产首页 亚洲欧美一区二区三区导航 欧美色图一区二区三区 午夜精品视频在线观看 欧美激情在线观看一区二区三区 亚洲热在线 成人国产精品一区二区网站 亚洲一级毛片在线播放 亚洲一区小说区中文字幕 亚洲午夜久久久久影院 国产自产v一区二区三区c 国产精品视频免费 久久调教视频 国产成人91激情在线播放 国产精品欧美亚洲韩国日本久久 久久亚洲日本不卡一区二区 91中文字幕网 成人国产在线视频 国产视频91在线 欧美成人精品第一区二区三区 国产精品福利在线 久久综合九色综合精品 欧美一区二区三区精品 久久国产综合尤物免费观看 久久99青青久久99久久 日韩精品免费 久久国产精品999 91亚洲视频在线观看 国产精品igao视频 色综合区 在线亚洲欧国产精品专区 国产一区二区三区在线观看视频 亚洲精品成人在线 一区二区国产在线播放 中文在线亚洲 亚洲精品第一国产综合野 国产一区二区精品久久 一区二区三区四区精品视频 99热精品久久 中文字幕视频二区 国产成人精品男人的天堂538 99精品影视 美女福利视频一区二区 久久午夜夜伦伦鲁鲁片 综合久久久久久久综合网 国产精品国产欧美综合一区 国产99视频在线观看 国产亚洲女在线精品 婷婷影院在线综合免费视频 国产亚洲3p一区二区三区 91成人爽a毛片一区二区 亚洲一区二区高清 国产欧美亚洲精品第二区首页 欧美日韩导航 亚洲高清二区 欧美激情观看一区二区久久 日韩毛片在线播放 亚洲欧美日韩高清中文在线 亚洲日本在线播放 国产精品一区二区制服丝袜 精品国产一区二区三区不卡 国产不卡在线看 国产欧美网站 四虎永久在线观看视频精品 国产黄色片在线观看 夜夜综合 一本色道久久综合狠狠躁篇 欧美亚洲综合另类在线观看 国产91在线看 伊人久久国产 欧美一区二区在线观看免费网站 国产精品久久久久三级 久久福利 日韩中文字幕a 亚洲午夜久久久久影院 91在线高清视频 国产亚洲一区二区三区啪 久久人精品 国产精品亚洲午夜一区二区三区 综合久久久久久 久久伊人一区二区三区四区 国产综合久久久久久 日韩一区精品视频在线看 国产精品日韩欧美制服 日本精品1在线区 99re视频 无码av免费一区二区三区试看 国产视频1区 日韩欧美中文字幕一区 日本高清中文字幕一区二区三区a 亚洲国产欧美无圣光一区 国产在线视频一区二区三区 欧美国产第一页 在线亚洲欧美日韩 日韩中文字幕第一页 在线不卡一区二区 伊人久久青青 国产精品一区二区在线播放 www.五月婷婷 麻豆久久婷婷国产综合五月 亚洲精品区 久久国产欧美另类久久久 99在线视频免费 伊人久久中文字幕久久cm 久久精品成人免费看 久久这里只有精品首页 88国产精品视频一区二区三区 中文字幕日本在线mv视频精品 国产在线精品成人一区二区三区 伊人精品线视天天综合 亚洲一区二区黄色 国产尤物视频在线 亚洲精品99久久久久中文字幕 国产一区二区三区免费观看 伊人久久大香线蕉综合电影网 国产成人精品区在线观看 日本精品一区二区三区视频 日韩高清在线二区 久久免费播放视频 一区二区成人国产精品 国产精品免费精品自在线观看 亚洲精品视频二区 麻豆国产精品有码在线观看 精品日本一区二区 亚洲欧洲久久 久久中文字幕综合婷婷 中文字幕视频在线 国产成人精品综合在线观看 91精品国产91久久久久福利 精液呈暗黄色 香蕉国产综合久久猫咪 国产专区精品 亚洲精品无码不卡 国产永久视频 亚洲成a人片在线播放观看国产 一区二区国产在线播放 亚洲一区二区黄色 欧美日韩在线观看视频 亚洲精品另类 久久国产综合尤物免费观看 国产一区二区三区国产精品 高清视频一区 国产精品igao视频 国产精品资源在线 久久综合精品国产一区二区三区 www.五月婷婷 精品色综合 99热国产免费 麻豆福利影院 亚洲伊人久久大香线蕉苏妲己 久久电影院久久国产 久久精品伊人 在线日韩理论午夜中文电影 亚洲国产欧洲综合997久久 伊人国产精品 久草国产精品 欧美一区精品二区三区 亚洲成人高清在线 91免费国产精品 日韩精品福利在线 国产一线在线观看 国产不卡在线看 久久99青青久久99久久 亚洲精品亚洲人成在线播放 99久久免费看国产精品 国产日本在线观看 青草国产在线视频 麻豆久久婷婷国产综合五月 国产中文字幕一区 91久久精品国产性色也91久久 国产一区a 国产欧美日韩成人 国产亚洲女在线精品 一区二区美女 中文字幕在线2021一区 在线小视频国产 久久这里只有精品首页 国产在线第三页 欧美日韩中文字幕 在线亚洲+欧美+日本专区 精品国产一区二区三区不卡 久久这里精品 欧美在线va在线播放 精液呈暗黄色 91精品国产手机 91在线免费播放 欧美视频亚洲色图 欧美国产日韩精品 日韩高清不卡在线 精品视频免费观看 欧美日韩一区二区三区四区 国产欧美亚洲精品第二区首页 亚洲韩精品欧美一区二区三区 国产精品视频免费 在线精品小视频 久久午夜夜伦伦鲁鲁片 国产无套在线播放 久热这里只精品99re8久 欧美久久久久 久久香蕉国产线看观看精品蕉 国产成人精品男人的天堂538 亚洲人成网站色7799在线观看 日韩在线第二页 一本色道久久综合狠狠躁篇 国产一区二区三区不卡在线观看 亚洲乱码在线 在线观看欧美国产 久久福利青草精品资源站免费 国产玖玖在线观看 在线亚洲精品 亚洲成aⅴ人在线观看 精品91在线 欧美一区二三区 日韩中文字幕视频在线 日本成人一区二区 日韩免费专区 国内精品在线观看视频 久久国产综合尤物免费观看 国产精品系列在线观看 一本一道久久a久久精品综合 亚洲免费播放 久久精品国产免费 久久人精品 亚洲毛片网站 亚洲成a人一区二区三区 韩国福利一区二区三区高清视频 亚洲精品天堂在线 一区二区三区中文字幕 亚洲国产色婷婷精品综合在线观看 亚洲国产成人久久笫一页 999国产视频 国产精品香港三级在线电影 欧美日韩一区二区三区四区 日韩国产欧美 国产精品99一区二区三区 午夜国产精品理论片久久影院 亚洲精品中文字幕麻豆 亚洲国产高清视频 久久免费手机视频 日韩a在线观看 五月婷婷亚洲 亚洲精品中文字幕麻豆 中文字幕丝袜 www国产精品 亚洲天堂精品在线 亚洲乱码一区 国产日韩欧美三级 久久999精品 伊人热人久久中文字幕 久热国产在线视频 国产欧美日韩在线观看一区二区三区 国产一二三区在线 日韩国产欧美 91精品国产91久久久久 亚洲一区小说区中文字幕 精品一区二区免费视频 国产精品视频免费 国产精品亚洲综合色区韩国 亚洲国产精品成人午夜在线观看 欧美国产日韩精品 中文字幕精品一区二区精品