用于存儲系統(tǒng)中的軟切換的方法和裝置與流程

            文檔序號:12596738閱讀:306來源:國知局
            用于存儲系統(tǒng)中的軟切換的方法和裝置與流程

            本公開的實施例一般涉及存儲系統(tǒng),并且特別涉及一種用于存儲系統(tǒng)中的軟切換的方法和裝置。



            背景技術(shù):

            為了防范可能破壞數(shù)據(jù)可用性的事件,對數(shù)據(jù)而言具有冗余副本是至關(guān)重要的。復(fù)制(replication)是一種進程,在該進程中,使用快照(snapshot)技術(shù)在對文件應(yīng)用和塊應(yīng)用的本地保護或者遠程保護對數(shù)據(jù)進行復(fù)制。在源端的存儲系統(tǒng)失效的情況中,這提供了增強級別的冗余。

            軟切換復(fù)制是用于對存儲資源的災(zāi)難恢復(fù)的復(fù)制情況之一。軟切換(同步失效轉(zhuǎn)移)使得目標端存儲資源的邏輯單元號(LUN)或者文件系統(tǒng)能夠可用于所托管的存儲資源而沒有數(shù)據(jù)丟失。它逆轉(zhuǎn)復(fù)制會話,從而在管理路徑和數(shù)據(jù)路徑上都可用并且完全參與整個進程的原始資源成為新的目標存儲資源。

            在復(fù)制進程中,從禁用主機數(shù)據(jù)訪問的步驟開始到啟用主機數(shù)據(jù)訪問的步驟結(jié)束,系統(tǒng)將會禁止輸入/輸出(I/O)操作,即數(shù)據(jù)的寫入和/或讀取操作。當用戶從系統(tǒng)得到快速和及時的反饋時,系統(tǒng)才被認為是有響應(yīng)的。因此,通常應(yīng)當在3秒內(nèi)向用戶命令提供反饋,但是現(xiàn)有的復(fù)制同步操作要求比3秒長得多的時間。當網(wǎng)絡(luò)狀況不佳時,將會花費更多的時間。為此,期望在存儲陣列上的周轉(zhuǎn)時間非常短。



            技術(shù)實現(xiàn)要素:

            鑒于現(xiàn)有技術(shù)中存在的上述問題,本公開的實施例的目的在于 提供一種用于存儲系統(tǒng)中的軟切換的方法和裝置,以在源端離線或者被設(shè)置為只讀之后并且目標端還沒有就緒時處理用戶對源端數(shù)據(jù)的訪問操作。根據(jù)本發(fā)明的實施例的方法和裝置可以幫助確保軟切換完成而無需中止或者中斷用戶對數(shù)據(jù)的輸入/輸出操作,從而解決現(xiàn)有技術(shù)中的上述以及其他的問題。

            根據(jù)本公開的實施例的第一方面,提供了一種用于存儲系統(tǒng)中的軟切換的方法。該方法包括:響應(yīng)于軟切換請求,將軟切換的源端的數(shù)據(jù)設(shè)置為只讀并且啟動所述數(shù)據(jù)向軟切換的目標端的復(fù)制進程;在所述源端記錄在所述復(fù)制進程期間針對所述數(shù)據(jù)的更新操作,并且將所述更新操作同步記錄到所述目標端;響應(yīng)于所述復(fù)制進程的完成,在所述目標端利用所述同步記錄的更新操作來更新所復(fù)制的數(shù)據(jù);以及禁用對所述源端的數(shù)據(jù)訪問并且啟用對所述目標端的數(shù)據(jù)訪問。

            在一些實施例中,在所述源端記錄在所述復(fù)制進程期間針對所述數(shù)據(jù)的更新操作,并且將所述更新操作同步記錄到所述目標端包括:在所述源端還記錄在所述復(fù)制進程期間寫入的新數(shù)據(jù),并且將所述寫入的新數(shù)據(jù)同步記錄到所述目標端。

            在一些實施例中,在所述源端記錄在所述復(fù)制進程期間針對所述數(shù)據(jù)的更新操作,并且將所述更新操作同步記錄到所述目標端包括:在所述源端創(chuàng)建源端緩存并且在所述目標端創(chuàng)建目標端緩存,以用于在所述源端記錄在所述復(fù)制進程期間針對所述數(shù)據(jù)的更新操作和寫入的新數(shù)據(jù)并且同步記錄到所述目標端。

            在一些實施例中,在所述源端創(chuàng)建源端緩存并且在所述目標端創(chuàng)建目標端緩存,以用于在所述源端記錄在所述復(fù)制進程期間針對所述數(shù)據(jù)的更新操作和寫入的新數(shù)據(jù)并且同步記錄到所述目標端包括:通過所述源端緩存來記錄在所述復(fù)制進程期間針對所述數(shù)據(jù)的更新操作和寫入的新數(shù)據(jù),并且同步記錄到所述目標端緩存。

            在一些實施例中,所述源端緩存和所述目標端緩存在邏輯上通過互為鏡像的數(shù)據(jù)結(jié)構(gòu)來表示。

            在一些實施例中,所述數(shù)據(jù)結(jié)構(gòu)包括頭部和主體,所述頭部包括緩存指針和inode鏈,所述主體至少包括所述寫入的新數(shù)據(jù)。

            在一些實施例中,所述緩存指針至少存儲所述inode鏈的入口地址,并且所述inode鏈存儲記錄所述更新操作的inode。

            在一些實施例中,在所述源端記錄在所述復(fù)制進程期間針對所述數(shù)據(jù)的更新操作,并且將所述更新操作同步記錄到所述目標端包括:響應(yīng)于針對所述數(shù)據(jù)或者所述寫入的新數(shù)據(jù)的讀取操作,從所述源端返回所述數(shù)據(jù)或者所記錄的新數(shù)據(jù)。

            在一些實施例中,啟動所述數(shù)據(jù)向軟切換的目標端的復(fù)制進程包括:根據(jù)所述復(fù)制進程的配置來確定軟切換的目標端,并且配置所確定的目標端的存儲空間以用于所述復(fù)制進程。

            在一些實施例中,啟動所述數(shù)據(jù)向軟切換的目標端的復(fù)制進程包括:選擇所述源端與所述目標端之間的內(nèi)部連接,并且在所選擇的內(nèi)部連接上建立會話以作為用于所述復(fù)制進程的通信管道。

            在一些實施例中,在所述目標端利用所述同步記錄的更新操作來更新所復(fù)制的數(shù)據(jù)包括:將所記錄的更新操作作為所復(fù)制的數(shù)據(jù)的最新快照。

            在一些實施例中,禁用對所述源端的數(shù)據(jù)訪問并且啟用對所述目標端的數(shù)據(jù)訪問包括:斷開與所述源端的數(shù)據(jù)連接并且建立與所述目標端的數(shù)據(jù)連接。

            根據(jù)本公開的實施例的第二方面,提供了一種用于存儲系統(tǒng)中的軟切換的裝置。該裝置包括:復(fù)制單元,被配置為響應(yīng)于軟切換請求,將軟切換的源端的數(shù)據(jù)設(shè)置為只讀并且啟動所述數(shù)據(jù)向軟切換的目標端的復(fù)制進程;記錄單元,被配置為在所述源端記錄在所述復(fù)制進程期間針對所述數(shù)據(jù)的更新操作,并且將所述更新操作同步記錄到所述目標端;更新單元,被配置為響應(yīng)于所述復(fù)制進程的完成,在所述目標端利用所述同步記錄的更新操作來更新所復(fù)制的數(shù)據(jù);以及切換單元,被配置為禁用對所述源端的數(shù)據(jù)訪問并且啟用對所述目標端的數(shù)據(jù)訪問。

            根據(jù)本公開的實施例的第三方面,提供了一種包括程序代碼的計算機程序產(chǎn)品。所述程序代碼在處理器上被執(zhí)行時,可以促使所述處理器執(zhí)行根據(jù)本公開的實施例的第一方面的方法。

            根據(jù)本公開的實施例的第四方面,提供了一種存儲系統(tǒng)。該存儲系統(tǒng)可以包括根據(jù)本公開的實施例的第二方面的裝置。

            附圖說明

            通過參考附圖閱讀下文的詳細描述,本公開的實施例的上述以及其他目的、特征和優(yōu)點將變得容易理解。在附圖中,以示例性而非限制性的方式示出了本公開的若干實施例,其中:

            圖1示意性地示出了從源端到目標端的現(xiàn)有切換架構(gòu)圖;

            圖2示意性地示出了根據(jù)本公開的一個實施例的用于存儲系統(tǒng)中的軟切換的方法;

            圖3示意性地示出了根據(jù)本公開的一個實施例的用于源端緩存和目標端緩存的示例性數(shù)據(jù)結(jié)構(gòu);

            圖4示意性地示出了根據(jù)本公開的一個實施例的用于存儲系統(tǒng)中的軟切換的裝置;

            圖5示意性地示出了根據(jù)本公開的一個實施例的軟切換的拓撲結(jié)構(gòu);

            圖6示意性地示出了根據(jù)本公開的一個實施例的軟切換代理模塊的示例性結(jié)構(gòu)圖;

            圖7示意性地示出了根據(jù)本發(fā)明的一個實施例的軟切換的示例性進程;

            圖8示意性地示出了可以用來實現(xiàn)本公開的實施例的示例性計算機系統(tǒng)/服務(wù)器的框圖。

            具體實施方式

            下面將參考附圖中所示出的若干示例性實施例來描述本公開的原理和精神。應(yīng)當理解,描述這些具體的實施例僅是為了使本領(lǐng)域 的技術(shù)人員能夠更好地理解并實現(xiàn)本公開,而并非以任何方式限制本公開的范圍。

            圖1示意性地示出了從源端到目標端的現(xiàn)有切換架構(gòu)圖。如圖1中所示出的,在源端處,用戶可以使用圖形界面GUI或者命令行界面CLI通過CIC、HTTP、或TCP等協(xié)議經(jīng)由存儲處理器SP來與操作系統(tǒng)中的數(shù)據(jù)處理DP管理器進行交互??商鎿Q地,用戶也可以使用命令行界面CLI通過NBS或TCP協(xié)議來直接與DP管理器交互。在目標端處,用戶可以使用GUI或者CLI經(jīng)由存儲處理器SP來與操作系統(tǒng)中的數(shù)據(jù)處理DP管理器進行交互。在源端處并且在目標端處,DP管理器可以與數(shù)據(jù)控制模塊和復(fù)制引擎進行交互。

            在復(fù)制進程中,源端的數(shù)據(jù)控制模塊可以通過文件系統(tǒng)和iSCSI LUN取出要進行軟切換的數(shù)據(jù)并且傳送給源端的復(fù)制引擎。源端的復(fù)制引擎可以通過RCP、TCP IP等協(xié)議將該數(shù)據(jù)傳送給目標端引擎。目標端引擎可以再將數(shù)據(jù)傳送給目標端的數(shù)據(jù)控制模塊,目標端的數(shù)據(jù)控制模塊進而可以通過文件系統(tǒng)和iSCSI LUN將數(shù)據(jù)存儲到目標端的存儲空間。在復(fù)制進程期間,源端的數(shù)據(jù)處理管理器可以通過CIC、HTTP、TCP等協(xié)議來與目標端的數(shù)據(jù)處理管理器進行必要的通信。

            一般而言,軟切換的基本過程可以包括以下的步驟。首先,存儲管理員可以選擇要進行軟切換的源端數(shù)據(jù),系統(tǒng)可以執(zhí)行一系列的內(nèi)部同步,直到源端的存儲資源未完成的復(fù)制少于100MB。第二,系統(tǒng)可以禁用對源端的數(shù)據(jù)的主機訪問,對于文件存儲資源而言,系統(tǒng)將源端數(shù)據(jù)設(shè)置為只讀并且使得共享的文件夾服務(wù)器不激活。第三,系統(tǒng)可以執(zhí)行到目標端的最終同步。第四,系統(tǒng)可以進行驗證過程,包括驗證源端處于只讀狀態(tài)、目標端處于讀寫狀態(tài)、以及沒有數(shù)據(jù)丟失。第五,系統(tǒng)可以逆轉(zhuǎn)復(fù)制會話。最后,系統(tǒng)可以啟用對目標端的數(shù)據(jù)的主機訪問,即對于文件存儲資源而言,系統(tǒng)將存儲資源設(shè)置為讀寫并且使得共享的文件夾服務(wù)器激活。

            如上文所討論的,在復(fù)制進程中,從禁用主機數(shù)據(jù)訪問的步驟 開始到啟用主機數(shù)據(jù)訪問的步驟結(jié)束,系統(tǒng)將會禁止對數(shù)據(jù)的輸入/輸出(I/O)操作。當用戶從系統(tǒng)得到快速和及時的反饋時,系統(tǒng)才被認為是有響應(yīng)的。因此,通常應(yīng)當在3秒內(nèi)向用戶命令提供反饋,但是現(xiàn)有的復(fù)制同步操作要求比3秒長得多的時間。當網(wǎng)絡(luò)狀況不佳時,將會花費更多的時間。為此,期望在存儲陣列上的周轉(zhuǎn)時間非常短。

            本公開的實施例可以在源端離線或者被設(shè)置為只讀之后并且目標端還沒有就緒時處理用戶對源端數(shù)據(jù)的訪問操作,幫助確保軟切換完成而無需中止或者中斷對數(shù)據(jù)的輸入/輸出操作,從而解決現(xiàn)有技術(shù)中的上述以及其他的問題。

            圖2示意性地示出了根據(jù)本公開的一個實施例的用于存儲系統(tǒng)中的軟切換的方法200。

            如圖2中所示出的,方法200在開始之后可以進入步驟201。在步驟201中,響應(yīng)于軟切換請求,將軟切換的源端的數(shù)據(jù)設(shè)置為只讀并且啟動所述數(shù)據(jù)向軟切換的目標端的復(fù)制進程。本領(lǐng)域的技術(shù)人員可以理解,軟切換可以由于各種原因由各種相關(guān)的實體發(fā)起,諸如由于定期的冗余備份、存儲管理員臨時觸發(fā)等等,本公開對此不進行限制。存儲系統(tǒng)中的任何軟切換都可以應(yīng)用本公開內(nèi)容的實施例所提供的方法200。

            本領(lǐng)域的技術(shù)人員還可以理解,在進行步驟201的過程中,特別是在啟動所述數(shù)據(jù)向軟切換的目標端的復(fù)制進程之前,系統(tǒng)可能還需要進行與軟切換相關(guān)聯(lián)的復(fù)制準備工作,諸如內(nèi)部同步、獲取復(fù)制進程的參數(shù)、狀態(tài)驗證等。由于這些過程由本領(lǐng)域的技術(shù)人員所熟知,本公開對此不再贅述。

            在一個實施例中,方法200還可以包括:根據(jù)所述復(fù)制進程的配置來確定軟切換的目標端,并且配置所確定的目標端的存儲空間以用于所述復(fù)制進程。在存儲系統(tǒng)中,在準備進行軟切換時,可能存在多個可用的候選目標端。因此,方法200可以根據(jù)復(fù)制進程的相關(guān)配置來最終確定進行軟切換的目標端。在一個實施例中,方法 200還可以包括:選擇所述源端與所述目標端之間的內(nèi)部連接,并且在所選擇的內(nèi)部連接上建立會話以作為用于所述復(fù)制進程的通信管道。在存儲系統(tǒng)中,在確定了進行軟切換的目標端之后,在源端與目標端之間可能存在多個可用的候選內(nèi)部連接。因此,方法200可以在這些可用的候選內(nèi)部連接中選擇出一個或者多個內(nèi)部連接來進行軟切換。進一步地,方法200可以在所選擇的內(nèi)部連接上建立連接會話,作為用于所述復(fù)制進程和/或其他數(shù)據(jù)同步的通信管道。

            接著,方法200可以前進至步驟202。在步驟202中,在所述源端記錄在所述復(fù)制進程期間針對所述數(shù)據(jù)的更新操作,并且將所述更新操作同步記錄到所述目標端。在源端的數(shù)據(jù)被設(shè)置為只讀之后,在復(fù)制進程完成之前,系統(tǒng)可能還會接收到來自用戶的對這些被設(shè)置為只讀的數(shù)據(jù)的更新操作,諸如對這些數(shù)據(jù)進行修改等。根據(jù)本公開的一個實施例,為了這些更新操作能夠在被復(fù)制到目標端的數(shù)據(jù)上得以體現(xiàn),方法200在源端對這些更新操作進行記錄,并且同步記錄到目標端,以便于在復(fù)制進程完成之后在目標端根據(jù)這些更新操作對所復(fù)制的數(shù)據(jù)進行更新。如此,在復(fù)制進程期間,用戶對數(shù)據(jù)的更新操作不會被中斷,因此沒有受到軟切換的影響,從而相比于現(xiàn)有的方法而言改進了用戶體驗。

            在一個實施例中,方法200還可以包括:在所述源端還記錄在所述復(fù)制進程期間寫入的新數(shù)據(jù),并且將所述寫入的新數(shù)據(jù)同步記錄到所述目標端。如上所述,在方法200中,針對源端已經(jīng)被設(shè)置為只讀的原有數(shù)據(jù)的更新操作可以被記錄。除此以外,方法200還可以記錄用戶在復(fù)制進程期間寫入的新數(shù)據(jù),并且將寫入的新數(shù)據(jù)同步記錄到目標端。如此,在軟切換完成之后,用戶在這個復(fù)制進程期間寫入的新數(shù)據(jù)也會體現(xiàn)在目標端。因此,在復(fù)制過程期間,從用戶的視角來看,用戶不僅可以對原有數(shù)據(jù)進行更新操作,還可以寫入新的數(shù)據(jù),進一步改進了用戶體驗。

            在一個實施例中,方法200還可以包括:在源端創(chuàng)建源端緩存并且在目標端創(chuàng)建目標端緩存,以用于在源端記錄在復(fù)制進程期間 針對數(shù)據(jù)的更新操作和寫入的新數(shù)據(jù)并且同步記錄到目標端。根據(jù)本公開的一個實施例,在源端對于上述更新操作以及寫入的新數(shù)據(jù)的記錄工作可以通過源端緩存來完成,而在目標端對于上述更新操作以及寫入的新數(shù)據(jù)的同步記錄工作可以通過目標端緩存來完成。因此,在進行上述記錄和同步記錄工作之前,方法200分別在源端和目標端創(chuàng)建源端緩存和目標端緩存,以用于在源端處記錄在復(fù)制進程期間針對原有數(shù)據(jù)的更新操作和寫入的新數(shù)據(jù)并且同步記錄到目標端。

            在一個實施例中,源端緩存和目標端緩存在邏輯上可以通過互為鏡像的數(shù)據(jù)結(jié)構(gòu)來表示。在一個實施例中,該數(shù)據(jù)結(jié)構(gòu)可以包括頭部和主體,頭部可以包括緩存指針和inode鏈,主體至少可以包括寫入的新數(shù)據(jù)。在一個實施例中,緩存指針可以至少存儲inode鏈的入口地址,并且inode鏈存可以儲記錄更新操作的inode。

            圖3示意性地示出了根據(jù)本公開的一個實施例的用于源端緩存和目標端緩存的示例性數(shù)據(jù)結(jié)構(gòu)300。

            如上面所描述的,源端緩存和目標端緩存可以是存在于源端和目標端作為鏡像的一種數(shù)據(jù)存儲區(qū)域,在邏輯上可以通過數(shù)據(jù)結(jié)構(gòu)300來表示。它們可以用于記錄在源端的對數(shù)據(jù)的連續(xù)輸入/輸出I/O操作,并且將任何更新同步地鏡像到遠程的目標端。

            如圖3所示出的,示例性數(shù)據(jù)結(jié)構(gòu)300可以包括頭部310和主體320。頭部301可以包括緩存指針311和inode鏈312。主體320可以包括源端基于ROFW(首寫時重定向)技術(shù)所更新的數(shù)據(jù)(可以包括寫入的新數(shù)據(jù))以及必要的數(shù)據(jù)結(jié)構(gòu)。

            緩存指針311可以存儲用于被更新的數(shù)據(jù)塊的inode鏈312的入口地址,并且還可以包括指向源端數(shù)據(jù)的指針。在一個實施例中,除了系統(tǒng)預(yù)留的存儲格(Cell)之外,緩存指針311可以起始于每個源端緩存或目標端緩存的第一個可用的存儲格,緩存指針311的具體大小可以根據(jù)具體的存儲環(huán)境和實際的需求進行確定。具體而言,緩存指針311可以由2N個存儲格構(gòu)成,存儲格是操作系統(tǒng)訪問源端 緩存或者目標端緩存的最小單元,即塊存儲(block device)中的一個塊(block)空間或者文件存儲(file device)中的一個頁面(page)空間。比如,Linux訪問文件存儲的最小單元是4KB(即一個page),那么Cell大小就是4KB。也就是說,緩存指針311的大?。?N個Cell(N=0,1,2,…,并且N基于實施方式的要求),而Cell在塊存儲中是指1個block,在文件存儲中是指一個page。

            inode鏈312可以存儲一系列的inode,這些inode可以使得用于源端緩存與原數(shù)據(jù)之間基于ROFW技術(shù)的更新的指針重定向。inode鏈312可以與高級快照功能使用相同的邏輯。

            返回到參考圖2,在一個實施例中,方法200還可以包括:響應(yīng)于針對所述數(shù)據(jù)或者所述新數(shù)據(jù)的讀取操作,從源端返回所述數(shù)據(jù)或者所記錄的新數(shù)據(jù)。具體而言,在復(fù)制進程期間,用戶可能還需要對正在進行復(fù)制的原有數(shù)據(jù)和在復(fù)制進程期間所寫入的新數(shù)據(jù)進行讀取的操作。由于原數(shù)據(jù)在復(fù)制期間仍然是可讀的,并且用戶所寫入的新數(shù)據(jù)也已經(jīng)被記錄。因此,方法200可以根據(jù)相應(yīng)的讀取操作來返回用戶所要讀取的數(shù)據(jù)。如此,在復(fù)制進程期間,用戶不僅可以進行對原有數(shù)據(jù)的更新操作和寫入新的數(shù)據(jù),還可以實現(xiàn)對原有數(shù)據(jù)以及所寫入的新數(shù)據(jù)的讀取操作。

            繼續(xù)參考圖2,在步驟202之后,方法200可以前進至步驟203。在步驟203中,響應(yīng)于所述復(fù)制進程的完成,在所述目標端利用同步記錄的更新操作來更新所復(fù)制的數(shù)據(jù)。在復(fù)制進程完成之后,由于用戶在復(fù)制進程期間可能對所復(fù)制的數(shù)據(jù)進行了更新操作,為了將這些更新操作體現(xiàn)在目標端所復(fù)制的數(shù)據(jù)上,方法200可以利用目標端同步記錄的更新操作來更新所復(fù)制的數(shù)據(jù)。如此,在進行軟切換之后,用戶可以無縫地在原有更新操作的基礎(chǔ)上繼續(xù)對這些數(shù)據(jù)進行后續(xù)的讀寫操作。

            在一個實施例中,方法200還可以包括:將所記錄的更新操作作為所復(fù)制的數(shù)據(jù)的最新快照。在這個方面,更新操作可以基于快照技術(shù)來進行。方法200可以采用快照技術(shù)來記錄這些更新操作, 從而在復(fù)制進程完成時,所記錄的更新操作就是所復(fù)制的數(shù)據(jù)的最新快照。在目標端處,方法200將同步記錄的所復(fù)制的數(shù)據(jù)的最新快照與所復(fù)制的數(shù)據(jù)進行關(guān)聯(lián),即實現(xiàn)了對所復(fù)制數(shù)據(jù)的更新操作。

            接著,方法200可以前進至步驟204。在步驟204中,禁用對所述源端的數(shù)據(jù)訪問并且啟用對所述目標端的數(shù)據(jù)訪問。在一個實施例中,方法200還可以包括:斷開與所述源端的數(shù)據(jù)連接并且建立與所述目標端的數(shù)據(jù)連接,從而實現(xiàn)了禁用對所述源端的數(shù)據(jù)訪問并且啟用對所述目標端的數(shù)據(jù)訪問。

            在步驟204之后,方法200可以結(jié)束。

            圖4示意性地示出了根據(jù)本公開的一個實施例的用于存儲系統(tǒng)中的軟切換的裝置400。

            如圖4中所示出的,裝置400可以包括:復(fù)制單元401、記錄單元402、更新單元403、以及切換單元404。根據(jù)本公開內(nèi)容的實施例,復(fù)制單元401可以被配置為響應(yīng)于軟切換請求,將軟切換的源端的數(shù)據(jù)設(shè)置為只讀并且啟動所述數(shù)據(jù)向軟切換的目標端的復(fù)制進程。記錄單元402可以被配置為在所述源端記錄在所述復(fù)制進程期間針對所述數(shù)據(jù)的更新操作,并且將所述更新操作同步記錄到所述目標端。更新單元403可以被配置為響應(yīng)于所述復(fù)制進程的完成,在所述目標端利用所述同步記錄的更新操作來更新所復(fù)制的數(shù)據(jù)。切換單元404可以被配置為禁用對所述源端的數(shù)據(jù)訪問并且啟用對所述目標端的數(shù)據(jù)訪問。

            在一個實施例中,記錄單元402可以進一步被配置為:在所述源端還記錄在所述復(fù)制進程期間寫入的新數(shù)據(jù),并且將所述寫入的新數(shù)據(jù)同步記錄到所述目標端。在一個實施例中,記錄單元402可以進一步被配置為:在所述源端創(chuàng)建源端緩存并且在所述目標端創(chuàng)建目標端緩存,以用于在所述源端記錄在所述復(fù)制進程期間針對所述數(shù)據(jù)的更新操作和寫入的新數(shù)據(jù)并且同步記錄到所述目標端。在一個實施例中,記錄單元402可以進一步被配置為:通過所述源端緩存來記錄在所述復(fù)制進程期間針對所述數(shù)據(jù)的更新操作和寫入的 新數(shù)據(jù),并且同步記錄到所述目標端緩存。

            在一個實施例中,源端緩存和所述目標端緩存在邏輯上通過互為鏡像的數(shù)據(jù)結(jié)構(gòu)來表示。在一個實施例中,數(shù)據(jù)結(jié)構(gòu)包括頭部和主體,所述頭部包括緩存指針和inode鏈,所述主體至少包括所述寫入的新數(shù)據(jù)。在一個實施例中,緩存指針至少存儲所述inode鏈的入口地址,并且所述inode鏈存儲記錄所述更新操作的inode。

            在一個實施例中,記錄單元402可以進一步被配置為:響應(yīng)于針對所述數(shù)據(jù)或者所述寫入的新數(shù)據(jù)的讀取操作,從所述源端返回所述數(shù)據(jù)或者所記錄的新數(shù)據(jù)。

            在一個實施例中,復(fù)制單元401可以進一步被配置為:根據(jù)所述復(fù)制進程的配置來確定軟切換的目標端,并且配置所確定的目標端的存儲空間以用于所述復(fù)制進程。在一個實施例中,復(fù)制單元401可以進一步被配置為:選擇所述源端與所述目標端之間的內(nèi)部連接,并且在所選擇的內(nèi)部連接上建立會話以作為用于所述復(fù)制進程的通信管道。

            在一個實施例中,更新單元403可以進一步被配置為:將所記錄的更新操作作為所復(fù)制的數(shù)據(jù)的最新快照。在一個實施例中,切換單元404可以進一步被配置為:斷開與所述源端的數(shù)據(jù)連接并且建立與所述目標端的數(shù)據(jù)連接。

            在下文中,參考圖5-7,通過僅為示例的方式,將描述本公開的一種具體實施方式。本領(lǐng)域的技術(shù)人員將會理解,本公開的并不限于該具體實施方式中的具體細節(jié),而是也可以采用不同于該具體實施方式的細節(jié)來實施。

            圖5示意性地示出了根據(jù)本公開的一個實施例的軟切換的拓撲結(jié)構(gòu)500。在圖5中所示出的軟切換的示例性拓撲結(jié)構(gòu)500中,在遠端和目標端分別形成了根據(jù)本公開的一個實施例的思想的軟切換代理模塊504和512,以用于實施根據(jù)本公開內(nèi)容的用于存儲系統(tǒng)中的軟切換的方法。

            在圖5中所示出的示例性拓撲結(jié)構(gòu)500中,源端的軟切換代理 504可以放置在源端的數(shù)據(jù)路徑管理器503與源端的復(fù)制引擎506之間。相應(yīng)地,目標端的軟切換代理512可以放置在目標端的數(shù)據(jù)路徑管理器511與目標端的復(fù)制引擎514之間。系統(tǒng)中原有的模塊使用虛線框來表示,而根據(jù)本公開的實施例新加入的模塊,即源端軟切換代理模塊504和目標端軟切換代理模塊512以及源端緩存模塊508和目標端緩存模塊516,使用實線框來表示。各模塊之間的交互過程在圖5中可以使用箭頭來表示,在軟切換過程中已有的交互步驟由于對本領(lǐng)域的技術(shù)人員而言是熟知的,所以此處不再對這些交互操作進行贅述。

            根據(jù)本公開的一個實施例,當軟切換被調(diào)用時,源端的軟切換代理504可以首先接收用戶對源端數(shù)據(jù)輸入/輸出I/O操作。隨后,源端緩存508和目標端緩存516可以被創(chuàng)建用于針對源端數(shù)據(jù)的連續(xù)的同步寫入。然后,這兩個緩存508和516可以接收來自源端的軟切換代理模塊504的對源端數(shù)據(jù)的同步輸入/輸出I/O操作,直到復(fù)制完成并且目標端的服務(wù)就緒。最后,在目標端數(shù)據(jù)路徑建立之前,目標端的軟切換代理模塊512中對所復(fù)制的數(shù)據(jù)進行更新的模塊可以將目標端緩存516作為目標端數(shù)據(jù)的最新快照。

            圖6示意性地示出了根據(jù)本公開的一個實施例的軟切換代理模塊600的示例性結(jié)構(gòu)圖。如圖6中所示出的,軟切換代理模塊600可以包括映射管理模塊610、連接管理模塊620、以及數(shù)據(jù)傳送模塊630。

            映射管理模塊610可以保持源端與目標端之間的映射信息,它可以搜索目標端并且在數(shù)據(jù)傳送之前建立源端與目標端之間的映射關(guān)系。如圖6中所示出的,映射管理模塊610可以包括目標端發(fā)現(xiàn)模塊611和目標端選擇模塊612。目標端發(fā)現(xiàn)模塊611可以用于根據(jù)當前的復(fù)制進程配置來發(fā)現(xiàn)并確定目標端。目標端選擇模塊612可以在確定目標端之后對目標端的存儲空間進行配置。

            連接管理模塊620可以用于建立源端與目標端之間的內(nèi)部連接。如圖6中所示出的,連接管理模塊620可以包括連接選擇模塊621 和連接管道模塊622。連接選擇模塊621可以用于選擇源端與目標端之間的內(nèi)部連接并且完成為了在它們之間建立會話的準備工作。連接管道模塊622可以用于在源端與目標端之間建立連接會話,該連接會話是源端與目標端之間的通信管道,該通信管道可以用于服務(wù)傳送和數(shù)據(jù)同步。

            數(shù)據(jù)傳送模塊630可以用于同步地將數(shù)據(jù)傳送給源端緩存和目標端緩存。如圖6中所示出的,數(shù)據(jù)傳送模塊630可以包括數(shù)據(jù)處置器631和緩存切換器632。數(shù)據(jù)處置器631可以用于處置所請求的輸入/輸出I/O操作,并且根據(jù)復(fù)制會話的狀態(tài)返回來自源端或者目標端的數(shù)據(jù)。緩存切換器632可以用于將目標端緩存切換作為目標端資源的最新快照。

            圖7示意性地示出了根據(jù)本發(fā)明的一個實施例的軟切換的示例性進程700。應(yīng)當注意,進程700僅是本公開的一個實施例的一個示例性進程,本領(lǐng)域的技術(shù)人員可以根據(jù)具體的技術(shù)環(huán)境和技術(shù)要求以除了進程700之外的其他適當?shù)姆绞絹韺嵤└鶕?jù)本公開的實施例的方法。

            如圖7中所示出的,進程700包括步驟a-k。在步驟a中,軟切換代理模塊可以選擇復(fù)制進程的目標端。在步驟b中,軟切換代理可以接收來自源端的軟切換請求,包括與要進行的軟切換相關(guān)聯(lián)的參數(shù)等等。在步驟c中,軟切換代理模塊可以分別在源端和目標端創(chuàng)建源端緩存和目標端緩存以用于針對源端的連續(xù)的同步寫入。在步驟d中,源端可以將數(shù)據(jù)(包括文件系統(tǒng)或者LUN)設(shè)置為只讀并且使主機的數(shù)據(jù)訪問脫離。在步驟e中,如果需要的話,源端可以在復(fù)制進程開始之前進行必要的同步數(shù)據(jù)操作。在步驟f中,系統(tǒng)可以執(zhí)行到目標端的復(fù)制進程,同時源端緩存和目標端緩存從軟切換代理接收記錄了更新操作的同步的inode和數(shù)據(jù)輸出/輸出I/O操作,直到復(fù)制完成并且目標端的服務(wù)準備就緒。在步驟g中,系統(tǒng)可以從目標端所復(fù)制的數(shù)據(jù)和目標端緩存中準備最新的數(shù)據(jù)。在步驟h中,目標端緩存切換器可以將目標端緩存作為目標端數(shù)據(jù)的最 新快照。在步驟i中,軟切換代理可以解除激活。在步驟j中,目標端可以建立數(shù)據(jù)路徑。在步驟k中,目標端可以返回軟切換請求。

            圖8示意性地示出了可以用來實現(xiàn)本公開的實施例的示例性計算機系統(tǒng)/服務(wù)器812的框圖。應(yīng)當注意,圖8中所示出的計算機系統(tǒng)/服務(wù)器812僅是一種示例,不對本公開實施方式的功能和使用范圍進行任何限制。

            如圖8中所示出的,計算機系統(tǒng)/服務(wù)器812以通用計算設(shè)備的形式表現(xiàn)。計算機系統(tǒng)/服務(wù)器812的組件可以包括但不限于:一個或者多個處理器或者處理單元816,系統(tǒng)存儲器828,連接不同系統(tǒng)組件(包括系統(tǒng)存儲器828和處理單元816)的總線818。

            總線818表示幾類總線結(jié)構(gòu)中的一種或多種,包括存儲器總線或者存儲器控制器,外圍總線,圖形加速端口,處理器或者使用多種總線結(jié)構(gòu)中的任意總線結(jié)構(gòu)的局域總線。舉例來說,這些體系結(jié)構(gòu)包括但不限于工業(yè)標準體系結(jié)構(gòu)(ISA)總線,微通道體系結(jié)構(gòu)(MAC)總線,增強型ISA總線、視頻電子標準協(xié)會(VESA)局域總線以及外圍組件互連(PCI)總線。

            計算機系統(tǒng)/服務(wù)器812典型地包括多種計算機系統(tǒng)可讀介質(zhì)。這些介質(zhì)可以是任何能夠被計算機系統(tǒng)/服務(wù)器812訪問的可用介質(zhì),包括易失性和非易失性介質(zhì),可移除的和不可移除的介質(zhì)。

            系統(tǒng)存儲器828可以包括易失性存儲器形式的計算機系統(tǒng)可讀介質(zhì),例如存儲器830和/或緩存器832。計算機系統(tǒng)/服務(wù)器812可以進一步包括其他可移除/不可移除的、易失性/非易失性計算機系統(tǒng)存儲介質(zhì)。盡管圖8中未示出,可以提供用于對可移除非易失性磁盤(例如“軟盤”)讀寫的磁盤驅(qū)動器,以及對可移除非易失性光盤(例如CD-ROM、DVD-ROM或者其他光介質(zhì))讀寫的光盤驅(qū)動器。在這些情況下,每個驅(qū)動器可以通過一個或者多個數(shù)據(jù)介質(zhì)接口與總線818相連。存儲器828可以包括至少一個程序產(chǎn)品,該程序產(chǎn)品具有一組(例如至少一個)程序模塊,這些程序模塊被配置以執(zhí)行本公開各實施方式的功能。

            具有至少一個程序模塊842的程序/實用工具840,可以存儲在例如存儲器828中,這樣的程序模塊842包括但不限于:操作系統(tǒng)、一個或者多個應(yīng)用程序、其他程序模塊以及程序數(shù)據(jù),這些示例中的每一個或某種組合中可能包括網(wǎng)絡(luò)環(huán)境的實現(xiàn)。程序模塊842通常執(zhí)行本公開所描述的實施方式中的功能和/或方法。

            根據(jù)需要,計算機系統(tǒng)/服務(wù)器812也可以與一個或多個外部設(shè)備(例如顯示設(shè)備824、存儲設(shè)備814等)通信,還可與一個或者多個使得用戶能與該計算機系統(tǒng)/服務(wù)器812交互的設(shè)備通信,和/或與使得該計算機系統(tǒng)/服務(wù)器812能與一個或多個其他計算設(shè)備進行通信的任何設(shè)備(例如網(wǎng)卡,調(diào)制解調(diào)器等等)通信。這種通信可以通過輸入/輸出(I/O)接口822進行。并且,計算機系統(tǒng)/服務(wù)器812還可以通過網(wǎng)絡(luò)適配器820與一個或者多個網(wǎng)絡(luò)(例如局域網(wǎng)(LAN),廣域網(wǎng)(WAN)和/或公共網(wǎng)絡(luò),例如因特網(wǎng))通信。如圖所示,網(wǎng)絡(luò)適配器820通過總線818與計算機系統(tǒng)/服務(wù)器812的其他模塊通信。應(yīng)當明白,盡管圖中未示出,可以結(jié)合計算機系統(tǒng)/服務(wù)器812使用其他硬件和/或軟件模塊,包括但不限于:微代碼、設(shè)備驅(qū)動器、冗余處理單元、外部磁盤驅(qū)動陣列、RAID系統(tǒng)、磁帶驅(qū)動器以及數(shù)據(jù)備份存儲系統(tǒng)等。

            在對本公開的實施例的描述中,術(shù)語“包括”及其類似用語應(yīng)當理解為開放性包含,即“包括但不限于”。術(shù)語“基于”應(yīng)當理解為“至少部分地基于”。術(shù)語“一個實施例”或“該實施例”應(yīng)當理解為“至少一個實施例”。

            應(yīng)當注意,本公開的實施例可以通過硬件、軟件或者軟件和硬件的結(jié)合來實現(xiàn)。硬件部分可以利用專用邏輯來實現(xiàn);軟件部分可以存儲在存儲器中,由適當?shù)闹噶顖?zhí)行系統(tǒng),例如微處理器或者專用設(shè)計硬件來執(zhí)行。本領(lǐng)域的技術(shù)人員可以理解上述的設(shè)備和方法可以使用計算機可執(zhí)行指令和/或包含在處理器控制代碼中來實現(xiàn),例如在可編程的存儲器或者諸如光學或電子信號載體的數(shù)據(jù)載體上提供了這樣的代碼。

            此外,盡管在附圖中以特定順序描述了本公開方法的操作,但是,這并非要求或者暗示必須按照該特定順序來執(zhí)行這些操作,或是必須執(zhí)行全部所示的操作才能實現(xiàn)期望的結(jié)果。相反,流程圖中描繪的步驟可以改變執(zhí)行順序。附加地或備選地,可以省略某些步驟,將多個步驟組合為一個步驟執(zhí)行,和/或?qū)⒁粋€步驟分解為多個步驟執(zhí)行。還應(yīng)當注意,根據(jù)本公開的兩個或更多裝置的特征和功能可以在一個裝置中具體化。反之,上文描述的一個裝置的特征和功能可以進一步劃分為由多個裝置來具體化。

            雖然已經(jīng)參考若干具體實施例描述了本公開,但是應(yīng)當理解,本公開不限于所公開的具體實施例。本公開旨在涵蓋所附權(quán)利要求的精神和范圍內(nèi)所包括的各種修改和等效布置。

            當前第1頁1 2 3 
            網(wǎng)友詢問留言 已有0條留言
            • 還沒有人留言評論。精彩留言會獲得點贊!
            1
            婷婷六月激情在线综合激情,亚洲国产大片,久久中文字幕综合婷婷,精品久久久久久中文字幕,亚洲一区二区三区高清不卡,99国产精品热久久久久久夜夜嗨 ,欧美日韩亚洲综合在线一区二区,99国产精品电影,伊人精品线视天天综合,精品伊人久久久大香线蕉欧美
            亚洲精品1区 国产成人一级 91精品国产欧美一区二区 亚洲精品乱码久久久久久下载 国产精品久久久久久久伊一 九色国产 国产精品九九视频 伊人久久成人爱综合网 欧美日韩亚洲区久久综合 欧美日本一道免费一区三区 夜夜爽一区二区三区精品 欧美日韩高清一区二区三区 国产成人av在线 国产精品对白交换绿帽视频 国产视频亚洲 国产在线欧美精品 国产精品综合网 国产日韩精品欧美一区色 国产日韩精品欧美一区喷 欧美日韩在线观看区一二 国产区精品 欧美视频日韩视频 中文字幕天天躁日日躁狠狠躁97 视频一二三区 欧美高清在线精品一区二区不卡 国产精品揄拍一区二区久久 99久久综合狠狠综合久久aⅴ 亚洲乱码视频在线观看 日韩在线第二页 亚洲精品无码专区在线播放 成人亚洲网站www在线观看 欧美三级一区二区 99久久精品免费看国产高清 91麻豆国产在线观看 最新日韩欧美不卡一二三区 成人在线观看不卡 日韩国产在线 在线亚洲精品 亚洲午夜久久久久中文字幕 国产精品成人久久久久久久 精品国产一区二区在线观看 欧美精品国产一区二区三区 中文在线播放 亚洲第一页在线视频 国产午夜精品福利久久 九色国产 精品国产九九 国产永久视频 久久精品人人做人人综合试看 国产一区二区三区免费观看 亚洲精品国产电影 9999热视频 国产精品资源在线 麻豆久久婷婷国产综合五月 国产精品免费一级在线观看 亚洲国产一区二区三区青草影视 中文在线播放 国产成人综合在线 国产在线观看色 国产亚洲三级 国产片一区二区三区 久久99精品久久久久久牛牛影视 亚洲欧美日韩国产 四虎永久免费网站 国产一毛片 国产精品视频在 九九热在线精品 99精品福利视频 色婷婷色99国产综合精品 97成人精品视频在线播放 精品久久久久久中文字幕 亚洲欧美一区二区三区孕妇 亚洲欧美成人网 日韩高清在线二区 国产尤物在线观看 在线不卡一区二区 91网站在线看 韩国精品福利一区二区 欧美日韩国产成人精品 99热精品久久 国产精品免费视频一区 高清视频一区 精品九九久久 欧美日韩在线观看免费 91欧美激情一区二区三区成人 99福利视频 亚洲国产精品91 久热国产在线 精品久久久久久中文字幕女 国产精品久久久久久久久99热 成人自拍视频网 国产精品视频久久久久久 久久影院国产 国产玖玖在线观看 99精品在线免费 亚洲欧美一区二区三区导航 久久久久久久综合 国产欧美日韩精品高清二区综合区 国产精品视频自拍 亚洲一级片免费 久久久久久九九 国产欧美自拍视频 视频一区二区在线观看 欧美日韩一区二区三区久久 中文在线亚洲 伊人热人久久中文字幕 日韩欧美亚洲国产一区二区三区 欧美亚洲国产成人高清在线 欧美日韩国产码高清综合人成 国产性大片免费播放网站 亚洲午夜综合网 91精品久久一区二区三区 国产无套在线播放 国产精品视频网站 国产成人亚洲精品老王 91在线网站 国产视频97 欧美黑人欧美精品刺激 国产一区二区三区免费在线视频 久久久国产精品免费看 99re6久精品国产首页 久久精品91 国产成人一级 国产成人精品曰本亚洲 日本福利在线观看 伊人成综合网 久久综合一本 国产综合久久久久久 久久精品成人免费看 久久福利 91精品国产91久久久久久麻豆 亚洲精品成人在线 亚洲伊人久久精品 欧美日本二区 国产永久视频 国产一区二 一区二区福利 国产一毛片 亚洲精品1区 毛片一区二区三区 伊人久久大香线蕉综合影 国产欧美在线观看一区 亚洲国产欧洲综合997久久 国产一区二区免费视频 国产91精品对白露脸全集观看 久久亚洲国产伦理 欧美成人伊人久久综合网 亚洲性久久久影院 久久99国产精一区二区三区! 91精品国产欧美一区二区 欧美日韩亚洲区久久综合 日韩精品一二三区 久久久夜色精品国产噜噜 国产在线精品福利91香蕉 久久久久久久亚洲精品 97se色综合一区二区二区 91国语精品自产拍在线观看性色 91久久国产综合精品女同我 日韩中文字幕a 国产成人亚洲日本精品 久久国产精品-国产精品 久久国产经典视频 久久国产精品伦理 亚洲第一页在线视频 国产精品久久久久三级 日韩毛片网 久久免费高清视频 麻豆国产在线观看一区二区 91麻豆国产福利在线观看 国产成人精品男人的天堂538 一区二区三区中文字幕 免费在线视频一区 欧美日韩国产成人精品 国产综合网站 国产资源免费观看 亚洲精品亚洲人成在线播放 精品久久久久久中文字幕专区 亚洲人成人毛片无遮挡 国产一起色一起爱 国产香蕉精品视频在 九九热免费观看 日韩亚洲欧美一区 九九热精品在线观看 精品久久久久久中文字幕专区 亚洲欧美自拍偷拍 国产精品每日更新 久久久久国产一级毛片高清板 久久天天躁狠狠躁夜夜中文字幕 久久精品片 日韩在线毛片 国产成人精品本亚洲 国产成人精品一区二区三区 九九热在线观看 国产r级在线观看 国产欧美日韩精品高清二区综合区 韩国电影一区二区 国产精品毛片va一区二区三区 五月婷婷伊人网 久久一区二区三区免费 一本色道久久综合狠狠躁篇 亚洲综合色站 国产尤物在线观看 亚洲一区亚洲二区 免费在线视频一区 欧洲精品视频在线观看 日韩中文字幕a 中文字幕日本在线mv视频精品 91精品在线免费视频 精品国产免费人成在线观看 精品a级片 中文字幕日本在线mv视频精品 日韩在线精品视频 婷婷丁香色 91精品国产高清久久久久 国产成人精品日本亚洲直接 五月综合视频 欧美日韩在线亚洲国产人 精液呈暗黄色 亚洲乱码一区 久久精品中文字幕不卡一二区 亚洲天堂精品在线 激情婷婷综合 国产免费久久精品久久久 国产精品亚洲二区在线 久久免费播放视频 五月婷婷丁香综合 在线亚洲欧美日韩 久久免费精品高清麻豆 精品久久久久久中文字幕 亚洲一区网站 国产精品福利社 日韩中文字幕免费 亚洲综合丝袜 91精品在线播放 国产精品18 亚洲日日夜夜 伊人久久大香线蕉综合影 亚洲精品中文字幕乱码影院 亚洲一区二区黄色 亚洲第一页在线视频 一区二区在线观看视频 国产成人福利精品视频 亚洲高清二区 国内成人免费视频 精品亚洲性xxx久久久 国产精品合集一区二区三区 97av免费视频 国产一起色一起爱 国产区久久 国产资源免费观看 99精品视频免费 国产成人一级 国产精品九九免费视频 欧美91精品久久久久网免费 99热国产免费 久久精品色 98精品国产综合久久 久久精品播放 中文字幕视频免费 国产欧美日韩一区二区三区在线 精品久久蜜桃 国产小视频精品 一本色道久久综合狠狠躁篇 91在线免费观看 亚洲精品区 伊人成综合网 伊人热人久久中文字幕 伊人黄色片 99国产精品热久久久久久夜夜嗨 久久免费精品视频 亚洲一区二区三区高清不卡 久久久久国产一级毛片高清板 国产片一区二区三区 久久狠狠干 99久久婷婷国产综合精品电影 国产99区 国产精品成人久久久久 久久狠狠干 青青国产在线观看 亚洲高清国产拍精品影院 国产精品一区二区av 九九热在线免费视频 伊人久久国产 国产精品久久久久久久久久一区 在线观看免费视频一区 国产精品自在在线午夜区app 国产精品综合色区在线观看 国产毛片久久久久久国产毛片 97国产免费全部免费观看 国产精品每日更新 国产尤物视频在线 九九视频这里只有精品99 一本一道久久a久久精品综合 久久综合给会久久狠狠狠 国产成人精品男人的天堂538 欧美一区二区高清 毛片一区二区三区 国产欧美日韩在线观看一区二区三区 在线国产二区 欧美不卡网 91在线精品中文字幕 在线国产福利 国内精品91久久久久 91亚洲福利 日韩欧美国产中文字幕 91久久精品国产性色也91久久 亚洲性久久久影院 欧美精品1区 国产热re99久久6国产精品 九九热免费观看 国产精品欧美日韩 久久久久国产一级毛片高清板 久久国产经典视频 日韩欧美亚洲国产一区二区三区 欧美亚洲综合另类在线观看 国产精品自在在线午夜区app 97中文字幕在线观看 视频一二三区 精品国产一区在线观看 国产欧美日韩在线一区二区不卡 欧美一区二三区 伊人成人在线观看 国内精品91久久久久 97在线亚洲 国产在线不卡一区 久久久全免费全集一级全黄片 国产精品v欧美精品∨日韩 亚洲毛片网站 在线不卡一区二区 99re热在线视频 久久激情网 国产毛片一区二区三区精品 久久亚洲综合色 中文字幕视频免费 国产视频亚洲 婷婷伊人久久 国产一区二区免费播放 久久99国产精品成人欧美 99国产在线视频 国产成人免费视频精品一区二区 国产不卡一区二区三区免费视 国产码欧美日韩高清综合一区 久久精品国产主播一区二区 国产一区电影 久久精品国产夜色 国产精品国产三级国产 日韩一区二区三区在线 久久97久久97精品免视看 久久国产免费一区二区三区 伊人久久大香线蕉综合电影网 99re6久精品国产首页 久久激情网 亚洲成人高清在线 国产精品网址 国产成人精品男人的天堂538 香蕉国产综合久久猫咪 国产专区中文字幕 91麻豆精品国产高清在线 久久国产经典视频 国产精品成人va在线观看 国产精品爱啪在线线免费观看 日本精品久久久久久久久免费 亚洲综合一区二区三区 久久五月网 精品国产网红福利在线观看 久久综合亚洲伊人色 亚洲国产精品久久久久久网站 在线日韩国产 99国产精品热久久久久久夜夜嗨 国产综合精品在线 国产区福利 精品亚洲综合久久中文字幕 国产制服丝袜在线 毛片在线播放网站 在线观看免费视频一区 国产精品久久久精品三级 亚洲国产电影在线观看 最新日韩欧美不卡一二三区 狠狠综合久久综合鬼色 日本精品1在线区 国产日韩一区二区三区在线播放 欧美日韩精品在线播放 亚洲欧美日韩国产一区二区三区精品 久久综合久久网 婷婷六月激情在线综合激情 亚洲乱码一区 国产专区91 97av视频在线观看 精品久久久久久中文字幕 久久五月视频 国产成人福利精品视频 国产精品网址 中文字幕视频在线 精品一区二区三区免费视频 伊人手机在线视频 亚洲精品中文字幕乱码 国产在线视频www色 色噜噜国产精品视频一区二区 精品亚洲成a人在线观看 国产香蕉尹人综合在线 成人免费一区二区三区在线观看 国产不卡一区二区三区免费视 欧美精品久久天天躁 国产专区中文字幕 久久精品国产免费中文 久久精品国产免费一区 久久无码精品一区二区三区 国产欧美另类久久久精品免费 欧美精品久久天天躁 亚洲精品在线视频 国产视频91在线 91精品福利一区二区三区野战 日韩中文字幕免费 国产精品99一区二区三区 欧美成人高清性色生活 国产精品系列在线观看 亚洲国产福利精品一区二区 国产成人在线小视频 国产精品久久久久免费 99re热在线视频 久久久久久久综合 一区二区国产在线播放 成人国产在线视频 亚洲精品乱码久久久久 欧美日韩一区二区综合 精品久久久久免费极品大片 中文字幕视频二区 激情粉嫩精品国产尤物 国产成人精品一区二区视频 久久精品中文字幕首页 亚洲高清在线 国产精品亚洲一区二区三区 伊人久久艹 中文在线亚洲 国产精品一区二区在线播放 国产精品九九免费视频 亚洲二区在线播放 亚洲狠狠婷婷综合久久久久网站 亚洲欧美日韩网站 日韩成人精品 亚洲国产一区二区三区青草影视 91精品国产福利在线观看 国产精品久久久久久久久99热 国产一区二区精品尤物 久碰香蕉精品视频在线观看 亚洲日日夜夜 在线不卡一区二区 国产午夜亚洲精品 九九热在线视频观看这里只有精品 伊人手机在线视频 91免费国产精品 日韩欧美中字 91精品国产91久久久久 国产全黄三级播放 视频一区二区三区免费观看 国产开裆丝袜高跟在线观看 国产成人欧美 激情综合丝袜美女一区二区 国产成人亚洲综合无 欧美精品一区二区三区免费观看 欧美亚洲国产日韩 日韩亚州 国产欧美日韩精品高清二区综合区 亚洲午夜国产片在线观看 精品久久久久久中文字幕 欧美精品1区 久久伊人久久亚洲综合 亚洲欧美日韩精品 国产成人精品久久亚洲高清不卡 久久福利影视 国产精品99精品久久免费 久久久久免费精品视频 国产日产亚洲精品 亚洲国产午夜电影在线入口 精品无码一区在线观看 午夜国产精品视频 亚洲一级片免费 伊人久久大香线蕉综合影 国产精品久久影院 久碰香蕉精品视频在线观看 www.欧美精品 在线小视频国产 亚洲国产天堂久久综合图区 欧美一区二区三区不卡 日韩美女福利视频 九九精品免视频国产成人 不卡国产00高中生在线视频 亚洲第一页在线视频 欧美日韩在线播放成人 99re视频这里只有精品 国产精品91在线 精品乱码一区二区三区在线 国产区久久 91麻豆精品国产自产在线观看一区 日韩精品成人在线 九九热在线观看 国产精品久久不卡日韩美女 欧美一区二区三区综合色视频 欧美精品免费一区欧美久久优播 国产精品网址 国产专区中文字幕 国产精品欧美亚洲韩国日本久久 日韩美香港a一级毛片 久久精品123 欧美一区二区三区免费看 99r在线视频 亚洲精品国产字幕久久vr 国产综合激情在线亚洲第一页 91免费国产精品 日韩免费小视频 亚洲国产精品综合一区在线 国产亚洲第一伦理第一区 在线亚洲精品 国产精品一区二区制服丝袜 国产在线成人精品 九九精品免视频国产成人 亚洲国产网 欧美日韩亚洲一区二区三区在线观看 在线亚洲精品 欧美一区二区三区高清视频 国产成人精品男人的天堂538 欧美日韩在线观看区一二 亚洲欧美一区二区久久 久久精品中文字幕首页 日本高清www午夜视频 久久精品国产免费 久久999精品 亚洲国产精品欧美综合 88国产精品视频一区二区三区 91久久偷偷做嫩草影院免费看 国产精品夜色视频一区二区 欧美日韩导航 国产成人啪精品午夜在线播放 一区二区视频在线免费观看 99久久精品国产自免费 精液呈暗黄色 久久99国产精品 日本精品久久久久久久久免费 精品国产97在线观看 99re视频这里只有精品 国产视频91在线 999av视频 亚洲美女视频一区二区三区 久久97久久97精品免视看 亚洲国产成人久久三区 99久久亚洲国产高清观看 日韩毛片在线视频 综合激情在线 91福利一区二区在线观看 一区二区视频在线免费观看 激情粉嫩精品国产尤物 国产成人精品曰本亚洲78 国产成人精品本亚洲 国产精品成人免费视频 国产成人啪精品视频免费软件 久久精品国产亚洲妲己影院 国产精品成人久久久久久久 久久大香线蕉综合爱 欧美一区二区三区高清视频 99热国产免费 在线观看欧美国产 91精品视频在线播放 国产精品福利社 欧美精品一区二区三区免费观看 国产一区二区免费视频 国产午夜精品一区二区 精品视频在线观看97 91精品福利久久久 国产一区福利 国产综合激情在线亚洲第一页 国产精品久久久久久久久久久不卡 九色国产 在线日韩国产 黄网在线观看 亚洲一区小说区中文字幕 中文字幕丝袜 日本二区在线观看 日本国产一区在线观看 欧美日韩一区二区三区久久 欧美精品亚洲精品日韩专 国产日产亚洲精品 久久综合九色综合欧美播 亚洲国产欧美无圣光一区 欧美视频区 亚洲乱码视频在线观看 久久无码精品一区二区三区 九九热精品免费视频 久久99精品久久久久久牛牛影视 国产精品成久久久久三级 国产一区福利 午夜国产精品视频 日本二区在线观看 99久久网站 国产亚洲天堂 精品国产一区二区三区不卡 亚洲国产日韩在线一区 国产成人综合在线观看网站 久久免费高清视频 欧美在线导航 午夜精品久久久久久99热7777 欧美久久综合网 国产小视频精品 国产尤物在线观看 亚洲国产精品综合一区在线 欧美一区二区三区不卡视频 欧美黑人欧美精品刺激 日本福利在线观看 久久国产偷 国产手机精品一区二区 国产热re99久久6国产精品 国产高清啪啪 欧美亚洲国产成人高清在线 国产在线第三页 亚洲综合一区二区三区 99r在线视频 99精品久久久久久久婷婷 国产精品乱码免费一区二区 国产在线精品福利91香蕉 国产尤物视频在线 五月婷婷亚洲 中文字幕久久综合伊人 亚洲精品一级毛片 99国产精品电影 在线视频第一页 久久99国产精品成人欧美 国产白白视频在线观看2 成人精品一区二区www 亚洲成人网在线观看 麻豆91在线视频 色综合合久久天天综合绕视看 久久精品国产免费高清 国产不卡一区二区三区免费视 欧美国产中文 99精品欧美 九九在线精品 国产中文字幕在线免费观看 国产一区中文字幕在线观看 国产成人一级 国产精品一区二区制服丝袜 国产一起色一起爱 亚洲精品成人在线 亚洲欧美精品在线 国产欧美自拍视频 99精品久久久久久久婷婷 久99视频 国产热re99久久6国产精品 视频一区亚洲 国产精品视频分类 国产精品成在线观看 99re6久精品国产首页 亚洲在成人网在线看 亚洲国产日韩在线一区 久久国产三级 日韩国产欧美 欧美在线一区二区三区 国产精品美女一级在线观看 成人午夜免费福利视频 亚洲天堂精品在线 91精品国产手机 欧美日韩视频在线播放 狠狠综合久久综合鬼色 九一色视频 青青视频国产 亚洲欧美自拍一区 中文字幕天天躁日日躁狠狠躁97 日韩免费大片 996热视频 伊人成综合网 亚洲天堂欧美 日韩精品亚洲人成在线观看 久久综合给会久久狠狠狠 日韩精品亚洲人成在线观看 日韩国产欧美 亚洲成aⅴ人片在线影院八 亚洲精品1区 99久久精品免费 国产精品高清在线观看 国产精品久久久免费视频 在线亚洲欧美日韩 91在线看视频 国产精品96久久久久久久 欧美日韩国产成人精品 91在线亚洲 热久久亚洲 国产精品美女免费视频观看 日韩在线毛片 亚洲永久免费视频 九九免费在线视频 亚洲一区网站 日本高清二区视频久二区 精品国产美女福利在线 伊人久久艹 国产精品久久久久三级 欧美成人精品第一区二区三区 99久久精品国产自免费 在线观看日韩一区 国产中文字幕一区 成人免费午夜视频 欧美日韩另类在线 久久99国产精品成人欧美 色婷婷中文网 久久天天躁夜夜躁狠狠躁2020 欧美成人伊人久久综合网 国产精品福利资源在线 国产伦精品一区二区三区高清 国产精品亚洲综合色区韩国 亚洲一区欧美日韩 色综合视频 国语自产精品视频在线区 国产高清a 成人国内精品久久久久影 国产在线精品香蕉综合网一区 国产不卡在线看 国产成人精品精品欧美 国产欧美日韩综合精品一区二区三区 韩国电影一区二区 国产在线视频www色 91中文字幕在线一区 国产人成午夜免视频网站 亚洲综合一区二区三区 色综合视频一区二区观看 久久五月网 九九热精品在线观看 国产一区二区三区国产精品 99久热re在线精品996热视频 亚洲国产网 在线视频亚洲一区 日韩字幕一中文在线综合 国产高清一级毛片在线不卡 精品国产色在线 国产高清视频一区二区 精品日本久久久久久久久久 亚洲国产午夜精品乱码 成人免费国产gav视频在线 日韩欧美一区二区在线观看 欧美曰批人成在线观看 韩国电影一区二区 99re这里只有精品6 日韩精品一区二区三区视频 99re6久精品国产首页 亚洲欧美一区二区三区导航 欧美色图一区二区三区 午夜精品视频在线观看 欧美激情在线观看一区二区三区 亚洲热在线 成人国产精品一区二区网站 亚洲一级毛片在线播放 亚洲一区小说区中文字幕 亚洲午夜久久久久影院 国产自产v一区二区三区c 国产精品视频免费 久久调教视频 国产成人91激情在线播放 国产精品欧美亚洲韩国日本久久 久久亚洲日本不卡一区二区 91中文字幕网 成人国产在线视频 国产视频91在线 欧美成人精品第一区二区三区 国产精品福利在线 久久综合九色综合精品 欧美一区二区三区精品 久久国产综合尤物免费观看 久久99青青久久99久久 日韩精品免费 久久国产精品999 91亚洲视频在线观看 国产精品igao视频 色综合区 在线亚洲欧国产精品专区 国产一区二区三区在线观看视频 亚洲精品成人在线 一区二区国产在线播放 中文在线亚洲 亚洲精品第一国产综合野 国产一区二区精品久久 一区二区三区四区精品视频 99热精品久久 中文字幕视频二区 国产成人精品男人的天堂538 99精品影视 美女福利视频一区二区 久久午夜夜伦伦鲁鲁片 综合久久久久久久综合网 国产精品国产欧美综合一区 国产99视频在线观看 国产亚洲女在线精品 婷婷影院在线综合免费视频 国产亚洲3p一区二区三区 91成人爽a毛片一区二区 亚洲一区二区高清 国产欧美亚洲精品第二区首页 欧美日韩导航 亚洲高清二区 欧美激情观看一区二区久久 日韩毛片在线播放 亚洲欧美日韩高清中文在线 亚洲日本在线播放 国产精品一区二区制服丝袜 精品国产一区二区三区不卡 国产不卡在线看 国产欧美网站 四虎永久在线观看视频精品 国产黄色片在线观看 夜夜综合 一本色道久久综合狠狠躁篇 欧美亚洲综合另类在线观看 国产91在线看 伊人久久国产 欧美一区二区在线观看免费网站 国产精品久久久久三级 久久福利 日韩中文字幕a 亚洲午夜久久久久影院 91在线高清视频 国产亚洲一区二区三区啪 久久人精品 国产精品亚洲午夜一区二区三区 综合久久久久久 久久伊人一区二区三区四区 国产综合久久久久久 日韩一区精品视频在线看 国产精品日韩欧美制服 日本精品1在线区 99re视频 无码av免费一区二区三区试看 国产视频1区 日韩欧美中文字幕一区 日本高清中文字幕一区二区三区a 亚洲国产欧美无圣光一区 国产在线视频一区二区三区 欧美国产第一页 在线亚洲欧美日韩 日韩中文字幕第一页 在线不卡一区二区 伊人久久青青 国产精品一区二区在线播放 www.五月婷婷 麻豆久久婷婷国产综合五月 亚洲精品区 久久国产欧美另类久久久 99在线视频免费 伊人久久中文字幕久久cm 久久精品成人免费看 久久这里只有精品首页 88国产精品视频一区二区三区 中文字幕日本在线mv视频精品 国产在线精品成人一区二区三区 伊人精品线视天天综合 亚洲一区二区黄色 国产尤物视频在线 亚洲精品99久久久久中文字幕 国产一区二区三区免费观看 伊人久久大香线蕉综合电影网 国产成人精品区在线观看 日本精品一区二区三区视频 日韩高清在线二区 久久免费播放视频 一区二区成人国产精品 国产精品免费精品自在线观看 亚洲精品视频二区 麻豆国产精品有码在线观看 精品日本一区二区 亚洲欧洲久久 久久中文字幕综合婷婷 中文字幕视频在线 国产成人精品综合在线观看 91精品国产91久久久久福利 精液呈暗黄色 香蕉国产综合久久猫咪 国产专区精品 亚洲精品无码不卡 国产永久视频 亚洲成a人片在线播放观看国产 一区二区国产在线播放 亚洲一区二区黄色 欧美日韩在线观看视频 亚洲精品另类 久久国产综合尤物免费观看 国产一区二区三区国产精品 高清视频一区 国产精品igao视频 国产精品资源在线 久久综合精品国产一区二区三区 www.五月婷婷 精品色综合 99热国产免费 麻豆福利影院 亚洲伊人久久大香线蕉苏妲己 久久电影院久久国产 久久精品伊人 在线日韩理论午夜中文电影 亚洲国产欧洲综合997久久 伊人国产精品 久草国产精品 欧美一区精品二区三区 亚洲成人高清在线 91免费国产精品 日韩精品福利在线 国产一线在线观看 国产不卡在线看 久久99青青久久99久久 亚洲精品亚洲人成在线播放 99久久免费看国产精品 国产日本在线观看 青草国产在线视频 麻豆久久婷婷国产综合五月 国产中文字幕一区 91久久精品国产性色也91久久 国产一区a 国产欧美日韩成人 国产亚洲女在线精品 一区二区美女 中文字幕在线2021一区 在线小视频国产 久久这里只有精品首页 国产在线第三页 欧美日韩中文字幕 在线亚洲+欧美+日本专区 精品国产一区二区三区不卡 久久这里精品 欧美在线va在线播放 精液呈暗黄色 91精品国产手机 91在线免费播放 欧美视频亚洲色图 欧美国产日韩精品 日韩高清不卡在线 精品视频免费观看 欧美日韩一区二区三区四区 国产欧美亚洲精品第二区首页 亚洲韩精品欧美一区二区三区 国产精品视频免费 在线精品小视频 久久午夜夜伦伦鲁鲁片 国产无套在线播放 久热这里只精品99re8久 欧美久久久久 久久香蕉国产线看观看精品蕉 国产成人精品男人的天堂538 亚洲人成网站色7799在线观看 日韩在线第二页 一本色道久久综合狠狠躁篇 国产一区二区三区不卡在线观看 亚洲乱码在线 在线观看欧美国产 久久福利青草精品资源站免费 国产玖玖在线观看 在线亚洲精品 亚洲成aⅴ人在线观看 精品91在线 欧美一区二三区 日韩中文字幕视频在线 日本成人一区二区 日韩免费专区 国内精品在线观看视频 久久国产综合尤物免费观看 国产精品系列在线观看 一本一道久久a久久精品综合 亚洲免费播放 久久精品国产免费 久久人精品 亚洲毛片网站 亚洲成a人一区二区三区 韩国福利一区二区三区高清视频 亚洲精品天堂在线 一区二区三区中文字幕 亚洲国产色婷婷精品综合在线观看 亚洲国产成人久久笫一页 999国产视频 国产精品香港三级在线电影 欧美日韩一区二区三区四区 日韩国产欧美 国产精品99一区二区三区 午夜国产精品理论片久久影院 亚洲精品中文字幕麻豆 亚洲国产高清视频 久久免费手机视频 日韩a在线观看 五月婷婷亚洲 亚洲精品中文字幕麻豆 中文字幕丝袜 www国产精品 亚洲天堂精品在线 亚洲乱码一区 国产日韩欧美三级 久久999精品 伊人热人久久中文字幕 久热国产在线视频 国产欧美日韩在线观看一区二区三区 国产一二三区在线 日韩国产欧美 91精品国产91久久久久 亚洲一区小说区中文字幕 精品一区二区免费视频 国产精品视频免费 国产精品亚洲综合色区韩国 亚洲国产精品成人午夜在线观看 欧美国产日韩精品 中文字幕精品一区二区精品