一種多路徑管理方法和系統的制作方法

            文檔序號:6508864閱讀:365來源:國知局
            一種多路徑管理方法和系統的制作方法
            【專利摘要】本發明公開了一種多路徑管理方法和系統,用于管理從主機路由IO到存儲系統的多個邏輯卷LUN的路徑,其中存儲系統的多個LUN被映射到主機上,該方法包括:將在主機和存儲系統之間具有相同路徑的LUN劃分為一個LUN組;以及對一個LUN組中的所有LUN使用一個路徑選擇線程管理所述相同路徑。該方法和系統減少了路徑管理的工作量和所需要的資源量。
            【專利說明】一種多路徑管理方法和系統

            【技術領域】
            [0001]本發明涉及存儲系統,更具體地涉及一種多路徑管理方法和系統。

            【背景技術】
            [0002]存儲系統包括RAID陣列、RAID控制器、適配器、存儲管理服務器組成。存儲管理服務器和其它設備通過網絡相連,管理整個存儲系統的運行。圖1示出了存儲系統的結構框圖。RAID (Redundant Array of Independent (or Inexpensive)Disks)陣列,是由很多價格較便宜的磁盤,組合成一個容量巨大的磁盤組,利用個別磁盤提供數據所產生加成效果(additive effects)提升整個磁盤系統效能。存儲系統通過RAID控制器在內部創建不同種類的RAID陣列。存儲系統在RAID陣列再創建邏輯卷(logical volume),也稱為LUN(logical unit number)。LUN再映射給主機(host),主機會把LUN當成本地硬盤來使用。
            [0003]主機與存儲系統之間通過光纖交換機(FC Switch)通信。主機端由主機總線適配器HBA (Host Bus Adapter)與光纖交換機相連,HBA在主機端稱為主機總線適配器,在光纖交換機端也稱為光纖接口卡(Fibre Channel interface card)或光纖適配器(FCadapter),存儲系統端也有光纖接口卡或光纖適配器與光纖交換機相連。圖2不出了主機、光纖交換機以及存儲系統之間的連接關系。在圖2中,王機I有4條路徑可以訪問到存儲系統上的LUN,即主機I的HBAl端口到存儲系統的光纖適配器端口 1,主機I的HBAl端口到存儲系統的光纖適配器端口 2,主機I的HBA2端口到存儲系統的光纖適配器端口 1,以及主機I的HBA2端口到存儲系統的光纖適配器端口 2。同樣,主機2有4條路徑可以訪問到存儲系統上的LUN。
            [0004]主機有多條路徑通往存儲系統,可以在主機上安裝多路徑軟件,來管理主機到存儲系統之間的多條路徑。多路徑軟件能夠均衡每條路徑的輸入和輸出(10);當發現路徑故障時,在路由10的時候規避故障路徑;當路徑的故障被排除時,主機和存儲系統的LUN之間的通信回歸到原來的路徑等。多路徑軟件采用的路徑選擇算法包括:
            [0005]Failover:只選擇一條路徑路由10,只有在該路徑故障的情況下才會選擇其它路徑路由10 ;
            [0006]Round Robin:在多條路徑上輪流路由10 ;
            [0007]Load Balance:選擇負載較低的HBA上的路徑來路由10 ;如果HBA負載都一樣,就隨機選擇路徑。
            [0008]當存儲系統具有很多個LUN映射到主機上,例如主機有1000個或者更多個LUN映射到該主機上,并且該主機有6條或者更多路徑可以訪問到存儲系統,則多路徑軟件將會管理6000條甚至多的路徑;另外,主機還需要開啟1000個多路徑選擇進程來分別負責1000個LUN上的路徑選擇。多路徑軟件將會耗費大量的主機資源(CPU和內存)來管理這些路徑,會使得主機的效率大大降低,因此,當前的多路徑軟件對每個LUN都不推薦配置很多路徑。


            【發明內容】

            [0009]為了解決上述問題,本發明的一個目的是減少路徑管理的工作量和多需要的資源量。
            [0010]根據本發明的一個方面,提供了一種多路徑管理方法,用于管理從主機路由1到存儲系統的多個邏輯卷LUN的路徑,其中存儲系統的多個LUN被映射到主機上,該方法包括:將在主機和存儲系統之間具有相同路徑的LUN劃分為一個LUN組;以及對一個LUN組中的所有LUN使用一個路徑選擇線程管理所述相同路徑。
            [0011]據本發明的另一個方面,提供了一種多路徑管理系統,用于管理從主機路由1到存儲系統的多個邏輯卷LUN的路徑,其中存儲系統的多個LUN被映射到主機上,該系統包括:分組裝置,被配置為將在主機和存儲系統之間具有相同路徑的LUN劃分為一個LUN組;以及路徑選擇裝置,被配置為對一個LUN組中的所有LUN使用一個路徑選擇線程管理所述相同路徑。

            【專利附圖】

            【附圖說明】
            [0012]通過結合附圖對本公開示例性實施方式進行更詳細的描述,本公開的上述以及其它目的、特征和優勢將變得更加明顯,其中,在本公開示例性實施方式中,相同的參考標號通常代表相同部件。
            [0013]圖1示出了存儲系統的結構框圖;
            [0014]圖2示出了主機、光纖交換機以及存儲系統之間的連接關系;
            [0015]圖3示出了適于用來實現本發明實施方式的示例性計算機系統/服務器的框圖;
            [0016]圖4示意性示出了多路徑管理方法的方法流程圖;
            [0017]圖5不出了獲得在主機和存儲系統之間具有相同路徑的LUN的一種實施方式的具體流程;
            [0018]圖6示出了使用路徑選擇算法的【具體實施方式】流程;以及
            [0019]圖7示出了一種多路徑管理系統的結構框圖。

            【具體實施方式】
            [0020]下面將參照附圖更詳細地描述本公開的優選實施方式。雖然附圖中顯示了本公開的優選實施方式,然而應該理解,可以以各種形式實現本公開而不應被這里闡述的實施方式所限制。相反,提供這些實施方式是為了使本公開更加透徹和完整,并且能夠將本公開的范圍完整地傳達給本領域的技術人員。
            [0021]所屬【技術領域】的技術人員知道,本發明可以實現為系統、方法或計算機程序產品。因此,本公開可以具體實現為以下形式,即:可以是完全的硬件、也可以是完全的軟件(包括固件、駐留軟件、微代碼等),還可以是硬件和軟件結合的形式,本文一般稱為“電路”、“模塊”或“系統”。此外,在一些實施例中,本發明還可以實現為在一個或多個計算機可讀介質中的計算機程序產品的形式,該計算機可讀介質中包含計算機可讀的程序代碼。
            [0022]可以采用一個或多個計算機可讀的介質的任意組合。計算機可讀介質可以是計算機可讀信號介質或者計算機可讀存儲介質。計算機可讀存儲介質例如可以是一但不限于——電、磁、光、電磁、紅外線、或半導體的系統、裝置或器件,或者任意以上的組合。計算機可讀存儲介質的更具體的例子(非窮舉的列表)包括:具有一個或多個導線的電連接、便攜式計算機磁盤、硬盤、隨機存取存儲器(RAM)、只讀存儲器(ROM)、可擦式可編程只讀存儲器(EPR0M或閃存)、光纖、便攜式緊湊磁盤只讀存儲器(CD-ROM)、光存儲器件、磁存儲器件、或者上述的任意合適的組合。在本文件中,計算機可讀存儲介質可以是任何包含或存儲程序的有形介質,該程序可以被指令執行系統、裝置或者器件使用或者與其結合使用。
            [0023]計算機可讀的信號介質可以包括在基帶中或者作為載波一部分傳播的數據信號,其中承載了計算機可讀的程序代碼。這種傳播的數據信號可以采用多種形式,包括——但不限于——電磁信號、光信號或上述的任意合適的組合。計算機可讀的信號介質還可以是計算機可讀存儲介質以外的任何計算機可讀介質,該計算機可讀介質可以發送、傳播或者傳輸用于由指令執行系統、裝置或者器件使用或者與其結合使用的程序。
            [0024]計算機可讀介質上包含的程序代碼可以用任何適當的介質傳輸,包括一但不限于一無線、電線、光纜、RF等等,或者上述的任意合適的組合。
            [0025]可以以一種或多種程序設計語言或其組合來編寫用于執行本發明操作的計算機程序代碼,所述程序設計語言包括面向對象的程序設計語言一諸如Java、Smalltalk、C++,還包括常規的過程式程序設計語言一諸如”C”語言或類似的程序設計語言。程序代碼可以完全地在用戶計算機上執行、部分地在用戶計算機上執行、作為一個獨立的軟件包執行、部分在用戶計算機上部分在遠程計算機上執行、或者完全在遠程計算機或服務器上執行。在涉及遠程計算機的情形中,遠程計算機可以通過任意種類的網絡一包括局域網(LAN)或廣域網(WAN)—連接到用戶計算機,或者,可以連接到外部計算機(例如利用因特網服務提供商來通過因特網連接)。
            [0026]下面將參照本發明實施例的方法、裝置(系統)和計算機程序產品的流程圖和/或框圖描述本發明。應當理解,流程圖和/或框圖的每個方框以及流程圖和/或框圖中各方框的組合,都可以由計算機程序指令實現。這些計算機程序指令可以提供給通用計算機、專用計算機或其它可編程數據處理裝置的處理器,從而生產出一種虛擬機,這些計算機程序指令通過計算機或其它可編程數據處理裝置執行,產生了實現流程圖和/或框圖中的方框中規定的功能/操作的裝置。
            [0027]也可以把這些計算機程序指令存儲在能使得計算機或其它可編程數據處理裝置以特定方式工作的計算機可讀介質中,這樣,存儲在計算機可讀介質中的指令就產生出一個包括實現流程圖和/或框圖中的方框中規定的功能/操作的指令裝置(instruct1nmeans)的制造品(manufacture)。
            [0028]也可以把計算機程序指令加載到計算機、其它可編程數據處理裝置、或其它設備上,使得在計算機、其它可編程數據處理裝置或其它設備上執行一系列操作步驟,以產生計算機實現的過程,從而使得在計算機或其它可編程裝置上執行的指令能夠提供實現流程圖和/或框圖中的方框中規定的功能/操作的過程。
            [0029]圖3示出了適于用來實現本發明實施方式的示例性計算機系統/服務器12的框圖。圖3顯示的計算機系統/服務器12僅僅是一個示例,不應對本發明實施例的功能和使用范圍帶來任何限制。
            [0030]如圖3所示,計算機系統/服務器12以通用計算設備的形式表現。計算機系統/服務器12的組件可以包括但不限于:一個或者多個處理器或者處理單元16,系統存儲器28,連接不同系統組件(包括系統存儲器28和處理單元16)的總線18。
            [0031]總線18表示幾類總線結構中的一種或多種,包括存儲器總線或者存儲器控制器,外圍總線,圖形加速端口,處理器或者使用多種總線結構中的任意總線結構的局域總線。舉例來說,這些體系結構包括但不限于工業標準體系結構(ISA)總線,微通道體系結構(MAC)總線,增強型ISA總線、視頻電子標準協會(VESA)局域總線以及外圍組件互連(PCI)總線。
            [0032]計算機系統/服務器12典型地包括多種計算機系統可讀介質。這些介質可以是任何能夠被計算機系統/服務器12訪問的可用介質,包括易失性和非易失性介質,可遷移的和不可遷移的介質。
            [0033]系統存儲器28可以包括易失性存儲器形式的計算機系統可讀介質,例如隨機存取存儲器(RAM)30和/或高速緩存存儲器32。計算機系統/服務器12可以進一步包括其它可遷移/不可遷移的、易失性/非易失性計算機系統存儲介質。僅作為舉例,存儲系統34可以用于讀寫不可遷移的、非易失性磁介質(圖3未顯示,通常稱為“硬盤驅動器”)。盡管圖3中未示出,可以提供用于對可遷移非易失性磁盤(例如“軟盤”)讀寫的磁盤驅動器,以及對可遷移非易失性光盤(例如CD-ROM,DVD-ROM或者其它光介質)讀寫的光盤驅動器。在這些情況下,每個驅動器可以通過一個或者多個數據介質接口與總線18相連。存儲器28可以包括至少一個程序產品,該程序產品具有一組(例如至少一個)程序模塊,這些程序模塊被配置以執行本發明各實施例的功能。
            [0034]具有一組(至少一個)程序模塊42的程序/實用工具40,可以存儲在例如存儲器28中,這樣的程序模塊42包括——但不限于——操作系統、一個或者多個應用程序、其它程序模塊以及程序數據,這些示例中的每一個或某種組合中可能包括網絡環境的實現。程序模塊42通常執行本發明所描述的實施例中的功能和/或方法。
            [0035]計算機系統/服務器12也可以與一個或多個外部設備14 (例如鍵盤、指向設備、顯示器24等)通信,還可與一個或者多個使得用戶能與該計算機系統/服務器12交互的設備通信,和/或與使得該計算機系統/服務器12能與一個或多個其它計算設備進行通信的任何設備(例如網卡,調制解調器等等)通信。這種通信可以通過輸入/輸出(1)接口 22進行。并且,計算機系統/服務器12還可以通過網絡適配器20與一個或者多個網絡(例如局域網(LAN),廣域網(WAN)和/或公共網絡,例如因特網)通信。如圖所示,網絡適配器20通過總線18與計算機系統/服務器12的其它模塊通信。應當明白,盡管圖中未示出,可以結合計算機系統/服務器12使用其它硬件和/或軟件模塊,包括但不限于:微代碼、設備驅動器、冗余處理單元、外部磁盤驅動陣列、RAID系統、磁帶驅動器以及數據備份存儲系統等。
            [0036]下面,將參照附圖來描述本發明的實施例。
            [0037]在本公開的一種實施方式中,提出了一種多路徑管理方法,用于管理從主機路由1到存儲系統的多個LUN時的路徑,其中存儲系統的多個LUN被映射到主機上。圖4示意性示出了多路徑管理方法的方法流程圖,根據圖4,在步驟S402,將在主機和存儲系統之間具有相同路徑的LUN劃分為一個LUN組;在步驟S403,對一個LUN組中的所有LUN使用一個路徑選擇線程管理所述相同路徑。在一種實施方式中,還包括步驟S401,獲得在主機和存儲系統之間具有相同路徑的LUN。步驟S401之所以是一種優選的實施方式,是因為某些時候,已經通過其它方式得到主機和存儲系統之間具有相同路徑的LUN,例如在映射LUN到主機時已經直接知道那些LUN屬于哪個物理存儲器,可以直接分組。
            [0038]這樣,根據前面的例子,原來主機有1000個LUN映射到該主機,主機有6條訪問存儲系統的路徑,則主機上的多路徑軟件將會管理6000條路徑,對應每個LUN,使用一個路徑管理算法線程,則總共需要1000個路徑管理算法線程。假設使用本發明方法,LUN1-500來自存儲系統A,具有相同的存儲路徑;LUN501-1000來自存儲系統B,也具有相同的存儲路徑;則在主機端有兩個LUN組,LUN1-500被分為第一組,LUN501-1000被分為第二組。將一個LUN組的所有LUN綁定在該組所有LUN都使用的路徑上的結果是:第一組LUN有6條路徑;第二組LUN也有6條路徑,由于路徑是基于LUN組的中心管理,即對一個LUN組中的所有LUN使用一個路徑選擇線程管理所述相同路徑,則在第一組內只需要使用一個路徑管理算法的線程管理這6條路徑,路徑管理線程在第一組內對所有的LUN都使用這6條路徑,當有1需要路由到該組內的LUN時,該路徑管理線程的線程在上述6條路徑中選擇一條可用的路徑;在第二組亦然,則主機端只有兩個路徑管理算法的線程,每個線程只要管理6條路徑,與現有技術相比,大大減少了路徑管理的工作量和需要的資源量。
            [0039]具體實施中,在步驟S401中需要獲得在主機和存儲系統之間具有相同路徑的LUN,該步驟可以有多種實施方式,可以由主機直接獲得具有相同路徑的LUN,也可以由和主機之間耦接的其它設備獲得具有相同路徑的LUN。下面介紹一種最基本的實施方式。
            [0040]圖5不出了獲得在主機和存儲系統之間具有相同路徑的LUN的一種實施方式的具體流程,根據圖5,在步驟S501,掃描獲得主機端映射的至少一部分LUN。該步驟可以通過命令觸發(比如AIX操作系統的cfgmgr命令),也可以周期性地運行命令來觸發,也可以通過重啟主機來觸發。在步驟S502,分別通過主機上的各總線適配器HBA端口向光纖交換機發送命令,來查詢HBA端口能夠訪問的存儲系統的光纖適配器(FC adapter )FC端口的端口 ID(Port ID);在步驟S503,分別接收光纖交換機返回的各HBA端口能夠訪問的各FC端口的端口 ID ;如果各HBA端口已經與返回的端口 ID對應的各FC端口建立了連接,在步驟S504,分別通過各HBA端口對能夠訪問的各FC端口發送命令,獲得不同路徑上的LUN ;其中,特定的HBA端口 ID到特定FC端口 ID為LUN的一條路徑。在這種實施方式中,如果HBA端口沒有與返回的端口 ID對應的FC端口建立了連接,則首先需要通過SCSI協議中的PL0GI/PRLI命令建立連接。發送的SCSI命令為INQUIRY和REPORT LUNS0在步驟S505,根據獲得的主機端映射的至少一部分LUN以及不同路徑上的LUN,獲得在主機和存儲系統之間具有相同路徑的LUN。由于同一個LUN會從所有建立連接的存儲系統的FC端口和主機端的HBA端口來上報(即從所有可用的多路徑來上報),所以只要記錄同一個LUN是從哪些存儲端FC端口到哪些主機端HBA端口上報的,即記錄下LUN上報的路徑,然后在每個上報LUN之間進行上報路徑的比對,即可知道哪些LUN擁有同樣的路徑。
            [0041]在另外一種實施方式中,有些存儲系統有這樣一種功能:即將一個LUN映射給某個主機的時候,指定這個LUN只能通過特定的存儲端FC端口來訪問。對于不支持該功能的存儲來說,主機到存儲的多條路徑也就是主機能夠訪問存儲上LUN的多條路徑,這也意味著主機上對來自同一存儲的LUN的訪問路徑都是一樣的。對于支持該功能的存儲來說,只要不使用這個功能,那么在主機上來自同一存儲的LUN的訪問路徑也就是一樣的。只要滿足以上條件,在判斷主機上的LUN是否擁有相同路徑的時候,只要判斷LUN是否來自同一存儲就可以了,因為來自同一存儲的LUN擁有同樣的路徑。
            [0042]這樣就得到了在主機和存儲系統之間具有相同路徑的LUN,就可以執行步驟S402,將在主機和存儲系統之間具有相同路徑的LUN劃分為一個LUN組,并且對一個LUN組中的所有LUN使用一個路徑選擇線程管理所述相同路徑。
            [0043]路徑選擇算法可以使用現有的任何一種路徑選擇算法,既可以對不同的LUN組,使用同一種路徑選擇算法,也可以對不同的LUN組,使用不同的路徑選擇算法。例如某個LUN組使用Failover算法,只選擇一條路徑路由10,只有在該路徑故障的情況下才會選擇其它路徑路由10,則該組中所有的LUN選擇可用的路徑后,都使用一條路徑路由10,只有在該路徑故障的情況下,才會選擇其它路徑路由10,則該組的全部LUN都切換到其它路徑上。同樣也可以使用Round Robin和Load Balance算法選擇路徑。
            [0044]在使用路徑選擇算法線程管理多路徑的過程中,在一種實施方式中,需要對每一條路徑維護該路徑的路徑狀態。路徑狀態可以有3種,一種是可用(Available),也就是該路徑沒有故障,能夠路由10;—種是失敗(Fail),也就是該路徑有故障,不能路由10;另外一種是部分失敗(Partly Fail),也就是該路徑對部分LUN不能路由10。可以用不同的參數或者其它形式來表示,例如用O表示路徑可用,I表示路徑失敗,2表示路徑部分失敗等等。路徑狀態的默認值是路徑可用。
            [0045]對于主機,圖6示出了使用路徑選擇算法的【具體實施方式】流程,根據圖6,在步驟S601,接收一個路由1到LUN的請求,通過該LUN所在的LUN組使用的路徑選擇線程在所述相同路徑上選擇一條路徑狀態為可用或者部分失敗的路徑,然后利用選擇的路徑路由該1到該LUN ;在步驟S602,判斷1路由是否成功,如果1路由成功,則該路徑的路徑狀態保持不變,即繼續可用,返回步驟S601,繼續接收路由1請求。如果1路由失敗,在步驟S603,判斷該路徑是否為該LUN所在LUN組的最后一條路徑狀態為可用的路徑;如果該路徑是該LUN所在LUN組的最后一條路徑狀態為可用的路徑,在步驟S604,不置該LUN組上的該路徑的路徑狀態為失敗(否則整個LUN組將沒有可用路徑),而是置該LUN組上的該路徑狀態為部分失敗,同時在該LUN上置標志位,以表示該LUN不能使用該路徑來路由10。這時,這個1就不能路由到相應的LUN,主機會收到系統報告的錯誤。然后返回步驟S601,繼續接收路由1的請求。如果這條路徑不是該LUN所在LUN組的最后一條路徑狀態為可用的路徑,在步驟S605,置該LUN組上的這條路徑的路徑狀態為失敗,從而使LUN組內的所有LUN將不再使用該路徑來路由10,以及使用該LUN所在的LUN組使用的路徑選擇線程在所述相同路徑上重新選擇另外一條可用路徑,返回步驟S602,使用新選擇的路徑路由1后,繼續判斷1路由是否成功。
            [0046]在一種優選的實施方式中,在步驟S605中在LUN組上的某條路徑的路徑狀態被置為失敗之后,繼續在步驟S606,檢查LUN組內的其它LUN是否能夠使用該失敗路徑來訪問。如果LUN組內所有其它LUN都不能夠使用該失敗路徑來訪問,則保持LUN組上的該路徑的失敗狀態,返回步驟S602,使用新選擇的路徑路由1后,繼續判斷1路由是否成功。一般來說,此類情況為絕大多數,因為路徑故障都是由主機端HBA端口故障、存儲端PC端口故障、光纖交換機端口故障、或者各端口間光纖線連接故障導致的,這些故障導致的路徑故障情況下,會導致某個LUN組內的所有LUN都不能夠使用該路徑來路由10。但是,如果LUN組內的其它LUN中有些LUN能給通過該失敗路徑訪問,則在步驟S607,將LUN組上的該路徑的路徑狀態置為部分失敗,并在LUN組內的所有不能通過該路徑訪問到的LUN上置標志位,表示這些LUN不能夠使用該路徑來路由10。同樣,此類情況為極少數,只有當存儲對于自身內部的有些LUN能夠訪問,有些LUN不能夠訪問時才會出現。此時存儲本身已經出了較大故障,但是本多路徑管理方法能夠很好地應對這種故障,使其不影響到其它能夠正常訪問到的LUN,然后返回步驟S602,使用新選擇的路徑路由1后,繼續判斷1路由是否成功。具體的檢查的方法可以為:通過該路徑向LUN發送SCSI協議中的INQUIRY命令;也可以為:通過該路徑向LUN發送SCSI協議中的Mode Sense命令。
            [0047]下面給出LUN上設置標志位的兩種實現方法:
            [0048]1.LUN組內的每個LUN的數據結構內部可以定義一個指針,默認指向空。當需要在LUN上置標志位說明某些路徑不能使用時,就臨時分配一個字節(8個比特,可以代表8條路徑的狀態)的內存,并且給這個字節賦值(比如00000001代表不能使用LUN組上的第一條路徑,00001001代表不能使用LUN組上的第一和第四條路徑),然后讓前面提到的指針指向該內存空間。這樣這個指針就起到了標志位的作用。如果LUN組上的路徑較多,那就分配兩個字節或者三個字節的內存來表示。
            [0049]2.LUN組內的每個LUN的數據結構內部可以定義一個字節(8個比特,可以代表8條路徑的狀態;如果LUN組上的路徑較多,就定義兩個字節或三個字節),默認值為O。當需要在LUN上置標志位說明某些路徑不能使用時,就給這個字節內部賦值,比如00000001代表不能使用LUN組上的第一條路徑,00001001代表不能使用LUN組上的第一和第四條路徑。這樣這個字節就起到了標志位的作用。
            [0050]上述方法可以選擇可用路徑路由10,同時也會發現故障路徑,即路徑狀態為失敗或者部分失敗的路徑。故障路徑被排除后,還需要回收故障路徑。因此,在一種優選的實施方式中,如果某個LUN組有故障路徑,可以不定期或周期性地檢查LUN組內是否所有的LUN都能夠重新使用該路徑訪問。這里周期性檢查的周期可以由用戶配置。例如可以I分鐘檢查一次或半分鐘檢查一次等;檢查的方法可以為:通過該路徑向LUN發送SCSI協議中的INQUIRY命令,也可以通過該路徑向LUN發送SCSI協議中的Mode Sense命令進行檢查。如果LUN組內所有LUN都能通過該路徑訪問,則置LUN組上該路徑的路徑狀態為可用,如果原來的路徑狀態為部分失敗,還要刪除LUN上的不能使用該路徑的標志位;如果部分LUN能訪問,部分LUN不能訪問(這種情況極少),則置LUN組上該路徑的路徑狀態為部分失敗,在LUN組內的那些不能訪問到的LUN上置標志位,表示這些LUN不能使用這條路徑來路由1 ;如果LUN組內所有LUN都不能通過該路徑訪問,則繼續不定期或周期性地檢查。這樣,修復故障路徑后,就能夠恢復路徑的狀態到可用,可以進一步減少1延遲。
            [0051]現有技術中,多路徑軟件對每個LUN上的多路徑分開處理。當在某個LUN的某條路徑上路由1失敗時,則置該路徑狀態為失敗;如果其它LUN上也有相同的路徑,那么這些路徑還是可用狀態。但是在絕大多數情況下,這些LUN上的相同路徑實際上是有故障不能用來路由1的,不過多路徑軟件并不知道,還會使用這些實際上已經故障了的但狀態仍是可用的路徑來路由10,造成更多的1路由失敗,導致1延遲增大以及系統開銷的上升。采用本發明中的多路徑管理方法,就能很好地規避上述問題。當在某個LUN的某條路徑上路由1失敗時,會在LUN組上置該路徑狀態為失敗狀態(只要該路徑不是LUN組的最后一條路徑狀態為可用的路徑),LUN組內所有的LUN都不在使用該路徑。
            [0052]在同一個發明構思下,本發明的實施方式還公開了一種多路徑管理系統,用于管理從主機路由1到存儲系統的多個邏輯卷LUN的路徑,其中存儲系統的多個LUN被映射到主機上,圖7示出了一種多路徑管理系統的結構框圖,根據圖7,該系統包括:分組裝置702,被配置為將在主機和存儲系統之間具有相同路徑的LUN劃分為一個LUN組;以及路徑選擇裝置703,被配置為對一個LUN組中的所有LUN使用一個路徑選擇線程管理所述相同路徑。在一種優選的實施方式中,該系統還包括:獲得裝置701,被配置為獲得在主機和存儲系統之間具有相同路徑的LUN。
            [0053]在一種實施方式中,上述獲得裝置包括:掃描裝置,被配置為掃描獲得主機端映射的至少一部分LUN ;查詢裝置,被配置為分別通過主機上的各總線適配器HBA端口向光纖交換機發送命令,來查詢HBA端口能夠訪問的存儲系統的各光纖適配器FC端口的端口 ID ;接收裝置,被配置為分別接收光纖交換機返回的各HBA端口能夠訪問的各FC端口的端口 ID ;不同路徑LUN獲得裝置,被配置為如果各HBA端口已經與返回的端口 ID對應的各FC端口建立了連接,分別通過各HBA端口對能夠訪問的各FC端口發送命令,獲得不同路徑上的LUN,其中,特定的HBA端口 ID到特定FC端口 ID為LUN的一條路徑。以及相同路徑LUN獲得裝置,被配置為根據獲得的主機端映射的至少一部分LUN以及不同路徑上的LUN,獲得在主機和存儲系統之間具有相同路徑的LUN。
            [0054]在另一種實施方式中,路徑選擇裝置包括:狀態維護裝置,被配置為對每一條路徑維護該路徑的路徑狀態,其中路徑狀態有3種:可用一表示該路徑沒有故障,能夠路由1 ;失敗一表示該路徑有故障,不能路由1 ;以及部分失敗一表示該路徑對部分LUN不能路由10。
            [0055]在又一種實施方式中,路徑選擇裝置進一步被配置為:接收路由1到LUN的請求;通過該LUN所在的LUN組使用的路徑選擇線程在所述相同路徑上選擇一條路徑狀態為可用或者部分失敗的路徑;利用選擇的路徑路由該1到該LUN。在進一步的實施方式中,路徑選擇裝置利用選擇的路徑路由該1到該LUN后進一步配置為:判斷1路由是否成功;如果1路由失敗,進一步判斷該路徑是否為該LUN所在LUN組的最后一條路徑狀態為可用的路徑;如果該路徑是該LUN所在LUN組的最后一條路徑狀態為可用的路徑,則置該LUN組上的該路徑狀態為部分失敗;并在該LUN上置標志位,表示該LUN不能使用該路徑路由10。如果路徑選擇裝置判斷如果該路徑不是該LUN所在LUN組的最后一條路徑狀態為可用的路徑,則置該LUN組上的該路徑的路徑狀態為失敗從而使LUN組內的所有LUN不再使用該路徑來路由10;以及應用該LUN所在的LUN組使用的路徑選擇線程在所述相同路徑上重新選擇另外一條可用路徑。
            [0056]在更進一步的實施方式中,路徑選擇裝置置該LUN組上的該路徑的路徑狀態為失敗還被進一步配置為:檢查LUN組內的其它LUN是否能夠使用該失敗路徑來訪問;如果LUN組內所有其它LUN都不能夠使用該失敗路徑來訪問,則保持LUN組上的該路徑狀態為失敗;如果LUN組內的其它LUN中有些LUN能給通過該失敗路徑訪問,則將LUN組上的該路徑的路徑狀態置為部分失敗,在LUN組內的所有不能通過該路徑訪問到的LUN上置標志位,表示這些LUN不能夠使用該路徑來路由10。
            [0057]在又一個實施方式中,該系統還包括路徑恢復裝置,被配置為:對于路徑狀態為路徑失敗或者路徑部分失敗的路徑,檢查LUN組內是否所有的LUN都能夠重新使用該路徑訪問;如果LUN組內所有LUN都能通過該路徑訪問,則置LUN組上該路徑的路徑狀態為可用,并且如果原來的路徑狀態為部分失敗,刪除LUN上的不能使用該路徑的標志位;如果部分LUN能訪問,部分LUN不能訪問,則置LUN組上該路徑的路徑狀態為部分失敗,在LUN組內的那些不能訪問到的LUN上置標志位,表示這些LUN不能使用這條路徑來路由1 ;以及如果LUN組內所有LUN都不能通過該路徑訪問,則繼續檢查。
            [0058]附圖中的流程圖和框圖顯示了根據本發明的多個實施例的系統、方法和計算機程序產品的可能實現的體系架構、功能和操作。在這點上,流程圖或框圖中的每個方框可以代表一個模塊、程序段或代碼的一部分,所述模塊、程序段或代碼的一部分包含一個或多個用于實現規定的邏輯功能的可執行指令。也應當注意,在有些作為替換的實現中,方框中所標注的功能也可以以不同于附圖中所標注的順序發生。例如,兩個連續的方框實際上可以基本并行地執行,它們有時也可以按相反的順序執行,這依所涉及的功能而定。也要注意的是,框圖和/或流程圖中的每個方框、以及框圖和/或流程圖中的方框的組合,可以用執行規定的功能或操作的專用的基于硬件的系統來實現,或者可以用專用硬件與計算機指令的組合來實現。
            [0059]以上已經描述了本發明的各實施例,上述說明是示例性的,并非窮盡性的,并且也不限于所披露的各實施例。在不偏離所說明的各實施例的范圍和精神的情況下,對于本【技術領域】的普通技術人員來說許多修改和變更都是顯而易見的。本文中所用術語的選擇,旨在最好地解釋各實施例的原理、實際應用或對市場中的技術的技術改進,或者使本【技術領域】的其它普通技術人員能理解本文披露的各實施例。
            【權利要求】
            1.一種多路徑管理方法,用于管理從主機路由1到存儲系統的多個邏輯卷LUN的路徑,其中存儲系統的多個LUN被映射到主機上,該方法包括: 將在主機和存儲系統之間具有相同路徑的LUN劃分為一個LUN組;以及 對一個LUN組中的所有LUN使用一個路徑選擇線程管理所述相同路徑。
            2.如權利要求1所述的方法,該方法還包括:獲得在主機和存儲系統之間具有相同路徑的LUN。
            3.如權利要求2所述的方法,其中獲得在主機和存儲系統之間具有相同路徑的LUN包括: 掃描獲得主機端映射的至少一部分LUN ; 分別通過主機上的各總線適配器HBA端口向光纖交換機發送命令,來查詢HBA端口能夠訪問的存儲系統的各光纖適配器FC端口的端口 ID ; 分別接收光纖交換機返回的各HBA端口能夠訪問的各FC端口的端口 ID ; 如果各HBA端口已經與返回的端口 ID對應的各FC端口建立了連接,分別通過各HBA端口對能夠訪問的各FC端口發送命令,獲得不同路徑上的LUN,其中,特定的HBA端口 ID到特定FC端口 ID為LUN的一條路徑; 根據獲得的主機端映射的至少一部分LUN以及不同路徑上的LUN,獲得在主機和存儲系統之間具有相同路徑的LUN。
            4.如權利要求1-3之一所述的方法,其中對一個LUN組中的所有LUN使用一個路徑選擇線程管理所述相同路徑包括:對每一條路徑維護該路徑的路徑狀態,其中路徑狀態有3種: 可用一表示該路徑沒有故障,能夠路由1 ; 失敗一表示該路徑有故障,不能路由1 ; 部分失敗一表示該路徑對部分LUN不能路由10。
            5.如權利要求4所述的方法,其中對一個LUN組中的所有LUN使用一個路徑選擇線程管理所述相同路徑包括: 接收路由1到LUN的請求; 通過該LUN所在的LUN組使用的路徑選擇線程在所述相同路徑上選擇一條狀態為可用或者部分失敗的路徑; 利用選擇的路徑路由該1到該LUN。
            6.如權利要求5所述的方法,其中利用選擇的路徑路由該1到該LUN后進一步包括: 判斷1路由是否成功; 如果1路由失敗,進一步判斷該路徑是否為該LUN所在LUN組的最后一條路徑狀態為可用的路徑; 如果該路徑是該LUN所在LUN組的最后一條路徑狀態為可用的路徑,則 置該LUN組上的該路徑狀態為部分失敗; 在該LUN上置標志位,表示該LUN不能使用該路徑路由10。
            7.如權利要求6所述的方法,其中如果該路徑不是該LUN所在LUN組的最后一條路徑狀態為可用的路徑,則 置該LUN組上的該路徑的路徑狀態為失敗從而使LUN組內的所有LUN不再使用該路徑來路由1 ;以及 應用該LUN所在的LUN組使用的路徑選擇線程在所述相同路徑上重新選擇另外一條可用路徑。
            8.如權利要求7所述的方法,其中所述置該LUN組上的該路徑的路徑狀態為失敗還包括: 檢查LUN組內的其它LUN是否能夠使用該失敗路徑來訪問; 如果LUN組內所有其它LUN都不能夠使用該失敗路徑來訪問,則保持LUN組上的該路徑狀態為失敗; 如果LUN組內的其它LUN中有些LUN能給通過該失敗路徑訪問,則將LUN組上的該路徑的路徑狀態置為部分失敗,在LUN組內的所有不能通過該路徑訪問的LUN上置標志位,表示這些LUN不能夠使用該路徑來路由10。
            9.如權利要求4-8之一所述的方法,該方法還包括: 對于路徑狀態為路徑失敗或者路徑部分失敗的路徑,檢查LUN組內是否所有的LUN都能夠重新使用該路徑訪問; 如果LUN組內所有LUN都能通過該路徑訪問,則置LUN組上該路徑的路徑狀態為可用,并且如果原來的路徑狀態為部分失敗,刪除LUN上的不能使用該路徑的標志位; 如果部分LUN能訪問,部分LUN不能訪問,則置LUN組上該路徑的路徑狀態為部分失敗,在LUN組內的那些不能訪問的LUN上置標志位,表示這些LUN不能使用這條路徑來路由1 ; 如果LUN組內所有LUN都不能通過該路徑訪問,則繼續檢查。
            10.一種多路徑管理系統,用于管理從主機路由1到存儲系統的多個邏輯卷LUN的路徑,其中存儲系統的多個LUN被映射到主機上,該系統包括: 分組裝置,被配置為將在主機和存儲系統之間具有相同路徑的LUN劃分為一個LUN組; 路徑選擇裝置,被配置為對一個LUN組中的所有LUN使用一個路徑選擇線程管理所述相同路徑。
            11.如權利要求10所述的系統,該系統還包括:獲得裝置,被配置為獲得在主機和存儲系統之間具有相同路徑的LUN。
            12.如權利要求11所述的系統,其中獲得裝置包括: 掃描裝置,被配置為掃描獲得主機端映射的至少一部分LUN ; 查詢裝置,被配置為分別通過主機上的各總線適配器HBA端口向光纖交換機發送命令,來查詢HBA端口能夠訪問的存儲系統的各光纖適配器FC端口的端口 ID ; 接收裝置,被配置為分別接收光纖交換機返回的各HBA端口能夠訪問的各FC端口的端Π ID ; 不同路徑LUN獲得裝置,被配置為如果各HBA端口已經與返回的端口 ID對應的各FC端口建立了連接,分別通過各HBA端口對能夠訪問的各FC端口發送命令,獲得不同路徑上的LUN,其中,特定的HBA端口 ID到特定FC端口 ID為LUN的一條路徑; 相同路徑LUN獲得裝置,被配置為根據獲得的主機端映射的至少一部分LUN以及不同路徑上的LUN,獲得在主機和存儲系統之間具有相同路徑的LUN。
            13.如權利要求10-12之一所述的系統,其中路徑選擇裝置包括:狀態維護裝置,被配置為對每一條路徑維護該路徑的路徑狀態,其中路徑狀態有3種: 可用一表示該路徑沒有故障,能夠路由1 ; 失敗一表示該路徑有故障,不能路由1 ; 部分失敗一表示該路徑對部分LUN不能路由10。
            14.如權利要求13所述的系統,其中路徑選擇裝置進一步被配置為: 接收路由1到LUN的請求; 通過該LUN所在的LUN組使用的路徑選擇線程在所述相同路徑上選擇一條路徑狀態為可用或者部分失敗的路徑; 利用選擇的路徑路由該1到該LUN。
            15.如權利要求14所述的系統,其中路徑選擇裝置利用選擇的路徑路由該1到該LUN后進一步配置為: 判斷1路由是否成功; 如果1路由失敗,進一步判斷該路徑是否為該LUN所在LUN組的最后一條路徑狀態為可用的路徑; 如果該路徑是該LUN所在LUN組的最后一條路徑狀態為可用的路徑,則 置該LUN組上的該路徑狀態為部分失敗; 在該LUN上置標志位,表示該LUN不能使用該路徑路由10。
            16.如權利要求15所述的系統,其中路徑選擇裝置判斷如果該路徑不是該LUN所在LUN組的最后一條路徑狀態為可用的路徑,則 置該LUN組上的該路徑的路徑狀態為失敗從而使LUN組內的所有LUN不再使用該路徑來路由1 ;以及 應用該LUN所在的LUN組使用的路徑選擇線程在所述相同路徑上重新選擇另外一條可用路徑。
            17.如權利要求16所述的系統,其中路徑選擇裝置置該LUN組上的該路徑的路徑狀態為失敗還被進一步配置為: 檢查LUN組內的其它LUN是否能夠使用該失敗路徑來訪問; 如果LUN組內所有其它LUN都不能夠使用該失敗路徑來訪問,則保持LUN組上的該路徑狀態為失敗; 如果LUN組內的其它LUN中有些LUN能給通過該失敗路徑訪問,則將LUN組上的該路徑的路徑狀態置為部分失敗,在LUN組內的所有不能通過該路徑訪問的LUN上置標志位,表示這些LUN不能夠使用該路徑來路由10。
            18.如權利要求13-17之一所述的系統,該系統還包括路徑恢復裝置,被配置為: 對于路徑狀態為路徑失敗或者路徑部分失敗的路徑,檢查LUN組內是否所有的LUN都能夠重新使用該路徑訪問; 如果LUN組內所有LUN都能通過該路徑訪問,則置LUN組上該路徑的路徑狀態為可用,并且如果原來的路徑狀態為部分失敗,刪除LUN上的不能使用該路徑的標志位; 如果部分LUN能訪問,部分LUN不能訪問,則置LUN組上該路徑的路徑狀態為部分失敗,在LUN組內的那些不能訪問的LUN上置標志位,表示這些LUN不能使用這條路徑來路由
            10;
            如果LUN組內所有LUN都不能通過該路徑訪問,則繼續檢查。
            【文檔編號】G06F3/06GK104423889SQ201310375639
            【公開日】2015年3月18日 申請日期:2013年8月26日 優先權日:2013年8月26日
            【發明者】張耀東, 付曉飛, 胡家樂, 石鵬, 余志華 申請人:國際商業機器公司
            網友詢問留言 已有0條留言
            • 還沒有人留言評論。精彩留言會獲得點贊!
            1
            婷婷六月激情在线综合激情,亚洲国产大片,久久中文字幕综合婷婷,精品久久久久久中文字幕,亚洲一区二区三区高清不卡,99国产精品热久久久久久夜夜嗨 ,欧美日韩亚洲综合在线一区二区,99国产精品电影,伊人精品线视天天综合,精品伊人久久久大香线蕉欧美
            亚洲精品1区 国产成人一级 91精品国产欧美一区二区 亚洲精品乱码久久久久久下载 国产精品久久久久久久伊一 九色国产 国产精品九九视频 伊人久久成人爱综合网 欧美日韩亚洲区久久综合 欧美日本一道免费一区三区 夜夜爽一区二区三区精品 欧美日韩高清一区二区三区 国产成人av在线 国产精品对白交换绿帽视频 国产视频亚洲 国产在线欧美精品 国产精品综合网 国产日韩精品欧美一区色 国产日韩精品欧美一区喷 欧美日韩在线观看区一二 国产区精品 欧美视频日韩视频 中文字幕天天躁日日躁狠狠躁97 视频一二三区 欧美高清在线精品一区二区不卡 国产精品揄拍一区二区久久 99久久综合狠狠综合久久aⅴ 亚洲乱码视频在线观看 日韩在线第二页 亚洲精品无码专区在线播放 成人亚洲网站www在线观看 欧美三级一区二区 99久久精品免费看国产高清 91麻豆国产在线观看 最新日韩欧美不卡一二三区 成人在线观看不卡 日韩国产在线 在线亚洲精品 亚洲午夜久久久久中文字幕 国产精品成人久久久久久久 精品国产一区二区在线观看 欧美精品国产一区二区三区 中文在线播放 亚洲第一页在线视频 国产午夜精品福利久久 九色国产 精品国产九九 国产永久视频 久久精品人人做人人综合试看 国产一区二区三区免费观看 亚洲精品国产电影 9999热视频 国产精品资源在线 麻豆久久婷婷国产综合五月 国产精品免费一级在线观看 亚洲国产一区二区三区青草影视 中文在线播放 国产成人综合在线 国产在线观看色 国产亚洲三级 国产片一区二区三区 久久99精品久久久久久牛牛影视 亚洲欧美日韩国产 四虎永久免费网站 国产一毛片 国产精品视频在 九九热在线精品 99精品福利视频 色婷婷色99国产综合精品 97成人精品视频在线播放 精品久久久久久中文字幕 亚洲欧美一区二区三区孕妇 亚洲欧美成人网 日韩高清在线二区 国产尤物在线观看 在线不卡一区二区 91网站在线看 韩国精品福利一区二区 欧美日韩国产成人精品 99热精品久久 国产精品免费视频一区 高清视频一区 精品九九久久 欧美日韩在线观看免费 91欧美激情一区二区三区成人 99福利视频 亚洲国产精品91 久热国产在线 精品久久久久久中文字幕女 国产精品久久久久久久久99热 成人自拍视频网 国产精品视频久久久久久 久久影院国产 国产玖玖在线观看 99精品在线免费 亚洲欧美一区二区三区导航 久久久久久久综合 国产欧美日韩精品高清二区综合区 国产精品视频自拍 亚洲一级片免费 久久久久久九九 国产欧美自拍视频 视频一区二区在线观看 欧美日韩一区二区三区久久 中文在线亚洲 伊人热人久久中文字幕 日韩欧美亚洲国产一区二区三区 欧美亚洲国产成人高清在线 欧美日韩国产码高清综合人成 国产性大片免费播放网站 亚洲午夜综合网 91精品久久一区二区三区 国产无套在线播放 国产精品视频网站 国产成人亚洲精品老王 91在线网站 国产视频97 欧美黑人欧美精品刺激 国产一区二区三区免费在线视频 久久久国产精品免费看 99re6久精品国产首页 久久精品91 国产成人一级 国产成人精品曰本亚洲 日本福利在线观看 伊人成综合网 久久综合一本 国产综合久久久久久 久久精品成人免费看 久久福利 91精品国产91久久久久久麻豆 亚洲精品成人在线 亚洲伊人久久精品 欧美日本二区 国产永久视频 国产一区二 一区二区福利 国产一毛片 亚洲精品1区 毛片一区二区三区 伊人久久大香线蕉综合影 国产欧美在线观看一区 亚洲国产欧洲综合997久久 国产一区二区免费视频 国产91精品对白露脸全集观看 久久亚洲国产伦理 欧美成人伊人久久综合网 亚洲性久久久影院 久久99国产精一区二区三区! 91精品国产欧美一区二区 欧美日韩亚洲区久久综合 日韩精品一二三区 久久久夜色精品国产噜噜 国产在线精品福利91香蕉 久久久久久久亚洲精品 97se色综合一区二区二区 91国语精品自产拍在线观看性色 91久久国产综合精品女同我 日韩中文字幕a 国产成人亚洲日本精品 久久国产精品-国产精品 久久国产经典视频 久久国产精品伦理 亚洲第一页在线视频 国产精品久久久久三级 日韩毛片网 久久免费高清视频 麻豆国产在线观看一区二区 91麻豆国产福利在线观看 国产成人精品男人的天堂538 一区二区三区中文字幕 免费在线视频一区 欧美日韩国产成人精品 国产综合网站 国产资源免费观看 亚洲精品亚洲人成在线播放 精品久久久久久中文字幕专区 亚洲人成人毛片无遮挡 国产一起色一起爱 国产香蕉精品视频在 九九热免费观看 日韩亚洲欧美一区 九九热精品在线观看 精品久久久久久中文字幕专区 亚洲欧美自拍偷拍 国产精品每日更新 久久久久国产一级毛片高清板 久久天天躁狠狠躁夜夜中文字幕 久久精品片 日韩在线毛片 国产成人精品本亚洲 国产成人精品一区二区三区 九九热在线观看 国产r级在线观看 国产欧美日韩精品高清二区综合区 韩国电影一区二区 国产精品毛片va一区二区三区 五月婷婷伊人网 久久一区二区三区免费 一本色道久久综合狠狠躁篇 亚洲综合色站 国产尤物在线观看 亚洲一区亚洲二区 免费在线视频一区 欧洲精品视频在线观看 日韩中文字幕a 中文字幕日本在线mv视频精品 91精品在线免费视频 精品国产免费人成在线观看 精品a级片 中文字幕日本在线mv视频精品 日韩在线精品视频 婷婷丁香色 91精品国产高清久久久久 国产成人精品日本亚洲直接 五月综合视频 欧美日韩在线亚洲国产人 精液呈暗黄色 亚洲乱码一区 久久精品中文字幕不卡一二区 亚洲天堂精品在线 激情婷婷综合 国产免费久久精品久久久 国产精品亚洲二区在线 久久免费播放视频 五月婷婷丁香综合 在线亚洲欧美日韩 久久免费精品高清麻豆 精品久久久久久中文字幕 亚洲一区网站 国产精品福利社 日韩中文字幕免费 亚洲综合丝袜 91精品在线播放 国产精品18 亚洲日日夜夜 伊人久久大香线蕉综合影 亚洲精品中文字幕乱码影院 亚洲一区二区黄色 亚洲第一页在线视频 一区二区在线观看视频 国产成人福利精品视频 亚洲高清二区 国内成人免费视频 精品亚洲性xxx久久久 国产精品合集一区二区三区 97av免费视频 国产一起色一起爱 国产区久久 国产资源免费观看 99精品视频免费 国产成人一级 国产精品九九免费视频 欧美91精品久久久久网免费 99热国产免费 久久精品色 98精品国产综合久久 久久精品播放 中文字幕视频免费 国产欧美日韩一区二区三区在线 精品久久蜜桃 国产小视频精品 一本色道久久综合狠狠躁篇 91在线免费观看 亚洲精品区 伊人成综合网 伊人热人久久中文字幕 伊人黄色片 99国产精品热久久久久久夜夜嗨 久久免费精品视频 亚洲一区二区三区高清不卡 久久久久国产一级毛片高清板 国产片一区二区三区 久久狠狠干 99久久婷婷国产综合精品电影 国产99区 国产精品成人久久久久 久久狠狠干 青青国产在线观看 亚洲高清国产拍精品影院 国产精品一区二区av 九九热在线免费视频 伊人久久国产 国产精品久久久久久久久久一区 在线观看免费视频一区 国产精品自在在线午夜区app 国产精品综合色区在线观看 国产毛片久久久久久国产毛片 97国产免费全部免费观看 国产精品每日更新 国产尤物视频在线 九九视频这里只有精品99 一本一道久久a久久精品综合 久久综合给会久久狠狠狠 国产成人精品男人的天堂538 欧美一区二区高清 毛片一区二区三区 国产欧美日韩在线观看一区二区三区 在线国产二区 欧美不卡网 91在线精品中文字幕 在线国产福利 国内精品91久久久久 91亚洲福利 日韩欧美国产中文字幕 91久久精品国产性色也91久久 亚洲性久久久影院 欧美精品1区 国产热re99久久6国产精品 九九热免费观看 国产精品欧美日韩 久久久久国产一级毛片高清板 久久国产经典视频 日韩欧美亚洲国产一区二区三区 欧美亚洲综合另类在线观看 国产精品自在在线午夜区app 97中文字幕在线观看 视频一二三区 精品国产一区在线观看 国产欧美日韩在线一区二区不卡 欧美一区二三区 伊人成人在线观看 国内精品91久久久久 97在线亚洲 国产在线不卡一区 久久久全免费全集一级全黄片 国产精品v欧美精品∨日韩 亚洲毛片网站 在线不卡一区二区 99re热在线视频 久久激情网 国产毛片一区二区三区精品 久久亚洲综合色 中文字幕视频免费 国产视频亚洲 婷婷伊人久久 国产一区二区免费播放 久久99国产精品成人欧美 99国产在线视频 国产成人免费视频精品一区二区 国产不卡一区二区三区免费视 国产码欧美日韩高清综合一区 久久精品国产主播一区二区 国产一区电影 久久精品国产夜色 国产精品国产三级国产 日韩一区二区三区在线 久久97久久97精品免视看 久久国产免费一区二区三区 伊人久久大香线蕉综合电影网 99re6久精品国产首页 久久激情网 亚洲成人高清在线 国产精品网址 国产成人精品男人的天堂538 香蕉国产综合久久猫咪 国产专区中文字幕 91麻豆精品国产高清在线 久久国产经典视频 国产精品成人va在线观看 国产精品爱啪在线线免费观看 日本精品久久久久久久久免费 亚洲综合一区二区三区 久久五月网 精品国产网红福利在线观看 久久综合亚洲伊人色 亚洲国产精品久久久久久网站 在线日韩国产 99国产精品热久久久久久夜夜嗨 国产综合精品在线 国产区福利 精品亚洲综合久久中文字幕 国产制服丝袜在线 毛片在线播放网站 在线观看免费视频一区 国产精品久久久精品三级 亚洲国产电影在线观看 最新日韩欧美不卡一二三区 狠狠综合久久综合鬼色 日本精品1在线区 国产日韩一区二区三区在线播放 欧美日韩精品在线播放 亚洲欧美日韩国产一区二区三区精品 久久综合久久网 婷婷六月激情在线综合激情 亚洲乱码一区 国产专区91 97av视频在线观看 精品久久久久久中文字幕 久久五月视频 国产成人福利精品视频 国产精品网址 中文字幕视频在线 精品一区二区三区免费视频 伊人手机在线视频 亚洲精品中文字幕乱码 国产在线视频www色 色噜噜国产精品视频一区二区 精品亚洲成a人在线观看 国产香蕉尹人综合在线 成人免费一区二区三区在线观看 国产不卡一区二区三区免费视 欧美精品久久天天躁 国产专区中文字幕 久久精品国产免费中文 久久精品国产免费一区 久久无码精品一区二区三区 国产欧美另类久久久精品免费 欧美精品久久天天躁 亚洲精品在线视频 国产视频91在线 91精品福利一区二区三区野战 日韩中文字幕免费 国产精品99一区二区三区 欧美成人高清性色生活 国产精品系列在线观看 亚洲国产福利精品一区二区 国产成人在线小视频 国产精品久久久久免费 99re热在线视频 久久久久久久综合 一区二区国产在线播放 成人国产在线视频 亚洲精品乱码久久久久 欧美日韩一区二区综合 精品久久久久免费极品大片 中文字幕视频二区 激情粉嫩精品国产尤物 国产成人精品一区二区视频 久久精品中文字幕首页 亚洲高清在线 国产精品亚洲一区二区三区 伊人久久艹 中文在线亚洲 国产精品一区二区在线播放 国产精品九九免费视频 亚洲二区在线播放 亚洲狠狠婷婷综合久久久久网站 亚洲欧美日韩网站 日韩成人精品 亚洲国产一区二区三区青草影视 91精品国产福利在线观看 国产精品久久久久久久久99热 国产一区二区精品尤物 久碰香蕉精品视频在线观看 亚洲日日夜夜 在线不卡一区二区 国产午夜亚洲精品 九九热在线视频观看这里只有精品 伊人手机在线视频 91免费国产精品 日韩欧美中字 91精品国产91久久久久 国产全黄三级播放 视频一区二区三区免费观看 国产开裆丝袜高跟在线观看 国产成人欧美 激情综合丝袜美女一区二区 国产成人亚洲综合无 欧美精品一区二区三区免费观看 欧美亚洲国产日韩 日韩亚州 国产欧美日韩精品高清二区综合区 亚洲午夜国产片在线观看 精品久久久久久中文字幕 欧美精品1区 久久伊人久久亚洲综合 亚洲欧美日韩精品 国产成人精品久久亚洲高清不卡 久久福利影视 国产精品99精品久久免费 久久久久免费精品视频 国产日产亚洲精品 亚洲国产午夜电影在线入口 精品无码一区在线观看 午夜国产精品视频 亚洲一级片免费 伊人久久大香线蕉综合影 国产精品久久影院 久碰香蕉精品视频在线观看 www.欧美精品 在线小视频国产 亚洲国产天堂久久综合图区 欧美一区二区三区不卡 日韩美女福利视频 九九精品免视频国产成人 不卡国产00高中生在线视频 亚洲第一页在线视频 欧美日韩在线播放成人 99re视频这里只有精品 国产精品91在线 精品乱码一区二区三区在线 国产区久久 91麻豆精品国产自产在线观看一区 日韩精品成人在线 九九热在线观看 国产精品久久不卡日韩美女 欧美一区二区三区综合色视频 欧美精品免费一区欧美久久优播 国产精品网址 国产专区中文字幕 国产精品欧美亚洲韩国日本久久 日韩美香港a一级毛片 久久精品123 欧美一区二区三区免费看 99r在线视频 亚洲精品国产字幕久久vr 国产综合激情在线亚洲第一页 91免费国产精品 日韩免费小视频 亚洲国产精品综合一区在线 国产亚洲第一伦理第一区 在线亚洲精品 国产精品一区二区制服丝袜 国产在线成人精品 九九精品免视频国产成人 亚洲国产网 欧美日韩亚洲一区二区三区在线观看 在线亚洲精品 欧美一区二区三区高清视频 国产成人精品男人的天堂538 欧美日韩在线观看区一二 亚洲欧美一区二区久久 久久精品中文字幕首页 日本高清www午夜视频 久久精品国产免费 久久999精品 亚洲国产精品欧美综合 88国产精品视频一区二区三区 91久久偷偷做嫩草影院免费看 国产精品夜色视频一区二区 欧美日韩导航 国产成人啪精品午夜在线播放 一区二区视频在线免费观看 99久久精品国产自免费 精液呈暗黄色 久久99国产精品 日本精品久久久久久久久免费 精品国产97在线观看 99re视频这里只有精品 国产视频91在线 999av视频 亚洲美女视频一区二区三区 久久97久久97精品免视看 亚洲国产成人久久三区 99久久亚洲国产高清观看 日韩毛片在线视频 综合激情在线 91福利一区二区在线观看 一区二区视频在线免费观看 激情粉嫩精品国产尤物 国产成人精品曰本亚洲78 国产成人精品本亚洲 国产精品成人免费视频 国产成人啪精品视频免费软件 久久精品国产亚洲妲己影院 国产精品成人久久久久久久 久久大香线蕉综合爱 欧美一区二区三区高清视频 99热国产免费 在线观看欧美国产 91精品视频在线播放 国产精品福利社 欧美精品一区二区三区免费观看 国产一区二区免费视频 国产午夜精品一区二区 精品视频在线观看97 91精品福利久久久 国产一区福利 国产综合激情在线亚洲第一页 国产精品久久久久久久久久久不卡 九色国产 在线日韩国产 黄网在线观看 亚洲一区小说区中文字幕 中文字幕丝袜 日本二区在线观看 日本国产一区在线观看 欧美日韩一区二区三区久久 欧美精品亚洲精品日韩专 国产日产亚洲精品 久久综合九色综合欧美播 亚洲国产欧美无圣光一区 欧美视频区 亚洲乱码视频在线观看 久久无码精品一区二区三区 九九热精品免费视频 久久99精品久久久久久牛牛影视 国产精品成久久久久三级 国产一区福利 午夜国产精品视频 日本二区在线观看 99久久网站 国产亚洲天堂 精品国产一区二区三区不卡 亚洲国产日韩在线一区 国产成人综合在线观看网站 久久免费高清视频 欧美在线导航 午夜精品久久久久久99热7777 欧美久久综合网 国产小视频精品 国产尤物在线观看 亚洲国产精品综合一区在线 欧美一区二区三区不卡视频 欧美黑人欧美精品刺激 日本福利在线观看 久久国产偷 国产手机精品一区二区 国产热re99久久6国产精品 国产高清啪啪 欧美亚洲国产成人高清在线 国产在线第三页 亚洲综合一区二区三区 99r在线视频 99精品久久久久久久婷婷 国产精品乱码免费一区二区 国产在线精品福利91香蕉 国产尤物视频在线 五月婷婷亚洲 中文字幕久久综合伊人 亚洲精品一级毛片 99国产精品电影 在线视频第一页 久久99国产精品成人欧美 国产白白视频在线观看2 成人精品一区二区www 亚洲成人网在线观看 麻豆91在线视频 色综合合久久天天综合绕视看 久久精品国产免费高清 国产不卡一区二区三区免费视 欧美国产中文 99精品欧美 九九在线精品 国产中文字幕在线免费观看 国产一区中文字幕在线观看 国产成人一级 国产精品一区二区制服丝袜 国产一起色一起爱 亚洲精品成人在线 亚洲欧美精品在线 国产欧美自拍视频 99精品久久久久久久婷婷 久99视频 国产热re99久久6国产精品 视频一区亚洲 国产精品视频分类 国产精品成在线观看 99re6久精品国产首页 亚洲在成人网在线看 亚洲国产日韩在线一区 久久国产三级 日韩国产欧美 欧美在线一区二区三区 国产精品美女一级在线观看 成人午夜免费福利视频 亚洲天堂精品在线 91精品国产手机 欧美日韩视频在线播放 狠狠综合久久综合鬼色 九一色视频 青青视频国产 亚洲欧美自拍一区 中文字幕天天躁日日躁狠狠躁97 日韩免费大片 996热视频 伊人成综合网 亚洲天堂欧美 日韩精品亚洲人成在线观看 久久综合给会久久狠狠狠 日韩精品亚洲人成在线观看 日韩国产欧美 亚洲成aⅴ人片在线影院八 亚洲精品1区 99久久精品免费 国产精品高清在线观看 国产精品久久久免费视频 在线亚洲欧美日韩 91在线看视频 国产精品96久久久久久久 欧美日韩国产成人精品 91在线亚洲 热久久亚洲 国产精品美女免费视频观看 日韩在线毛片 亚洲永久免费视频 九九免费在线视频 亚洲一区网站 日本高清二区视频久二区 精品国产美女福利在线 伊人久久艹 国产精品久久久久三级 欧美成人精品第一区二区三区 99久久精品国产自免费 在线观看日韩一区 国产中文字幕一区 成人免费午夜视频 欧美日韩另类在线 久久99国产精品成人欧美 色婷婷中文网 久久天天躁夜夜躁狠狠躁2020 欧美成人伊人久久综合网 国产精品福利资源在线 国产伦精品一区二区三区高清 国产精品亚洲综合色区韩国 亚洲一区欧美日韩 色综合视频 国语自产精品视频在线区 国产高清a 成人国内精品久久久久影 国产在线精品香蕉综合网一区 国产不卡在线看 国产成人精品精品欧美 国产欧美日韩综合精品一区二区三区 韩国电影一区二区 国产在线视频www色 91中文字幕在线一区 国产人成午夜免视频网站 亚洲综合一区二区三区 色综合视频一区二区观看 久久五月网 九九热精品在线观看 国产一区二区三区国产精品 99久热re在线精品996热视频 亚洲国产网 在线视频亚洲一区 日韩字幕一中文在线综合 国产高清一级毛片在线不卡 精品国产色在线 国产高清视频一区二区 精品日本久久久久久久久久 亚洲国产午夜精品乱码 成人免费国产gav视频在线 日韩欧美一区二区在线观看 欧美曰批人成在线观看 韩国电影一区二区 99re这里只有精品6 日韩精品一区二区三区视频 99re6久精品国产首页 亚洲欧美一区二区三区导航 欧美色图一区二区三区 午夜精品视频在线观看 欧美激情在线观看一区二区三区 亚洲热在线 成人国产精品一区二区网站 亚洲一级毛片在线播放 亚洲一区小说区中文字幕 亚洲午夜久久久久影院 国产自产v一区二区三区c 国产精品视频免费 久久调教视频 国产成人91激情在线播放 国产精品欧美亚洲韩国日本久久 久久亚洲日本不卡一区二区 91中文字幕网 成人国产在线视频 国产视频91在线 欧美成人精品第一区二区三区 国产精品福利在线 久久综合九色综合精品 欧美一区二区三区精品 久久国产综合尤物免费观看 久久99青青久久99久久 日韩精品免费 久久国产精品999 91亚洲视频在线观看 国产精品igao视频 色综合区 在线亚洲欧国产精品专区 国产一区二区三区在线观看视频 亚洲精品成人在线 一区二区国产在线播放 中文在线亚洲 亚洲精品第一国产综合野 国产一区二区精品久久 一区二区三区四区精品视频 99热精品久久 中文字幕视频二区 国产成人精品男人的天堂538 99精品影视 美女福利视频一区二区 久久午夜夜伦伦鲁鲁片 综合久久久久久久综合网 国产精品国产欧美综合一区 国产99视频在线观看 国产亚洲女在线精品 婷婷影院在线综合免费视频 国产亚洲3p一区二区三区 91成人爽a毛片一区二区 亚洲一区二区高清 国产欧美亚洲精品第二区首页 欧美日韩导航 亚洲高清二区 欧美激情观看一区二区久久 日韩毛片在线播放 亚洲欧美日韩高清中文在线 亚洲日本在线播放 国产精品一区二区制服丝袜 精品国产一区二区三区不卡 国产不卡在线看 国产欧美网站 四虎永久在线观看视频精品 国产黄色片在线观看 夜夜综合 一本色道久久综合狠狠躁篇 欧美亚洲综合另类在线观看 国产91在线看 伊人久久国产 欧美一区二区在线观看免费网站 国产精品久久久久三级 久久福利 日韩中文字幕a 亚洲午夜久久久久影院 91在线高清视频 国产亚洲一区二区三区啪 久久人精品 国产精品亚洲午夜一区二区三区 综合久久久久久 久久伊人一区二区三区四区 国产综合久久久久久 日韩一区精品视频在线看 国产精品日韩欧美制服 日本精品1在线区 99re视频 无码av免费一区二区三区试看 国产视频1区 日韩欧美中文字幕一区 日本高清中文字幕一区二区三区a 亚洲国产欧美无圣光一区 国产在线视频一区二区三区 欧美国产第一页 在线亚洲欧美日韩 日韩中文字幕第一页 在线不卡一区二区 伊人久久青青 国产精品一区二区在线播放 www.五月婷婷 麻豆久久婷婷国产综合五月 亚洲精品区 久久国产欧美另类久久久 99在线视频免费 伊人久久中文字幕久久cm 久久精品成人免费看 久久这里只有精品首页 88国产精品视频一区二区三区 中文字幕日本在线mv视频精品 国产在线精品成人一区二区三区 伊人精品线视天天综合 亚洲一区二区黄色 国产尤物视频在线 亚洲精品99久久久久中文字幕 国产一区二区三区免费观看 伊人久久大香线蕉综合电影网 国产成人精品区在线观看 日本精品一区二区三区视频 日韩高清在线二区 久久免费播放视频 一区二区成人国产精品 国产精品免费精品自在线观看 亚洲精品视频二区 麻豆国产精品有码在线观看 精品日本一区二区 亚洲欧洲久久 久久中文字幕综合婷婷 中文字幕视频在线 国产成人精品综合在线观看 91精品国产91久久久久福利 精液呈暗黄色 香蕉国产综合久久猫咪 国产专区精品 亚洲精品无码不卡 国产永久视频 亚洲成a人片在线播放观看国产 一区二区国产在线播放 亚洲一区二区黄色 欧美日韩在线观看视频 亚洲精品另类 久久国产综合尤物免费观看 国产一区二区三区国产精品 高清视频一区 国产精品igao视频 国产精品资源在线 久久综合精品国产一区二区三区 www.五月婷婷 精品色综合 99热国产免费 麻豆福利影院 亚洲伊人久久大香线蕉苏妲己 久久电影院久久国产 久久精品伊人 在线日韩理论午夜中文电影 亚洲国产欧洲综合997久久 伊人国产精品 久草国产精品 欧美一区精品二区三区 亚洲成人高清在线 91免费国产精品 日韩精品福利在线 国产一线在线观看 国产不卡在线看 久久99青青久久99久久 亚洲精品亚洲人成在线播放 99久久免费看国产精品 国产日本在线观看 青草国产在线视频 麻豆久久婷婷国产综合五月 国产中文字幕一区 91久久精品国产性色也91久久 国产一区a 国产欧美日韩成人 国产亚洲女在线精品 一区二区美女 中文字幕在线2021一区 在线小视频国产 久久这里只有精品首页 国产在线第三页 欧美日韩中文字幕 在线亚洲+欧美+日本专区 精品国产一区二区三区不卡 久久这里精品 欧美在线va在线播放 精液呈暗黄色 91精品国产手机 91在线免费播放 欧美视频亚洲色图 欧美国产日韩精品 日韩高清不卡在线 精品视频免费观看 欧美日韩一区二区三区四区 国产欧美亚洲精品第二区首页 亚洲韩精品欧美一区二区三区 国产精品视频免费 在线精品小视频 久久午夜夜伦伦鲁鲁片 国产无套在线播放 久热这里只精品99re8久 欧美久久久久 久久香蕉国产线看观看精品蕉 国产成人精品男人的天堂538 亚洲人成网站色7799在线观看 日韩在线第二页 一本色道久久综合狠狠躁篇 国产一区二区三区不卡在线观看 亚洲乱码在线 在线观看欧美国产 久久福利青草精品资源站免费 国产玖玖在线观看 在线亚洲精品 亚洲成aⅴ人在线观看 精品91在线 欧美一区二三区 日韩中文字幕视频在线 日本成人一区二区 日韩免费专区 国内精品在线观看视频 久久国产综合尤物免费观看 国产精品系列在线观看 一本一道久久a久久精品综合 亚洲免费播放 久久精品国产免费 久久人精品 亚洲毛片网站 亚洲成a人一区二区三区 韩国福利一区二区三区高清视频 亚洲精品天堂在线 一区二区三区中文字幕 亚洲国产色婷婷精品综合在线观看 亚洲国产成人久久笫一页 999国产视频 国产精品香港三级在线电影 欧美日韩一区二区三区四区 日韩国产欧美 国产精品99一区二区三区 午夜国产精品理论片久久影院 亚洲精品中文字幕麻豆 亚洲国产高清视频 久久免费手机视频 日韩a在线观看 五月婷婷亚洲 亚洲精品中文字幕麻豆 中文字幕丝袜 www国产精品 亚洲天堂精品在线 亚洲乱码一区 国产日韩欧美三级 久久999精品 伊人热人久久中文字幕 久热国产在线视频 国产欧美日韩在线观看一区二区三区 国产一二三区在线 日韩国产欧美 91精品国产91久久久久 亚洲一区小说区中文字幕 精品一区二区免费视频 国产精品视频免费 国产精品亚洲综合色区韩国 亚洲国产精品成人午夜在线观看 欧美国产日韩精品 中文字幕精品一区二区精品