故障轉移和負載平衡的制作方法

            文檔序號:7610100閱讀:307來源:國知局
            專利名稱:故障轉移和負載平衡的制作方法
            領域本公開涉及用于故障轉移和負載平衡的方法、系統和程序。
            相關技術描述I_T連接點是一對啟動設備與目標設備。請求輸入/輸出(I/O)操作的設備被稱為啟動者,執行這些操作的設備被稱為目標。例如,主計算機可以是啟動者,存儲設備可以是目標。目標可包括一個或多個單獨的存儲設備。
            主機總線適配器(HBA)是“連接”操作系統與小型計算機系統接口(SCSI)總線的硬件設備。HBA管理主計算機與通信路徑之間數據的傳送。HBA成隊(teaming)指的是將若干HBA組合在一起形成“隊”,其中隊中的每一HBA連接,且可將數據路由至特定目標。HBA隊可在因特網小型計算機系統接口(iSCSI)(2003年2月發布的IETF RFC 3347)門戶(portal)組概念上構建。iSCSI由IETF在2003年2月定義為標準。門戶組概念可被描述為iSCSI網絡實體內共同支持使會話與跨這些門戶的連接協調的能力的網絡門戶的集合。HBA成隊可與運行Windows2000、WindowsXP或Windows.NET操作系統的小型計算機系統接口(SCSI)(美國國家標準協會(ANSI)SCSI控制器命令-2(SCC-2)NCITS.3181998)啟動者一起使用。I_T連接點的連接恢復策略可以是基于多個傳輸控制協議(TCP)連接(1981年9月發布的互聯網工程任務組(IETF)因特網標準(草案)(RFC)793)。即,來自運行在Windows操作系統上的iSCSI啟動者的分組在啟動者和目標之間經由多個連接發送和/或接收。如果到同一目標的多個連接建立在一個HBA內,則小型端口驅動器可處理故障轉移(即,當一個連接發生故障時,將分組路由至另一連接)和負載平衡(即,在HBA連接之間平衡負載)。
            然而,本領域中存在對跨各自可具有到同一目標的一個或多個連接的若干HBA進行故障轉移和負載平衡的需求。
            附圖簡述現在參考附圖,所有附圖中相同的參考標號代表相應的部分

            圖1A示出了其中實現某些實施例的計算環境;圖1B示出了其中實現某些特定實施例的計算環境;圖2A以框圖示出了帶有可任選低類過濾驅動器(Class lower filter driver)的Windows存儲設備驅動器棧;圖2B以框圖示出了根據某些實施例可在SCSI環境中使用的具有故障轉移和負載平衡能力的存儲設備驅動器棧;圖3以框圖示出了根據某些實施例具有故障轉移和負載平衡能力的啟動者的配置的示例;圖4A和4B示出了根據某些實施例用于輔助存儲設備棧隱藏的操作;圖5A、5B和5C示出了根據某些實施例的通知機制的操作;以及圖6A和6B示出了根據某些實施例用于負載平衡的操作。
            實施例的詳細描述在以下描述中,對構成說明書的一部分并示出若干實施例的附圖進行了參考。可以理解,可利用其他實施例,且可進行結構和操作性的改變而不背離實施例的范圍。
            圖1A示出了可在其中實現各實施例的計算環境。計算機102用作啟動者,而數據存儲140用作目標來形成I T連接點。計算機102包括一個或多個中央處理單元(CPU)104、易失性存儲器106、非易失性存儲108(例如,磁盤驅動器、光盤驅動器、磁帶驅動器等)、操作系統110(例如,Windows200、WindowsXP、或Windows.NET)以及一個或多個網絡適配器128。在某些實施例中,每一網絡適配器是主機總線適配器(HBA)。過濾驅動器112、小型端口驅動器114和應用程序124也在存儲器106中執行。
            計算機102可包括本領域中已知的計算設備,諸如大型機、服務器、個人計算機、工作站、膝上型計算機、手持式計算機等。可使用任何CPU 104和操作系統110。存儲器106中的程序和數據可作為存儲器管理操作的一部分交換到存儲108內。
            數據存儲140包括一個或多個邏輯單元(即,“n”個邏輯單元,其中“n”可以是任何正整數值,在某些實施例中,它小于128)。僅為理解方便起見,示出了邏輯單元0、邏輯單元1和邏輯單元“n”。此外,邏輯單元號(LUN)與每一邏輯設備相關聯。在某些實施例中,HBA隊是基于目標和LUN來組織的(即,將可路由數據至目標的特定LUN的每一HBA組合成一個HBA隊),且一個HBA可屬于不同的HBA隊。
            每一網絡適配器128包括以網絡適配器128的硬件實現的各種組件。每一網絡適配器128能夠經由網絡176發送和接收數據分組,網絡176可包括局域網(LAN)、因特網、廣域網(WAN)、存儲區域網(SAN)、WiFi(1999年9月16日發布的電氣和電子工程師學會(IEEE)802.11b)、無線LAN(1999年9月16日發布的IEEE 802.11b)等。
            存儲驅動器120在存儲器106中執行,它包括網絡適配器128的特定命令來與網絡適配器128通信并作為操作系統110與每一網絡適配器128之間的接口。網絡適配器128和存儲驅動器120實現處理iSCSI分組的邏輯,其中SCSI命令被包裝在iSCSI分組中,iSCSI分組被包裝在TCP分組中。傳輸協議層將來自所接收的傳輸控制協議(TCP)(1981年9月發布的互聯網工程任務組(IETF)因特網標準(草案)(RFC)793)分組中的有效負荷解包,并將數據傳送到存儲驅動器120來返回至例如應用程序124。此外,發送數據的應用程序124將數據發送到存儲驅動器120,后者然后將數據發送到傳輸協議層以便在經由網絡176發送之前在TCP/IP分組中打包。
            總線控制器134允許每一網絡適配器128在計算機總線160上通信,計算機總線160可包括本領域中已知的任何總線接口,諸如外圍部件互連(PCI)總線、PCI Express總線、工業標準體系結構(ISA)、擴展ISA、微通道體系結構(MCA)等。網絡適配器128包括用于實現媒體訪問控制(MAC)功能以便經由網絡176發送網絡分組到遠程數據存儲或從中接收網絡分組的物理通信層132。在某些實施例中,網絡適配器128可實現以太網協議(2002年3月8日發布的IEEE標準802.3),光纖通道(2003年12月發布的IETF RFC 3643)或本領域已知的任何其它網絡通信協議。
            存儲108可包括內部存儲設備或者附加或網絡可訪問存儲。存儲108中的程序108被加載至存儲器106中并由CPU 104執行。使用輸入設備150向CPU 104提供用戶輸入,輸入設備可包括鍵盤、鼠標、指示筆、麥克風、觸敏顯示屏或本領域中已知的任何其它激活或輸入機制。輸出設備152能夠呈現從CPU 104或諸如顯示監視器、打印機、存儲等其它組件傳送的信息。
            在某些實施例中,除存儲驅動器120以外,計算機102可包括其它驅動器。
            網絡適配器128可包括執行附加操作來處理從計算機102或網絡176接收的分組的附加硬件邏輯。此外,網絡適配器128可實現傳輸層卸載引擎(TOE)來實現與計算機存儲驅動器120相對的網絡適配器中的傳輸協議層,以便進一步減少計算機102的處理負擔。或者,傳輸層可在存儲驅動器或其它驅動器120(例如,由操作系統提供)中實現。
            在某些實施例中,各種結構和/或緩沖器(未示出)可駐留在存儲器106中,或可位于與存儲器106分開的存儲單元中。
            圖1B示出了其中實現某些特定實施例的計算環境。圖1B中,計算機102包括與主機總線適配器(HBA)128a、128b和128c交互的存儲驅動器120。每一HBA128a、128b和128c可被描述為網絡適配器128(圖1A)。計算機102和HBA 128a、128b和128c可被描述為啟動者,而數據存儲140可被描述為目標。數據存儲140示出了代表邏輯單元的邏輯單元號(LUN)。
            圖2A在框圖中示出帶有可任選低類過濾驅動器(Class lower filter driver)的Windows存儲設備驅動器棧200。存儲設備驅動器棧200包括上層協議(ULP)210,它可將分組發送至存儲類驅動器212或從中接收分組。存儲類驅動器212可將分組發送到低類過濾驅動器214或從中接收分組。低類過濾驅動器214在某些實施例中是可任選的。低類過濾驅動器214可將分組發送到端口驅動器216或從中接收分組。端口驅動器216可與小型端口驅動器218通信。小型端口驅動器218能夠經由各實施例提供的回調接口與低類過濾驅動器214通信。
            各實施例提供了基于端口驅動器216上方的低類過濾驅動器214的特殊的過濾驅動器,以便用于在跨HBA連接之間進行故障轉移和負載平衡。過濾驅動器處理HBA的上下文切換和路徑控制。過濾驅動器也提供分組分發。具體地,過濾驅動器監聽包含在存儲類驅動器212與端口驅動器216之間的輸入/輸出請求分組(IRP)中的SCSI請求塊(SRB)分組。在某些實施例中,過濾驅動器被實現為低級類過濾驅動器。一旦創建存儲設備實例之后即通知過濾驅動器,然后,過濾驅動器將其自己連接至低類過濾驅動器214之下的存儲驅動器棧200。
            圖2B以框圖示出了根據某些實施例可在SCSI環境中使用的具有故障轉移和負載平衡能力的存儲設備驅動器棧250。存儲設備驅動器棧250可與Windows200、WindowsXP或Windows.NET操作系統一起使用。存儲設備驅動器棧250包括上層協議(ULP)260,它可將IRP發送給SCSI磁盤類驅動器262或從中接收IRP。SCSI磁盤類驅動器262可將SRB/IRP發送到低級類過濾驅動器264中或從中接收SRB/IRP。低級類過濾驅動器264可將SRB/IRP發送到SCSI端口驅動器266或從中接收SRB/IRP。SCSI端口驅動器266與SCSI小型端口驅動器268通信。SCSI小型端口驅動器268能夠經由回調接口與低級類過濾驅動器264通信。
            圖3以框圖示出了根據某些實施例具有故障轉移和負載平衡能力的啟動者的配置的示例。在圖3中,存儲類驅動器與過濾驅動器通信,后者與端口/小型端口驅動器通信。例如,存儲類驅動器使用存儲類驅動器1設備對象310和過濾驅動器1設備對象312與過濾驅動器通信,該過濾驅動器使用過濾驅動器1設備對象312和端口/小型端口驅動器設備對象316、314與端口/小型端口驅動器通信。小型端口經由端口驅動器導出的例程與HBA通信。每一HBA具有至一個或多個目標的通信路徑。例如,HBA1 318具有到目標1 320和目標2 340的通信路徑。HBA2 338具有到目標1 320和目標2340的通信路徑。HBA3 358具有到目標2 340和目標3360的通信路徑。各實施例提供了跨HBA 318、338和358的故障轉移和負載平衡,HBA中的某一些具有到同一目標的連接。在某些實施例中,所提出的故障轉移和負載平衡方法是基于建立在iSCSI門戶組概念上的HBA成隊。
            再一次,在某些實施例中,HBA隊是基于目標和LUN來組織的(即,可將數據路由至目標的特定LUN的每一HBA被組合成一個HBA隊),且一個HBA可屬于不同的HBA隊。例如,數據可經由包括過濾驅動器1設備對象312、過濾驅動器4設備對象332和過濾驅動器5設備對象352的數據路徑傳遞至目標2 340內的同一LUN(未示出)。這些數據路徑中的每一條經由不同的HBA(分別是HBA1 318、HBA2 338和HBA3 358)傳遞,因此HBA1 318、HBA2 338和HBA3358在一個HBA隊中。即,對HBA隊中的每一HBA,路由至目標2 340內的一LUN的數據可流經該HBA隊中的任何HBA(用于故障轉移),或可同時流經該HBA隊中的每一HBA(用于負載平衡)。作為另一示例,HBA隊也由HBA1 318和HBA2 338形成,因為相應的數據路徑通過HBA1 318和HBA2 338到目標1 320中的LUN(未示出)。
            各實施例提供了用于在過濾驅動器中實現故障轉移和負載平衡能力的新的回調接口。
            故障轉移技術提供了當第一HBA或數據路徑認為第一HBA發生故障時到目標的通信路徑的高度可用性(即,分組被路由至連接至同一目標的第二HBA)。為進行故障轉移,各實施例提供了輔助存儲設備棧隱藏和通知機制。
            圖4A和4B示出了根據某些實施例用于輔助存儲設備棧隱藏的操作。控制在框400處以為邏輯單元建立存儲設備棧開始。在框402中,確定這是否是用于該邏輯單元的第一存儲設備棧。如果是,則處理繼續至框404,否則處理繼續至框404。即,當存在連接至同一目標的若干HBA時,為每一HBA的目標的每一SCSI LUN創建存儲設備棧,以使過濾驅動器能夠為每一HBA處理和重定向SRB。如果要在為同一目標建立的每一存儲設備棧上安裝文件系統,由于對同一存儲設備實例的多重訪問,這可導致同步問題。從而,為每一LUN建立的第一存儲設備棧成為“主要”存儲設備棧。滯后,為該LUN建立的所有其它存儲設備棧作為“輔助”存儲設備棧來對待。因此,在框404中,存儲設備棧被指定為主要存儲設備棧。在框406中,存儲設備棧被指定為輔助存儲設備棧。
            例如,存儲類驅動器1設備對象310、過濾驅動器1設備對象312、端口/小型端口驅動器設備對象314、316的存儲設備棧在該示例中被指定為主要存儲設備棧。存儲類驅動器1a設備對象330、過濾驅動器4設備對象332、端口/小型端口驅動器設備對象334、336的存儲設備棧在該示例中被指定為輔助存儲設備棧。存儲類驅動器1a設備對象350、過濾驅動器5設備對象352、端口/小型端口驅動器設備對象354、356的存儲設備棧在該示例中被指定為輔助存儲設備棧。過濾驅動器允許文件系統安裝在一個主要存儲設備棧(例如,存儲設備棧310、312、314和316)上,并阻止文件系統安裝在其它的輔助存儲設備棧(例如,存儲設備棧330、332、334和336以及存儲設備棧350、352、354和356)上。同樣,以存儲類驅動器2設備對象開始的存儲設備棧是主要存儲設備棧,而以存儲類驅動器2a設備對象開始的存儲設備棧是輔助存儲設備棧。由于輔助存儲設備棧隱藏,因此數據經由主要存儲設備棧而不是輔助存儲設備棧被路由。
            圖4B中,控制在框420處以分組以成功狀態從輔助存儲設備棧完成開始。在框422中,過濾驅動器將成功狀態改成出錯狀態。在框424中,過濾驅動器將傳感鍵(sense key)值置為未準備好。在框426中,過濾驅動器對傳感碼置位,用于指示在存儲設備中沒有媒體。因此,在某些實施例中,為防止文件系統安裝在輔助存儲設備棧上,過濾驅動器將以成功狀態從輔助存儲設備棧中完成的SRB的狀態翻轉成出錯狀態(例如,SRB_STATUS_ERROR),將傳感鍵值置為SCSI_SENSE_NOT_READY,并將附加的傳感碼置為SCSI_ADSENSE_NO MEDIA_IN_DEVICE。
            圖5A、5B和5C示出了根據某些實施例的通知機制的操作。過濾驅動器和小型端口驅動器實現用于彼此交互的協議。
            圖5A示出了根據某些實施例在小型端口驅動器中實現的故障轉移處理的操作。在圖5A中,控制在框500處以在小型端口驅動器處接收對特定HBA數據路徑的分組開始。術語“HBA數據路徑”可被描述為從小型端口經由HBA到目標的數據路徑。一種類型的分組可以是SRB。在框502中,如果HBA數據路徑發生故障,則處理繼續至框504,否則處理繼續至框508。
            在框504中,小型端口驅動器使用通知回調方法來通知過濾驅動器HBA數據路徑發生故障。可任選地,小型端口驅動器向過濾驅動器提供新的HBA數據路徑標識符,且過濾驅動器將分組重定向至該新的HBA數據路徑。例如,對由HBA1318、HBA2 338和HBA3 358組成的HBA隊,如果HBA1 318發生故障,則小型端口可指定包括HBA2 338或者HBA3 358中的任一個的新的HBA數據路徑。在某些實施例中,可經由I/O控制(IOCTL)以過濾驅動器的添加設備方法將指向通知回調方法的指針和指向當前HBA數據路徑的過濾設備擴展的指針發送給小型端口驅動器。在某些實施例中,當HBA數據路徑發生故障,小型端口驅動器通過以狀態參數和指針參數調用通知回調方法來向過濾驅動器通知HBA數據路徑發生故障,其中指針指向過濾驅動器的設備擴展,對應于當前路徑。
            小型端口驅動器不以出錯狀態完成分組,因為這可引起端口驅動器凍結SRB隊列或啟動總線復位。相反,在框506中,小型端口驅動器以成功狀態為發生故障的HBA數據路徑完成未決(即未完成)和新接收的分組。在框508中,由于HBA數據路徑未發生故障,小型端口驅動器經由HBA數據路徑將分組發送到目標。
            例如,如果在小型端口316處接收到SRB以便路由至HBA1 318,且如果HBA1318發生故障,則小型端口驅動器316為HBA1 318完成所有未決的SRB,作為通知過濾驅動器312將SRB重定向至另一HBA的協議的一部分。例如,過濾驅動器312可將SRB重定向至HBA2 338或HBA3 358。
            圖5B示出了根據某些實施例用于故障轉移處理的過濾驅動器中實現的操作。控制在框510處以過濾驅動器接收HBA數據路徑故障通知開始。在框512中,如果由小型端口驅動器指定新的HBA數據路徑標識符,則處理繼續至框514,否則處理繼續至框518。在框514中,過濾驅動器將從發生故障的路徑完成的每一分組的狀態從成功狀態改成忙碌狀態。對狀態的這種改變使得類驅動器重發分組。當分組被重發時,過濾驅動器將它們作為新請求來對待,如果可能,則將它們重定向到新路徑。
            在框516中,過濾驅動器將類驅動器遺漏的分組發送到所指定的HBA數據路徑。在框518中,由于沒有指定新的路徑標識符,則過濾驅動器選擇新的路徑。在某些實施例中,如果HBA隊中僅存在一條路徑,則過濾驅動器繼續將新分組發送到發生故障的HBA數據路徑(例如,以PATH_THROUGH模式工作)。
            圖5C示出了根據某些實施例當HBA還原時小型端口驅動器中實現的操作。控制在框520處以HBA數據路徑還原(例如,使HBA在線或者HBA或數據路徑認為之前發生故障的該HBA還原)開始。當HBA數據路徑還原時,小型端口驅動器通過調用通知回調方法通知過濾驅動器(框522)。在某些實施例中,小型端口驅動器通過以狀態參數和指針參數調用通知回調方法向過濾驅動器通知HBA數據路徑的還原,其中指針指向過濾驅動器的設備擴展,對應于當前路徑。小型端口驅動器也可向過濾驅動器傳送過濾驅動器應將新分組重定向至的新路徑標識符。在框524中,如果指定了新的HBA數據路徑,則處理繼續至框526,否則處理繼續至框528。
            當還原通知之后,如果指定了新的HBA數據路徑,則過濾驅動器將新分組發送到新HBA數據路徑(框526)。如果沒有指定新HBA數據路徑,則過濾驅動器繼續在當前活動的路徑上發送分組。
            除故障轉移處理之外,各實施例提供了用于在跨多個HBA的多條HBA數據路徑上平衡I/O工作負載的過濾驅動器。各實施例提供了靜態負載平衡和動態負載平衡。
            圖6A和6B示出了根據某些實施例用于負載平衡的操作。對負載平衡,HBA隊中的每一HBA數據路徑具有一相關聯的值,被稱為負載平衡份額,它代表總I/O工作負載中給定HBA數據路徑能夠處理的百分比。
            圖6A示出了根據某些實施例用于靜態負載平衡的操作。控制在框600處以在過濾驅動器處接收要發送的數據分組開始。在框612中,過濾驅動器確定與HBA隊中的每一HBA數據路徑相關聯的負載平衡份額。對靜態負載平衡,負載平衡份額可手動指定,并將其存儲在例如Windows注冊表中。小型端口驅動器檢索負載平衡份額值,并經由通知回調方法將這些值轉發給過濾驅動器。當接收到所檢索的負載平衡份額值時,過濾驅動器以新值更新負載平衡份額。
            在框604中,過濾驅動器為每一HBA數據路徑確定所發送的分組的移動平均數據長度(MDL)(例如,分組的SCSI傳送長度)。在某些實施例中,負載平衡可以是基于所發送的分組的實際數據長度而不是分組數。在框606中,過濾驅動器為每一HBA數據路徑確定數據限額。在某些實施例中,HBA數據路徑的數據限額是HBA數據路徑的MDL乘以該HBA數據路徑的負載平衡份額與HBA隊中負載平衡份額的最小值的比率(即,數據限額=MDL*(負載平衡份額/隊中的最小負載平衡份額))。
            在某些實施例中,為每一分組或分組的組重新計算MDL,而周期性地重新計算數據限額(例如,當傳送了某一數量的分組之后)。周期性間隔可由HBA隊中HBA數據路徑的條數與可調負載平衡頻率更新因子的乘積來確定。負載平衡頻率更新因子允許調節負載平衡并提高性能。負載平衡頻率更新因子例如可由系統管理員設定。數據限額的更新頻率越高,所指定的與實際的負載平衡份額之間的差異越小。同樣,較頻繁的更新會占據較多的處理器時間。
            在框608中,過濾驅動器為目標邏輯單元確定最大命令數。在框610中,過濾驅動器使用循環技術選擇在其上發送分組的HBA數據路徑,其中沿一條HBA數據路徑發送分組,直到達到了數據限額或達到了每個目標邏輯單元的最大命令數。
            即,對靜態負載平衡,可使用循環技術。在某些實施例中,為循環操作在雙鏈表中收集當前HBA隊的有效HBA數據路徑。然后,使用該列表在負載平衡操作期間切換HBA數據路徑。否則,分組流切換至下一HBA隊成員。即,在某些實施例中,繼續對給定路徑的分組發送,直到所傳送的數據量達到為該HBA數據路徑預先計算的數據限額,或達到每個目標LUN的最大SCSI命令數。
            對靜態負載平衡,HBA數據路徑之中分組的實際分配可不同于指定分配(即,例如由系統管理員指定的負載平衡份額)。實際與指定分配之間的差異越小,則靜態負載平衡的質量越高。所指定的負載平衡份額值影響靜態負載平衡的性能。
            圖6B示出了根據某些實施例的用于動態負載平衡的操作。動態負載平衡只要在其它路徑上存在可用帶寬就可通過在路徑之間動態調節I/O工作負載來避免單個HBA數據路徑上的擁塞。
            控制在框620處以過濾驅動器接收數據分組開始。在框622中,過濾驅動器為HBA隊中的每一HBA數據路徑確定數據傳送速度。在某些實施例中,為每一HBA數據路徑計算作為所傳送的總數據與傳送數據所花費的總時間的比率的數據傳送速度。更新例程確定傳送速度以何種頻率更新。對動態負載平衡的可調參數是傳送速度更新頻率因子,它定義每隔多久調用更新例程。傳送速度更新頻率因子可以基于傳遞子系統的具體行為來調節。
            在框624中,過濾驅動器為每一HBA數據路徑更新負載平衡份額。對HBA隊中的每一路徑的負載平衡份額可與它們的數據傳送速度成比例地更新(即,所選HBA數據路徑的數據傳送速度除以HBA隊的數據傳送速度)。在框626中,過濾驅動器基于負載平衡份額選擇將在其上發送分組的HBA數據路徑。
            當以故障轉移和負載平衡模式工作時,HBA故障將禁用一個或多個HBA隊成員。根據各實施例,其余的HBA隊成員繼續工作,從而維持所指定的負載平衡份額之間的相同比率。
            因此,各實施例提供了高度可用性與靜態和動態負載平衡的組合。實現該解決方案的軟件模塊相對較小,且對系統施加最小的開銷。各實施例通過將過濾驅動器插入設備棧/從設備棧移除來提供快速且容易地開啟和關閉由該解決方案的各實施例提供的功能。各實施例可跨各種平臺(例如,Windows平臺,32位或64位)兼容。同樣,各實施例可適用于任何基于SCSI和/或基于iSCSI的SAN和/或網絡附加存儲(NAS)系統。而且,對故障轉移和負載平衡的實施例支持多個(兩個或更多)HBA。
            其它實施例細節對故障轉移和負載平衡所描述的技術可被實現為使用標準程序設計和/或工程技術來生產軟件、固件、硬件或其任何組合的方法、裝置或制品。如此處所使用的,術語“制品”指的是以硬件邏輯(例如,集成電路芯片、可編程門陣列(PGA)、專用集成電路(ASIC)等)或諸如磁存儲介質(例如,硬盤驅動器、軟盤、磁帶等)、光存儲(CD-ROM、光盤等)、易失性和非易失性存儲器設備(例如,EEPROM、ROM、PROM、RAM、DRAM、SRAM、固件、可編程邏輯等)等的計算機可讀介質實現的代碼或邏輯。計算機可讀介質中的代碼由處理器訪問和執行。其中實現較佳實施例的代碼還可經由傳輸介質或通過網絡從文件服務器訪問。在這樣的情況中,其中實現代碼的制品可包括傳輸介質,諸如網絡傳輸線、無線傳輸介質、信號傳播空間、無線電波、紅外信號等。因此“制品”可包括其中具體化代碼的介質。此外,制品可包括其中具體化、處理和執行代碼的硬件和軟件組件的組合。當然,本領域的技術人員認識到,可對該配置進行眾多修改,而不背離實施例的范圍,且制品可包括本領域中已知的任何信息承載介質。
            在所述實施例中,某些邏輯是在驅動器中實現的。在替換實施例中,在驅動器和/或網絡適配器中實現的邏輯可全部或部分在網絡硬件中實現。
            在某些實施例中,網絡適配器可被實現為PCI卡。在替換實施例中,網絡適配器可包括安裝在計算機102主板上的集成電路組件。
            在某些實施例中,網絡適配器可被配置成通過連接至網絡適配器上的端口的電纜發送數據。在替換實施例中,網絡適配器實施例可被配置成經由諸如無線LAN等無線網絡或連接發送數據。
            圖4A、4B、5A、5B、5C、6A和6C所示的邏輯示出以某一順序發生的某些事件。在替換實施例中,某些操作能以不同的順序執行、修改或移除。而且,可對上述邏輯添加操作,而仍舊遵循所述實施例。此外,此處所述的操作可順序發生,或某些操作可并行處理。再者,操作可由單個處理單元或由分布式處理單元執行。
            為說明和描述的目的呈現了對各種實施例的前述描述。它不旨在是詳盡的,或將實施例限于所公開的精確形式。考慮到以上教導,各種修改和變化皆有可能。各實施例的范圍旨在不是由該詳細描述,而是由所附的權利要求書來限制。以上的說明書、示例和數據提供了對各實施例的組成部分的制造和使用的完整描述。由于可進行眾多實施例,而不背離各實施例的精神和范圍,因此這些實施例歸于所附權利要求書。
            權利要求
            1.一種用于在第一網絡適配器和通過第一網絡適配器的數據路徑的至少其中之一發生時進行故障轉移的計算機系統中的方法,其中所述計算機系統包括過濾驅動器,且其中所述第一網絡適配器連接至第二網絡適配器,所述方法包括使用所述過濾驅動器接收所述第一網絡適配器與通過所述第一網絡適配器的數據路徑的至少其中之一發生故障的路徑故障通知;以及使用所述過濾驅動器將定向到所述第一網絡適配器的分組重新路由到所述第二網絡適配器。
            2.如權利要求1所述的方法,其特征在于,還包括使用所述過濾驅動器將在接收到路徑故障通知之前定向到所述第一網絡適配器的每一分組的成功狀態改成忙碌狀態。
            3.如權利要求1所述的方法,其特征在于,還包括使用所述過濾驅動器確定包含所述第二網絡適配器的新的數據路徑。
            4.如權利要求1所述的方法,其特征在于,還包括使用所述過濾驅動器接收所述第一網絡適配器還原的通知;以及使用所述過濾驅動器基于所述通知是否指定新的數據路徑來為新數據分組確定數據路徑。
            5.如權利要求1所述的方法,其特征在于,還包括響應于為邏輯單元建立第一存儲設備棧,使用所述過濾驅動器將所述第一存儲設備棧指定為主要存儲設備棧;以及響應于為所述邏輯單元建立后繼存儲設備棧,使用所述過濾驅動器將所述后繼存儲設備棧指定為輔助存儲設備棧。
            6.如權利要求5所述的方法,其特征在于,還包括使用所述過濾驅動器防止文件系統安裝在所述輔助存儲設備棧上。
            7.一種用于在網絡適配器和通過所述網絡適配器的數據路徑的至少其中之一發生故障時進行故障轉移的方法,其中所述網絡適配器被連接至與過濾驅動器相連的小型端口驅動器,所述方法包括使用所述小型端口驅動器確定所述網絡適配器發生故障;以及使用所述小型端口驅動器向所述過濾驅動器通知所述網絡適配器發生故障。
            8.如權利要求7所述的方法,其特征在于,還包括使用所述小型端口驅動器指定將由所述過濾驅動器用來重新路由分組的新數據路徑。
            9.如權利要求7所述的方法,其特征在于,還包括使用所述小型端口驅動器以成功的狀態完成對定向到所述第一網絡適配器的未決分組的處理。
            10.如權利要求7所述的方法,其特征在于,還包括使用所述小型端口驅動器確定所述網絡適配器被還原;以及使用小型端口驅動器向過濾驅動器通知所述網絡適配器被還原。
            11.一種用于在過濾驅動器中實現的靜態負載平衡的方法,其中所述過濾驅動器執行為多條數據路徑中的每一條確定數據限額;為目標邏輯單元標識最大命令數;以及基于所述數據限額和最大命令數選擇在其上發送分組的數據路徑。
            12.如權利要求11所述的方法,其特征在于,所述過濾驅動器還執行確定與隊中每一數據路徑相關聯的負載平衡份額;以及為每一數據路徑確定所發送分組的平均數據長度。
            13.如權利要求11所述的方法,其特征在于,所述數據路徑是使用循環技術選擇的,且其中分組沿所選數據路徑發送,直到滿足所述數據路徑的數據限額和直到達到最大命令數這兩者的至少其中之一。
            14.一種用于在過濾驅動器中實現的動態負載平衡的方法,其中所述過濾驅動器執行為多條數據路徑中的每一條確定數據傳送速度;基于所述多條數據路徑中的每一條的數據傳送速度,為所述多條數據路徑中額每一條更新負載平衡份額;以及基于所述多條數據路徑的每一條的負載平衡份額選擇在其上發送分組的數據路徑。
            15.如權利要求14所述的方法,其特征在于,所述數據傳送速度是對所述多條數據路徑中的每一條作為所傳送的總數據與傳送數據所花費的總時間的比率來計算的。
            16.如權利要求14所述的方法,其特征在于,確定所述數據傳送速度的頻率是可調的。
            17.一種耦合至網絡和數據存儲的系統,包括主計算機;管理對所述數據存儲的輸入/輸出(I/O)訪問的存儲控制器,其中所述存儲控制器被耦合至所述主計算機;第一網絡適配器;第二網絡適配器;以及所述主計算機處的過濾驅動器,其中所述過濾驅動器能夠接收所述第一網絡適配器和通過所述第一網絡適配器的數據路徑的至少其中之一發生故障的路徑故障通知,并將定向到所述第一網絡適配器的分組重新路由至所述第二網絡適配器。
            18.如權利要求17所述的系統,其特征在于,所述過濾驅動器還能夠將在接收到所述路徑故障通知之前定向到所述第一網絡適配器的每一分組的成功狀態改成忙碌狀態。
            19.如權利要求17所述的系統,其特征在于,所述過濾驅動器還能夠確定包含所述第二網絡適配器的新數據路徑。
            20.如權利要求17所述的系統,其特征在于,所述過濾驅動器還能夠接收所述第一網絡適配器被還原的通知;以及基于所述通知是否指定新數據路徑來為新數據分組確定數據路徑。
            21.如權利要求17所述的系統,其特征在于,所述過濾驅動器還能夠響應于為邏輯單元建立第一存儲設備棧,將所述第一存儲設備棧指定為主要存儲設備棧;以及響應于為所述邏輯單元建立后繼存儲設備棧,將所述后繼存儲設備棧指定為輔助存儲設備棧。
            22.如權利要求21所述的系統,其特征在于,所述過濾驅動器還能夠防止文件系統安裝在所述輔助存儲設備棧上。
            23.一種耦合至網絡和數據存儲的系統,包括主計算機;管理對所述數據存儲的輸入/輸出(I/O)訪問的存儲控制器,其中所述存儲控制器耦合至所述主計算機;所述主計算機處的過濾驅動器;所述主計算機處的至少兩個網絡適配器;以及所述主計算機處的小型端口驅動器,其中所述小型端口驅動器能夠確定所述網絡適配器的至少其中之一發生故障并向所述過濾驅動器通知所述網絡適配器發生故障。
            24.如權利要求23所述的系統,其特征在于,所述小型端口驅動器還能夠指定將由所述過濾驅動器用來重新路由分組的新數據路徑。
            25.如權利要求23所述的系統,其特征在于,所述小型端口驅動器還能夠以成功狀態完成對定向到所述發生故障的網絡適配器的未決分組的處理。
            26.如權利要求23所述的系統,其特征在于,所述小型端口驅動器還能夠確定所述發生故障的網絡適配器被還原;以及向所述過濾驅動器通知所述發生故障的網絡適配器被還原。
            27.一種耦合至網絡和數據存儲的系統,包括主計算機;管理對所述數據存儲的輸入/輸出(I/O)訪問的存儲控制器,其中所述存儲控制器耦合至所述主計算機;以及能夠為多條數據路徑中的每一條確定數據限額、為目標邏輯單元標識最大命令數、以及基于所述數據限額和所述最大命令數選擇在其上發送分組的數據路徑的過濾驅動器。
            28.如權利要求27所述的系統,其特征在于,所述過濾驅動器還執行確定與隊中的每一數據路徑相關聯的負載平衡份額;以及為每一數據路徑確定所發送的分組的平均數據長度。
            29.如權利要求27所述的系統,其特征在于,所述數據路徑是使用循環技術來選擇的,且其中沿所選擇的數據路徑發送分組,直到滿足所述數據路徑的數據限額和直到達到最大命令數這兩者中的至少其中之一。
            30.一種耦合至網絡和數據存儲的系統,包括主計算機;管理對所述數據存儲的輸入/輸出(I/O)訪問的存儲控制器,其中所述存儲控制器耦合至所述主計算機;以及能夠為多條數據路徑的每一條確定數據傳送速度、基于所述多條數據路徑的每一條的數據傳送速度為所述多條數據路徑的每一條更新負載平衡份額、以及基于所述多條數據路徑的每一條的負載平衡份額確定在其上發送分組的數據路徑的過濾驅動器。
            31.如權利要求30所述的系統,其特征在于,所述數據傳送速度是對所述多條數據路徑中的每一條作為所傳送的總數據與傳送數據所花費的總時間的比率來計算的。
            32.如權利要求30所述的系統,其特征在于,確定所述數據傳送速度的頻率是可調的。
            33.一種包含其中存儲指令的存儲介質的制品,所述指令在由計算設備執行時導致接收第一網絡適配器與通過所述第一網絡適配器的數據路徑的至少其中之一發生故障的路徑故障通知;以及將定向到所述第一網絡適配器的分組重新路由至第二網絡適配器。
            34.如權利要求33所述的制品,其特征在于,所述指令在被執行時還導致將在接收到所述路徑故障通知之前定向到所述第一網絡適配器的每一分組的成功狀態改成忙碌狀態。
            35.如權利要求33所述的制品,其特征在于,所述指令在被執行時還導致確定包含所述第二網絡適配器的新數據路徑。
            36.如權利要求33所述的制品,其特征在于,所述指令在被執行時還導致接收所述第一網絡適配器被還原的通知;以及基于所述通知是否指定新數據路徑來為新數據分組確定數據路徑。
            37.如權利要求33所述的制品,其特征在于,所述指令在被執行時還導致響應于為邏輯單元建立第一存儲設備棧,將所述第一存儲設備棧指定為主要存儲設備棧;以及響應于為所述邏輯單元建立后繼存儲設備棧,將所述后繼存儲設備棧指定為輔助存儲設備棧。
            38.如權利要求37所述的制品,其特征在于,所述指令在被執行時還導致防止文件系統安裝在所述輔助存儲設備棧上。
            39.一種包含其中存儲指令的存儲介質的制品,所述指令在由計算設備執行時導致確定所述網絡適配器發生故障;以及向所述過濾驅動器通知所述網絡適配器發生故障。
            40.如權利要求39所述的制品,其特征在于,所述指令在被執行時還導致指定將由所述過濾驅動器用來重新路由分組的新數據路徑。
            41.如權利要求39所述的制品,其特征在于,所述指令在被執行時還導致以成功的狀態完成對定向到所述第一網絡適配器的未決分組的處理。
            42.如權利要求39所述的制品,其特征在于,所述指令在被執行時還導致確定所述網絡適配器被還原;以及向過濾驅動器通知所述網絡適配器被還原。
            43.一種包含其中存儲指令的存儲介質的制品,所述指令在由計算設備執行時導致為多條數據路徑中的每一條確定數據限額;為目標邏輯單元標識最大命令數;以及基于所述數據限額和最大命令條數選擇在其上發送分組的數據路徑。
            44.如權利要求43所述的制品,其特征在于,所述指令在被執行時還導致確定與隊中每一數據路徑相關聯的負載平衡份額;以及為每一數據路徑確定所發送分組的平均數據長度。
            45.如權利要求43所述的制品,其特征在于,所述數據路徑是使用循環技術來選擇的,且其中分組沿所選數據路徑發送,直到滿足所述數據路徑的數據限額和直到達到最大命令數這兩者中的至少其中之一。
            46.一種包含其中存儲指令的存儲介質的制品,所述指令在由計算設備執行時導致為多條數據路徑中的每一條確定數據傳送速度;基于所述多條數據路徑中的每一條的數據傳送速度,為所述多條數據路徑中額每一條更新負載平衡份額;以及基于所述多條數據路徑的每一條的負載平衡份額選擇在其上發送分組的數據路徑。
            47.如權利要求46所述的制品,其特征在于,所述數據傳送速度是對所述多條數據路徑中的每一條作為所傳送的總數據與傳送數據所花費的總時間的比率來計算的。
            48.如權利要求46所述的系統,其特征在于,確定所述數據傳送速度的頻率是可調的。
            全文摘要
            本發明涉及用于故障轉移和用于平衡靜態和動態負載的技術。過濾驅動器接收第一網絡適配器和通過第一網絡適配器的數據路徑的至少其中之一發生故障的路徑故障通知,并將定向到第一網絡適配器的分組重新路由到第二網絡適配器。小型端口驅動器確定網絡適配器和通過網絡適配器的數據路徑的至少其中之一發生故障,并向過濾驅動器通知網絡適配器和通過網絡適配器的數據路徑的至少其中之一發生故障。過濾驅動器為多條數據路徑的每一條確定數據限額,為給定的目標邏輯單元確定最大命令數,并基于數據限額和最大命令數選擇在其上發送分組的數據路徑。過濾驅動器為多條數據路徑的每一條確定數據傳送速度,基于多條數據路徑的每一條的數據傳送速度為多條數據路徑的每一條更新負載平衡份額,并基于多條數據路徑的每一條的負載平衡份額選擇在其上發送分組的數據路徑。
            文檔編號H04L12/66GK1942862SQ200480041815
            公開日2007年4月4日 申請日期2004年3月19日 優先權日2004年3月19日
            發明者A·別利亞科夫, M·賽尼科夫司基, A·德羅茲多夫 申請人:“英特爾A/O”股份公司
            網友詢問留言 已有0條留言
            • 還沒有人留言評論。精彩留言會獲得點贊!
            1
            婷婷六月激情在线综合激情,亚洲国产大片,久久中文字幕综合婷婷,精品久久久久久中文字幕,亚洲一区二区三区高清不卡,99国产精品热久久久久久夜夜嗨 ,欧美日韩亚洲综合在线一区二区,99国产精品电影,伊人精品线视天天综合,精品伊人久久久大香线蕉欧美
            亚洲精品1区 国产成人一级 91精品国产欧美一区二区 亚洲精品乱码久久久久久下载 国产精品久久久久久久伊一 九色国产 国产精品九九视频 伊人久久成人爱综合网 欧美日韩亚洲区久久综合 欧美日本一道免费一区三区 夜夜爽一区二区三区精品 欧美日韩高清一区二区三区 国产成人av在线 国产精品对白交换绿帽视频 国产视频亚洲 国产在线欧美精品 国产精品综合网 国产日韩精品欧美一区色 国产日韩精品欧美一区喷 欧美日韩在线观看区一二 国产区精品 欧美视频日韩视频 中文字幕天天躁日日躁狠狠躁97 视频一二三区 欧美高清在线精品一区二区不卡 国产精品揄拍一区二区久久 99久久综合狠狠综合久久aⅴ 亚洲乱码视频在线观看 日韩在线第二页 亚洲精品无码专区在线播放 成人亚洲网站www在线观看 欧美三级一区二区 99久久精品免费看国产高清 91麻豆国产在线观看 最新日韩欧美不卡一二三区 成人在线观看不卡 日韩国产在线 在线亚洲精品 亚洲午夜久久久久中文字幕 国产精品成人久久久久久久 精品国产一区二区在线观看 欧美精品国产一区二区三区 中文在线播放 亚洲第一页在线视频 国产午夜精品福利久久 九色国产 精品国产九九 国产永久视频 久久精品人人做人人综合试看 国产一区二区三区免费观看 亚洲精品国产电影 9999热视频 国产精品资源在线 麻豆久久婷婷国产综合五月 国产精品免费一级在线观看 亚洲国产一区二区三区青草影视 中文在线播放 国产成人综合在线 国产在线观看色 国产亚洲三级 国产片一区二区三区 久久99精品久久久久久牛牛影视 亚洲欧美日韩国产 四虎永久免费网站 国产一毛片 国产精品视频在 九九热在线精品 99精品福利视频 色婷婷色99国产综合精品 97成人精品视频在线播放 精品久久久久久中文字幕 亚洲欧美一区二区三区孕妇 亚洲欧美成人网 日韩高清在线二区 国产尤物在线观看 在线不卡一区二区 91网站在线看 韩国精品福利一区二区 欧美日韩国产成人精品 99热精品久久 国产精品免费视频一区 高清视频一区 精品九九久久 欧美日韩在线观看免费 91欧美激情一区二区三区成人 99福利视频 亚洲国产精品91 久热国产在线 精品久久久久久中文字幕女 国产精品久久久久久久久99热 成人自拍视频网 国产精品视频久久久久久 久久影院国产 国产玖玖在线观看 99精品在线免费 亚洲欧美一区二区三区导航 久久久久久久综合 国产欧美日韩精品高清二区综合区 国产精品视频自拍 亚洲一级片免费 久久久久久九九 国产欧美自拍视频 视频一区二区在线观看 欧美日韩一区二区三区久久 中文在线亚洲 伊人热人久久中文字幕 日韩欧美亚洲国产一区二区三区 欧美亚洲国产成人高清在线 欧美日韩国产码高清综合人成 国产性大片免费播放网站 亚洲午夜综合网 91精品久久一区二区三区 国产无套在线播放 国产精品视频网站 国产成人亚洲精品老王 91在线网站 国产视频97 欧美黑人欧美精品刺激 国产一区二区三区免费在线视频 久久久国产精品免费看 99re6久精品国产首页 久久精品91 国产成人一级 国产成人精品曰本亚洲 日本福利在线观看 伊人成综合网 久久综合一本 国产综合久久久久久 久久精品成人免费看 久久福利 91精品国产91久久久久久麻豆 亚洲精品成人在线 亚洲伊人久久精品 欧美日本二区 国产永久视频 国产一区二 一区二区福利 国产一毛片 亚洲精品1区 毛片一区二区三区 伊人久久大香线蕉综合影 国产欧美在线观看一区 亚洲国产欧洲综合997久久 国产一区二区免费视频 国产91精品对白露脸全集观看 久久亚洲国产伦理 欧美成人伊人久久综合网 亚洲性久久久影院 久久99国产精一区二区三区! 91精品国产欧美一区二区 欧美日韩亚洲区久久综合 日韩精品一二三区 久久久夜色精品国产噜噜 国产在线精品福利91香蕉 久久久久久久亚洲精品 97se色综合一区二区二区 91国语精品自产拍在线观看性色 91久久国产综合精品女同我 日韩中文字幕a 国产成人亚洲日本精品 久久国产精品-国产精品 久久国产经典视频 久久国产精品伦理 亚洲第一页在线视频 国产精品久久久久三级 日韩毛片网 久久免费高清视频 麻豆国产在线观看一区二区 91麻豆国产福利在线观看 国产成人精品男人的天堂538 一区二区三区中文字幕 免费在线视频一区 欧美日韩国产成人精品 国产综合网站 国产资源免费观看 亚洲精品亚洲人成在线播放 精品久久久久久中文字幕专区 亚洲人成人毛片无遮挡 国产一起色一起爱 国产香蕉精品视频在 九九热免费观看 日韩亚洲欧美一区 九九热精品在线观看 精品久久久久久中文字幕专区 亚洲欧美自拍偷拍 国产精品每日更新 久久久久国产一级毛片高清板 久久天天躁狠狠躁夜夜中文字幕 久久精品片 日韩在线毛片 国产成人精品本亚洲 国产成人精品一区二区三区 九九热在线观看 国产r级在线观看 国产欧美日韩精品高清二区综合区 韩国电影一区二区 国产精品毛片va一区二区三区 五月婷婷伊人网 久久一区二区三区免费 一本色道久久综合狠狠躁篇 亚洲综合色站 国产尤物在线观看 亚洲一区亚洲二区 免费在线视频一区 欧洲精品视频在线观看 日韩中文字幕a 中文字幕日本在线mv视频精品 91精品在线免费视频 精品国产免费人成在线观看 精品a级片 中文字幕日本在线mv视频精品 日韩在线精品视频 婷婷丁香色 91精品国产高清久久久久 国产成人精品日本亚洲直接 五月综合视频 欧美日韩在线亚洲国产人 精液呈暗黄色 亚洲乱码一区 久久精品中文字幕不卡一二区 亚洲天堂精品在线 激情婷婷综合 国产免费久久精品久久久 国产精品亚洲二区在线 久久免费播放视频 五月婷婷丁香综合 在线亚洲欧美日韩 久久免费精品高清麻豆 精品久久久久久中文字幕 亚洲一区网站 国产精品福利社 日韩中文字幕免费 亚洲综合丝袜 91精品在线播放 国产精品18 亚洲日日夜夜 伊人久久大香线蕉综合影 亚洲精品中文字幕乱码影院 亚洲一区二区黄色 亚洲第一页在线视频 一区二区在线观看视频 国产成人福利精品视频 亚洲高清二区 国内成人免费视频 精品亚洲性xxx久久久 国产精品合集一区二区三区 97av免费视频 国产一起色一起爱 国产区久久 国产资源免费观看 99精品视频免费 国产成人一级 国产精品九九免费视频 欧美91精品久久久久网免费 99热国产免费 久久精品色 98精品国产综合久久 久久精品播放 中文字幕视频免费 国产欧美日韩一区二区三区在线 精品久久蜜桃 国产小视频精品 一本色道久久综合狠狠躁篇 91在线免费观看 亚洲精品区 伊人成综合网 伊人热人久久中文字幕 伊人黄色片 99国产精品热久久久久久夜夜嗨 久久免费精品视频 亚洲一区二区三区高清不卡 久久久久国产一级毛片高清板 国产片一区二区三区 久久狠狠干 99久久婷婷国产综合精品电影 国产99区 国产精品成人久久久久 久久狠狠干 青青国产在线观看 亚洲高清国产拍精品影院 国产精品一区二区av 九九热在线免费视频 伊人久久国产 国产精品久久久久久久久久一区 在线观看免费视频一区 国产精品自在在线午夜区app 国产精品综合色区在线观看 国产毛片久久久久久国产毛片 97国产免费全部免费观看 国产精品每日更新 国产尤物视频在线 九九视频这里只有精品99 一本一道久久a久久精品综合 久久综合给会久久狠狠狠 国产成人精品男人的天堂538 欧美一区二区高清 毛片一区二区三区 国产欧美日韩在线观看一区二区三区 在线国产二区 欧美不卡网 91在线精品中文字幕 在线国产福利 国内精品91久久久久 91亚洲福利 日韩欧美国产中文字幕 91久久精品国产性色也91久久 亚洲性久久久影院 欧美精品1区 国产热re99久久6国产精品 九九热免费观看 国产精品欧美日韩 久久久久国产一级毛片高清板 久久国产经典视频 日韩欧美亚洲国产一区二区三区 欧美亚洲综合另类在线观看 国产精品自在在线午夜区app 97中文字幕在线观看 视频一二三区 精品国产一区在线观看 国产欧美日韩在线一区二区不卡 欧美一区二三区 伊人成人在线观看 国内精品91久久久久 97在线亚洲 国产在线不卡一区 久久久全免费全集一级全黄片 国产精品v欧美精品∨日韩 亚洲毛片网站 在线不卡一区二区 99re热在线视频 久久激情网 国产毛片一区二区三区精品 久久亚洲综合色 中文字幕视频免费 国产视频亚洲 婷婷伊人久久 国产一区二区免费播放 久久99国产精品成人欧美 99国产在线视频 国产成人免费视频精品一区二区 国产不卡一区二区三区免费视 国产码欧美日韩高清综合一区 久久精品国产主播一区二区 国产一区电影 久久精品国产夜色 国产精品国产三级国产 日韩一区二区三区在线 久久97久久97精品免视看 久久国产免费一区二区三区 伊人久久大香线蕉综合电影网 99re6久精品国产首页 久久激情网 亚洲成人高清在线 国产精品网址 国产成人精品男人的天堂538 香蕉国产综合久久猫咪 国产专区中文字幕 91麻豆精品国产高清在线 久久国产经典视频 国产精品成人va在线观看 国产精品爱啪在线线免费观看 日本精品久久久久久久久免费 亚洲综合一区二区三区 久久五月网 精品国产网红福利在线观看 久久综合亚洲伊人色 亚洲国产精品久久久久久网站 在线日韩国产 99国产精品热久久久久久夜夜嗨 国产综合精品在线 国产区福利 精品亚洲综合久久中文字幕 国产制服丝袜在线 毛片在线播放网站 在线观看免费视频一区 国产精品久久久精品三级 亚洲国产电影在线观看 最新日韩欧美不卡一二三区 狠狠综合久久综合鬼色 日本精品1在线区 国产日韩一区二区三区在线播放 欧美日韩精品在线播放 亚洲欧美日韩国产一区二区三区精品 久久综合久久网 婷婷六月激情在线综合激情 亚洲乱码一区 国产专区91 97av视频在线观看 精品久久久久久中文字幕 久久五月视频 国产成人福利精品视频 国产精品网址 中文字幕视频在线 精品一区二区三区免费视频 伊人手机在线视频 亚洲精品中文字幕乱码 国产在线视频www色 色噜噜国产精品视频一区二区 精品亚洲成a人在线观看 国产香蕉尹人综合在线 成人免费一区二区三区在线观看 国产不卡一区二区三区免费视 欧美精品久久天天躁 国产专区中文字幕 久久精品国产免费中文 久久精品国产免费一区 久久无码精品一区二区三区 国产欧美另类久久久精品免费 欧美精品久久天天躁 亚洲精品在线视频 国产视频91在线 91精品福利一区二区三区野战 日韩中文字幕免费 国产精品99一区二区三区 欧美成人高清性色生活 国产精品系列在线观看 亚洲国产福利精品一区二区 国产成人在线小视频 国产精品久久久久免费 99re热在线视频 久久久久久久综合 一区二区国产在线播放 成人国产在线视频 亚洲精品乱码久久久久 欧美日韩一区二区综合 精品久久久久免费极品大片 中文字幕视频二区 激情粉嫩精品国产尤物 国产成人精品一区二区视频 久久精品中文字幕首页 亚洲高清在线 国产精品亚洲一区二区三区 伊人久久艹 中文在线亚洲 国产精品一区二区在线播放 国产精品九九免费视频 亚洲二区在线播放 亚洲狠狠婷婷综合久久久久网站 亚洲欧美日韩网站 日韩成人精品 亚洲国产一区二区三区青草影视 91精品国产福利在线观看 国产精品久久久久久久久99热 国产一区二区精品尤物 久碰香蕉精品视频在线观看 亚洲日日夜夜 在线不卡一区二区 国产午夜亚洲精品 九九热在线视频观看这里只有精品 伊人手机在线视频 91免费国产精品 日韩欧美中字 91精品国产91久久久久 国产全黄三级播放 视频一区二区三区免费观看 国产开裆丝袜高跟在线观看 国产成人欧美 激情综合丝袜美女一区二区 国产成人亚洲综合无 欧美精品一区二区三区免费观看 欧美亚洲国产日韩 日韩亚州 国产欧美日韩精品高清二区综合区 亚洲午夜国产片在线观看 精品久久久久久中文字幕 欧美精品1区 久久伊人久久亚洲综合 亚洲欧美日韩精品 国产成人精品久久亚洲高清不卡 久久福利影视 国产精品99精品久久免费 久久久久免费精品视频 国产日产亚洲精品 亚洲国产午夜电影在线入口 精品无码一区在线观看 午夜国产精品视频 亚洲一级片免费 伊人久久大香线蕉综合影 国产精品久久影院 久碰香蕉精品视频在线观看 www.欧美精品 在线小视频国产 亚洲国产天堂久久综合图区 欧美一区二区三区不卡 日韩美女福利视频 九九精品免视频国产成人 不卡国产00高中生在线视频 亚洲第一页在线视频 欧美日韩在线播放成人 99re视频这里只有精品 国产精品91在线 精品乱码一区二区三区在线 国产区久久 91麻豆精品国产自产在线观看一区 日韩精品成人在线 九九热在线观看 国产精品久久不卡日韩美女 欧美一区二区三区综合色视频 欧美精品免费一区欧美久久优播 国产精品网址 国产专区中文字幕 国产精品欧美亚洲韩国日本久久 日韩美香港a一级毛片 久久精品123 欧美一区二区三区免费看 99r在线视频 亚洲精品国产字幕久久vr 国产综合激情在线亚洲第一页 91免费国产精品 日韩免费小视频 亚洲国产精品综合一区在线 国产亚洲第一伦理第一区 在线亚洲精品 国产精品一区二区制服丝袜 国产在线成人精品 九九精品免视频国产成人 亚洲国产网 欧美日韩亚洲一区二区三区在线观看 在线亚洲精品 欧美一区二区三区高清视频 国产成人精品男人的天堂538 欧美日韩在线观看区一二 亚洲欧美一区二区久久 久久精品中文字幕首页 日本高清www午夜视频 久久精品国产免费 久久999精品 亚洲国产精品欧美综合 88国产精品视频一区二区三区 91久久偷偷做嫩草影院免费看 国产精品夜色视频一区二区 欧美日韩导航 国产成人啪精品午夜在线播放 一区二区视频在线免费观看 99久久精品国产自免费 精液呈暗黄色 久久99国产精品 日本精品久久久久久久久免费 精品国产97在线观看 99re视频这里只有精品 国产视频91在线 999av视频 亚洲美女视频一区二区三区 久久97久久97精品免视看 亚洲国产成人久久三区 99久久亚洲国产高清观看 日韩毛片在线视频 综合激情在线 91福利一区二区在线观看 一区二区视频在线免费观看 激情粉嫩精品国产尤物 国产成人精品曰本亚洲78 国产成人精品本亚洲 国产精品成人免费视频 国产成人啪精品视频免费软件 久久精品国产亚洲妲己影院 国产精品成人久久久久久久 久久大香线蕉综合爱 欧美一区二区三区高清视频 99热国产免费 在线观看欧美国产 91精品视频在线播放 国产精品福利社 欧美精品一区二区三区免费观看 国产一区二区免费视频 国产午夜精品一区二区 精品视频在线观看97 91精品福利久久久 国产一区福利 国产综合激情在线亚洲第一页 国产精品久久久久久久久久久不卡 九色国产 在线日韩国产 黄网在线观看 亚洲一区小说区中文字幕 中文字幕丝袜 日本二区在线观看 日本国产一区在线观看 欧美日韩一区二区三区久久 欧美精品亚洲精品日韩专 国产日产亚洲精品 久久综合九色综合欧美播 亚洲国产欧美无圣光一区 欧美视频区 亚洲乱码视频在线观看 久久无码精品一区二区三区 九九热精品免费视频 久久99精品久久久久久牛牛影视 国产精品成久久久久三级 国产一区福利 午夜国产精品视频 日本二区在线观看 99久久网站 国产亚洲天堂 精品国产一区二区三区不卡 亚洲国产日韩在线一区 国产成人综合在线观看网站 久久免费高清视频 欧美在线导航 午夜精品久久久久久99热7777 欧美久久综合网 国产小视频精品 国产尤物在线观看 亚洲国产精品综合一区在线 欧美一区二区三区不卡视频 欧美黑人欧美精品刺激 日本福利在线观看 久久国产偷 国产手机精品一区二区 国产热re99久久6国产精品 国产高清啪啪 欧美亚洲国产成人高清在线 国产在线第三页 亚洲综合一区二区三区 99r在线视频 99精品久久久久久久婷婷 国产精品乱码免费一区二区 国产在线精品福利91香蕉 国产尤物视频在线 五月婷婷亚洲 中文字幕久久综合伊人 亚洲精品一级毛片 99国产精品电影 在线视频第一页 久久99国产精品成人欧美 国产白白视频在线观看2 成人精品一区二区www 亚洲成人网在线观看 麻豆91在线视频 色综合合久久天天综合绕视看 久久精品国产免费高清 国产不卡一区二区三区免费视 欧美国产中文 99精品欧美 九九在线精品 国产中文字幕在线免费观看 国产一区中文字幕在线观看 国产成人一级 国产精品一区二区制服丝袜 国产一起色一起爱 亚洲精品成人在线 亚洲欧美精品在线 国产欧美自拍视频 99精品久久久久久久婷婷 久99视频 国产热re99久久6国产精品 视频一区亚洲 国产精品视频分类 国产精品成在线观看 99re6久精品国产首页 亚洲在成人网在线看 亚洲国产日韩在线一区 久久国产三级 日韩国产欧美 欧美在线一区二区三区 国产精品美女一级在线观看 成人午夜免费福利视频 亚洲天堂精品在线 91精品国产手机 欧美日韩视频在线播放 狠狠综合久久综合鬼色 九一色视频 青青视频国产 亚洲欧美自拍一区 中文字幕天天躁日日躁狠狠躁97 日韩免费大片 996热视频 伊人成综合网 亚洲天堂欧美 日韩精品亚洲人成在线观看 久久综合给会久久狠狠狠 日韩精品亚洲人成在线观看 日韩国产欧美 亚洲成aⅴ人片在线影院八 亚洲精品1区 99久久精品免费 国产精品高清在线观看 国产精品久久久免费视频 在线亚洲欧美日韩 91在线看视频 国产精品96久久久久久久 欧美日韩国产成人精品 91在线亚洲 热久久亚洲 国产精品美女免费视频观看 日韩在线毛片 亚洲永久免费视频 九九免费在线视频 亚洲一区网站 日本高清二区视频久二区 精品国产美女福利在线 伊人久久艹 国产精品久久久久三级 欧美成人精品第一区二区三区 99久久精品国产自免费 在线观看日韩一区 国产中文字幕一区 成人免费午夜视频 欧美日韩另类在线 久久99国产精品成人欧美 色婷婷中文网 久久天天躁夜夜躁狠狠躁2020 欧美成人伊人久久综合网 国产精品福利资源在线 国产伦精品一区二区三区高清 国产精品亚洲综合色区韩国 亚洲一区欧美日韩 色综合视频 国语自产精品视频在线区 国产高清a 成人国内精品久久久久影 国产在线精品香蕉综合网一区 国产不卡在线看 国产成人精品精品欧美 国产欧美日韩综合精品一区二区三区 韩国电影一区二区 国产在线视频www色 91中文字幕在线一区 国产人成午夜免视频网站 亚洲综合一区二区三区 色综合视频一区二区观看 久久五月网 九九热精品在线观看 国产一区二区三区国产精品 99久热re在线精品996热视频 亚洲国产网 在线视频亚洲一区 日韩字幕一中文在线综合 国产高清一级毛片在线不卡 精品国产色在线 国产高清视频一区二区 精品日本久久久久久久久久 亚洲国产午夜精品乱码 成人免费国产gav视频在线 日韩欧美一区二区在线观看 欧美曰批人成在线观看 韩国电影一区二区 99re这里只有精品6 日韩精品一区二区三区视频 99re6久精品国产首页 亚洲欧美一区二区三区导航 欧美色图一区二区三区 午夜精品视频在线观看 欧美激情在线观看一区二区三区 亚洲热在线 成人国产精品一区二区网站 亚洲一级毛片在线播放 亚洲一区小说区中文字幕 亚洲午夜久久久久影院 国产自产v一区二区三区c 国产精品视频免费 久久调教视频 国产成人91激情在线播放 国产精品欧美亚洲韩国日本久久 久久亚洲日本不卡一区二区 91中文字幕网 成人国产在线视频 国产视频91在线 欧美成人精品第一区二区三区 国产精品福利在线 久久综合九色综合精品 欧美一区二区三区精品 久久国产综合尤物免费观看 久久99青青久久99久久 日韩精品免费 久久国产精品999 91亚洲视频在线观看 国产精品igao视频 色综合区 在线亚洲欧国产精品专区 国产一区二区三区在线观看视频 亚洲精品成人在线 一区二区国产在线播放 中文在线亚洲 亚洲精品第一国产综合野 国产一区二区精品久久 一区二区三区四区精品视频 99热精品久久 中文字幕视频二区 国产成人精品男人的天堂538 99精品影视 美女福利视频一区二区 久久午夜夜伦伦鲁鲁片 综合久久久久久久综合网 国产精品国产欧美综合一区 国产99视频在线观看 国产亚洲女在线精品 婷婷影院在线综合免费视频 国产亚洲3p一区二区三区 91成人爽a毛片一区二区 亚洲一区二区高清 国产欧美亚洲精品第二区首页 欧美日韩导航 亚洲高清二区 欧美激情观看一区二区久久 日韩毛片在线播放 亚洲欧美日韩高清中文在线 亚洲日本在线播放 国产精品一区二区制服丝袜 精品国产一区二区三区不卡 国产不卡在线看 国产欧美网站 四虎永久在线观看视频精品 国产黄色片在线观看 夜夜综合 一本色道久久综合狠狠躁篇 欧美亚洲综合另类在线观看 国产91在线看 伊人久久国产 欧美一区二区在线观看免费网站 国产精品久久久久三级 久久福利 日韩中文字幕a 亚洲午夜久久久久影院 91在线高清视频 国产亚洲一区二区三区啪 久久人精品 国产精品亚洲午夜一区二区三区 综合久久久久久 久久伊人一区二区三区四区 国产综合久久久久久 日韩一区精品视频在线看 国产精品日韩欧美制服 日本精品1在线区 99re视频 无码av免费一区二区三区试看 国产视频1区 日韩欧美中文字幕一区 日本高清中文字幕一区二区三区a 亚洲国产欧美无圣光一区 国产在线视频一区二区三区 欧美国产第一页 在线亚洲欧美日韩 日韩中文字幕第一页 在线不卡一区二区 伊人久久青青 国产精品一区二区在线播放 www.五月婷婷 麻豆久久婷婷国产综合五月 亚洲精品区 久久国产欧美另类久久久 99在线视频免费 伊人久久中文字幕久久cm 久久精品成人免费看 久久这里只有精品首页 88国产精品视频一区二区三区 中文字幕日本在线mv视频精品 国产在线精品成人一区二区三区 伊人精品线视天天综合 亚洲一区二区黄色 国产尤物视频在线 亚洲精品99久久久久中文字幕 国产一区二区三区免费观看 伊人久久大香线蕉综合电影网 国产成人精品区在线观看 日本精品一区二区三区视频 日韩高清在线二区 久久免费播放视频 一区二区成人国产精品 国产精品免费精品自在线观看 亚洲精品视频二区 麻豆国产精品有码在线观看 精品日本一区二区 亚洲欧洲久久 久久中文字幕综合婷婷 中文字幕视频在线 国产成人精品综合在线观看 91精品国产91久久久久福利 精液呈暗黄色 香蕉国产综合久久猫咪 国产专区精品 亚洲精品无码不卡 国产永久视频 亚洲成a人片在线播放观看国产 一区二区国产在线播放 亚洲一区二区黄色 欧美日韩在线观看视频 亚洲精品另类 久久国产综合尤物免费观看 国产一区二区三区国产精品 高清视频一区 国产精品igao视频 国产精品资源在线 久久综合精品国产一区二区三区 www.五月婷婷 精品色综合 99热国产免费 麻豆福利影院 亚洲伊人久久大香线蕉苏妲己 久久电影院久久国产 久久精品伊人 在线日韩理论午夜中文电影 亚洲国产欧洲综合997久久 伊人国产精品 久草国产精品 欧美一区精品二区三区 亚洲成人高清在线 91免费国产精品 日韩精品福利在线 国产一线在线观看 国产不卡在线看 久久99青青久久99久久 亚洲精品亚洲人成在线播放 99久久免费看国产精品 国产日本在线观看 青草国产在线视频 麻豆久久婷婷国产综合五月 国产中文字幕一区 91久久精品国产性色也91久久 国产一区a 国产欧美日韩成人 国产亚洲女在线精品 一区二区美女 中文字幕在线2021一区 在线小视频国产 久久这里只有精品首页 国产在线第三页 欧美日韩中文字幕 在线亚洲+欧美+日本专区 精品国产一区二区三区不卡 久久这里精品 欧美在线va在线播放 精液呈暗黄色 91精品国产手机 91在线免费播放 欧美视频亚洲色图 欧美国产日韩精品 日韩高清不卡在线 精品视频免费观看 欧美日韩一区二区三区四区 国产欧美亚洲精品第二区首页 亚洲韩精品欧美一区二区三区 国产精品视频免费 在线精品小视频 久久午夜夜伦伦鲁鲁片 国产无套在线播放 久热这里只精品99re8久 欧美久久久久 久久香蕉国产线看观看精品蕉 国产成人精品男人的天堂538 亚洲人成网站色7799在线观看 日韩在线第二页 一本色道久久综合狠狠躁篇 国产一区二区三区不卡在线观看 亚洲乱码在线 在线观看欧美国产 久久福利青草精品资源站免费 国产玖玖在线观看 在线亚洲精品 亚洲成aⅴ人在线观看 精品91在线 欧美一区二三区 日韩中文字幕视频在线 日本成人一区二区 日韩免费专区 国内精品在线观看视频 久久国产综合尤物免费观看 国产精品系列在线观看 一本一道久久a久久精品综合 亚洲免费播放 久久精品国产免费 久久人精品 亚洲毛片网站 亚洲成a人一区二区三区 韩国福利一区二区三区高清视频 亚洲精品天堂在线 一区二区三区中文字幕 亚洲国产色婷婷精品综合在线观看 亚洲国产成人久久笫一页 999国产视频 国产精品香港三级在线电影 欧美日韩一区二区三区四区 日韩国产欧美 国产精品99一区二区三区 午夜国产精品理论片久久影院 亚洲精品中文字幕麻豆 亚洲国产高清视频 久久免费手机视频 日韩a在线观看 五月婷婷亚洲 亚洲精品中文字幕麻豆 中文字幕丝袜 www国产精品 亚洲天堂精品在线 亚洲乱码一区 国产日韩欧美三级 久久999精品 伊人热人久久中文字幕 久热国产在线视频 国产欧美日韩在线观看一区二区三区 国产一二三区在线 日韩国产欧美 91精品国产91久久久久 亚洲一区小说区中文字幕 精品一区二区免费视频 国产精品视频免费 国产精品亚洲综合色区韩国 亚洲国产精品成人午夜在线观看 欧美国产日韩精品 中文字幕精品一区二区精品