切換裝置的無縫自動回復的制作方法

            文檔序號:11147508閱讀:494來源:國知局
            切換裝置的無縫自動回復的制造方法

            本公開整體而言涉及計算機系統的自動恢復。更精確地,技術的某些實施方式涉及一種對帶有切換功能的高可用性(high-availability)的切換裝置自動恢復的方法及系統。



            背景技術:

            網絡切換器(network switch)是包含由系統總線連接許多元件的計算機。每個網絡切換器可包含將像是以太網絡的網絡接口上的其他的網絡裝置與切換器耦接的復數個端口。

            網絡切換器提供切換功能以在網絡連接的裝置之間傳移信息,像是分組或數據幀。由切換器提供的切換功能通常包含自網絡裝置于來源端口接收數據、轉移數據通過背板(backplane)至至少一另外目標端口及傳送數據至網絡上的另一個裝置。

            然而,自動檢測系統故障及從系統故障恢復網絡切換器仍然是具有挑戰性的。舉例而言,當切換中央處理單元(central processor unit,CPU)停擺時,通常用冷啟動(cool boot)初始化以從CPU停止對輸入產生回應的鎖定狀態中恢復切換器。然而冷啟動初始化程序通常花費相對長的時間而因此降低了系統效率。



            技術實現要素:

            本技術的各方面涉及可自動檢測系統故障并從系統故障回復切換裝置的手法。本技術的各方面也涉及可使切換裝置自系統故障中恢復而不會妨礙切換功能的技術。

            根據某些實施方式,網絡切換器可包含切換CPU及特定應用集成電路(Application-Specific Integrated Circuit,ASIC)。本技術可利用監視計時器以監控并檢測切換系統故障,像是切換CPU停擺或鎖定。為了應對CPU鎖定,監視計時器可送出信號以重置CPU。當可配置多個監視計時器計數器時,監 視計時器可在系統操作的不同階段檢測并恢復系統故障。

            根據某些實施方式,監視計時器可為內嵌于切換CPU中的電子計時器。根據某些實施方式,監視計時器可為獨立的服務控制器,像是基板服務控制器(baseboard service controller,BMC),其可以如本文所公開地實施監視計時器功能。根據某些實施方式,本技術使機架管理控制器(Rack Management Controller,RMC)及底板管理控制器(Chassis Management Controller,CMC)能夠提供監視計時器功能。

            根據某些實施方式,本技術涉及啟動切換中央處理單元的計算機實施方法,包含:第一,設置監視計時器的第一監視計時器計數器,第一監視計時器計數器與啟動載入器階段相關聯,監視計時器在第一監視計時器計數器逾期之后可操作以重置切換中央處理單元;第二,設置監視計時器的第二監視計時器計數器,第二監視計時器計數器與操作系統啟動階段相關聯,監視計時器在第二監視計時器計數器逾期之后可操作以重置切換中央處理單元;以及第三,設置監視計時器的第三監視計時器計數器,第三監視計時器計數器與運行時間階段相關聯,監視計時器在第三監視計時器計數器逾期之后可操作以重置切換中央處理單元。

            根據某些實施方式,重置網絡系統可進一步包含特定應用集成電路的暖啟動初始化。與會導致網絡停機時間的冷啟動初始程序不同,暖啟動初始程序可在CPU重置期間保存切換功能。舉例而言,像是學習及轉發的切換功能在CPU重置期間可繼續。因此,暖啟動初始化可保存切換功能的效率。

            根據某些實施方式,盡管本文的許多示例是參考以太網絡切換器而描述的,但要理解的是其僅為示例且本技術在此方面不受限制。相反地,可使用提供計算機網絡連接的任意切換器,像是光纖通道切換器、非同步傳送模式(asynchronous transfer mode)切換器及InfiniBand切換器或其相似之物。

            此外,盡管本討論使用BMC作為服務控制器的例子,但本技術可應用于其他獨立自主CPU及操作系統的服務控制器。

            本公開額外的特征及優點將在下文的敘述列舉,且部分將從此敘述顯而易見或可借由實踐本文所公開的原理來習得。本公開特征及優點可借由在附加的權利要求中特別指出的儀器及組合的方法而了解及獲得。本公開的這些及其他特征將可由下列的敘述及附加的權利要求更加顯而易見,或可借由實踐列舉于本文的原則而習得。

            附圖說明

            發明的各種實施方式及示例公開于以下的詳細描述及附圖中:

            圖1A是根據某些實施方式,說明帶有內部監視計時器的自動恢復切換系統示例的示意方塊圖;

            圖1B是說明帶有如圖1A所示的內部監視計時器的自動恢復切換系統的另一示例的示意方塊圖;

            圖2是根據某些實施方式,說明帶有外部監視計時器的自動恢復切換系統示例的示意方塊圖;

            圖3是根據某些實施方式,自動恢復切換系統的示例流程圖;

            圖4為根據某些實施方式,帶有高可用性切換功能的自動恢復切換系統的另一示例流程圖;以及

            圖5是根據某些實施方式,說明計算裝置的計算平臺。

            附圖符號說明

            100、200:網絡切換系統

            102、202:網絡切換器

            104、204:存儲器

            106、206:中央處理單元

            108、208、508:特定應用集成電路(ASIC)

            110、112、114、210、212、214:端口

            116、216:系統總線

            118、218:ASIC模塊數據庫

            120:監視計時器

            122、220:ASIC模塊

            124、224:ASIC設置

            126:以太網絡

            222、502:基板管理控制器

            302、304、306、402、404、406、408、410、412、414、416:步驟

            500:系統架構

            504:切換處理器

            506:輸入裝置

            510:網絡接口

            512:顯示器

            514:儲存裝置

            516:系統存儲器

            524:總線

            具體實施方式

            本技術的各種實施方式在下文詳述。當討論特定的實施行為時,其應被理解為其為說明的目的進行。相關領域技術人員將認識到在不偏離本技術的精神及范圍下可使用其他元件及配置。

            作為近代信息技術的骨干,網絡切換器使多個計算裝置能夠經由像是以太網絡的網絡接口傳送數據。隨著不斷成長的網絡需求,特別是在像是大型數據中心的集群計算環境,需要網絡切換器(network switches)以提供具有高可用性及杰出可靠性的切換功能。

            網絡切換器通常包含中央處理單元(central processing unit,CPU)及可操作的特定應用集成電路(application-specific integrated circuit,ASIC)以提供數據切換功能。一般而言,冷啟動初始化通常用來從CPU鎖定狀態(lock-up)中恢復切換器,在CPU鎖定狀態中,CPU停止對輸入產生回應。冷啟動初始程序通常花費相對長的時間以恢復切換器,因而導致切換功能的低可用性。

            因此,具有提供切換系統故障的自動檢測及恢復的網絡切換器協議的改良需求。進一步地說,需要不妨礙切換功能地恢復網絡切換器。

            本技術公開了可利用監視計時器(watchdog timer)而具備自動檢測并恢復切換系統故障可行的技術。根據某些實施方式,本技術可利用內嵌在切換CPU中的監視計時器提供本文公開的監視功能;根據某些實施方式,本技術可利用于切換CPU外部的服務控制器提供本文公開的監視功能。根據某些實施方式,本技術能夠無縫恢復網絡切換器而不會降低像是數據幀(data frames)的學習、溢流及轉發的切換功能。

            監視計時器(watchdog timer)可為用以檢測并恢復系統故障的電子式計時器。監視計時器通常以可自起始值計數至零的計數器為基礎,其可觸發系統重置。當系統操作為正常時,系統可以自動且周期性地重置計數器使其不會 逾期并開始系統重置。相反地,當系統對重置計數器異常及失靈時,此監視計時器在計數器失效時可為了恢復正常系統操作而送出逾時信號以重置系統。

            圖1A是根據某些實施方式,說明帶有內部監視計時器的自動恢復切換系統示例的示意方塊圖。需要察覺到的是在圖1A中的系統技術為示例,且像是服務器、切換器及網絡元件的任意數量的計算裝置可被包含于圖1A的系統中。

            如圖1A所示,自動恢復切換系統可包含網絡切換器102,其可用以操作以對網絡系統提供切換功能。網絡切換器102可包含CPU 106,其可用以操作以執行像是實施網絡協議的運行時間應用程序(runtime applications)。這些網絡協議的例子包含鏈路匯聚控制協議(Link Aggregation Control Protocol,LACP)及開放式最短路徑優先(Open Shortest Path First,OSPF),其可助于提供高速主干網絡,像是網際網絡協議第四版(internet protocol version 4,IPv4)或網際網絡協議第六版(internet protocol version 6,IPv6)。舉例而言,LACP可用以操作以將數個物理端口聚集在一起以形成單一邏輯通道。LACP可允許一網絡裝置進行自動捆扎鏈路(automatic bundling of links)的協商。舉例而言,OSPF可用以操作以借由收集鏈路狀態信息來創造網絡的拓樸圖。CPU 106也可執行用以實施切換功能的其他網絡協議。

            根據某些實施方式,CPU 106可經由像是PCIe(高速外圍組件互連接口(peripheral component interconnect express))鏈路的系統總線116與ASIC 108互相連接。ASIC 108可為包含切換控制器、存儲器及I/O接口(未顯示)的切換IC。根據某些實施方式,ASIC 108可與像是查找表的ASIC設置(ASIC Setting)124相關聯,其可相關聯與端口(port)對應的媒體存取控制(medium access control,MAC)地址。舉例而言,切換控制器可借由識別在分組標頭的目標MAC地址來判定分組路徑。切換控制器可進一步地將目標MAC地址與對應的輸出端口進行相關聯。進一步而言,ASIC 108可借由像是以太網絡126的上行鏈路傳送分組至網絡。

            根據某些實施方式,網絡切換器102可包含存儲器104,其可用以操作以儲存切換相關的數據。舉例而言,存儲器104可為包含動態隨機存取存儲器群組的雙行存儲器模塊(dual in-line memory module,DIMM),存儲器技術為相關領域技術人員所已知,因此不需進一步的描述。

            根據某些實施方式,CPU 106可執行ASIC模塊(ASIC Module)122且產生可被儲存于存儲器104中的ASIC模塊數據庫(ASIC Module Database)118。ASIC模塊數據庫118可儲存各種網絡參數,舉例而言,用于網絡功能的ASIC設置124的映射。

            根據某些實施方式,網絡切換器102可進一步包含端口的群組像是端口110、端口112及端口114,其每一個都可與比如計算節點的網絡裝置相關聯。此外,這些端口中的一或多個可為用于分組切換的輸入端口或輸出端口。

            如圖1所示,根據某些實施方式,監視計時器120(watchdog timer)可為嵌于CPU 106中的內部電子裝置。監視計時器120可檢測像是CPU鎖定或凍結的系統故障并且接著為了恢復系統而開始CPU 106的重置。根據某些實施方式,監視計時器120可包含可從起始值(比如60秒)倒數至零的計數器。當起始值逾期時,監視計時器120可送出可重置CPU 106以恢復系統的逾時信號。根據某些實施方式,監視計時器120的計數器可從起始值計數至溢出值。同樣地,當計數器達到溢出值時,監視計時器120可送出逾時信號以重置CPU106。

            根據某些實施方式,監視計時器120可配置帶有多于一個的計數器,每一個計數器可對應至網絡切換器102相應的操作階段(operation stage)。同時,根據每一個相應操作階段的特性及功能,每個計數器的起始值可為不同。舉例而言,第一監視計時器計數器與啟動載入器階段(boot loader stage)相關聯。第一監視計時器計數器可具有比啟動載入器階段的預估時間更長的起始時間值。舉例而言,第二監視計時器計數器與操作系統啟動階段(operation system booting stage)相關聯。第二監視計時器計數器可具有比操作系統啟動階段的預估時間更長的起始時間值。舉例而言,第三監視計時器計數器與運行時間階段(runtime stage)相關聯。進一步而言,當運行時間階段可為不確定時,第三監視計時器可借由計時器重置程序或監視計時器常駐程序來周期性地重置。

            更精確地說,在啟動載入器階段時,在CPU 106上執行的啟動載入器可設置監視計時器120的第一監視計數器。根據某些實施方式,第一監視計數器可根據啟動載入器階段的預期時間而設置。具體而言,第一監視計數器可長到足以涵蓋啟動載入器階段的預期時間。舉例而言,當啟動載入器階段可花費不超過10秒時,第一監視計數器可設置一個長于10秒的起始值。此方法可以避免當容許監視計時器120能夠自動檢測并恢復系統故障時,啟動程 序的意外重置。

            進一步,當CPU 106對輸入的反應停擺或失靈比第一監視計數器要長的一段時間時,監視計時器120可傳送逾時信號給CPU 106以重置啟動程序。

            同樣地,在操作系統啟動階段時,可設置監視計時器120的第二監視計數器。根據某些實施方式,第二監視計數器可根據操作系統啟動階段的預期時間而設置。具體而言,第二監視計數器可長到足以涵蓋操作系統啟動階段的預期時間。舉例而言,當操作系統啟動階段通常可花費不超過15秒時,第二監視計數器可設置一個長于15秒的起始值以避免CPU 106的意外重置。

            進一步,當CPU 106對輸入的反應停擺或失靈比第二監視計數器要長的一段時間時,監視計時器120可傳送逾時信號以重置CPU 106。

            在啟動載入器階段及操作啟動階段之后的運行時間階段中,在CPU 106上執行的監視計時器常駐程序可設置監視計時器120的第三監視計數器。根據某些實施方式,監視計時器常駐程序可為一個作為背景程序執行的計算機程序。當CPU 106功能正常時,CPU 106可產生心跳信號(heartbeat signal)并利用監視計時器常駐程序傳送之。因此,監視計時器常駐程序可自動且周期性地重置第三監視計數器的起始值以避免CPU 106的重置。在另一方面,當CPU 106遭受失靈且停止產生心跳信號時,監視計時器常駐程序可取消重置,因此使第三監視計時器經過(elapse)或逾期。于是,監視計時器可產生逾時信號以重置CPU 106。

            進一步,監視計時器120可配置帶有用于網絡系統的其他啟動或操作階段的額外的監視計時器計數器。

            根據某些實施方式,網絡系統的重置可進一步包含ASIC 108的暖啟動初始化(warm boot initialization)。與可造成網絡停機時間(network downtime)的冷啟動初始程序不同,暖啟動初始程序可在CPU重置時保存切換功能。舉例而言,由ASIC 108行使的切換功能像是學習(learning)或轉發(forwarding)可在CPU重啟動時持續。

            在暖啟動初始程序中,當ASIC模塊122接收到來自監視計時器120或其他元件的逾時信號時,可開始暖啟動初始化。ASIC模塊122可探查連接至系統總線116的PCIe裝置,在此期間,ASIC模塊122可識別ASIC 108。接著ASIC模塊122可自ASIC 108接收ASIC設置124。因此,ASIC模塊122可重新載入各種裝置模塊或驅動程序,包含相關端口的MAC驅動程序。 ASIC模塊122也可利用ASIC設置124重建ASIC模塊數據庫118。最后,網絡系統可以根據ASIC模塊數據庫118建立網絡協議。這些網絡協議的例子可包含如本文所述的LACP及OSPF。

            圖1B是說明如圖1A所示的自動恢復切換系統的另一示例的示意方塊圖。根據某些實施方式,當網絡系統進入運行時間階段,CPU 106可自動傳送重啟信號(restart signals)給監視計時器120使其不會傳送重置信號(reset signal)給CPU 106。舉例而言,在運行時間階段,監視計時器120可與計數5秒的監視計數器值相關聯。因此,CPU 106在每5秒中可周期且自動地傳送重啟信號給監視計時器120。根據某些實施方式,在CPU 106上執行的監視計時器常駐程序可周期地傳送重啟信號給監視計時器120。當CPU 106傳送重啟信號失靈,逾期5秒時,監視計時器120可傳送重置信號給CPU 106。在接收到重置信號后,網絡系統可立即強制啟動程序的重啟使其可從CPU鎖定或凍結中恢復。

            圖2是根據某些實施方式,說明帶有外部監視計時器的自動恢復切換系統示例的示意方塊圖。需查覺到的是在圖2中的系統拓樸是舉例,且像是服務器、切換器及網絡元件的任意數量的計算裝置可被包含于圖2的系統中。

            如圖2所示,自動恢復切換系統可包含網絡切換器202,其可用以操作以提供網絡系統切換功能。網絡切換器202可包含CPU 206,其可用以操作以執行像是實施網絡協議的運行時間應用程序。這些網絡協議的例子包含鏈路匯聚控制協議(LACP)及開放式最短路徑優先(OSPF),其可有助于提供高速主干網絡,像是網際網絡協議第四版(IPv4)或網際網絡協議第六版(IPv6)。舉例而言,LACP可用以操作以將數個物理端口聚集在一起以形成單一邏輯通道。LACP可允許讓一網絡裝置進行自動捆扎鏈路的協商。舉例而言,OSPF可用以操作以借由聚集鏈路狀態信息來創造網絡的拓樸圖。CPU 206也可執行用于實施切換功能的其他的網絡協議。

            根據某些實施方式,CPU 206可經由像是PCIe(高速外圍組件互連接口)鏈路的系統總線216與ASIC 208互相連接。CPU 206可通過通信接口與可模擬監視計時器功能的基板管理控制器(Baseboard Management Controller,BMC)222互相連接。這種通信接口例如為智慧平臺管理總線(Intelligent Platform Management Bus/Bridge,IPMB),其可定義用以與嵌于計算裝置中的服務處理器(service processor)相接的協議。另一個通信接口的例子可為 RESTful(表征狀態轉移(Representational State Transfer)),例如Redfish。另一個通信接口的例子可為i2c(內部集成電路(Inter-Integrated Circuit))。另一個通信接口的例子可為SSIF(系統管理總線系統接口(SMBus system interface))。

            BMC為獨立且內嵌式的微控制器,且在某些實施方式中,負責管理并監控主CPU、固件及操作系統。根據某些實施方式,BMC可借由從安裝于底板的感應器接收數據,比如風扇速度、CPU溫度、電力消耗程度等等來監控服務器的硬件元件。根據某些實施方式,機架管理控制器(Rack Management Controller,RMC)或底板管理控制器(chassis management controller,CMC)可用以操作以對網絡系統提供監視計時器功能。

            根據某些實施方式,BMC 222可經由像是I2C的通信鏈路與網絡切換器202耦接。根據某些實施方式,BMC 222可經由通信鏈路連接至網絡切換器202的通用輸入/輸出引腳(general-purpose input/output,GPIO pin)。

            根據某些實施方式,ASIC 208可與像是查找表的ASIC設置224相關聯,其可將端口與對應的媒體存取控制(medium access control,MAC)地址進行相關聯。舉例而言,切換控制器可借由識別在分組標頭的目標MAC地址判定分組的轉發路徑。切換控制器可進一步地將目標MAC地址與對應的輸出端口進行相關聯。

            根據某些實施方式,網絡切換器202可包含存儲器204,其可用以操作以儲存切換相關的數據。舉例而言,存儲器204可為包含動態隨機存取存儲器群組的雙行存儲器模塊(DIMM),存儲器技術為相關領域技術人員所知,因此不需進一步的描述。

            根據某些實施方式,CPU 206可執行ASIC模塊220且產生可被儲存于存儲器204中的ASIC模塊數據庫218。ASIC模塊數據庫218可儲存各種網絡參數,舉例而言,用于網絡功能的ASIC設置224的映射。

            根據某些實施方式,網絡切換器202可進一步包含端口的群組像是端口210、端口212及端口214,其每一個都可與比如計算節點的網絡裝置相關聯。此外,這些端口中的一或多個可為用于分組切換的輸入端口或輸出端口。

            如圖2所示,根據某些實施方式,BMC 222可為CPU 206外部的獨立裝置。BMC 222可檢測像是CPU鎖定或凍結的系統故障,并因此,為了恢復系統而開始CPU 206的重置。舉例而言,BMC 222可送出GPIO信號給CPU206以開始重置。根據某些實施方式,BMC 222可如同可自起始值(比如60 秒)倒數至零的計數器一般地運作。當起始值逾期時,BMC 222可送出可重置CPU 206以恢復系統的逾時信號。根據某些實施方式,BMC 222可從起始值計數至溢出值。同樣地,當計數器達到事先決定的溢出值時,BMC 222可送出逾時信號以重置CPU 206。

            根據某些實施方式,BMC 222可配置帶有多于一個的計數器,每一個計數器可對應至網絡切換器202相應的操作階段。同時,根據每一個相應操作階段的特性功能,每個計數器的起始值可為不同。舉例而言,第一監視計時器計數器與啟動載入器階段相關聯。第一監視計時器計數器可具有比啟動載入器階段的預估時間更長的起始時間值。舉例而言,第二監視計時器計數器與操作系統啟動階段相關聯。第二監視計時器計數器可具有比操作系統啟動階段的預估時間更長的起始時間值。舉例而言,第三監視計時器計數器與運行時間階段相關聯。進一步而言,當運行時間階段可為不確定時,第三監視計時器可借由計時器重置程序或監視計時器常駐程序來周期性地重置。

            更精確地說,在啟動載入器階段時,在CPU 206上執行的啟動載入器可設置BMC 222的第一監視計數器。舉例而言,經由自CPU 206而來的命令或指令通過通信接口至BMC 222。根據某些實施方式,第一監視計數器可根據啟動載入器階段的預期時間而設置。具體而言,第一監視計數器可長到足以涵蓋啟動載入器階段的預期時間。舉例而言,當啟動載入器階段可花費不超過10秒時,第一監視計數器可設置一個長于10秒的起始值。此方法可以避免當容許BMC 222能夠自動檢測并恢復系統故障時,啟動程序的意外重置。

            進一步而言,當CPU 206對輸入的反應停擺或失靈比第一監視計數器要長(比如10秒)的一段時間時,BMC 222可傳送逾時信號給CPU 206以重置啟動程序。逾時信號的例子可為GPIO信號。

            同樣地,在操作系統啟動階段時,可設置BMC 222的第二監視計數器。根據某些實施方式,第二監視計數器可根據操作系統啟動階段的預期時間而設置。具體而言,第二監視計數器可長到足以涵蓋操作系統啟動階段的預期時間。舉例而言,當操作系統啟動階段通常可花費不超過15秒時,第二監視計數器可設置一個長于15秒的起始值以避免CPU 206的意外重置。

            進一步而言,當CPU 206對輸入的反應停擺或失靈比第二監視計數器要長(比如15秒)的一段時間時,監視器常駐程序可傳送逾時信號以重置CPU206。

            在啟動載入器階段及操作啟動階段之后的運行時間階段中,在CPU 206上執行的監視計時器常駐程序可設置BMC 222的第三監視計數器。根據某些實施方式,監視計時器常駐程序可為一個作為背景程序執行的計算機程序。當CPU 206功能正常時,CPU 206可產生心跳信號并利用監視計時器常駐程序傳送之。因此,監視計時器常駐程序可自動且周期性地重置第三監視計數器的起始值以避免CPU 206的重置。在另一方面,當CPU 206遭受失靈且停止產生心跳信號時,監視計時器常駐程序可取消重置,因此使第三監視計時器經過或逾期。于是,監視計時器可產生逾時信號以重置CPU 206。

            進一步,監視器常駐程序可配置帶有用于網絡系統的其他啟動或操作階段的額外的監視計時器計數器。

            根據某些實施方式,網絡系統的重置可進一步開始ASIC 208的暖啟動初始化。與可造成網絡停機時間的冷啟動初始程序不同,暖啟動初始程序可在CPU重置時保存切換功能。舉例而言,像是由ASIC 208行使的學習或轉發的切換功能。在暖啟動初始程序中,網絡系統可自ASIC 208接收ASIC設置224,重載ASIC模塊220以在CPU 206上執行并根據ASIC設置224在存儲器204中重建ASIC模塊數據庫218。最后,網絡系統可根據ASIC模塊數據庫218建立網絡協議。這些網絡協議的例子可包含如本文所述的LACP及OSPF。

            圖3是根據某些實施方式,自動恢復切換系統的示例流程圖。要被理解的是,除非有另外說明,否則在各種實施方式的范圍中,能夠以相似或輪流或兩者同時的方式行使額外的、較少的或替代的步驟。

            在步驟302,自動恢復切換系統可設置監視計時器的第一監視計時器計數器。根據某些實施方式,監視計時器可為在切換CPU內部的電子式計時器。根據某些實施方式,第一監視計時器計數器的起始值可至少在某些程度上根據啟動載入器階段的預期時間長度來決定。進一步,在第一監視計時器計數器逾期后,監視計時器可送出逾時信號以重置切換中央處理單元。

            舉例而言,如第1圖所示,在CPU 106上執行的啟動載入器可設置監視計時器120的第一監視計數器。具體而言,第一監視計數器可長到足以涵蓋啟動載入器階段的預期時間。舉例而言,當啟動載入器階段可花費不超過10秒時,第一監視計數器可設置一個長于10秒的起始值。此方法可以避免當容許監視計時器120能夠自動檢測并恢復系統故障時,啟動程序的意外重置。

            在步驟304,自動恢復切換系統可設置監視計時器的第二監視計時器計數器。根據某些實施方式,第二監視計時器計數器的起始值可至少在某些程度上根據操作系統啟動階段的預期時間長度來決定。進一步而言,在第二監視計時器計數器逾期后,監視計時器可送出逾時信號以重置切換中央處理單元。

            舉例而言,如第1圖所示,可設置監視計時器120的第二監視計數器。根據某些實施方式,可根據操作系統啟動階段的預期時間長度來設置第二監視計數器。具體而言,第二監視計數器可長到足以涵蓋操作系統啟動階段的預期時間。舉例而言,當操作系統啟動階段通常可花費不超過15秒時,第二監視計數器可設置一個長于15秒的起始值。以避免CPU 106的意外重置。

            在步驟306,自動恢復切換系統可設置監視計時器的第三監視計時器計數器。根據某些實施方式,第三監視計時器計數器與運行時間階段相關聯。在第三監視計時器計數器逾期后,監視計時器可送出逾時信號以重置切換中央處理單元。根據某些實施方式,第三監視計時器可借由監視計時器常駐程序來周期性地重置,以防止第三監視計時器逾期。

            再次參考第1圖,舉例而言,在啟動載入器階段及操作啟動階段之后的運行時間階段中,在CPU 106上執行的監視計時器常駐程序可設置監視計時器120的第三監視計數器。根據某些實施方式,監視計時器常駐程序可為一個作為背景程序執行的計算機程序。當CPU 106功能正常時,CPU 106可產生心跳信號并利用監視計時器常駐程序傳送之。因此,監視計時器常駐程序可自動且周期性地重置第三監視計數器的起始值以避免CPU 106的重置。在另一方面,當CPU 106遭受失靈且停止產生心跳信號時,監視計時器常駐程序可放棄重置并使第三監視計時器經過或逾期。于是,監視計時器可產生逾時信號以重置CPU 106。

            圖4是根據某些實施方式,帶有高可用性切換功能的自動恢復切換系統的另一示例流程圖。要被理解的是,除非有另外說明,否則在各種實施方式的范圍中,能夠以相似或輪流或兩者同時的方式行使額外的、較少的或替代的步驟。

            在步驟402,自動恢復切換系統可設置監視計時器的第一監視計時器計數器。根據某些實施方式,獨立于切換CPU的服務控制器像是BMC,可模擬電子監視計時器的功能。根據某些實施方式,第一監視計時器計數器的起 始值可至少在某些程度上根據啟動載入器階段的預期時間長度來決定。進一步,在第一監視計時器計數器逾期后,監視計時器可送出逾時信號以重置切換中央處理單元。

            舉例而言,如圖2所示,在CPU 206上執行的啟動載入器可對設置BMC222的第一監視計數器。具體而言,第一監視計數器可長到足以涵蓋啟動載入器階段的預期時間。舉例而言,當啟動載入器階段可花費不超過10秒時,第一監視計數器可設置一個長于10秒的起始值。此方法可以避免當容許BMC222能夠自動檢測并恢復系統故障時,啟動程序的意外重置。

            在步驟404,自動恢復切換系統可設置監視計時器的第二監視計時器計數器。根據某些實施方式,第二監視計時器計數器的起始值可至少在某些程度上根據操作系統啟動階段的預期時間長度來決定。進一步而言,在第二監視計時器計數器逾期后,監視計時器可送出逾時信號以重置切換中央處理單元。

            舉例而言,如圖2所示,可設置BMC 222的第二監視計數器。根據某些實施方式,可根據操作系統啟動階段的預期時間長度來設置第二監視計數器。具體而言,第二監視計數器可長到足以涵蓋操作系統啟動階段的預期時間。舉例而言,當操作系統啟動階段通常可花費不超過15秒時,第二監視計數器可設置一個長于15秒的起始值。以避免CPU 206的意外重置。

            在步驟406,自動恢復切換系統可設置監視計時器的第三監視計時器計數器。根據某些實施方式,第三監視計時器計數器與運行時間階段相關聯。在第三監視計時器計數器逾期后,監視計時器可送出逾時信號以重置切換中央處理單元。根據某些實施方式,第三監視計時器可借由監視計時器常駐程序來周期性地重置,以防止第三監視計時器逾期。

            再次參考圖2,舉例而言,在啟動載入器階段及操作啟動階段之后的運行時間階段中,在CPU 206上執行的監視計時器常駐程序可設置BMC 222的第三監視計數器。根據某些實施方式,監視計時器常駐程序可為一個作為背景程序執行的計算機程序。當CPU 206功能正常時,CPU 206可產生心跳信號并利用監視計時器常駐程序傳送之。因此,監視計時器常駐程序可自動且周期性地重置第三監視計數器的起始值以避免CPU 206的重置。在另一方面,當CPU 206遭受失靈且停止產生心跳信號時,監視計時器常駐程序可放棄重置并使第三監視計時器經過或逾期。于是,監視計時器可產生逾時信號 以重置CPU 206。

            在步驟408,當第一監視計時器計數器、第二監視計時器計數器或第三監視計時器計數器的其中之一逾期時,監視計時器可重置切換CPU使其可自故障中恢復。舉例而言,如圖2所示,在啟動載入器階段及操作啟動階段之后的運行時間階段中,在CPU 206上執行的監視計時器常駐程序可設置BMC222的第三監視計數器。當CPU 206遭受失靈且停止產生心跳信號時,監視計時器常駐程序可取消計數器重置,因此使第三監視計時器經過或逾期。于是,監視計時器可產生逾時信號以重置CPU 206。

            在步驟410,自動恢復切換系統可自切換ASIC接收(receive)切換ASIC設置(switch ASIC setting)。舉例而言,如圖2所示,網絡切換器202在暖啟動初始化可自ASIC 208接收ASIC設置224而不用重置ASIC 208。

            在步驟412,自動恢復切換系統可重載(reload)切換ASIC模塊。舉例而言,網絡切換器202可重載ASIC模塊220并在CPU 206上執行。ASIC模塊220可用以操作以產生ASIC模塊數據庫218,其可包含用以實施切換功能的參數。

            在步驟414,自動恢復切換系統可利用ASIC設置重建(rebuild)切換ASIC數據庫。舉例而言,網絡切換器可重建ASIC模塊數據庫218以儲存在存儲器204中。ASIC模塊數據庫218可儲存各種網絡參數,舉例而言,用于網絡功能的ASIC設置224的映射。

            在步驟416,自動恢復切換系統可利用切換ASIC模塊數據庫建立網絡協議。這些網絡協議的例子包含鏈路匯聚控制協議(LACP)及開放式最短路徑優先(OSPF),其可有助于提供高速主干網絡像是網際網絡協議第四版(IPv4)或網際網絡協議第六版(IPv6)。因此,當再啟動CPU 206時,網絡切換器202可維持切換功能的高可用性。

            圖5說明用以實施圖1至4的系統及程序的示例系統架構500。系統架構500包含總線524,其相互連接子系統及裝置,像是BMC 502、處理器504、儲存裝置514、系統存儲器516、網絡接口510及ASIC 508。處理器504能夠以一個或多個像是由Corporation制造的中央處理單元(central processing units,CPUs)實施,或由一個或多個的虛擬處理器及CPUs與虛擬處理器的任意組合實施。系統架構500經由輸入及輸出裝置輸入裝置506及顯示器512交換表示輸入及輸出的數據,其中輸入及輸出裝置輸入裝置506及顯 示器512包含,但不局限于:鍵盤、鼠標、音頻輸入(比如語音至文字裝置)、用戶接口、顯示器、監視器、光標、觸感式顯示器、LCD或LED顯示器及其他與I/O有關的裝置。

            系統架構500借由處理器504行使特定操作,執行儲存在系統存儲器516中一個或多個指令的一個或多個序列。系統架構500可在客戶端-服務器配置、對等式配置(peer-to-peer arrangement)、或作為任何移動計算裝置,包含智能手機及相似之物作為服務器裝置或客戶端裝置。從像是儲存裝置514的其他計算機可讀介質而來的這些指令或數據可被讀入系統存儲器516中。在某些示例中,硬布線電路系統可被用以實施的取代軟件指令或用以實施的軟件指令組合。指令可被嵌于軟件或固件之中。術語「計算機可讀介質(computer readable medium)」意指參與提供指令給處理器504執行的任何有形介質。這種介質可以許多形式為例,包含,但不局限于,非揮發性介質及揮發性介質。舉例而言,非揮發性介質包含光盤或磁盤及相似之物。揮發性介質包含動態存儲器,像是系統存儲器516。

            舉例而言,計算機可讀介質的一般形式為軟盤、柔性盤、硬盤、磁帶、任意其他磁性介質、光盤只讀存儲器(CD-ROM)、任意其他光學介質、打孔卡、紙帶、任意其他帶有孔排列模式的物理介質、動態隨機存取存儲器(RAM)、可編程只讀存儲器(PROM)、可擦除可編程只讀存儲器(EPROM)、快閃可擦除可編程只讀存儲器(FLASH-EPROM)、任意其他存儲器芯片或匣、或任意其他計算機可讀介質。指令可進一步地利用傳輸介質來傳送或接收。術語「傳輸介質(transmission medium)」可包含任何有形或無形的介質,其能夠儲存、編碼或攜帶由機器執行的指令,且包含數字或模擬通信信號或其他無形介質以幫助這些指令進行通信。傳輸介質包含同軸電纜、銅線及光纖,包含那些包含于總線524中用以傳送計算機數據信號的線路。

            在示例中顯示,系統存儲器516可包含各種模塊,其包含可執行指令以實施本文所述的功能。在示例中顯示,系統存儲器516包含日志管理器、日志緩沖或日志儲存庫,每一個均可配置以提供一個或多個的本文所述功能。

            雖然上述示例已為了清楚的理解的目的而在一些細節上進行了描述,上述本發明的技術并不限于所提供的細節。有許多實現上述發明技術的替代方式。所公開的實例是說明性的而不是限制性的。

            當前第1頁1 2 3 
            網友詢問留言 已有0條留言
            • 還沒有人留言評論。精彩留言會獲得點贊!
            1
            婷婷六月激情在线综合激情,亚洲国产大片,久久中文字幕综合婷婷,精品久久久久久中文字幕,亚洲一区二区三区高清不卡,99国产精品热久久久久久夜夜嗨 ,欧美日韩亚洲综合在线一区二区,99国产精品电影,伊人精品线视天天综合,精品伊人久久久大香线蕉欧美
            亚洲精品1区 国产成人一级 91精品国产欧美一区二区 亚洲精品乱码久久久久久下载 国产精品久久久久久久伊一 九色国产 国产精品九九视频 伊人久久成人爱综合网 欧美日韩亚洲区久久综合 欧美日本一道免费一区三区 夜夜爽一区二区三区精品 欧美日韩高清一区二区三区 国产成人av在线 国产精品对白交换绿帽视频 国产视频亚洲 国产在线欧美精品 国产精品综合网 国产日韩精品欧美一区色 国产日韩精品欧美一区喷 欧美日韩在线观看区一二 国产区精品 欧美视频日韩视频 中文字幕天天躁日日躁狠狠躁97 视频一二三区 欧美高清在线精品一区二区不卡 国产精品揄拍一区二区久久 99久久综合狠狠综合久久aⅴ 亚洲乱码视频在线观看 日韩在线第二页 亚洲精品无码专区在线播放 成人亚洲网站www在线观看 欧美三级一区二区 99久久精品免费看国产高清 91麻豆国产在线观看 最新日韩欧美不卡一二三区 成人在线观看不卡 日韩国产在线 在线亚洲精品 亚洲午夜久久久久中文字幕 国产精品成人久久久久久久 精品国产一区二区在线观看 欧美精品国产一区二区三区 中文在线播放 亚洲第一页在线视频 国产午夜精品福利久久 九色国产 精品国产九九 国产永久视频 久久精品人人做人人综合试看 国产一区二区三区免费观看 亚洲精品国产电影 9999热视频 国产精品资源在线 麻豆久久婷婷国产综合五月 国产精品免费一级在线观看 亚洲国产一区二区三区青草影视 中文在线播放 国产成人综合在线 国产在线观看色 国产亚洲三级 国产片一区二区三区 久久99精品久久久久久牛牛影视 亚洲欧美日韩国产 四虎永久免费网站 国产一毛片 国产精品视频在 九九热在线精品 99精品福利视频 色婷婷色99国产综合精品 97成人精品视频在线播放 精品久久久久久中文字幕 亚洲欧美一区二区三区孕妇 亚洲欧美成人网 日韩高清在线二区 国产尤物在线观看 在线不卡一区二区 91网站在线看 韩国精品福利一区二区 欧美日韩国产成人精品 99热精品久久 国产精品免费视频一区 高清视频一区 精品九九久久 欧美日韩在线观看免费 91欧美激情一区二区三区成人 99福利视频 亚洲国产精品91 久热国产在线 精品久久久久久中文字幕女 国产精品久久久久久久久99热 成人自拍视频网 国产精品视频久久久久久 久久影院国产 国产玖玖在线观看 99精品在线免费 亚洲欧美一区二区三区导航 久久久久久久综合 国产欧美日韩精品高清二区综合区 国产精品视频自拍 亚洲一级片免费 久久久久久九九 国产欧美自拍视频 视频一区二区在线观看 欧美日韩一区二区三区久久 中文在线亚洲 伊人热人久久中文字幕 日韩欧美亚洲国产一区二区三区 欧美亚洲国产成人高清在线 欧美日韩国产码高清综合人成 国产性大片免费播放网站 亚洲午夜综合网 91精品久久一区二区三区 国产无套在线播放 国产精品视频网站 国产成人亚洲精品老王 91在线网站 国产视频97 欧美黑人欧美精品刺激 国产一区二区三区免费在线视频 久久久国产精品免费看 99re6久精品国产首页 久久精品91 国产成人一级 国产成人精品曰本亚洲 日本福利在线观看 伊人成综合网 久久综合一本 国产综合久久久久久 久久精品成人免费看 久久福利 91精品国产91久久久久久麻豆 亚洲精品成人在线 亚洲伊人久久精品 欧美日本二区 国产永久视频 国产一区二 一区二区福利 国产一毛片 亚洲精品1区 毛片一区二区三区 伊人久久大香线蕉综合影 国产欧美在线观看一区 亚洲国产欧洲综合997久久 国产一区二区免费视频 国产91精品对白露脸全集观看 久久亚洲国产伦理 欧美成人伊人久久综合网 亚洲性久久久影院 久久99国产精一区二区三区! 91精品国产欧美一区二区 欧美日韩亚洲区久久综合 日韩精品一二三区 久久久夜色精品国产噜噜 国产在线精品福利91香蕉 久久久久久久亚洲精品 97se色综合一区二区二区 91国语精品自产拍在线观看性色 91久久国产综合精品女同我 日韩中文字幕a 国产成人亚洲日本精品 久久国产精品-国产精品 久久国产经典视频 久久国产精品伦理 亚洲第一页在线视频 国产精品久久久久三级 日韩毛片网 久久免费高清视频 麻豆国产在线观看一区二区 91麻豆国产福利在线观看 国产成人精品男人的天堂538 一区二区三区中文字幕 免费在线视频一区 欧美日韩国产成人精品 国产综合网站 国产资源免费观看 亚洲精品亚洲人成在线播放 精品久久久久久中文字幕专区 亚洲人成人毛片无遮挡 国产一起色一起爱 国产香蕉精品视频在 九九热免费观看 日韩亚洲欧美一区 九九热精品在线观看 精品久久久久久中文字幕专区 亚洲欧美自拍偷拍 国产精品每日更新 久久久久国产一级毛片高清板 久久天天躁狠狠躁夜夜中文字幕 久久精品片 日韩在线毛片 国产成人精品本亚洲 国产成人精品一区二区三区 九九热在线观看 国产r级在线观看 国产欧美日韩精品高清二区综合区 韩国电影一区二区 国产精品毛片va一区二区三区 五月婷婷伊人网 久久一区二区三区免费 一本色道久久综合狠狠躁篇 亚洲综合色站 国产尤物在线观看 亚洲一区亚洲二区 免费在线视频一区 欧洲精品视频在线观看 日韩中文字幕a 中文字幕日本在线mv视频精品 91精品在线免费视频 精品国产免费人成在线观看 精品a级片 中文字幕日本在线mv视频精品 日韩在线精品视频 婷婷丁香色 91精品国产高清久久久久 国产成人精品日本亚洲直接 五月综合视频 欧美日韩在线亚洲国产人 精液呈暗黄色 亚洲乱码一区 久久精品中文字幕不卡一二区 亚洲天堂精品在线 激情婷婷综合 国产免费久久精品久久久 国产精品亚洲二区在线 久久免费播放视频 五月婷婷丁香综合 在线亚洲欧美日韩 久久免费精品高清麻豆 精品久久久久久中文字幕 亚洲一区网站 国产精品福利社 日韩中文字幕免费 亚洲综合丝袜 91精品在线播放 国产精品18 亚洲日日夜夜 伊人久久大香线蕉综合影 亚洲精品中文字幕乱码影院 亚洲一区二区黄色 亚洲第一页在线视频 一区二区在线观看视频 国产成人福利精品视频 亚洲高清二区 国内成人免费视频 精品亚洲性xxx久久久 国产精品合集一区二区三区 97av免费视频 国产一起色一起爱 国产区久久 国产资源免费观看 99精品视频免费 国产成人一级 国产精品九九免费视频 欧美91精品久久久久网免费 99热国产免费 久久精品色 98精品国产综合久久 久久精品播放 中文字幕视频免费 国产欧美日韩一区二区三区在线 精品久久蜜桃 国产小视频精品 一本色道久久综合狠狠躁篇 91在线免费观看 亚洲精品区 伊人成综合网 伊人热人久久中文字幕 伊人黄色片 99国产精品热久久久久久夜夜嗨 久久免费精品视频 亚洲一区二区三区高清不卡 久久久久国产一级毛片高清板 国产片一区二区三区 久久狠狠干 99久久婷婷国产综合精品电影 国产99区 国产精品成人久久久久 久久狠狠干 青青国产在线观看 亚洲高清国产拍精品影院 国产精品一区二区av 九九热在线免费视频 伊人久久国产 国产精品久久久久久久久久一区 在线观看免费视频一区 国产精品自在在线午夜区app 国产精品综合色区在线观看 国产毛片久久久久久国产毛片 97国产免费全部免费观看 国产精品每日更新 国产尤物视频在线 九九视频这里只有精品99 一本一道久久a久久精品综合 久久综合给会久久狠狠狠 国产成人精品男人的天堂538 欧美一区二区高清 毛片一区二区三区 国产欧美日韩在线观看一区二区三区 在线国产二区 欧美不卡网 91在线精品中文字幕 在线国产福利 国内精品91久久久久 91亚洲福利 日韩欧美国产中文字幕 91久久精品国产性色也91久久 亚洲性久久久影院 欧美精品1区 国产热re99久久6国产精品 九九热免费观看 国产精品欧美日韩 久久久久国产一级毛片高清板 久久国产经典视频 日韩欧美亚洲国产一区二区三区 欧美亚洲综合另类在线观看 国产精品自在在线午夜区app 97中文字幕在线观看 视频一二三区 精品国产一区在线观看 国产欧美日韩在线一区二区不卡 欧美一区二三区 伊人成人在线观看 国内精品91久久久久 97在线亚洲 国产在线不卡一区 久久久全免费全集一级全黄片 国产精品v欧美精品∨日韩 亚洲毛片网站 在线不卡一区二区 99re热在线视频 久久激情网 国产毛片一区二区三区精品 久久亚洲综合色 中文字幕视频免费 国产视频亚洲 婷婷伊人久久 国产一区二区免费播放 久久99国产精品成人欧美 99国产在线视频 国产成人免费视频精品一区二区 国产不卡一区二区三区免费视 国产码欧美日韩高清综合一区 久久精品国产主播一区二区 国产一区电影 久久精品国产夜色 国产精品国产三级国产 日韩一区二区三区在线 久久97久久97精品免视看 久久国产免费一区二区三区 伊人久久大香线蕉综合电影网 99re6久精品国产首页 久久激情网 亚洲成人高清在线 国产精品网址 国产成人精品男人的天堂538 香蕉国产综合久久猫咪 国产专区中文字幕 91麻豆精品国产高清在线 久久国产经典视频 国产精品成人va在线观看 国产精品爱啪在线线免费观看 日本精品久久久久久久久免费 亚洲综合一区二区三区 久久五月网 精品国产网红福利在线观看 久久综合亚洲伊人色 亚洲国产精品久久久久久网站 在线日韩国产 99国产精品热久久久久久夜夜嗨 国产综合精品在线 国产区福利 精品亚洲综合久久中文字幕 国产制服丝袜在线 毛片在线播放网站 在线观看免费视频一区 国产精品久久久精品三级 亚洲国产电影在线观看 最新日韩欧美不卡一二三区 狠狠综合久久综合鬼色 日本精品1在线区 国产日韩一区二区三区在线播放 欧美日韩精品在线播放 亚洲欧美日韩国产一区二区三区精品 久久综合久久网 婷婷六月激情在线综合激情 亚洲乱码一区 国产专区91 97av视频在线观看 精品久久久久久中文字幕 久久五月视频 国产成人福利精品视频 国产精品网址 中文字幕视频在线 精品一区二区三区免费视频 伊人手机在线视频 亚洲精品中文字幕乱码 国产在线视频www色 色噜噜国产精品视频一区二区 精品亚洲成a人在线观看 国产香蕉尹人综合在线 成人免费一区二区三区在线观看 国产不卡一区二区三区免费视 欧美精品久久天天躁 国产专区中文字幕 久久精品国产免费中文 久久精品国产免费一区 久久无码精品一区二区三区 国产欧美另类久久久精品免费 欧美精品久久天天躁 亚洲精品在线视频 国产视频91在线 91精品福利一区二区三区野战 日韩中文字幕免费 国产精品99一区二区三区 欧美成人高清性色生活 国产精品系列在线观看 亚洲国产福利精品一区二区 国产成人在线小视频 国产精品久久久久免费 99re热在线视频 久久久久久久综合 一区二区国产在线播放 成人国产在线视频 亚洲精品乱码久久久久 欧美日韩一区二区综合 精品久久久久免费极品大片 中文字幕视频二区 激情粉嫩精品国产尤物 国产成人精品一区二区视频 久久精品中文字幕首页 亚洲高清在线 国产精品亚洲一区二区三区 伊人久久艹 中文在线亚洲 国产精品一区二区在线播放 国产精品九九免费视频 亚洲二区在线播放 亚洲狠狠婷婷综合久久久久网站 亚洲欧美日韩网站 日韩成人精品 亚洲国产一区二区三区青草影视 91精品国产福利在线观看 国产精品久久久久久久久99热 国产一区二区精品尤物 久碰香蕉精品视频在线观看 亚洲日日夜夜 在线不卡一区二区 国产午夜亚洲精品 九九热在线视频观看这里只有精品 伊人手机在线视频 91免费国产精品 日韩欧美中字 91精品国产91久久久久 国产全黄三级播放 视频一区二区三区免费观看 国产开裆丝袜高跟在线观看 国产成人欧美 激情综合丝袜美女一区二区 国产成人亚洲综合无 欧美精品一区二区三区免费观看 欧美亚洲国产日韩 日韩亚州 国产欧美日韩精品高清二区综合区 亚洲午夜国产片在线观看 精品久久久久久中文字幕 欧美精品1区 久久伊人久久亚洲综合 亚洲欧美日韩精品 国产成人精品久久亚洲高清不卡 久久福利影视 国产精品99精品久久免费 久久久久免费精品视频 国产日产亚洲精品 亚洲国产午夜电影在线入口 精品无码一区在线观看 午夜国产精品视频 亚洲一级片免费 伊人久久大香线蕉综合影 国产精品久久影院 久碰香蕉精品视频在线观看 www.欧美精品 在线小视频国产 亚洲国产天堂久久综合图区 欧美一区二区三区不卡 日韩美女福利视频 九九精品免视频国产成人 不卡国产00高中生在线视频 亚洲第一页在线视频 欧美日韩在线播放成人 99re视频这里只有精品 国产精品91在线 精品乱码一区二区三区在线 国产区久久 91麻豆精品国产自产在线观看一区 日韩精品成人在线 九九热在线观看 国产精品久久不卡日韩美女 欧美一区二区三区综合色视频 欧美精品免费一区欧美久久优播 国产精品网址 国产专区中文字幕 国产精品欧美亚洲韩国日本久久 日韩美香港a一级毛片 久久精品123 欧美一区二区三区免费看 99r在线视频 亚洲精品国产字幕久久vr 国产综合激情在线亚洲第一页 91免费国产精品 日韩免费小视频 亚洲国产精品综合一区在线 国产亚洲第一伦理第一区 在线亚洲精品 国产精品一区二区制服丝袜 国产在线成人精品 九九精品免视频国产成人 亚洲国产网 欧美日韩亚洲一区二区三区在线观看 在线亚洲精品 欧美一区二区三区高清视频 国产成人精品男人的天堂538 欧美日韩在线观看区一二 亚洲欧美一区二区久久 久久精品中文字幕首页 日本高清www午夜视频 久久精品国产免费 久久999精品 亚洲国产精品欧美综合 88国产精品视频一区二区三区 91久久偷偷做嫩草影院免费看 国产精品夜色视频一区二区 欧美日韩导航 国产成人啪精品午夜在线播放 一区二区视频在线免费观看 99久久精品国产自免费 精液呈暗黄色 久久99国产精品 日本精品久久久久久久久免费 精品国产97在线观看 99re视频这里只有精品 国产视频91在线 999av视频 亚洲美女视频一区二区三区 久久97久久97精品免视看 亚洲国产成人久久三区 99久久亚洲国产高清观看 日韩毛片在线视频 综合激情在线 91福利一区二区在线观看 一区二区视频在线免费观看 激情粉嫩精品国产尤物 国产成人精品曰本亚洲78 国产成人精品本亚洲 国产精品成人免费视频 国产成人啪精品视频免费软件 久久精品国产亚洲妲己影院 国产精品成人久久久久久久 久久大香线蕉综合爱 欧美一区二区三区高清视频 99热国产免费 在线观看欧美国产 91精品视频在线播放 国产精品福利社 欧美精品一区二区三区免费观看 国产一区二区免费视频 国产午夜精品一区二区 精品视频在线观看97 91精品福利久久久 国产一区福利 国产综合激情在线亚洲第一页 国产精品久久久久久久久久久不卡 九色国产 在线日韩国产 黄网在线观看 亚洲一区小说区中文字幕 中文字幕丝袜 日本二区在线观看 日本国产一区在线观看 欧美日韩一区二区三区久久 欧美精品亚洲精品日韩专 国产日产亚洲精品 久久综合九色综合欧美播 亚洲国产欧美无圣光一区 欧美视频区 亚洲乱码视频在线观看 久久无码精品一区二区三区 九九热精品免费视频 久久99精品久久久久久牛牛影视 国产精品成久久久久三级 国产一区福利 午夜国产精品视频 日本二区在线观看 99久久网站 国产亚洲天堂 精品国产一区二区三区不卡 亚洲国产日韩在线一区 国产成人综合在线观看网站 久久免费高清视频 欧美在线导航 午夜精品久久久久久99热7777 欧美久久综合网 国产小视频精品 国产尤物在线观看 亚洲国产精品综合一区在线 欧美一区二区三区不卡视频 欧美黑人欧美精品刺激 日本福利在线观看 久久国产偷 国产手机精品一区二区 国产热re99久久6国产精品 国产高清啪啪 欧美亚洲国产成人高清在线 国产在线第三页 亚洲综合一区二区三区 99r在线视频 99精品久久久久久久婷婷 国产精品乱码免费一区二区 国产在线精品福利91香蕉 国产尤物视频在线 五月婷婷亚洲 中文字幕久久综合伊人 亚洲精品一级毛片 99国产精品电影 在线视频第一页 久久99国产精品成人欧美 国产白白视频在线观看2 成人精品一区二区www 亚洲成人网在线观看 麻豆91在线视频 色综合合久久天天综合绕视看 久久精品国产免费高清 国产不卡一区二区三区免费视 欧美国产中文 99精品欧美 九九在线精品 国产中文字幕在线免费观看 国产一区中文字幕在线观看 国产成人一级 国产精品一区二区制服丝袜 国产一起色一起爱 亚洲精品成人在线 亚洲欧美精品在线 国产欧美自拍视频 99精品久久久久久久婷婷 久99视频 国产热re99久久6国产精品 视频一区亚洲 国产精品视频分类 国产精品成在线观看 99re6久精品国产首页 亚洲在成人网在线看 亚洲国产日韩在线一区 久久国产三级 日韩国产欧美 欧美在线一区二区三区 国产精品美女一级在线观看 成人午夜免费福利视频 亚洲天堂精品在线 91精品国产手机 欧美日韩视频在线播放 狠狠综合久久综合鬼色 九一色视频 青青视频国产 亚洲欧美自拍一区 中文字幕天天躁日日躁狠狠躁97 日韩免费大片 996热视频 伊人成综合网 亚洲天堂欧美 日韩精品亚洲人成在线观看 久久综合给会久久狠狠狠 日韩精品亚洲人成在线观看 日韩国产欧美 亚洲成aⅴ人片在线影院八 亚洲精品1区 99久久精品免费 国产精品高清在线观看 国产精品久久久免费视频 在线亚洲欧美日韩 91在线看视频 国产精品96久久久久久久 欧美日韩国产成人精品 91在线亚洲 热久久亚洲 国产精品美女免费视频观看 日韩在线毛片 亚洲永久免费视频 九九免费在线视频 亚洲一区网站 日本高清二区视频久二区 精品国产美女福利在线 伊人久久艹 国产精品久久久久三级 欧美成人精品第一区二区三区 99久久精品国产自免费 在线观看日韩一区 国产中文字幕一区 成人免费午夜视频 欧美日韩另类在线 久久99国产精品成人欧美 色婷婷中文网 久久天天躁夜夜躁狠狠躁2020 欧美成人伊人久久综合网 国产精品福利资源在线 国产伦精品一区二区三区高清 国产精品亚洲综合色区韩国 亚洲一区欧美日韩 色综合视频 国语自产精品视频在线区 国产高清a 成人国内精品久久久久影 国产在线精品香蕉综合网一区 国产不卡在线看 国产成人精品精品欧美 国产欧美日韩综合精品一区二区三区 韩国电影一区二区 国产在线视频www色 91中文字幕在线一区 国产人成午夜免视频网站 亚洲综合一区二区三区 色综合视频一区二区观看 久久五月网 九九热精品在线观看 国产一区二区三区国产精品 99久热re在线精品996热视频 亚洲国产网 在线视频亚洲一区 日韩字幕一中文在线综合 国产高清一级毛片在线不卡 精品国产色在线 国产高清视频一区二区 精品日本久久久久久久久久 亚洲国产午夜精品乱码 成人免费国产gav视频在线 日韩欧美一区二区在线观看 欧美曰批人成在线观看 韩国电影一区二区 99re这里只有精品6 日韩精品一区二区三区视频 99re6久精品国产首页 亚洲欧美一区二区三区导航 欧美色图一区二区三区 午夜精品视频在线观看 欧美激情在线观看一区二区三区 亚洲热在线 成人国产精品一区二区网站 亚洲一级毛片在线播放 亚洲一区小说区中文字幕 亚洲午夜久久久久影院 国产自产v一区二区三区c 国产精品视频免费 久久调教视频 国产成人91激情在线播放 国产精品欧美亚洲韩国日本久久 久久亚洲日本不卡一区二区 91中文字幕网 成人国产在线视频 国产视频91在线 欧美成人精品第一区二区三区 国产精品福利在线 久久综合九色综合精品 欧美一区二区三区精品 久久国产综合尤物免费观看 久久99青青久久99久久 日韩精品免费 久久国产精品999 91亚洲视频在线观看 国产精品igao视频 色综合区 在线亚洲欧国产精品专区 国产一区二区三区在线观看视频 亚洲精品成人在线 一区二区国产在线播放 中文在线亚洲 亚洲精品第一国产综合野 国产一区二区精品久久 一区二区三区四区精品视频 99热精品久久 中文字幕视频二区 国产成人精品男人的天堂538 99精品影视 美女福利视频一区二区 久久午夜夜伦伦鲁鲁片 综合久久久久久久综合网 国产精品国产欧美综合一区 国产99视频在线观看 国产亚洲女在线精品 婷婷影院在线综合免费视频 国产亚洲3p一区二区三区 91成人爽a毛片一区二区 亚洲一区二区高清 国产欧美亚洲精品第二区首页 欧美日韩导航 亚洲高清二区 欧美激情观看一区二区久久 日韩毛片在线播放 亚洲欧美日韩高清中文在线 亚洲日本在线播放 国产精品一区二区制服丝袜 精品国产一区二区三区不卡 国产不卡在线看 国产欧美网站 四虎永久在线观看视频精品 国产黄色片在线观看 夜夜综合 一本色道久久综合狠狠躁篇 欧美亚洲综合另类在线观看 国产91在线看 伊人久久国产 欧美一区二区在线观看免费网站 国产精品久久久久三级 久久福利 日韩中文字幕a 亚洲午夜久久久久影院 91在线高清视频 国产亚洲一区二区三区啪 久久人精品 国产精品亚洲午夜一区二区三区 综合久久久久久 久久伊人一区二区三区四区 国产综合久久久久久 日韩一区精品视频在线看 国产精品日韩欧美制服 日本精品1在线区 99re视频 无码av免费一区二区三区试看 国产视频1区 日韩欧美中文字幕一区 日本高清中文字幕一区二区三区a 亚洲国产欧美无圣光一区 国产在线视频一区二区三区 欧美国产第一页 在线亚洲欧美日韩 日韩中文字幕第一页 在线不卡一区二区 伊人久久青青 国产精品一区二区在线播放 www.五月婷婷 麻豆久久婷婷国产综合五月 亚洲精品区 久久国产欧美另类久久久 99在线视频免费 伊人久久中文字幕久久cm 久久精品成人免费看 久久这里只有精品首页 88国产精品视频一区二区三区 中文字幕日本在线mv视频精品 国产在线精品成人一区二区三区 伊人精品线视天天综合 亚洲一区二区黄色 国产尤物视频在线 亚洲精品99久久久久中文字幕 国产一区二区三区免费观看 伊人久久大香线蕉综合电影网 国产成人精品区在线观看 日本精品一区二区三区视频 日韩高清在线二区 久久免费播放视频 一区二区成人国产精品 国产精品免费精品自在线观看 亚洲精品视频二区 麻豆国产精品有码在线观看 精品日本一区二区 亚洲欧洲久久 久久中文字幕综合婷婷 中文字幕视频在线 国产成人精品综合在线观看 91精品国产91久久久久福利 精液呈暗黄色 香蕉国产综合久久猫咪 国产专区精品 亚洲精品无码不卡 国产永久视频 亚洲成a人片在线播放观看国产 一区二区国产在线播放 亚洲一区二区黄色 欧美日韩在线观看视频 亚洲精品另类 久久国产综合尤物免费观看 国产一区二区三区国产精品 高清视频一区 国产精品igao视频 国产精品资源在线 久久综合精品国产一区二区三区 www.五月婷婷 精品色综合 99热国产免费 麻豆福利影院 亚洲伊人久久大香线蕉苏妲己 久久电影院久久国产 久久精品伊人 在线日韩理论午夜中文电影 亚洲国产欧洲综合997久久 伊人国产精品 久草国产精品 欧美一区精品二区三区 亚洲成人高清在线 91免费国产精品 日韩精品福利在线 国产一线在线观看 国产不卡在线看 久久99青青久久99久久 亚洲精品亚洲人成在线播放 99久久免费看国产精品 国产日本在线观看 青草国产在线视频 麻豆久久婷婷国产综合五月 国产中文字幕一区 91久久精品国产性色也91久久 国产一区a 国产欧美日韩成人 国产亚洲女在线精品 一区二区美女 中文字幕在线2021一区 在线小视频国产 久久这里只有精品首页 国产在线第三页 欧美日韩中文字幕 在线亚洲+欧美+日本专区 精品国产一区二区三区不卡 久久这里精品 欧美在线va在线播放 精液呈暗黄色 91精品国产手机 91在线免费播放 欧美视频亚洲色图 欧美国产日韩精品 日韩高清不卡在线 精品视频免费观看 欧美日韩一区二区三区四区 国产欧美亚洲精品第二区首页 亚洲韩精品欧美一区二区三区 国产精品视频免费 在线精品小视频 久久午夜夜伦伦鲁鲁片 国产无套在线播放 久热这里只精品99re8久 欧美久久久久 久久香蕉国产线看观看精品蕉 国产成人精品男人的天堂538 亚洲人成网站色7799在线观看 日韩在线第二页 一本色道久久综合狠狠躁篇 国产一区二区三区不卡在线观看 亚洲乱码在线 在线观看欧美国产 久久福利青草精品资源站免费 国产玖玖在线观看 在线亚洲精品 亚洲成aⅴ人在线观看 精品91在线 欧美一区二三区 日韩中文字幕视频在线 日本成人一区二区 日韩免费专区 国内精品在线观看视频 久久国产综合尤物免费观看 国产精品系列在线观看 一本一道久久a久久精品综合 亚洲免费播放 久久精品国产免费 久久人精品 亚洲毛片网站 亚洲成a人一区二区三区 韩国福利一区二区三区高清视频 亚洲精品天堂在线 一区二区三区中文字幕 亚洲国产色婷婷精品综合在线观看 亚洲国产成人久久笫一页 999国产视频 国产精品香港三级在线电影 欧美日韩一区二区三区四区 日韩国产欧美 国产精品99一区二区三区 午夜国产精品理论片久久影院 亚洲精品中文字幕麻豆 亚洲国产高清视频 久久免费手机视频 日韩a在线观看 五月婷婷亚洲 亚洲精品中文字幕麻豆 中文字幕丝袜 www国产精品 亚洲天堂精品在线 亚洲乱码一区 国产日韩欧美三级 久久999精品 伊人热人久久中文字幕 久热国产在线视频 国产欧美日韩在线观看一区二区三区 国产一二三区在线 日韩国产欧美 91精品国产91久久久久 亚洲一区小说区中文字幕 精品一区二区免费视频 国产精品视频免费 国产精品亚洲综合色区韩国 亚洲国产精品成人午夜在线观看 欧美国产日韩精品 中文字幕精品一区二区精品