集群系統及用于在集群系統中提供服務可用性的方法

            文檔序號:7813805閱讀:378來源:國知局
            集群系統及用于在集群系統中提供服務可用性的方法
            【專利摘要】本發明公開了一種集群系統及用于在集群系統中提供服務可用性的方法。所述集群系統包括注冊有活動(active)虛擬機的第一物理服務器;及多個物理服務器,所述多個物理服務器包括對應于所述活動虛擬機且注冊有在所述第一物理服務器發生故障時對所述活動虛擬機進行故障轉移(failover)的備用(standby)虛擬機的第二物理服務器,在發生所述故障時,所述多個物理服務器中的每個存儲故障后(post-failure)的注冊信息,所述故障后的注冊信息將所述活動虛擬機與所述多個物理服務器中的一個物理服務器關聯起來,所述一個物理服務器與所述第二物理服務器不同。
            【專利說明】集群系統及用于在集群系統中提供服務可用性的方法

            【技術領域】
            [0001]本發明涉及一種用于在集群系統中提供服務可用性的方法,更具體地講,涉及一種在集群系統中基于虛擬化環境提供高水平的服務可用性的方法及其集群系統。

            【背景技術】
            [0002]在提供服務的計算機環境中,存在多種高可用性(High Aval lability: HA)技術以減少因發生物理故障(failure)而無法利用服務的停機時間(downtime)。例如,包括被連接為能夠進行通信的多個服務器計算機的集群(cluster)系統提供預定服務的活動(active)服務器和所述活動服務器產生故障時用于恢復服務的備用(standby)服務器。
            [0003]如上所述,在活動服務器發生故障的情況下,在備用服務器進行故障轉移(failover)的期間,系統的管理員通過掌握在活動服務器中發生的故障的主要原因來修復活動服務器或者代替為新的服務器。
            [0004][現有技術文獻]
            [0005][專利文獻]
            [0006]第930576號韓國授權專利


            【發明內容】

            [0007]如前述的HA技術,在活動服務器和備用服務器成為冗余的情況下,如果在備用服務器發生故障之后,在管理員對所述故障采取措施之前在活動服務器發生故障,則無法持續由活動服務器提供的服務。
            [0008]此外,如果表示這種活動服務器和備用服務器的冗余的信息不準確,則在活動服務器發生故障時備用服務器無法正常進行故障轉移。
            [0009]公開的實施例涉及一種在包括多個物理服務器的集群系統中基于虛擬化環境(virtualized environment)提供高水平的服務可用性的方法,無論集群系統中的哪個物理服務器發生故障,也使得活動虛擬機和與其對應的備用虛擬機的對(pair)存在,進而可將表示這種對的信息基于物理服務器的可用資源來進行更新。
            [0010]根據一個實施例,提供一種集群系統,所述集群系統包括:注冊有活動(active)虛擬機的第一物理服務器;及多個物理服務器,所述多個物理服務器包括對應于所述活動虛擬機且注冊有在所述第一物理服務器發生故障時對所述活動虛擬機進行故障轉移(failover)的備用(standby)虛擬機的第二物理服務器,在發生所述故障時,所述多個物理服務器中的每一個存儲故障后(post-failure)的注冊信息,所述故障后的注冊信息將所述活動虛擬機與所述多個物理服務器中的一個物理服務器關聯起來,所述一個物理服務器與所述第二物理服務器不同。
            [0011]根據所述集群系統的一方面,為了構成所述故障后的注冊信息,所述一個物理服務器基于與所述多個物理服務器中的與所述第二物理服務器不同的物理服務器中的每一個的可用資源,從與所述第二物理服務器不同的所述物理服務器中被選擇。
            [0012]根據所述集群系統的一方面,所述活動虛擬機根據所述故障后的注冊信息被注冊到所述一個物理服務器。
            [0013]根據所述集群系統的一方面,所述故障后的注冊信息將注冊到所述第一物理服務器的其他的備用虛擬機與所述多個物理服務器中的另一個物理服務器關聯起來,所述另一個物理服務器與注冊有對應于所述其他的備用虛擬機的其他的活動虛擬機的物理服務器不同。
            [0014]根據所述集群系統的一方面,為了構成所述故障后的注冊信息,所述另一個物理服務器基于所述多個物理服務器中的與注冊有所述其他的活動虛擬機的物理服務器不同的物理服務器中的每一個的可用資源,從與注冊有所述其他的活動虛擬機的物理服務器不同的所述物理服務器中被選擇。
            [0015]根據所述集群系統的一方面,所述其他的備用虛擬機根據所述故障后的注冊信息被注冊到所述另一個物理服務器。
            [0016]根據所述集群系統的一方面,在發生所述故障之前,所述第一物理服務器及所述多個物理服務器中的每一個存儲故障前(pre-failure)的注冊信息,所述故障后的注冊信息通過更新所述故障前的注冊信息來構成,所述故障前的注冊信息表示在發生所述故障之前注冊到所述第一物理服務器及所述多個物理服務器中的每一個的虛擬機。
            [0017]根據所述集群系統的一方面,在發生所述故障之前,可基于所述第一物理服務器的狀態及所述多個物理服務器中的每一個的狀態而變更所述故障前的注冊信息。
            [0018]根據所述集群系統的一方面,所述故障前的注冊信息還表示所述第一物理服務器的可用資源及所述多個物理服務器中的每一個的可用資源。
            [0019]根據所述集群系統的一方面,所述故障前的注冊信息的變更在所述第一物理服務器的可用資源及所述多個物理服務器中的每一個的可用資源中的至少一個的變化量為臨界值以上的情況下執行。
            [0020]根據其他的實施例,提供一種服務可用性提供方法,所述方法用于在集群系統中提供服務可用性,包括如下步驟:在注冊有活動虛擬機的第一物理服務器中發生故障時,使得注冊到多個物理服務器中的第二物理服務器并與所述活動虛擬機對應的備用虛擬機對所述活動虛擬機進行故障轉移;在發生所述故障時,將故障后的注冊信息存儲到所述多個物理服務器中的每一個,其中,所述故障后的注冊信息將所述活動虛擬機與所述多個物理服務器中的一個物理服務器關聯起來,所述一個物理服務器與所述第二物理服務器不同。
            [0021]根據所述服務可用性提供方法的一方面,所述服務可用性提供方法還包括如下步驟:為了構成所述故障后的注冊信息,所述一個物理服務器基于所述多個物理服務器中的與所述第二物理服務器不同的物理服務器中的每一個的可用資源,從與所述第二物理服務器不同的所述物理服務器中被選擇。
            [0022]根據所述服務可用性提供方法的一方面,所述服務可用性提供方法還包括如下步驟:將所述活動虛擬機注冊到所述一個物理服務器。
            [0023]根據所述服務可用性提供方法的一方面,所述故障后的注冊信息還將注冊到所述第一物理服務器的其他的備用虛擬機與所述多個物理服務器中的另一個物理服務器關聯起來,所述另一個物理服務器與注冊有對應于所述其他的備用虛擬機的其他的活動虛擬機的物理服務器不同。
            [0024]根據所述服務可用性提供方法的一方面,所述服務可用性提供方法還包括如下步驟:為了構成所述故障后的注冊信息,所述另一個物理服務器基于所述多個物理服務器中的與注冊有所述其他的活動虛擬機的物理服務器不同的物理服務器中的每一個的可用資源,從與注冊有所述其他的活動虛擬機的物理服務器不同的所述物理服務器中被選擇。
            [0025]根據所述服務可用性提供方法的一方面,所述服務可用性提供方法還包括如下步驟:所述其他的備用虛擬機根據所述故障后的注冊信息被注冊到所述另一個物理服務器。
            [0026]根據所述服務可用性提供方法的一方面,所述服務可用性提供方法還包括如下步驟:在發生所述故障之前,所述第一物理服務器及所述多個物理服務器中的每一個存儲故障前的注冊信息;通過更新所述故障前的注冊信息來構成所述故障后的注冊信息,其中,所述故障前的注冊信息表示在發生所述故障之前注冊到所述第一物理服務器及所述多個物理服務器中的每一個的虛擬機。
            [0027]根據所述服務可用性提供方法的一方面,所述服務可用性提供方法還包括如下步驟:在發生所述故障之前,可基于所述第一物理服務器的狀態及所述多個物理服務器中的每一個的狀態而變更所述故障前的注冊信息。
            [0028]根據所述服務可用性提供方法的一方面,所述故障前的注冊信息還表示所述第一物理服務器的可用資源及所述多個物理服務器中的每一個的可用資源。
            [0029]根據所述服務可用性提供方法的一方面,所述故障前的注冊信息的變更在所述第一物理服務器的可用資源及所述多個物理服務器中的每一個的可用資源中的至少一個的變化量為臨界值以上的情況下執行。
            [0030]根據其他的實施例,提供一種服務器計算機,所述服務器計算機包括處理器及存儲器,所述存儲器包括:注冊信息,表示注冊到包括所述服務器計算機的多個服務器計算機及其他的服務器計算機中的每一個的虛擬機;備用虛擬機,與注冊到所述其他的服務器計算機的活動虛擬機對應;及計算機可執行命令,在所述計算機可執行命令由所述處理器執行的情況下,被構成為執行如下操作:響應于判定所述其他服務器計算機發生故障,所述備用虛擬機對所述活動虛擬機進行故障轉移;響應于所述判定,執行更新所述注冊信息,其中,更新的所述注冊信息將所述活動虛擬機與所述多個服務器計算機中的一個服務器計算機關聯起來,所述一個服務器計算機與所述服務器計算機不同。
            [0031]根據所述服務器計算機的一方面,在所述計算機可執行命令由所述處理器執行的情況下,被構成為執行如下操作:為了更新所述注冊信息,基于所述多個服務器計算機中的與所述服務器計算機不同的服務器計算機中的每一個的可用資源,從與所述服務器計算機不同的服務器計算機中選擇所述一個服務器計算機。
            [0032]根據所述服務器計算機的一方面,所述其他的服務器計算機還注冊有其他的備用虛擬機,更新的所述注冊信息也將所述其他的備用虛擬機與所述多個服務器計算機中的另一個服務器計算機關聯起來,所述另一個服務器計算機與注冊有對應于所述其他的備用虛擬機的其他的活動虛擬機的服務器計算機不同。
            [0033]根據所述服務器計算機的一方面,在所述計算機可執行命令由所述處理器執行的情況下,被構成為執行如下操作:為了更新所述注冊信息,基于所述多個服務器計算機中的與注冊有所述其他的活動虛擬機的服務器計算機不同的服務器計算機中的每一個的可用資源,從與注冊有所述其他的活動虛擬機的服務器計算機不同的服務器計算機中選擇所述另一個服務器計算機。
            [0034]根據所述服務器計算機的一方面,在所述計算機可執行命令由所述處理器執行的情況下,被構成為執行如下操作:在發生所述故障之前,可基于所述多個服務器計算機中的每一個的狀態及所述其他的服務器計算機的狀態而變更所述注冊信息。
            [0035]根據所述服務器計算機的一方面,所述注冊信息還表示所述其他的服務器計算機的可用資源及所述多個服務器計算機中的每一個的可用資源。
            [0036]根據所述服務器計算機的一方面,變更所述注冊信息的操作在所述多個服務器計算機中的每一個的可用資源及所述其他的服務器計算機的可用資源中的至少一個的變化量為臨界值以上的情況下執行。
            [0037]根據本發明的多個實施例的其他具體事項在以下的詳細說明及附圖中被揭示。
            [0038]根據預定的實施例,包括多個物理服務器的集群系統中提供更高的服務可用性,因此可最小化在集群系統中的任一物理服務器發生故障時的服務的停機時間。

            【專利附圖】

            【附圖說明】
            [0039]圖1示出根據本發明的實施例的包括多個服務器計算機的集群(cluster)系統;
            [0040]圖2示出本發明的實施例中的包含于物理服務器中的信息表的示例;
            [0041]圖3是示出根據本發明的實施例而在集群系統中提供服務可用性的過程的順序圖。
            [0042]符號說明:
            [0043]100:集群系統
            [0044]110、120、130、140:物理服務器
            [0045]111、121、131、141:活動虛擬機
            [0046]112、122、132、142 ;備用虛擬機
            [0047]116、126、136、146 ;信息表

            【具體實施方式】
            [0048]以下,將參照附圖對本發明的【具體實施方式】進行描述。然而,這只不過是示例,并且本發明不限于此。
            [0049]在對本發明進行描述時,在對與本發明相關的公知技術的具體描述被認為是會使本發明的主旨不清楚的情況下,省略其詳細描述。并且,后述的術語作為考慮本發明中的功能而定義的術語,可根據使用者、運用者的意圖或者慣例等而不同。因此,其定義應基于貫穿整個本說明書的內容而做出。
            [0050]本發明的技術構思由權利要求書確定,并且以下的實施例只是用于有效地將本發明的技術思想解釋給本發明所屬的【技術領域】中具有普通的知識的技術人員的一種方式而已。
            [0051]圖1示出根據本發明的實施例的包括多個服務器計算機的集群(cluster)系統。
            [0052]如圖1所示,示例性的集群系統100包括第一物理服務器110、第二物理服務器120、第三物理服務器130及第四物理服務器140。各個物理服務器110、120、130、140被連接為能夠通過網絡180進行通信。例如,各個物理服務器110、120、130、140可通過網絡180相互交換包含表示各自的狀態的信息的信號(例如,心跳(heartbeat)信號)。網絡180可以是環(ring)型、星(star)型、總線(bus)型、網(mesh)型或樹(tree)型,但這畢竟是示例性的。
            [0053]作為計算裝置的各個物理服務器110、120、130、140包括:一個以上的處理器、一個以上的存儲器、一個以上的存儲裝置(例如,硬盤驅動器)、一個以上的網絡接口及一個以上的輸入輸出適配器之類的硬件。存儲器可包括計算機可執行的命令,處理器可執行存儲于存儲器中的命令。在存儲于存儲器中的命令由處理器執行的情況下可執行根據以下記載的實施例的操作。
            [0054]各個物理服務器110、120、130、140可提供虛擬化環境。例如,各個物理服務器110、120、130、140可注冊有虛擬機(Virtual Machine:VM)。各個注冊的虛擬機被分配有虛擬化的CPU、存儲器等的資源。此外,各個物理服務器110、120、130、140包括用于運行虛擬機的軟件、固件和/或操作系統組件。從而,存儲于各個物理服務器110、120、130、140的存儲器中的虛擬機可被運行。
            [0055]根據預定的實施例,在集群系統100中基于虛擬化環境提供供高水平的服務可用性。如圖1所示,在集群系統100中正常工作中的物理服務器110、120、130、140中的每個包括至少一個活動(active)虛擬機111、121、131、141。例如,活動虛擬機111、121、131、141中的每個根據復制(replicat1n)/反射(mirroring)到與自己對應的備用(standby)虛擬機112、122、132、142的方式而被備份(backup),從而活動虛擬機111、121、131、141和備用虛擬機112、122、132、142可同步。與各個活動虛擬機111、121、131、141對應的備用虛擬機112、122、132、142位于與包括活動虛擬機111、121、131、141的物理服務器不同的物理服務器。作為一個示例,與第一物理服務器110的第一活動虛擬機111對應的第一備用虛擬機122包含于第二物理服務器120。
            [0056]可在各個物理服務器110、120、130、140中存儲表示包含于該物理服務器110、120、130、140的虛擬機的注冊信息。換句話說,注冊到各個物理服務器110、120、130、140的虛擬機被記錄于這樣的注冊信息中。因此,該注冊信息可用于在集群系統100中確認注冊到某個物理服務器的虛擬機是什么或者注冊有某個虛擬機的物理服務器是什么。
            [0057]在另一方面,該注冊信息可用于將其他的虛擬機添加到各個物理服務器110、120、130,140或者刪除現有的虛擬機。例如,在各個物理服務器110、120、130、140的注冊信息被改變/更新之后,物理服務器110、120、130、140中的至少一個可根據這樣的注冊信息將之前沒有注冊的虛擬機注冊到自身上。
            [0058]包含于各個物理服務器110、120、130、140的注冊信息可以是表形態。根據圖1,物理服務器110、120、130、140中的每個包括信息表116、126、136、146。信息表116、126、136、146可被構成為都包括相同的信息。
            [0059]圖2示出本發明的實施例中的包含于物理服務器中的信息表的示例。
            [0060]示例性的信息表200包括用于識別物理服務器的信息210及用于識別包含于各個物理服務器中的虛擬機的信息220。信息表200還可包括用于識別與由信息220識別的虛擬機對應的虛擬機所在的物理服務器的信息230。
            [0061]例如,信息表200可被構成為如下。以下舉例示出的信息表200在圖1中所示的集群系統100中可被用作包含于各個物理服務器110、120、130、140中的信息表116、126、136,146ο
            [0062]信息210( S卩,名為“物理服務器”的標題的列)表示集群系統100的第一物理服務器110、第二物理服務器120、第三物理服務器130及第四物理服務器140。
            [0063]信息220(即,名為“虛擬機(VM) ”的標題的列)表示注冊到由信息210識別的各個物理服務器的虛擬機。具體地講,信息220將第一活動虛擬機111及第四備用虛擬機112與第一物理服務器110關聯起來而表示,將第二活動虛擬機121及第一備用虛擬機122與第二物理服務器120關聯起來而表示,將第三活動虛擬機131及第二備用虛擬機132與第三物理服務器130關聯起來而表示,將第四活動虛擬機141及第三備用虛擬機142與第四物理服務器140關聯起來而表示。
            [0064]信息230 (即,名為“對應的虛擬機所在的物理服務器”的標題的列)表示包含與由信息220表示的虛擬機對應的虛擬機的物理服務器。例如,與第一活動虛擬機111同步的第一備用虛擬機122包含于第二物理服務器120,信息230將第二物理服務器120與第一活動虛擬機111關聯起來而表示。作為另一示例,與第四備用虛擬機112同步的第四活動虛擬機141包含于第四物理服務器140,信息230將第四物理服務器140與第四備用虛擬機112關聯起來而表示。以同樣的方式,信息230是與包含于信息220中的其他虛擬機關聯起來而表示預定的物理服務器。
            [0065]此外,信息表200可包括表示信息210所表示的物理服務器的可用資源的信息(未示出)。例如,預定的物理服務器的可用資源可包括該物理服務器可用的CPU和/或存儲器。
            [0066]信息表200可變更。在信息表200變更的情況下,物理服務器110、120、130、140中的至少一個可根據變更的信息表200將之前沒有注冊到自身上的虛擬機注冊到自身上。
            [0067]信息表200在第一物理服務器110、第二物理服務器120、第三物理服務器130及第四物理服務器140中的任意一個生成和/或變更之后,可被提供到其余的物理服務器。生成和/或變更信息表200的物理服務器可動態變更。例如,如果第一物理服務器110在負責信息表200的變更的過程中在第一物理服務器110中發生故障,則至少一個其他的物理服務器(例如,第二物理服務器120)可負責信息表200的變更。與此不同,信息表200的生成和/或變更可由物理服務器110、120、130、140中的每個分別執行。
            [0068]此外,如圖2中所示,生成的信息表200可基于各個物理服務器110、120、130、140的狀態而變更。表示各個物理服務器110、120、130、140的狀態的信息可被包含于各個物理服務器110、120、130、140發送的信號(例如,各個物理服務器110、120、130、140可周期性地發送的心跳信號)中。例如,假設由第一物理服務器110負責信息表200的變更。第二物理服務器120、第三物理服務器130及第四物理服務器140中的每個可發送心跳信號,第一物理服務器110可變更信息表200,以基于包含于各個心跳信號的物理服務器的狀態及自身的狀態來再分配包含于物理服務器110、120、130、140中的全部或者一部分的虛擬機。進而,第二物理服務器120、第三物理服務器130及第四物理服務器140中的每個可將關于自己的可用資源的信息與心跳信號一起進行發送。在這種情況下,第一物理服務器110可基于各個物理服務器110、120、130、140的可用資源信息來變更信息表200。
            [0069]信息表200變更的時間點可根據預定的策略來確定。例如,為了防止由于信息表200過于頻繁地更新而導致的開銷,可在各個物理服務器110、120、130、140的可用資源中的至少一個的變化量為臨界值(例如,現有的可用資源的10% )以上的情況下變更信息表200。
            [0070]再次參照圖1,來說明在集群系統100中的預定物理服務器發生故障時提供服務可用性的方法。
            [0071]將在注冊有第一活動虛擬機111的第一物理服務器110中發生故障的情況為例。假設在發生故障之前存儲于各個物理服務器110、120、130、140的信息表116、126、136、146包含圖2中所不的信息表200。
            [0072]在第一物理服務器110發生故障的情況下,第一備用虛擬機122對第一活動虛擬機111進行故障轉移(failover)。這樣的故障轉移可參照信息表116、126、136、146而揭不。根據信息表116、126、136、146,集群系統100的第二物理服務器120注冊有與第一活動虛擬機111對應的第一備用虛擬機122。例如,第二物理服務器120通過感測沒有來自第一物理服務器110的針對從第二物理服務器120發送的心跳信號的響應,來判定在第一物理服務器110中發生故障。此外,第二物理服務器120參照自己的信息表126使得第一備用虛擬機122對第一活動虛擬機111進行故障轉移。
            [0073]如上所述,如果第一備用虛擬機122對第一活動虛擬機111進行故障轉移,則原本由第一活動虛擬機111提供的服務被轉移到第一備用虛擬機122,從而由第一備用虛擬機122來進行恢復。
            [0074]此外,在第一物理服務器110發生故障時,信息表200被更新/重新構成。執行這樣的更新以使注冊在發生故障的第一物理服務器110中的虛擬機被適當地再分配到其余的物理服務器120、130、140。通過第一備用虛擬機122而被故障轉移之后,除發生故障的第一物理服務器110以外的其余的物理服務器120、130、140中的至少一個物理服務器可更新信息表200。這樣的更新可基于構成注冊信息的邏輯,以免某個活動虛擬機和與之對應的備用虛擬機被注冊到相同的物理服務器。
            [0075]作為一個示例,更新的信息表200將第一活動虛擬機111與物理服務器120、130、140中的一個物理服務器關聯起來。只是,如上所述,與第一活動虛擬機111相關聯的物理服務器與第二物理服務器120不同。例如,根據更新的信息表200,第三物理服務器130與第一活動虛擬機111相關聯。此外,更新的信息表200將注冊到第一物理服務器110的第四備用虛擬機112與物理服務器120、130、140中的一個物理服務器關聯起來。只是,如上所述,與第四備用虛擬機112相關聯的物理服務器與注冊有對應于第四備用虛擬機112的第四活動虛擬機141的第四物理服務器140不同。例如,根據更新的信息表200,第三物理服務器130與第一活動虛擬機111相關聯。
            [0076]進而,為了更新信息表200,與第一活動虛擬機111相關聯的物理服務器及與第四備用虛擬機112相關聯的物理服務器可基于物理服務器110、120、130、140中的一部分的可用資源而被選擇。具體地講,與第一活動虛擬機111相關聯的物理服務器可基于除發生故障的第一物理服務器110及第一備用虛擬機122對第一活動虛擬機111進行故障轉移的第二物理服務器120之外的其余物理服務器130、140中的每個的可用資源而由物理服務器130,140選擇。例如,在第三物理服務器130比第四物理服務器140具有更充足的可用資源的情況下,將第一活動虛擬機111與第三物理服務器130關聯起來。與第四備用虛擬機112相關聯的物理服務器可基于除發生故障的第一物理服務器110及注冊有第四活動虛擬機141的第四物理服務器140之外的其余物理服務器120、130中的每個的可用資源而由物理服務器120、130選擇。例如,在第二物理服務器120比第三物理服務器130具有更充足的可用資源的情況下,將第四備用虛擬機112與第二物理服務器120關聯起來。
            [0077]概括而言,圖2所示的信息表200根據如上所述的更新,作為與第二物理服務器120對應的虛擬機而在現有的第二活動虛擬機121及第一備用虛擬機122的基礎上還顯示第四備用虛擬機112,作為與第三物理服務器130對應的虛擬機而在現有的第三活動虛擬機131及第二備用虛擬機132的基礎上還顯示第一活動虛擬機111。此外,更新的信息表200作為對應于第四物理服務器140的虛擬機而與更新之前一樣表示第四活動虛擬機141及第二備用虛擬機142。
            [0078]根據更新的信息表200,注冊在發生故障的第一物理服務器110的第一活動虛擬機111及第四備用虛擬機112分別被注冊到其他的物理服務器。在前述的示例中,第一活動虛擬機111被注冊到第三物理服務器130,第四備用虛擬機112被注冊到第二物理服務器120。這樣的注冊可伴隨著在第一物理服務器110發生故障之前對第一活動虛擬機111及第四備用虛擬機112中的每個的存儲器快照或者對應的虛擬機進行復制。例如,將第一活動虛擬機111注冊到第三物理服務器130可伴隨著從共享存儲器獲取第一活動虛擬機111的最終快照,或者伴隨著對包含于第二物理服務器120的存儲器中的第一備用虛擬機122進行反射。
            [0079]圖3是示出根據本發明的實施例而在集群系統中提供服務可用性的過程的順序圖。
            [0080]一旦開始服務可用性提供過程300,則集群系統100中的物理服務器110、120、130、140周期性地發送分別表示自己的狀態的心跳信號(310)。表示注冊到各個物理服務器110、120、130、140的虛擬機的注冊信息可包含于各個物理服務器110、120、130、140。這樣的注冊信息可具有前述的信息表200的格式。
            [0081]如果不存在不對心跳信號響應的物理服務器(320),則各個物理服務器110、120、130、140繼續發送心跳信號(310)。
            [0082]如果存在不對心跳信號響應的物理服務器(320),則可判定在相關的物理服務器中發生了故障。在這種情況下,在與注冊到發生故障的物理服務器的活動虛擬機對應且注冊到其他的物理服務器的備用虛擬機中進行故障轉移(330)。例如,響應于判定在第一物理服務器110中發生了故障,第二物理服務器120使得與第一活動虛擬機111對應且注冊到第二物理服務器120的第一備用虛擬機122對第一活動虛擬機111進行故障轉移。
            [0083]在進行這樣的故障轉移之后,針對除發生故障的物理服務器之外的其余的物理服務器重新構成注冊信息(340)。這樣的重新構成可基于如下的邏輯:使得活動虛擬機和與之對應的備用虛擬機不被注冊到相同的物理服務器,并且將發生故障的物理服務器的虛擬機優先與可用資源充足的物理服務器關聯起來而進行注冊。為了方便起見,將發生故障之前的注冊信息稱為故障前(pre-failure)的注冊信息,將發生故障之后被重新構成/更新的注冊信息稱為故障后(post-failure)的注冊信息。
            [0084]例如,在第一物理服務器110中發生故障時,故障后的注冊信息將第一物理服務器110的第一活動虛擬機111與其他的物理服務器中的一個物理服務器關聯起來,并將第一物理服務器110的第四備用虛擬機112與其他的物理服務器中的另一個物理服務器關聯起來,只是,與第一活動虛擬機111相關聯的物理服務器與注冊有對第一活動虛擬機111進行故障轉移的第一備用虛擬機122的第二物理服務器120不同,與第四備用虛擬機112相關聯的物理服務器與注冊有對應于第四備用虛擬機112的第四活動虛擬機141的第四物理服務器140不同。如上所述,為了構成故障后的注冊信息,與發生故障的第一物理服務器110的活動虛擬機111、112相關聯的物理服務器可基于物理服務器120、130、140中的一部分的可用資源而被選擇。
            [0085]這樣的故障后的注冊信息分別被存儲到第二物理服務器120、第三物理服務器130及第四物理服務器140。在發生故障之后第一物理服務器110重新正常運行的情況下,故障后的注冊信息(在故障后的注冊信息動態變更的情況下則是和它一起變更的注冊信息)也可被存儲到第一物理服務器110。
            [0086]根據故障后的注冊信息(即,重新構成的信息),將發生故障的物理服務器中的各個虛擬機注冊到其他的物理服務器(350)。如果在除發生故障的物理服務器以外的其余的物理服務器中的每個中存在沒有根據重新構成的注冊信息而進行注冊的虛擬機(360),則繼續將該虛擬機注冊到相關的物理服務器(350)。如果根據重新構成的注冊信息注冊到與虛擬機相關的物理服務器(350),則過程300終止。
            [0087]此外,本發明的實施例可包括記錄有用于在計算機上執行本說明書中記載的方法的程序的計算機可讀記錄介質。所述計算機可讀記錄介質可單獨地包括程序命令、本地數據文件、本地數據結構等,或者包括它們的組合。所述介質可以是為本發明而專門設計并構成的介質,或者可以是計算機軟件領域的普通技術人員所公知而可以使用的介質。所述計算機可讀記錄介質的示例包括為了存儲并執行程序命令而專門構成的硬件裝置:諸如硬盤、軟盤及磁帶的磁介質、諸如CD-ROM、DVD的光記錄介質、諸如軟盤的磁光介質及ROM、RAM、閃存等。程序命令的示例可包括:由編譯器編寫的機器語言代碼以及使用解釋器等而由計算機來執行的高級語言代碼。
            [0088]雖然已通過代表性實施例對本發明進行了詳細描述,但本發明所屬的【技術領域】中具有公知常識的技術人員應該理解在不脫離本發明的范圍的情況下可對上述實施例進行各種變形。
            [0089]因此,本發明的權利范圍不應局限于所描述的實施例而確定,而是應當由權利要求書及其等同物來確定。
            【權利要求】
            1.一種集群系統,包括: 注冊有活動虛擬機的第一物理服務器;及 多個物理服務器, 所述多個物理服務器包括對應于所述活動虛擬機且注冊有在所述第一物理服務器發生故障時對所述活動虛擬機進行故障轉移的備用虛擬機的第二物理服務器, 在發生所述故障時,所述多個物理服務器中的每一個存儲故障后的注冊信息,所述故障后的注冊信息將所述活動虛擬機與所述多個物理服務器中的一個物理服務器關聯起來,且所述一個物理服務器與所述第二物理服務器不同。
            2.根據權利要求1所述的集群系統,其中, 所述一個物理服務器基于與所述多個物理服務器中的、與所述第二物理服務器不同的物理服務器中的每一個的可用資源,從與所述第二物理服務器不同的所述物理服務器中被選擇,以構成所述故障后的注冊信息。
            3.根據權利要求1所述的集群系統,其中, 所述活動虛擬機根據所述故障后的注冊信息被注冊到所述一個物理服務器。
            4.根據權利要求1所述的集群系統,其中, 所述故障后的注冊信息還將注冊到所述第一物理服務器的其他的備用虛擬機與所述多個物理服務器中的另一個物理服務器關聯起來,且所述另一個物理服務器與注冊有對應于所述其他的備用虛擬機的其他的活動虛擬機的物理服務器不同。
            5.根據權利要求4所述的集群系統,其中, 所述另一個物理服務器基于所述多個物理服務器中的、與注冊有所述其他的活動虛擬機的物理服務器不同的物理服務器中的每一個的可用資源,從與注冊有所述其他的活動虛擬機的物理服務器不同的所述物理服務器中被選擇,以構成所述故障后的注冊信息。
            6.根據權利要求4所述的集群系統,其中, 所述其他的備用虛擬機根據所述故障后的注冊信息被注冊到所述另一個物理服務器。
            7.根據權利要求1所述的集群系統,其中, 在發生所述故障之前,所述第一物理服務器及所述多個物理服務器中的每一個存儲故障前的注冊信息,所述故障后的注冊信息通過更新所述故障前的注冊信息來構成,所述故障前的注冊信息表示在發生所述故障之前注冊到所述第一物理服務器及所述多個物理服務器中的每一個的虛擬機。
            8.根據權利要求7所述的集群系統,其中, 在發生所述故障之前,所述故障前的注冊信息能夠基于所述第一物理服務器的狀態及所述多個物理服務器中的每一個的狀態而變更。
            9.根據權利要求7所述的集群系統,其中, 所述故障前的注冊信息還表示所述第一物理服務器的可用資源及所述多個物理服務器中的每一個的可用資源。
            10.根據權利要求8所述的集群系統,其中, 所述故障前的注冊信息的變更在所述第一物理服務器的可用資源及所述多個物理服務器中的每一個的可用資源中的至少一個的變化量為臨界值以上的情況下執行。
            11.一種服務可用性提供方法,所述方法用于在集群系統中提供服務可用性,包括如下步驟: 在注冊有活動虛擬機的第一物理服務器中發生故障時,使得注冊到多個物理服務器中的第二物理服務器并與所述活動虛擬機對應的備用虛擬機對所述活動虛擬機進行故障轉移; 在發生所述故障時,將故障后的注冊信息存儲到所述多個物理服務器中的每一個, 其中,所述故障后的注冊信息將所述活動虛擬機與所述多個物理服務器中的一個物理服務器關聯起來,且所述一個物理服務器與所述第二物理服務器不同。
            12.根據權利要求11所述的服務可用性提供方法,還包括如下步驟: 所述一個物理服務器基于所述多個物理服務器中的與所述第二物理服務器不同的物理服務器中的每一個的可用資源,從與所述第二物理服務器不同的所述物理服務器中被選擇,以構成所述故障后的注冊信息。
            13.根據權利要求11所述的服務可用性提供方法,還包括如下步驟: 根據故障后的注冊信息,將所述活動虛擬機注冊到所述一個物理服務器。
            14.根據權利要求11所述的服務可用性提供方法,其中, 所述故障后的注冊信息還將注冊到所述第一物理服務器的其他的備用虛擬機與所述多個物理服務器中的另一個物理服務器關聯起來,且所述另一個物理服務器與注冊有對應于所述其他的備用虛擬機的其他的活動虛擬機的物理服務器不同。
            15.根據權利要求14所述的服務可用性提供方法,還包括如下步驟: 所述另一個物理服務器基于所述多個物理服務器中的與注冊有所述其他的活動虛擬機的物理服務器不同的物理服務器中的每一個的可用資源,從與注冊有所述其他的活動虛擬機的物理服務器不同的所述物理服務器中被選擇,以構成所述故障后的注冊信息。
            16.根據權利要求11所述的服務可用性提供方法,還包括如下步驟: 所述其他的備用虛擬機根據所述故障后的注冊信息被注冊到所述另一個物理服務器。
            17.根據權利要求11所述的服務可用性提供方法,還包括如下步驟: 發生所述故障之前,在所述第一物理服務器及所述多個物理服務器中的每一個存儲故障前的注冊信息; 通過更新所述故障前的注冊信息來構成所述故障后的注冊信息, 其中,所述故障前的注冊信息表示在發生所述故障之前注冊到所述第一物理服務器及所述多個物理服務器中的每一個的虛擬機。
            18.根據權利要求17所述的服務可用性提供方法,還包括如下步驟: 在發生所述故障之前,基于所述第一物理服務器的狀態及所述多個物理服務器中的每一個的狀態而變更所述故障前的注冊信息。
            19.根據權利要求17所述的服務可用性提供方法,其中, 所述故障前的注冊信息還表示所述第一物理服務器的可用資源及所述多個物理服務器中的每一個的可用資源。
            20.根據權利要求18所述的服務可用性提供方法,其中, 所述故障前的注冊信息的變更在所述第一物理服務器的可用資源及所述多個物理服務器中的每一個的可用資源中的至少一個的變化量為臨界值以上的情況下執行。
            21.一種服務器計算機,包括處理器及存儲器,所述存儲器包括: 注冊信息,表示注冊到包括所述服務器計算機的多個服務器計算機及其他的服務器計算機中的每一個的虛擬機; 備用虛擬機,與注冊到所述其他的服務器計算機的活動虛擬機對應;及 計算機可執行命令, 在所述計算機可執行命令由所述處理器執行的情況下,被構成為執行如下操作: 響應于所述其他服務器計算機發生故障的判定,使所述備用虛擬機對所述活動虛擬機進行故障轉移; 響應于所述判定,執行更新所述注冊信息, 其中,更新的所述注冊信息將所述活動虛擬機與所述多個服務器計算機中的一個服務器計算機關聯起來,且所述一個服務器計算機與所述服務器計算機不同。
            22.根據權利要求21所述的服務器計算機,其中, 在所述計算機可執行命令由所述處理器執行的情況下,被構成為執行如下操作:基于所述多個服務器計算機中的與所述服務器計算機不同的服務器計算機中的每一個的可用資源,從與所述服務器計算機不同的服務器計算機中選擇所述一個服務器計算機,以更新所述注冊信息。
            23.根據權利要求21所述的服務器計算機,其中, 所述其他的服務器計算機還注冊有其他的備用虛擬機, 更新的所述注冊信息還將所述其他的備用虛擬機與所述多個服務器計算機中的另一個服務器計算機關聯起來,所述另一個服務器計算機與注冊有對應于所述其他的備用虛擬機的其他的活動虛擬機的服務器計算機不同。
            24.根據權利要求23所述的服務器計算機,其中, 在所述計算機可執行命令由所述處理器執行的情況下,被構成為執行如下操作:基于所述多個服務器計算機中的與注冊有所述其他的活動虛擬機的服務器計算機不同的服務器計算機中的每一個的可用資源,從與注冊有所述其他的活動虛擬機的服務器計算機不同的服務器計算機中選擇所述另一個服務器計算機,以更新所述注冊信息。
            25.根據權利要求21所述的服務器計算機,其中, 在所述計算機可執行命令由所述處理器執行的情況下,被構成為執行如下操作:在發生所述故障之前,基于所述多個服務器計算機中的每一個的狀態及所述其他的服務器計算機的狀態而變更所述注冊信息。
            26.根據權利要求21所述的服務器計算機,其中, 所述注冊信息還表示所述其他的服務器計算機的可用資源及所述多個服務器計算機中的每一個的可用資源。
            27.根據權利要求25所述的服務器計算機,其中, 變更所述注冊信息的操作在所述多個服務器計算機中的每一個的可用資源及所述其他的服務器計算機的可用資源中的至少一個的變化量為臨界值以上的情況下執行。
            【文檔編號】H04L29/08GK104427002SQ201410455215
            【公開日】2015年3月18日 申請日期:2014年9月9日 優先權日:2013年9月9日
            【發明者】樸誠美, 李光炫, 崔光民 申請人:三星Sds株式會社
            網友詢問留言 已有0條留言
            • 還沒有人留言評論。精彩留言會獲得點贊!
            1
            婷婷六月激情在线综合激情,亚洲国产大片,久久中文字幕综合婷婷,精品久久久久久中文字幕,亚洲一区二区三区高清不卡,99国产精品热久久久久久夜夜嗨 ,欧美日韩亚洲综合在线一区二区,99国产精品电影,伊人精品线视天天综合,精品伊人久久久大香线蕉欧美
            亚洲精品1区 国产成人一级 91精品国产欧美一区二区 亚洲精品乱码久久久久久下载 国产精品久久久久久久伊一 九色国产 国产精品九九视频 伊人久久成人爱综合网 欧美日韩亚洲区久久综合 欧美日本一道免费一区三区 夜夜爽一区二区三区精品 欧美日韩高清一区二区三区 国产成人av在线 国产精品对白交换绿帽视频 国产视频亚洲 国产在线欧美精品 国产精品综合网 国产日韩精品欧美一区色 国产日韩精品欧美一区喷 欧美日韩在线观看区一二 国产区精品 欧美视频日韩视频 中文字幕天天躁日日躁狠狠躁97 视频一二三区 欧美高清在线精品一区二区不卡 国产精品揄拍一区二区久久 99久久综合狠狠综合久久aⅴ 亚洲乱码视频在线观看 日韩在线第二页 亚洲精品无码专区在线播放 成人亚洲网站www在线观看 欧美三级一区二区 99久久精品免费看国产高清 91麻豆国产在线观看 最新日韩欧美不卡一二三区 成人在线观看不卡 日韩国产在线 在线亚洲精品 亚洲午夜久久久久中文字幕 国产精品成人久久久久久久 精品国产一区二区在线观看 欧美精品国产一区二区三区 中文在线播放 亚洲第一页在线视频 国产午夜精品福利久久 九色国产 精品国产九九 国产永久视频 久久精品人人做人人综合试看 国产一区二区三区免费观看 亚洲精品国产电影 9999热视频 国产精品资源在线 麻豆久久婷婷国产综合五月 国产精品免费一级在线观看 亚洲国产一区二区三区青草影视 中文在线播放 国产成人综合在线 国产在线观看色 国产亚洲三级 国产片一区二区三区 久久99精品久久久久久牛牛影视 亚洲欧美日韩国产 四虎永久免费网站 国产一毛片 国产精品视频在 九九热在线精品 99精品福利视频 色婷婷色99国产综合精品 97成人精品视频在线播放 精品久久久久久中文字幕 亚洲欧美一区二区三区孕妇 亚洲欧美成人网 日韩高清在线二区 国产尤物在线观看 在线不卡一区二区 91网站在线看 韩国精品福利一区二区 欧美日韩国产成人精品 99热精品久久 国产精品免费视频一区 高清视频一区 精品九九久久 欧美日韩在线观看免费 91欧美激情一区二区三区成人 99福利视频 亚洲国产精品91 久热国产在线 精品久久久久久中文字幕女 国产精品久久久久久久久99热 成人自拍视频网 国产精品视频久久久久久 久久影院国产 国产玖玖在线观看 99精品在线免费 亚洲欧美一区二区三区导航 久久久久久久综合 国产欧美日韩精品高清二区综合区 国产精品视频自拍 亚洲一级片免费 久久久久久九九 国产欧美自拍视频 视频一区二区在线观看 欧美日韩一区二区三区久久 中文在线亚洲 伊人热人久久中文字幕 日韩欧美亚洲国产一区二区三区 欧美亚洲国产成人高清在线 欧美日韩国产码高清综合人成 国产性大片免费播放网站 亚洲午夜综合网 91精品久久一区二区三区 国产无套在线播放 国产精品视频网站 国产成人亚洲精品老王 91在线网站 国产视频97 欧美黑人欧美精品刺激 国产一区二区三区免费在线视频 久久久国产精品免费看 99re6久精品国产首页 久久精品91 国产成人一级 国产成人精品曰本亚洲 日本福利在线观看 伊人成综合网 久久综合一本 国产综合久久久久久 久久精品成人免费看 久久福利 91精品国产91久久久久久麻豆 亚洲精品成人在线 亚洲伊人久久精品 欧美日本二区 国产永久视频 国产一区二 一区二区福利 国产一毛片 亚洲精品1区 毛片一区二区三区 伊人久久大香线蕉综合影 国产欧美在线观看一区 亚洲国产欧洲综合997久久 国产一区二区免费视频 国产91精品对白露脸全集观看 久久亚洲国产伦理 欧美成人伊人久久综合网 亚洲性久久久影院 久久99国产精一区二区三区! 91精品国产欧美一区二区 欧美日韩亚洲区久久综合 日韩精品一二三区 久久久夜色精品国产噜噜 国产在线精品福利91香蕉 久久久久久久亚洲精品 97se色综合一区二区二区 91国语精品自产拍在线观看性色 91久久国产综合精品女同我 日韩中文字幕a 国产成人亚洲日本精品 久久国产精品-国产精品 久久国产经典视频 久久国产精品伦理 亚洲第一页在线视频 国产精品久久久久三级 日韩毛片网 久久免费高清视频 麻豆国产在线观看一区二区 91麻豆国产福利在线观看 国产成人精品男人的天堂538 一区二区三区中文字幕 免费在线视频一区 欧美日韩国产成人精品 国产综合网站 国产资源免费观看 亚洲精品亚洲人成在线播放 精品久久久久久中文字幕专区 亚洲人成人毛片无遮挡 国产一起色一起爱 国产香蕉精品视频在 九九热免费观看 日韩亚洲欧美一区 九九热精品在线观看 精品久久久久久中文字幕专区 亚洲欧美自拍偷拍 国产精品每日更新 久久久久国产一级毛片高清板 久久天天躁狠狠躁夜夜中文字幕 久久精品片 日韩在线毛片 国产成人精品本亚洲 国产成人精品一区二区三区 九九热在线观看 国产r级在线观看 国产欧美日韩精品高清二区综合区 韩国电影一区二区 国产精品毛片va一区二区三区 五月婷婷伊人网 久久一区二区三区免费 一本色道久久综合狠狠躁篇 亚洲综合色站 国产尤物在线观看 亚洲一区亚洲二区 免费在线视频一区 欧洲精品视频在线观看 日韩中文字幕a 中文字幕日本在线mv视频精品 91精品在线免费视频 精品国产免费人成在线观看 精品a级片 中文字幕日本在线mv视频精品 日韩在线精品视频 婷婷丁香色 91精品国产高清久久久久 国产成人精品日本亚洲直接 五月综合视频 欧美日韩在线亚洲国产人 精液呈暗黄色 亚洲乱码一区 久久精品中文字幕不卡一二区 亚洲天堂精品在线 激情婷婷综合 国产免费久久精品久久久 国产精品亚洲二区在线 久久免费播放视频 五月婷婷丁香综合 在线亚洲欧美日韩 久久免费精品高清麻豆 精品久久久久久中文字幕 亚洲一区网站 国产精品福利社 日韩中文字幕免费 亚洲综合丝袜 91精品在线播放 国产精品18 亚洲日日夜夜 伊人久久大香线蕉综合影 亚洲精品中文字幕乱码影院 亚洲一区二区黄色 亚洲第一页在线视频 一区二区在线观看视频 国产成人福利精品视频 亚洲高清二区 国内成人免费视频 精品亚洲性xxx久久久 国产精品合集一区二区三区 97av免费视频 国产一起色一起爱 国产区久久 国产资源免费观看 99精品视频免费 国产成人一级 国产精品九九免费视频 欧美91精品久久久久网免费 99热国产免费 久久精品色 98精品国产综合久久 久久精品播放 中文字幕视频免费 国产欧美日韩一区二区三区在线 精品久久蜜桃 国产小视频精品 一本色道久久综合狠狠躁篇 91在线免费观看 亚洲精品区 伊人成综合网 伊人热人久久中文字幕 伊人黄色片 99国产精品热久久久久久夜夜嗨 久久免费精品视频 亚洲一区二区三区高清不卡 久久久久国产一级毛片高清板 国产片一区二区三区 久久狠狠干 99久久婷婷国产综合精品电影 国产99区 国产精品成人久久久久 久久狠狠干 青青国产在线观看 亚洲高清国产拍精品影院 国产精品一区二区av 九九热在线免费视频 伊人久久国产 国产精品久久久久久久久久一区 在线观看免费视频一区 国产精品自在在线午夜区app 国产精品综合色区在线观看 国产毛片久久久久久国产毛片 97国产免费全部免费观看 国产精品每日更新 国产尤物视频在线 九九视频这里只有精品99 一本一道久久a久久精品综合 久久综合给会久久狠狠狠 国产成人精品男人的天堂538 欧美一区二区高清 毛片一区二区三区 国产欧美日韩在线观看一区二区三区 在线国产二区 欧美不卡网 91在线精品中文字幕 在线国产福利 国内精品91久久久久 91亚洲福利 日韩欧美国产中文字幕 91久久精品国产性色也91久久 亚洲性久久久影院 欧美精品1区 国产热re99久久6国产精品 九九热免费观看 国产精品欧美日韩 久久久久国产一级毛片高清板 久久国产经典视频 日韩欧美亚洲国产一区二区三区 欧美亚洲综合另类在线观看 国产精品自在在线午夜区app 97中文字幕在线观看 视频一二三区 精品国产一区在线观看 国产欧美日韩在线一区二区不卡 欧美一区二三区 伊人成人在线观看 国内精品91久久久久 97在线亚洲 国产在线不卡一区 久久久全免费全集一级全黄片 国产精品v欧美精品∨日韩 亚洲毛片网站 在线不卡一区二区 99re热在线视频 久久激情网 国产毛片一区二区三区精品 久久亚洲综合色 中文字幕视频免费 国产视频亚洲 婷婷伊人久久 国产一区二区免费播放 久久99国产精品成人欧美 99国产在线视频 国产成人免费视频精品一区二区 国产不卡一区二区三区免费视 国产码欧美日韩高清综合一区 久久精品国产主播一区二区 国产一区电影 久久精品国产夜色 国产精品国产三级国产 日韩一区二区三区在线 久久97久久97精品免视看 久久国产免费一区二区三区 伊人久久大香线蕉综合电影网 99re6久精品国产首页 久久激情网 亚洲成人高清在线 国产精品网址 国产成人精品男人的天堂538 香蕉国产综合久久猫咪 国产专区中文字幕 91麻豆精品国产高清在线 久久国产经典视频 国产精品成人va在线观看 国产精品爱啪在线线免费观看 日本精品久久久久久久久免费 亚洲综合一区二区三区 久久五月网 精品国产网红福利在线观看 久久综合亚洲伊人色 亚洲国产精品久久久久久网站 在线日韩国产 99国产精品热久久久久久夜夜嗨 国产综合精品在线 国产区福利 精品亚洲综合久久中文字幕 国产制服丝袜在线 毛片在线播放网站 在线观看免费视频一区 国产精品久久久精品三级 亚洲国产电影在线观看 最新日韩欧美不卡一二三区 狠狠综合久久综合鬼色 日本精品1在线区 国产日韩一区二区三区在线播放 欧美日韩精品在线播放 亚洲欧美日韩国产一区二区三区精品 久久综合久久网 婷婷六月激情在线综合激情 亚洲乱码一区 国产专区91 97av视频在线观看 精品久久久久久中文字幕 久久五月视频 国产成人福利精品视频 国产精品网址 中文字幕视频在线 精品一区二区三区免费视频 伊人手机在线视频 亚洲精品中文字幕乱码 国产在线视频www色 色噜噜国产精品视频一区二区 精品亚洲成a人在线观看 国产香蕉尹人综合在线 成人免费一区二区三区在线观看 国产不卡一区二区三区免费视 欧美精品久久天天躁 国产专区中文字幕 久久精品国产免费中文 久久精品国产免费一区 久久无码精品一区二区三区 国产欧美另类久久久精品免费 欧美精品久久天天躁 亚洲精品在线视频 国产视频91在线 91精品福利一区二区三区野战 日韩中文字幕免费 国产精品99一区二区三区 欧美成人高清性色生活 国产精品系列在线观看 亚洲国产福利精品一区二区 国产成人在线小视频 国产精品久久久久免费 99re热在线视频 久久久久久久综合 一区二区国产在线播放 成人国产在线视频 亚洲精品乱码久久久久 欧美日韩一区二区综合 精品久久久久免费极品大片 中文字幕视频二区 激情粉嫩精品国产尤物 国产成人精品一区二区视频 久久精品中文字幕首页 亚洲高清在线 国产精品亚洲一区二区三区 伊人久久艹 中文在线亚洲 国产精品一区二区在线播放 国产精品九九免费视频 亚洲二区在线播放 亚洲狠狠婷婷综合久久久久网站 亚洲欧美日韩网站 日韩成人精品 亚洲国产一区二区三区青草影视 91精品国产福利在线观看 国产精品久久久久久久久99热 国产一区二区精品尤物 久碰香蕉精品视频在线观看 亚洲日日夜夜 在线不卡一区二区 国产午夜亚洲精品 九九热在线视频观看这里只有精品 伊人手机在线视频 91免费国产精品 日韩欧美中字 91精品国产91久久久久 国产全黄三级播放 视频一区二区三区免费观看 国产开裆丝袜高跟在线观看 国产成人欧美 激情综合丝袜美女一区二区 国产成人亚洲综合无 欧美精品一区二区三区免费观看 欧美亚洲国产日韩 日韩亚州 国产欧美日韩精品高清二区综合区 亚洲午夜国产片在线观看 精品久久久久久中文字幕 欧美精品1区 久久伊人久久亚洲综合 亚洲欧美日韩精品 国产成人精品久久亚洲高清不卡 久久福利影视 国产精品99精品久久免费 久久久久免费精品视频 国产日产亚洲精品 亚洲国产午夜电影在线入口 精品无码一区在线观看 午夜国产精品视频 亚洲一级片免费 伊人久久大香线蕉综合影 国产精品久久影院 久碰香蕉精品视频在线观看 www.欧美精品 在线小视频国产 亚洲国产天堂久久综合图区 欧美一区二区三区不卡 日韩美女福利视频 九九精品免视频国产成人 不卡国产00高中生在线视频 亚洲第一页在线视频 欧美日韩在线播放成人 99re视频这里只有精品 国产精品91在线 精品乱码一区二区三区在线 国产区久久 91麻豆精品国产自产在线观看一区 日韩精品成人在线 九九热在线观看 国产精品久久不卡日韩美女 欧美一区二区三区综合色视频 欧美精品免费一区欧美久久优播 国产精品网址 国产专区中文字幕 国产精品欧美亚洲韩国日本久久 日韩美香港a一级毛片 久久精品123 欧美一区二区三区免费看 99r在线视频 亚洲精品国产字幕久久vr 国产综合激情在线亚洲第一页 91免费国产精品 日韩免费小视频 亚洲国产精品综合一区在线 国产亚洲第一伦理第一区 在线亚洲精品 国产精品一区二区制服丝袜 国产在线成人精品 九九精品免视频国产成人 亚洲国产网 欧美日韩亚洲一区二区三区在线观看 在线亚洲精品 欧美一区二区三区高清视频 国产成人精品男人的天堂538 欧美日韩在线观看区一二 亚洲欧美一区二区久久 久久精品中文字幕首页 日本高清www午夜视频 久久精品国产免费 久久999精品 亚洲国产精品欧美综合 88国产精品视频一区二区三区 91久久偷偷做嫩草影院免费看 国产精品夜色视频一区二区 欧美日韩导航 国产成人啪精品午夜在线播放 一区二区视频在线免费观看 99久久精品国产自免费 精液呈暗黄色 久久99国产精品 日本精品久久久久久久久免费 精品国产97在线观看 99re视频这里只有精品 国产视频91在线 999av视频 亚洲美女视频一区二区三区 久久97久久97精品免视看 亚洲国产成人久久三区 99久久亚洲国产高清观看 日韩毛片在线视频 综合激情在线 91福利一区二区在线观看 一区二区视频在线免费观看 激情粉嫩精品国产尤物 国产成人精品曰本亚洲78 国产成人精品本亚洲 国产精品成人免费视频 国产成人啪精品视频免费软件 久久精品国产亚洲妲己影院 国产精品成人久久久久久久 久久大香线蕉综合爱 欧美一区二区三区高清视频 99热国产免费 在线观看欧美国产 91精品视频在线播放 国产精品福利社 欧美精品一区二区三区免费观看 国产一区二区免费视频 国产午夜精品一区二区 精品视频在线观看97 91精品福利久久久 国产一区福利 国产综合激情在线亚洲第一页 国产精品久久久久久久久久久不卡 九色国产 在线日韩国产 黄网在线观看 亚洲一区小说区中文字幕 中文字幕丝袜 日本二区在线观看 日本国产一区在线观看 欧美日韩一区二区三区久久 欧美精品亚洲精品日韩专 国产日产亚洲精品 久久综合九色综合欧美播 亚洲国产欧美无圣光一区 欧美视频区 亚洲乱码视频在线观看 久久无码精品一区二区三区 九九热精品免费视频 久久99精品久久久久久牛牛影视 国产精品成久久久久三级 国产一区福利 午夜国产精品视频 日本二区在线观看 99久久网站 国产亚洲天堂 精品国产一区二区三区不卡 亚洲国产日韩在线一区 国产成人综合在线观看网站 久久免费高清视频 欧美在线导航 午夜精品久久久久久99热7777 欧美久久综合网 国产小视频精品 国产尤物在线观看 亚洲国产精品综合一区在线 欧美一区二区三区不卡视频 欧美黑人欧美精品刺激 日本福利在线观看 久久国产偷 国产手机精品一区二区 国产热re99久久6国产精品 国产高清啪啪 欧美亚洲国产成人高清在线 国产在线第三页 亚洲综合一区二区三区 99r在线视频 99精品久久久久久久婷婷 国产精品乱码免费一区二区 国产在线精品福利91香蕉 国产尤物视频在线 五月婷婷亚洲 中文字幕久久综合伊人 亚洲精品一级毛片 99国产精品电影 在线视频第一页 久久99国产精品成人欧美 国产白白视频在线观看2 成人精品一区二区www 亚洲成人网在线观看 麻豆91在线视频 色综合合久久天天综合绕视看 久久精品国产免费高清 国产不卡一区二区三区免费视 欧美国产中文 99精品欧美 九九在线精品 国产中文字幕在线免费观看 国产一区中文字幕在线观看 国产成人一级 国产精品一区二区制服丝袜 国产一起色一起爱 亚洲精品成人在线 亚洲欧美精品在线 国产欧美自拍视频 99精品久久久久久久婷婷 久99视频 国产热re99久久6国产精品 视频一区亚洲 国产精品视频分类 国产精品成在线观看 99re6久精品国产首页 亚洲在成人网在线看 亚洲国产日韩在线一区 久久国产三级 日韩国产欧美 欧美在线一区二区三区 国产精品美女一级在线观看 成人午夜免费福利视频 亚洲天堂精品在线 91精品国产手机 欧美日韩视频在线播放 狠狠综合久久综合鬼色 九一色视频 青青视频国产 亚洲欧美自拍一区 中文字幕天天躁日日躁狠狠躁97 日韩免费大片 996热视频 伊人成综合网 亚洲天堂欧美 日韩精品亚洲人成在线观看 久久综合给会久久狠狠狠 日韩精品亚洲人成在线观看 日韩国产欧美 亚洲成aⅴ人片在线影院八 亚洲精品1区 99久久精品免费 国产精品高清在线观看 国产精品久久久免费视频 在线亚洲欧美日韩 91在线看视频 国产精品96久久久久久久 欧美日韩国产成人精品 91在线亚洲 热久久亚洲 国产精品美女免费视频观看 日韩在线毛片 亚洲永久免费视频 九九免费在线视频 亚洲一区网站 日本高清二区视频久二区 精品国产美女福利在线 伊人久久艹 国产精品久久久久三级 欧美成人精品第一区二区三区 99久久精品国产自免费 在线观看日韩一区 国产中文字幕一区 成人免费午夜视频 欧美日韩另类在线 久久99国产精品成人欧美 色婷婷中文网 久久天天躁夜夜躁狠狠躁2020 欧美成人伊人久久综合网 国产精品福利资源在线 国产伦精品一区二区三区高清 国产精品亚洲综合色区韩国 亚洲一区欧美日韩 色综合视频 国语自产精品视频在线区 国产高清a 成人国内精品久久久久影 国产在线精品香蕉综合网一区 国产不卡在线看 国产成人精品精品欧美 国产欧美日韩综合精品一区二区三区 韩国电影一区二区 国产在线视频www色 91中文字幕在线一区 国产人成午夜免视频网站 亚洲综合一区二区三区 色综合视频一区二区观看 久久五月网 九九热精品在线观看 国产一区二区三区国产精品 99久热re在线精品996热视频 亚洲国产网 在线视频亚洲一区 日韩字幕一中文在线综合 国产高清一级毛片在线不卡 精品国产色在线 国产高清视频一区二区 精品日本久久久久久久久久 亚洲国产午夜精品乱码 成人免费国产gav视频在线 日韩欧美一区二区在线观看 欧美曰批人成在线观看 韩国电影一区二区 99re这里只有精品6 日韩精品一区二区三区视频 99re6久精品国产首页 亚洲欧美一区二区三区导航 欧美色图一区二区三区 午夜精品视频在线观看 欧美激情在线观看一区二区三区 亚洲热在线 成人国产精品一区二区网站 亚洲一级毛片在线播放 亚洲一区小说区中文字幕 亚洲午夜久久久久影院 国产自产v一区二区三区c 国产精品视频免费 久久调教视频 国产成人91激情在线播放 国产精品欧美亚洲韩国日本久久 久久亚洲日本不卡一区二区 91中文字幕网 成人国产在线视频 国产视频91在线 欧美成人精品第一区二区三区 国产精品福利在线 久久综合九色综合精品 欧美一区二区三区精品 久久国产综合尤物免费观看 久久99青青久久99久久 日韩精品免费 久久国产精品999 91亚洲视频在线观看 国产精品igao视频 色综合区 在线亚洲欧国产精品专区 国产一区二区三区在线观看视频 亚洲精品成人在线 一区二区国产在线播放 中文在线亚洲 亚洲精品第一国产综合野 国产一区二区精品久久 一区二区三区四区精品视频 99热精品久久 中文字幕视频二区 国产成人精品男人的天堂538 99精品影视 美女福利视频一区二区 久久午夜夜伦伦鲁鲁片 综合久久久久久久综合网 国产精品国产欧美综合一区 国产99视频在线观看 国产亚洲女在线精品 婷婷影院在线综合免费视频 国产亚洲3p一区二区三区 91成人爽a毛片一区二区 亚洲一区二区高清 国产欧美亚洲精品第二区首页 欧美日韩导航 亚洲高清二区 欧美激情观看一区二区久久 日韩毛片在线播放 亚洲欧美日韩高清中文在线 亚洲日本在线播放 国产精品一区二区制服丝袜 精品国产一区二区三区不卡 国产不卡在线看 国产欧美网站 四虎永久在线观看视频精品 国产黄色片在线观看 夜夜综合 一本色道久久综合狠狠躁篇 欧美亚洲综合另类在线观看 国产91在线看 伊人久久国产 欧美一区二区在线观看免费网站 国产精品久久久久三级 久久福利 日韩中文字幕a 亚洲午夜久久久久影院 91在线高清视频 国产亚洲一区二区三区啪 久久人精品 国产精品亚洲午夜一区二区三区 综合久久久久久 久久伊人一区二区三区四区 国产综合久久久久久 日韩一区精品视频在线看 国产精品日韩欧美制服 日本精品1在线区 99re视频 无码av免费一区二区三区试看 国产视频1区 日韩欧美中文字幕一区 日本高清中文字幕一区二区三区a 亚洲国产欧美无圣光一区 国产在线视频一区二区三区 欧美国产第一页 在线亚洲欧美日韩 日韩中文字幕第一页 在线不卡一区二区 伊人久久青青 国产精品一区二区在线播放 www.五月婷婷 麻豆久久婷婷国产综合五月 亚洲精品区 久久国产欧美另类久久久 99在线视频免费 伊人久久中文字幕久久cm 久久精品成人免费看 久久这里只有精品首页 88国产精品视频一区二区三区 中文字幕日本在线mv视频精品 国产在线精品成人一区二区三区 伊人精品线视天天综合 亚洲一区二区黄色 国产尤物视频在线 亚洲精品99久久久久中文字幕 国产一区二区三区免费观看 伊人久久大香线蕉综合电影网 国产成人精品区在线观看 日本精品一区二区三区视频 日韩高清在线二区 久久免费播放视频 一区二区成人国产精品 国产精品免费精品自在线观看 亚洲精品视频二区 麻豆国产精品有码在线观看 精品日本一区二区 亚洲欧洲久久 久久中文字幕综合婷婷 中文字幕视频在线 国产成人精品综合在线观看 91精品国产91久久久久福利 精液呈暗黄色 香蕉国产综合久久猫咪 国产专区精品 亚洲精品无码不卡 国产永久视频 亚洲成a人片在线播放观看国产 一区二区国产在线播放 亚洲一区二区黄色 欧美日韩在线观看视频 亚洲精品另类 久久国产综合尤物免费观看 国产一区二区三区国产精品 高清视频一区 国产精品igao视频 国产精品资源在线 久久综合精品国产一区二区三区 www.五月婷婷 精品色综合 99热国产免费 麻豆福利影院 亚洲伊人久久大香线蕉苏妲己 久久电影院久久国产 久久精品伊人 在线日韩理论午夜中文电影 亚洲国产欧洲综合997久久 伊人国产精品 久草国产精品 欧美一区精品二区三区 亚洲成人高清在线 91免费国产精品 日韩精品福利在线 国产一线在线观看 国产不卡在线看 久久99青青久久99久久 亚洲精品亚洲人成在线播放 99久久免费看国产精品 国产日本在线观看 青草国产在线视频 麻豆久久婷婷国产综合五月 国产中文字幕一区 91久久精品国产性色也91久久 国产一区a 国产欧美日韩成人 国产亚洲女在线精品 一区二区美女 中文字幕在线2021一区 在线小视频国产 久久这里只有精品首页 国产在线第三页 欧美日韩中文字幕 在线亚洲+欧美+日本专区 精品国产一区二区三区不卡 久久这里精品 欧美在线va在线播放 精液呈暗黄色 91精品国产手机 91在线免费播放 欧美视频亚洲色图 欧美国产日韩精品 日韩高清不卡在线 精品视频免费观看 欧美日韩一区二区三区四区 国产欧美亚洲精品第二区首页 亚洲韩精品欧美一区二区三区 国产精品视频免费 在线精品小视频 久久午夜夜伦伦鲁鲁片 国产无套在线播放 久热这里只精品99re8久 欧美久久久久 久久香蕉国产线看观看精品蕉 国产成人精品男人的天堂538 亚洲人成网站色7799在线观看 日韩在线第二页 一本色道久久综合狠狠躁篇 国产一区二区三区不卡在线观看 亚洲乱码在线 在线观看欧美国产 久久福利青草精品资源站免费 国产玖玖在线观看 在线亚洲精品 亚洲成aⅴ人在线观看 精品91在线 欧美一区二三区 日韩中文字幕视频在线 日本成人一区二区 日韩免费专区 国内精品在线观看视频 久久国产综合尤物免费观看 国产精品系列在线观看 一本一道久久a久久精品综合 亚洲免费播放 久久精品国产免费 久久人精品 亚洲毛片网站 亚洲成a人一区二区三区 韩国福利一区二区三区高清视频 亚洲精品天堂在线 一区二区三区中文字幕 亚洲国产色婷婷精品综合在线观看 亚洲国产成人久久笫一页 999国产视频 国产精品香港三级在线电影 欧美日韩一区二区三区四区 日韩国产欧美 国产精品99一区二区三区 午夜国产精品理论片久久影院 亚洲精品中文字幕麻豆 亚洲国产高清视频 久久免费手机视频 日韩a在线观看 五月婷婷亚洲 亚洲精品中文字幕麻豆 中文字幕丝袜 www国产精品 亚洲天堂精品在线 亚洲乱码一区 国产日韩欧美三级 久久999精品 伊人热人久久中文字幕 久热国产在线视频 国产欧美日韩在线观看一区二区三区 国产一二三区在线 日韩国产欧美 91精品国产91久久久久 亚洲一区小说区中文字幕 精品一区二区免费视频 国产精品视频免费 国产精品亚洲综合色区韩国 亚洲国产精品成人午夜在线观看 欧美国产日韩精品 中文字幕精品一区二区精品