中央處理器資源分配方法和計算節點與流程

            文檔序號:11864476閱讀:1032來源:國知局
            中央處理器資源分配方法和計算節點與流程

            本發明實施例涉及虛擬化技術,特別是中央處理器資源分配方法和計算節點。



            背景技術:

            目前在信息技術領域,虛擬化技術得到了廣泛的應用。虛擬化技術提供了一種能夠將多個虛擬機部署在一個服務器上的能力,降低了用戶的總成本并且改善了應用的可靠性和靈活性。目前業界虛擬機中央處理器(Central Processing Unit,簡稱CPU)的管理普遍實現了CPU超分配,即虛擬機的虛擬CPU個數大于服務器中物理CPU的個數,以此來達到物理資源的充分利用。但是在物理資源緊張的情況下,如何合理分配物理CPU資源,成為擺在面前的最大問題之一。常用的實現方式是設置虛擬機的優先級,根據優先級的不同,為虛擬機分配不同份額的CPU資源。高優先級的虛擬機分配較多份額的物理CPU資源,以此實現針對不同需求的用戶,提供不同的服務,提高服務質量。

            根據優先級的高低為虛擬機分配物理CPU資源,可能導致高優先級的虛擬機處于壟斷地位,而低優先級的虛擬機無法獲得物理CPU資源,不利于有效調配物理CPU資源。



            技術實現要素:

            本發明實施例提出了一種中央處理器資源分配方法,通過將CPU的物理核分隔成不同的資源池來實現物理核在不同資源池之間彼此隔離,并根據每個資源池服務的虛擬機的數量,在不同資源池之間動態地分配物理核,實現了物理核資源的有效利用,同時可靠地保證了不同資源池中虛擬機的服務質量。

            第一方面,提出了一種中央處理器資源分配方法,所述方法包括:

            根據高級資源池中的虛擬機的數量變化,動態地調整所述高級資源池中的物理核的分配數量;

            根據所述高級資源池中物理核的分配數量調整默認資源池中的物理核的分配數量;

            其中,所述高級資源池和默認資源池是按照資源池的服務等級將中央處理器的物理核進行劃分而得到的資源池。

            結合第一方面,在第一種可能的實現方式中,所述服務等級包括允許每臺虛擬機占用物理核計算資源的數量。

            結合第一方面或者第一方面的第一種可能的實現方式,在第二種可能的實現方式中,所述默認資源池中的虛擬機共享所述默認資源池中的全部物理核的計算資源。

            結合第一方面或者第一方面的第一和第二種可能的實現方式,在第三種可能的實現方式中,所述高級資源池包括第一級資源池,其中所述第一級資源池中允許每臺虛擬機獨占一個物理核計算資源。

            結合第一方面或者第一方面的第一至第三種可能的實現方式,在第四種可能的實現方式中,所述高級資源池包括第二級資源池,其中所述第二級資源池中允許每臺虛擬機占用一個物理核計算資源的50%。

            結合第一方面或者第一方面的第一至第四種可能的實現方式,在第五種可能的實現方式中,所述根據高級資源池中的虛擬機的數量變化,動態地調整所述高級資源池中的物理核的分配數量,包括:

            在所述高級資源池中的虛擬機數量增加時,根據增加的虛擬機數量以及所述高級資源池的服務等級確定需要向所述高級資源池分配的第一數量的物理核;

            從所述默認資源池向所述高級資源池分配所述第一數量的物理核;

            或者

            在所述高級資源池中的虛擬機數量減少時,根據減少的虛擬機數量以及所述高級資源池的服務等級確定需要從所述高級資源池減少的第二數量的物理核;

            從所述高級資源池向所述默認資源池分配所述第二數量的物理核。

            結合第一方面或者第一方面的第一至第五種可能的實現方式,在第六種可能的實現方式中,所述在所述高級資源池中的虛擬機數量減少時,根據減少的虛擬機數量以及所述高級資源池的服務等級確定需要從所述高級資源池減少的第二數量的物理核,從所述高級資源池向所述默認資源池分配所述第二數量的物理核,具體包括:當所述高級資源池中沒有虛擬機運行時,將所述高級資源池中的物理核分配給所述默認資源池。

            結合第一方面或者第一方面的第一至第六種可能的實現方式,在第七種可能的實現方式中,在所述根據高級資源池中的虛擬機的數量變化,動態地調整所述高級資源池中的物理核的分配數量之前,所述方法還包括:

            確定所述高級資源池中的虛擬機數量發生變化之后,所述高級資源池中的物理核數量不足以滿足所述高級資源池中的服務等級。

            結合第一方面或者第一方面的第一至第六種可能的實現方式,在第八種可能的實現方式中,在所述根據高級資源池中的虛擬機的數量變化,動態地調整所述高級資源池中的物理核的分配數量之前,

            所述方法還包括:

            確定所述高級資源池中的虛擬機數量發生變化之后,所述高級資源池中存在不服務于該高級資源池中的虛擬機的空閑的至少一個物理核計算資源。

            結合第一方面或者第一方面的第一至第八種可能的實現方式,在第九種可能的實現方式中,所述方法還包括:為所述默認資源池中的虛擬機設定允許每臺虛擬機占用的物理核計算資源的上限百分比和/或下限百分比。

            結合第一方面或者第一方面的第一至第九種可能的實現方式,在第十種可能的實現方式中,所述方法還包括:為所述默認資源池中的虛擬機設定每臺虛擬機使用物理核計算資源的優先級,并根據所述優先級高低順序為所述默認資源池中的虛擬機分配物理核的計算資源。

            第二方面,提出了一種用于虛擬系統的計算節點,所述計算節點包括:

            資源調整單元,用于根據高級資源池中的虛擬機的數量變化,動態地調整所述高級資源池中的物理核的分配數量,和用于根據所述高級資源池中物理核的分配數量調整所述默認資源池中的物理核的分配數量;

            資源分配單元,用于根據資源池的服務等級,將中央處理器的物理核劃分成默認資源池和高級資源池。

            結合第二方面,在第一種可能的實現方式中,在所述高級資源池中的虛擬機數量增加時,所述資源調整單元根據增加的虛擬機數量以及所述高級資源池的服務等級確定需要向所述高級資源池分配的第一數量的物理核,并且從所述默認資源池向所述高級資源池分配所述第一數量的物理核;

            或者

            在所述高級資源池中的虛擬機數量減少時,所述資源調整單元根據減少的虛擬機數量以及所述高級資源池的服務等級確定需要從所述高級資源池減少的第二數量的物理核,并且從所述高級資源池向所述默認資源池分配所述第二數量的物理核。

            結合第二方面或者第二方面的第一種可能的實現方式,在第二種可能的實現方式中,所述計算節點還包括:

            第一確定單元,用于確定所述高級資源池中的虛擬機數量發生變化之后,所述高級資源池中的物理核數量不足以滿足所述高級資源池中的服務等級。

            結合第二方面或者第二方面的第一種可能的實現方式,在第三種可能的實現方式中,所述計算節點還包括:第一確定單元,用于確定所述高級資源池中的虛擬機數量發生變化時,所述高級資源池中存在不服務于該高級資源池中的虛擬機的空閑的至少一個物理核計算資源。

            結合第二方面或者第二方面的第一至第三種可能的實現方式,在第四種可能的實現方式中,所述資源分配單元用于為所述默認資源池中的每臺虛擬機設定允許每臺虛擬機占用的物理核計算資源的上限百分比和/或下限百分比。

            結合第二方面或者第二方面的第一至第四種可能的實現方式,在第五種可能的實現方式中,所述資源分配單元用于為所述默認資源池中的虛擬機設定每臺虛擬機使用物理核計算資源的優先級,并根據所述優先級高低順序為所述默認資源池中的虛擬機分配物理核的計算資源。

            根據本發明實施例,通過將物理核劃分為不同的資源池,并且不同的資源池中的物理核的計算資源在不同資源池之間彼此隔離,實現了針對不同應用場景的物理核計算資源的有效分配,同時避免出現長期占用大量計算資源的壟斷虛擬機,防止了物理核計算資源分配失衡,提高了物理核的計算資源的利用效率。

            附圖說明

            為了更清楚地說明本發明實施例的技術方案,下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是本發明的一些實施例,對于本領域普通技術人員來講,在不付出創造性勞動的前提下,還可以根據這些附圖獲得其他的附圖。

            圖1是根據本發明實施例的中央處理器資源分配方法的示意流程圖;

            圖2是根據本發明實施例的虛擬機遷入過程具體示例的流程圖;

            圖3是根據本發明實施例的虛擬機遷出過程具體示例的流程圖;

            圖4是虛擬機從源計算節點向目的結算接點遷移的信令交互圖;

            圖5是根據本發明實施例的計算節點的示意結構圖;

            圖6是根據本發明實施例的計算節點的示意結構圖;

            圖7是根據本發明實施例的計算節點的另一種示意結構圖。

            具體實施方式

            下面將結合本發明實施例中的附圖,對本發明實施例中的技術方案進行清楚、完整地描述,顯然,所描述的實施例是本發明一部分實施例,而不是全部的實施例。基于本發明中的實施例,本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例,都屬于本發明保護的范圍。

            本發明實施例的技術方案建立在虛擬機的虛擬CPU(簡稱VCPU)可以綁定到指定的資源池的基礎能力來實現的。本領域技術人員可以理解VCPU綁定到資源池的具體方式以及實現方法。為了簡略,本文對此不作詳細描述。

            在本發明實施例的描述中,物理核指的是物理中央處理器的內核。運行虛擬機的服務器或者說計算節點一般包括多個CPU,每個CPU包含至少一個物理核。這些物理核可以分別用于不同的目的。本發明實施例中構成資源池的CPU的物理核可以是一個CPU的物理核,也可以是多個CPU的物理核;其中CPU可以位于一臺服務器或者說計算節點上,也可以位于多臺服務器或者說計算節點上,本發明實施例不作具體限定。

            在本發明實施例中,一臺虛擬機可以包括多個VCPU,為了敘述簡便,以一個虛擬機包括一個VCPU為例進行描述。在描述過程中,因為實施例中以一臺虛擬機包括一個VCPU,所以“VCPU與資源池綁定”也可以通俗地表達為“虛擬機與資源池綁定”。本領域技術人員理解“綁定”在文中的意思正如與本領域通常理解的意思相同。本領域技術人員可以理解,“虛擬機在資源池中運行”指的是虛擬機占用該資源池中的物理核的計算資源,而不占用其他資源池中的物理核的計算資源。在本發明實施例中,物理核的計算資源指的是該物理核提供的計算能力。在資源池中運行的虛擬機所允許占用的計算資源可以來自該資源池的一個物理核,也可以來自該資源池中的多個物理核,本發明實施例對此并不做限制。“允許虛擬機占用的物理核的計算資源”指的是允許一臺虛擬機占用的該虛擬機所運行的資源池中的物理核的計算資源,也可以表示允許該虛擬機的一個VCPU占用的該虛擬機所運行的資源池中的物理核的計算資源,或者可以表示允許該虛擬機的全部VCPU占用的該虛擬機所運行的資源池中的物理核的計算資源。在以下敘述中,為了描述清晰,本發明實施例以虛擬機的全部VCPU占用的該虛擬機所運行的資源池中的物理核的計算資源作為“虛擬機占用的物理核的計算資源”的例子進行描述。

            圖1是根據本發明實施例的中央處理器資源分配方法的示意流程圖。如圖1所示,方法100包括:

            110:根據高級資源池中的虛擬機的數量變化,動態地調整所述高級資源池中的物理核的分配數量;

            120:根據所述高級資源池中物理核的分配數量調整所述默認資源池中的物理核的分配數量;

            其中,所述高級資源池和默認資源池是按照資源池的服務等級將中央處理器的物理核進行劃分而得到的資源池。

            在本發明實施例中,每個資源池服務于在該資源池中運行的虛擬機,資源池的服務等級對應于該資源池中運行的虛擬機所要求的服務等級。這里所述的“服務等級”例如為允許每臺虛擬機占用的物理核計算資源的數量,本發明實施例以及后面的實施例中使用的“占用”是指資源池中實際分配給每臺虛擬機的物理核計算資源。例如,在一個高級資源池中,允許一臺虛擬機占用一個物理核計算資源的50%,是指在該高級資源池中實際分配給該虛擬機一個物理核計算資源的50%。例如,在另一個高級資源池中,允許虛擬機占用一個物理核計算資源,即給一臺虛擬機實際分配一個物理核的計算資源。

            在本發明實施例中,不同資源池之間邏輯隔離,即每個資源池中的物理核僅服務于在該資源池中運行的虛擬機,為該資源池中運行的虛擬機提供物理核計算資源。這里所述的邏輯隔離并不排除物理隔離的可能性。在根據本發明實施例的一種可能的實現方式中,不同的資源池甚至可以物理隔離,例如,不同的資源池中的物理核安裝在不同的計算節點上。

            在本發明實施例中,在默認資源池中運行的虛擬機共享默認資源池中全部物理核的計算資源。高級資源池的設置方式,可以根據具體的應用需求來設置。在一種可能的實現方式中,高級資源池包括第一級資源池,其中所述第一級資源池中允許每臺虛擬機獨占一個物理核的計算資源,也就是說第一級資源池的服務等級為100%。在虛擬機僅包括一個VCPU的情況下,也就是說,第一級資源池中的物理核數量與在該資源池中運行的虛擬機的數量相等。第一級資源池可以保證給在其中運行的虛擬機全天候實際分配一個物理核的計算資源,但是所述“一個物理核的計算資源”可能來自該資源池中的一個物理核或者多個物理核。在另一種可能的實現方式中,除了第一級資源池之外,高級資源池還包括第二級資源池。在第二級資源池中運行的虛擬機允許占用一個物理核計算資源的50%,也就是說第二級資源池的服務等級為50%。或者說,在第二級資源池中,給每臺虛擬機實際分配一個物理核的計算資源的50%,但是所述“一個物理核的計算資源的50%”可能來自該資源池中的一個物理核或者多個物理核。根據本發明實施例的另一種可能的實現方式,高級資源池也可以僅包括第二級資源池。而根據本發明實施例的另一種可能的實現方式,高級資源池里還可以包括第三級資源池等等,其中在第三級資源池中運行的虛擬機允許占用一個物理核計算資源的33%。本領域技術人員可以理解,根據具體的應用需求,可以在高級資源池中設置或多或少的子資源池,各子資源池的服務等級可以不同。

            根據本發明實施例,步驟110具體可以包括:

            在所述高級資源池中的虛擬機數量增加時,根據增加的虛擬機數量以及所述高級資源池的服務等級確定需要向所述高級資源池分配的第一數量的物理核;

            從所述默認資源池向所述高級資源池分配所述第一數量的物理核;

            或者

            在所述高級資源池中的虛擬機數量減少時,根據減少的虛擬機數量以及所述高級資源池的服務等級確定需要從所述高級資源池減少的第二數量的物理核;

            從所述高級資源池向所述默認資源池分配所述第二數量的物理核。

            當所述高級資源池中沒有虛擬機運行時,將所述高級資源池中的物理核分配給所述默認資源池。下面以資源池包括默認資源池和高級資源池,其中高級資源池包括第一級資源池和第二級資源池為例進行說明。需要說明的是,這里所舉的例子僅僅為了說明本發明實施例的實施方式,而不用于對本發明實施例進行限制。在描述本發明實施例時,運行于不同服務等級的資源池的虛擬機,也可以稱為對應服務等級的虛擬機,例如,運行于第一級資源池的虛擬機,可以稱為第一級虛擬機,運行于默認資源池的虛擬機,可以稱為默認虛擬機。

            在初始情況下,例如系統開機上電后,由于高級資源池中沒有虛擬機運行,全部的物理核分配在默認資源池中。根據應用場景的不同,啟動虛擬機并將其加入不同的資源池或者將虛擬機遷入不同的資源池,。與此相反的過程,即關閉虛擬機的過程或者將虛擬機遷出。例如,需要第一級虛擬機,即允許占用物理核計算資源100%的虛擬機。則需要在第一級資源池中創建第一級虛擬機。本領域技術人員理解并知悉虛擬機的創建和啟動過程,因此為了簡略,這里不再詳細描述。在第一級資源池增加第一級虛擬機時,根據增加的第一級虛擬機的數量確定需要向第一級資源池分配的第一數量的物理核,然后從默認資源池中分配第一數量的物理核到第一級資源池。如果根據具體應用場景,需要減少第一級虛擬機的數量,例如將第二數量的第一級虛擬機從第一級資源池中遷出或者將第二數量的第一級虛擬機關閉。以將第二數量的第一虛擬機遷出為例,在將第二數量的第一級虛擬機遷出的同時,確定需要從第一級資源池中減少第二數量的物理核。然后,將第一級資源池中的第二數量的物理核分配到默認資源池中。由此實現了根據第一級資源池中的虛擬機的數量變化,動態地調整所述第一級資源池中的物理核的分配數量并相應的調整默認資源池中的物理核的分配數量。

            對于第二級資源池而言,調整的方式是類似的。區別之處在于,第二級資源池中第二級虛擬機實際分配一個物理核的計算資源的50%。

            根據本發明實施例,在一種可能的實現方式中,步驟110之前,所述方法還包括:

            確定所述高級資源池中的虛擬機數量發生變化之后,所述高級資源池中的物理核數量不足以滿足所述高級資源池的計算資源需求。例如,在高級資源池的第一級資源池中增加1臺第一級虛擬機時,第一級資源池無法滿足第一級資源池中全部虛擬機的計算資源需求,因為第一級資源池中允許每臺虛擬機需要獨占一個物理核的計算資源。還有可能存在下述情況,例如在高級資源池的第二級資源池中存在3臺第二級虛擬機,允許每臺第二級虛擬機占用一個物理核計算資源的50%,因此第二級資源池中三臺第二級虛擬機需要分配兩個物理核,但在實際分配給三臺第二級虛擬機物理核的計算資源后,還剩一個物理核的計算資源的50%。在這種情況下,如果第二級資源池中增加一個第二級虛擬機,則不會導致第二級資源池不滿足全部第二級虛擬機的計算資源需求。這樣,可以將第二級資源池中剩余一個物理核的計算資源的50%分配給該新增加的虛擬機。在這種情況下,不需要從默認資源池向第二級資源池分配新的物理核。

            根據本發明實施例,在一種可能的實現方式中,步驟110之后,所述方法還包括:

            確定所述高級資源池中的虛擬機數量發生變化之后,所述高級資源池中存在不服務于該高級資源池中的虛擬機的空閑的至少一個物理核計算資源。這里所述“空閑的至少一個物理核計算資源”可能來自不同的物理核,即來自不同物理核的計算資源的總和相當于一個物理核的計算資源。例如,在高級資源池的第一級資源池中遷出1臺第一級虛擬機之后,則第一級資源池中出現空閑的一個物理核計算資源。在這種情況下,該第一級資源池可以將一個物理核分配到默認資源池中,供運行在默認資源池中的虛擬機使用,以便有效利用物理核的計算資源。

            例如在高級資源池的第二級資源池中遷出1個第二級虛擬機之后,有可能并沒有出現空閑的一個物理核計算資源,因為第二級資源池中是允許每臺虛擬機占用一個物理核的計算資源的50%。因此,只有在確定第二級資源池中存在空閑的至少一個物理核計算資源的情況下,才可以將物理核從該第二級資源池分配回到默認資源池中。

            如前所述,默認資源池中的默認虛擬機共享默認資源池中的全部物理核的計算資源。根據本發明實施例,共享的方式可以根據具體的情況來確定。在第一種可能的實現方式中,默認虛擬機可以平均地共享默認資源池中全部物理核的計算資源。根據第一種可能的實現方式的一種改進方案,可以設定允許默認資源池中的每臺默認虛擬機所能占用的物理核計算資源的上限百分比,例如默認資源池中允許每臺虛擬機所占用的物理核計算資源的上限百分比為一個物理核計算資源的10%,由此防止默認資源池中的出現壟斷虛擬機,即占用了大量計算資源的虛擬機。根據另一種改進方案,為了保證默認資源池中虛擬機的計算性能,可以設定允許每臺虛擬機所能占用的物理核的計算資源的下限百分比,例如默認資源池中的允許每臺虛擬機所占用的物理核計算資源的下限百分比為一個物理核計算資源的5%。在確定每臺虛擬機所能占用的物理核的計算資源的上限百分比和下限的情況下,在實施步驟110之前,所述方法100包括:

            根據默認資源池中的虛擬機數量以及該默認資源池中虛擬機允許占用物理核計算資源下限百分比來確定默認資源池有足夠的資源分配給高級資源池。或者,在默認資源池增加虛擬機的情況下,確定默認資源池的容量還沒有達到上限,即還可以容納額外的虛擬機。

            例如,假設允許默認資源池中每臺虛擬機占用物理核的計算資源的下限百分比為5%,且允許默認資源池中每臺虛擬機占用物理核的計算資源的上限百分比為10%。此時,假設默認資源池包括10個物理核,則在默認資源池中,最多為可以200臺默認虛擬機提供物理核計算資源,最少可以為100臺默認虛擬機提供物理核計算資源。假如運行在默認資源池中的虛擬機數量為185臺。如果需要增加1臺第一級虛擬機,即需要從默認資源池向高級資源池中的第一級資源池分配1個物理核,而根據計算結果,如果向第一資源池中分配一個物理核后,默認資源池中剩余物理核計算資源最多只能為180臺默認虛擬機提供物理核計算資源,而現在在默認資源池中運行185臺默認虛擬機。則所述方法100包括:拒絕增加高級虛擬機的請求。在本例中,拒絕增加第一級虛擬機。當然,在本發明實施例的另一種情況下,可以向高級資源池中第一資源池分配一個物理核,同時調整默認資源池中每臺默認虛擬機占用的物理核計算資源的下限,或者根據默認資源池中虛擬機部署策略,關閉相應的默認虛擬機,以滿足默認資源池中現有的每臺默認虛擬機占用的物理核計算資源的下限。

            再例如,假設允許默認資源池中每臺虛擬機占用一個物理核的計算資源的下限百分比為5%,且允許默認資源池中每臺虛擬機占用一個物理核的計算資源的上限百分比為10%。此時,假設默認資源池包括10個物理核,運行在默認資源池中的虛擬機數量為185臺。如果在默認資源池增加1臺虛擬機,即增加一個默認虛擬機,則根據計算結果,默認資源池的容量還可以容納3臺默認虛擬機,因此允許向默認資源池中增加1個虛擬機。

            在另一種可能的實現方式中,可以進一步為默認資源池中的默認虛擬機設定優先級。默認資源池中的物理核計算資源優先滿足優先級高的默認虛擬機的需求。由于設定了允許每臺默認虛擬機占用物理核計算資源的上限百分比和上限,即使高優先級的默認虛擬機也不會成為“壟斷虛擬機”而導致低優先級的默認虛擬機無法分配到計算資源。

            以下以第二級資源池增加虛擬機的具體流程實例完整描述本發明實施例的一種實現過程。圖2是根據本發明實施例的虛擬機遷入過程具體示例的流程圖。如圖2所示,第二級資源池增加虛擬機的流程200包括:

            210:用戶請求將虛擬機1遷入第二級資源池;

            220:系統判斷物理核計算資源是否充足;

            也就是說,系統根據目前高級資源池中第一級資源池和第二級資源池內的虛擬機數量、默認資源池中的虛擬機數量以及默認資源池中每臺虛擬機分配的計算資源下限百分比,確定是否有足夠的計算資源分配給第二級資源池。在本例中,由于物理核可能遷入第二級資源池,系統需要確定默認資源池至少有一個物理核可以分配到第二級資源池。在物理核資源充足的情況下,流程前進到步驟230,而在物理核資源不充足的情況下,流程跳到步驟270。

            230:在物理核計算資源充足的情況下,系統判斷虛擬機1遷入第二級資源池后,是否需要為第二級資源池分配新的物理核;

            鑒于第二級資源池中允許每臺虛擬機占用一個物理核計算資源的50%,所以虛擬機1遷入第二級資源池之前,如果第二級資源池中的虛擬機數量為奇數的情況下,第二級資源池剩余一個物理核的計算資源的50%尚未分配。在這種情況下,不需要為第二級資源池分配新的物理核。相反,在虛擬機1遷入第二級資源池之前,如果第二級資源池中的虛擬機數量為偶數的情況下,需要從默認資源池向第二級資源池分配一個物理核,為虛擬機1提供計算資源。

            240:在不需要為第二級資源池分配新的物理核的情況下,將虛擬機1遷入第二級資源池,并將剩余一個物理核的計算資源50%分配給該虛擬機1;

            250:在需要為第二級資源池分配新的物理核的情況下,從默認資源池分配1個物理核到第二級資源池,并將虛擬機1遷入第二級資源池,為該虛擬機1提供一個物理核計算資源的50%;

            260:默認資源池相應調整物理核的計算資源在默認資源內的虛擬機之間的分配。

            根據前述內容,默認資源池中物理核計算資源的調整方式根據默認資源池的具體設置有所不同。例如,在默認資源池中的虛擬機平均地共享默認資源池中的物理核的計算資源的情況下,由于減少了一個物理核,則默認資源池中各虛擬機所實際分配的物理核的計算資源相應調低。

            270:不允許虛擬機1遷入第二級資源池。

            在這種情況下,可以通過消息向用戶發出通知,表示系統中的物理核計算資源不足,不允許虛擬機1遷入。

            虛擬機遷入第一級資源池、默認資源池的流程與圖2所示流程類似。

            與圖2所示流程對應,圖3是從第二級資源池遷出虛擬機的流程。如圖3所示,流程300包括:

            310:用戶請求將虛擬機2從第二級資源池遷出;

            320:系統判斷虛擬機2遷出第二級資源池后,是否需要縮減第二級資源池中的物理核數量;

            鑒于第二級資源池中允許每臺虛擬機占用一個物理核計算機的50%,所以虛擬機2遷出第二級資源池之前,如果第二級資源池中的虛擬機數量為奇數的情況下,第二級資源池剩余一個物理核的計算資源的50%尚未分配。在這種情況下,虛擬機2遷出第二級資源池之后,則有一個物理核計算資源空閑,需要將第二級資源池的物理核減少1個。相反,在虛擬機2遷出第二級資源池之前,如果第二級資源池中的虛擬機數量為偶數的情況下,則不能從第二級資源池縮減物理核的數量。

            330:在需要將第二級資源池的物理核數量減少的情況下,即第二級資源池現有虛擬機數量為奇數個時,第二級資源池剩余一個物理核的計算資源的50%尚未分配。在這種情況下,虛擬機2遷出第二級資源池之后,則有一個物理核計算資源空閑,將一個物理核分配到默認資源池中,流程跳轉到步驟350;

            340:在不需要將第二級資源池的物理核數量減少的情況下,將虛擬機2遷出第二級資源池;

            350:默認資源池相應調整物理核的計算資源在默認資源內的虛擬機之間的分配。

            本發明實施例中,如果第二級資源池中虛擬機全部遷出,則將第二資源池中的物理核全部分配給默認資源池。

            上述實施例中以高級資源池中包括第一級資源池和第二級資源池為例,根據實際應用場景,高級資源池也可以不再包括如第一級資源池和第二級資源池這樣的子資源池。根據實際應用場景,高級資源池也可以不僅僅包含第一級資源池和第二級資源池,每個子資源池的服務等級可以根據實際應用具體設定。

            根據前述內容,默認資源池中物理核計算資源調整根據默認資源池的具體設置有所不同。例如,在默認資源池中的虛擬機平均地共享默認資源池中的物理核的計算資源的情況下,由于增加了一個物理核,則默認資源池中各虛擬機所分配的物理核的計算資源被相應調高,以充分利用物理核計算資源。

            圖4是根據本發明實施例的一種具體應用場景的信令交互圖。如圖4所示應用場景描述的是虛擬機從源計算節點向目的計算節點遷移。如圖1、2和3所示的本發明實施例的方法可以應用在圖4所示應用場景中。

            如圖4所示,遷移過程400包括:

            410:客戶向集群控制器發出虛擬機遷移請求,請求將虛擬機3從源計算節點遷移到目的計算節點;

            420:集群控制器接收客戶發出的虛擬機遷移請求并進行相應處理;

            集群控制器可以根據傳統的虛擬機調度流程,執行相應的處理,例如預占分配的資源。

            430:集群控制器向源計算節點發出調度請求,用于將虛擬機3從源計算節點遷出;

            440:虛擬機3從源計算節點遷出;

            在源計算節點,例如執行圖3所示的虛擬機遷出流程。

            450:源計算節點實施物理核計算資源動態調整;

            460:虛擬機3遷入目的計算節點;

            在目的計算節點,例如執行圖2所示的虛擬機遷入流程。

            470:目的計算節點實施物理核計算資源動態調整

            480:源計算節點向集群控制器返回遷出成功或失敗消息。

            490:集群控制器通知客戶虛擬機3從源計算節點向目的計算節點的遷移結果。

            根據本發明實施例,通過將物理核劃分為不同的資源池,并且不同的資源池中的物理核的計算資源在不同資源池之間彼此隔離,實現了針對不同應用場景的物理核計算資源的有效分配,同時避免出現占用大量計算資源的壟斷虛擬機,防止了物理核計算資源分配失衡,提高了物理核的計算資源的利用效率。

            本發明實施例的方法可以應用于不同的云計算商業模式中,例如在互聯網數據中心(Internet Data Center,簡稱IDC)商業模式下,可以向用戶提供處于第一級資源池中的虛擬機,使得虛擬機全時獨占物理核的計算資源,而且計算資源不會被其他用戶占用,為客戶提供了穩定的計算能力。例如,業務私有云(Service Private Cloud,簡稱SPC)商業模式下,向客戶提供的虛擬機既要求有較高性能和業務穩定性,也需要一定程度的CPU資源復用,則第一級和第二級資源池中的虛擬機都滿足這一場景的應用。再例如,在虛擬桌面基礎架構(Virtual Desktop Infrastructure,簡稱VDI)商業模式下,客戶要求虛擬機的性價比比較高,資源可復用。在這種情況下,虛擬機有較大的忙閑比,所以默認資源池中的虛擬機適合這種場景。

            本發明實施例還提出了可以應用本發明實施例的方法的計算節點。如圖5所示,計算節點500包括:

            資源調整單元510,用于根據高級資源池中的虛擬機的數量變化,動態地調整所述高級資源池中的物理核的分配數量,和用于根據所述高級資源池中物理核的分配數量調整所述默認資源池中的物理核的分配數量;

            資源分配單元520,用于根據資源池的服務等級,將中央處理器的物理核劃分成默認資源池和高級資源池。

            本發明實施例中,每個資源池服務于在該資源池中運行的虛擬機,在適當的情況下,根據本發明實施例的計算節點可以具備本發明方法實施例中的其他技術特征。以下舉例說明。

            根據本發明實施例,所述服務等級包括允許每臺虛擬機占用物理核計算資源的數量。

            根據本發明實施例,所述資源分配單元用于調度所述默認資源池中的虛擬機共享所述默認資源池中的全部物理核的計算資源。

            根據本發明實施例,所述高級資源池包括第一級資源池,其中所述第一級資源池中的每臺虛擬機允許獨占一個物理核計算資源。

            根據本發明實施例,所述高級資源池包括第二級資源池,其中所述第二級資源池中的每臺虛擬機允許占用一個物理核計算資源的50%。

            根據本發明實施例,在所述高級資源池中的虛擬機數量增加時,所述資源調整單元510根據增加的虛擬機數量以及所述高級資源池的服務等級確定需要向所述高級資源池分配的第一數量的物理核,并且從所述默認資源池向所述高級資源池分配所述第一數量的物理核;

            或者

            在所述高級資源池中的虛擬機數量減少時,所述資源調整單元510根據減少的虛擬機數量以及所述高級資源池的服務等級確定需要從所述高級資源池減少的第二數量的物理核,并且從所述高級資源池向所述默認資源池分配所述第二數量的物理核。

            根據本發明實施例,當所述高級資源池中沒有虛擬機運行時,所述資源調整單元用于將所述高級資源池中的物理核分配給所述默認資源池。

            如圖6所示,根據本發明實施例,所述計算節點還包括:

            第一確定單元530,用于確定所述高級資源池中的虛擬機數量發生變化之后,所述高級資源池中的物理核數量不足以滿足所述高級資源池中的服務等級。

            根據本發明實施例,所述第一確定單元530還用于確定所述高級資源池中的虛擬機數量發生變化時,所述高級資源池中存在不服務于該高級資源池中的虛擬機的空閑的至少一個物理核計算資源。

            根據本發明實施例,所述資源分配單元520用于調度所述默認資源池中的虛擬機按照預設的允許每臺虛擬機占用的物理核計算資源的百分比來共享所述默認資源池中的全部物理核的計算資源。

            根據本發明實施例,所述資源調整單元510用于根據所述默認資源池中的物理核數量和所述預設的允許每臺虛擬機占用的物理核計算資源的百分比,確定所述默認資源池所能容納的虛擬機的數量。

            根據本發明實施例,所述資源分配單元520用于調度所述默認資源池中的虛擬機平均地共享所述默認資源池中的全部物理核的計算資源。

            根據本發明實施例,所述資源分配單元520用于為所述默認資源池中的每臺虛擬機設定允許每臺虛擬機占用的物理核計算資源的上限百分比和/或下限百分比。

            根據本發明實施例,所述資源分配單元520用于為所述默認資源池中的虛擬機設定每臺虛擬機使用物理核計算資源的優先級,并根據所述優先級高低順序為所述默認資源池中的虛擬機分配物理核的計算資源。

            圖7所示是根據本發明實施例的計算節點的另一種示意結構圖。如圖7所示,計算節點700包括至少一個處理器710,例如CPU,至少一個端口720,存儲器730,和至少一個通信總線740。通信總線740用于實現這些裝置之間的連接通信。處理器710用于執行存儲器730中存儲的可執行模塊,例如計算機程序;計算節點可選的包含用戶接口750,包括但不限于顯示器,鍵盤和點擊設備,例如鼠標、軌跡球(trackball)、觸感板或者觸感顯示屏。存儲器730可能包含高速RAM存儲器,也可能還包括非易失性存儲器(non-volatile memory),例如至少一個磁盤存儲器。通過至少一個端口720實現該計算節點與集群控制器的通信連接,通過至少另一個端口720與至少一個其他計算節點之間的通信連接。

            在一些實施方式中,存儲器730存儲了如下的元素,可執行模塊或者數據結構,或者他們的子集,或者他們的擴展集:

            操作系統732,包含各種系統程序,用于實現各種基礎業務以及處理基于硬件的任務;

            應用模塊734,包含各種應用程序,用于實現各種應用業務。

            應用模塊734中包括但不限于資源調整單元(510)、資源分配單元(520)、第一確定單元(530)。

            應用模塊732中各單元的具體實現參見圖5和圖6所示實施例中的相應單元,在此不贅述。

            本領域普通技術人員可以意識到,結合本文中所公開的實施例描述的各示例的單元及算法步驟,能夠以電子硬件、或者計算機軟件和電子硬件的結合來實現。這些功能究竟以硬件還是軟件方式來執行,取決于技術方案的特定應用和設計約束條件。專業技術人員可以對每個特定的應用來使用不同方法來實現所描述的功能,但是這種實現不應認為超出本發明的范圍。

            所屬領域的技術人員可以清楚地了解到,為描述的方便和簡潔,上述描述的系統、裝置和單元的具體工作過程,可以參考前述方法實施例中的對應過程,在此不再贅述。

            在本申請所提供的幾個實施例中,應該理解到,所揭露的系統、裝置和方法,可以通過其它的方式實現。例如,以上所描述的裝置實施例僅僅是示意性的,例如,所述單元的劃分,僅僅為一種邏輯功能劃分,實際實現時可以有另外的劃分方式,例如多個單元或組件可以結合或者可以集成到另一個系統,或一些特征可以忽略,或不執行。另一點,所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口,裝置或單元的間接耦合或通信連接,可以是電性,機械或其它的形式。

            所述作為分離部件說明的單元可以是或者也可以不是物理上分開的,作為單元顯示的部件可以是或者也可以不是物理單元,即可以位于一個地方,或者也可以分布到多個網絡單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本實施例方案的目的。

            另外,在本發明各個實施例中的各功能單元可以集成在一個處理單元中,也可以是各個單元單獨物理存在,也可以兩個或兩個以上單元集成在一個單元中。

            所述功能如果以軟件功能單元的形式實現并作為獨立的產品銷售或使用時,可以存儲在一個計算機可讀取存儲介質中。基于這樣的理解,本發明的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的部分可以以軟件產品的形式體現出來,該計算機軟件產品存儲在一個存儲介質中,包括若干指令用以使得一臺計算機設備(可以是個人計算機,服務器,或者網絡設備等)執行本發明各個實施例所述方法的全部或部分步驟。而前述的存儲介質包括:U盤、移動硬盤、只讀存儲器(ROM,Read-Only Memory)、隨機存取存儲器(RAM,Random Access Memory)、磁碟或者光盤等各種可以存儲程序代碼的介質。

            以上所述,僅為本發明的具體實施方式,但本發明的保護范圍并不局限于此,任何熟悉本技術領域的技術人員在本發明揭露的技術范圍內,可輕易想到變化或替換,都應涵蓋在本發明的保護范圍之內。因此,本發明的保護范圍應所述以權利要求的保護范圍為準。

            當前第1頁1 2 3 
            網友詢問留言 已有0條留言
            • 還沒有人留言評論。精彩留言會獲得點贊!
            1
            婷婷六月激情在线综合激情,亚洲国产大片,久久中文字幕综合婷婷,精品久久久久久中文字幕,亚洲一区二区三区高清不卡,99国产精品热久久久久久夜夜嗨 ,欧美日韩亚洲综合在线一区二区,99国产精品电影,伊人精品线视天天综合,精品伊人久久久大香线蕉欧美
            亚洲精品1区 国产成人一级 91精品国产欧美一区二区 亚洲精品乱码久久久久久下载 国产精品久久久久久久伊一 九色国产 国产精品九九视频 伊人久久成人爱综合网 欧美日韩亚洲区久久综合 欧美日本一道免费一区三区 夜夜爽一区二区三区精品 欧美日韩高清一区二区三区 国产成人av在线 国产精品对白交换绿帽视频 国产视频亚洲 国产在线欧美精品 国产精品综合网 国产日韩精品欧美一区色 国产日韩精品欧美一区喷 欧美日韩在线观看区一二 国产区精品 欧美视频日韩视频 中文字幕天天躁日日躁狠狠躁97 视频一二三区 欧美高清在线精品一区二区不卡 国产精品揄拍一区二区久久 99久久综合狠狠综合久久aⅴ 亚洲乱码视频在线观看 日韩在线第二页 亚洲精品无码专区在线播放 成人亚洲网站www在线观看 欧美三级一区二区 99久久精品免费看国产高清 91麻豆国产在线观看 最新日韩欧美不卡一二三区 成人在线观看不卡 日韩国产在线 在线亚洲精品 亚洲午夜久久久久中文字幕 国产精品成人久久久久久久 精品国产一区二区在线观看 欧美精品国产一区二区三区 中文在线播放 亚洲第一页在线视频 国产午夜精品福利久久 九色国产 精品国产九九 国产永久视频 久久精品人人做人人综合试看 国产一区二区三区免费观看 亚洲精品国产电影 9999热视频 国产精品资源在线 麻豆久久婷婷国产综合五月 国产精品免费一级在线观看 亚洲国产一区二区三区青草影视 中文在线播放 国产成人综合在线 国产在线观看色 国产亚洲三级 国产片一区二区三区 久久99精品久久久久久牛牛影视 亚洲欧美日韩国产 四虎永久免费网站 国产一毛片 国产精品视频在 九九热在线精品 99精品福利视频 色婷婷色99国产综合精品 97成人精品视频在线播放 精品久久久久久中文字幕 亚洲欧美一区二区三区孕妇 亚洲欧美成人网 日韩高清在线二区 国产尤物在线观看 在线不卡一区二区 91网站在线看 韩国精品福利一区二区 欧美日韩国产成人精品 99热精品久久 国产精品免费视频一区 高清视频一区 精品九九久久 欧美日韩在线观看免费 91欧美激情一区二区三区成人 99福利视频 亚洲国产精品91 久热国产在线 精品久久久久久中文字幕女 国产精品久久久久久久久99热 成人自拍视频网 国产精品视频久久久久久 久久影院国产 国产玖玖在线观看 99精品在线免费 亚洲欧美一区二区三区导航 久久久久久久综合 国产欧美日韩精品高清二区综合区 国产精品视频自拍 亚洲一级片免费 久久久久久九九 国产欧美自拍视频 视频一区二区在线观看 欧美日韩一区二区三区久久 中文在线亚洲 伊人热人久久中文字幕 日韩欧美亚洲国产一区二区三区 欧美亚洲国产成人高清在线 欧美日韩国产码高清综合人成 国产性大片免费播放网站 亚洲午夜综合网 91精品久久一区二区三区 国产无套在线播放 国产精品视频网站 国产成人亚洲精品老王 91在线网站 国产视频97 欧美黑人欧美精品刺激 国产一区二区三区免费在线视频 久久久国产精品免费看 99re6久精品国产首页 久久精品91 国产成人一级 国产成人精品曰本亚洲 日本福利在线观看 伊人成综合网 久久综合一本 国产综合久久久久久 久久精品成人免费看 久久福利 91精品国产91久久久久久麻豆 亚洲精品成人在线 亚洲伊人久久精品 欧美日本二区 国产永久视频 国产一区二 一区二区福利 国产一毛片 亚洲精品1区 毛片一区二区三区 伊人久久大香线蕉综合影 国产欧美在线观看一区 亚洲国产欧洲综合997久久 国产一区二区免费视频 国产91精品对白露脸全集观看 久久亚洲国产伦理 欧美成人伊人久久综合网 亚洲性久久久影院 久久99国产精一区二区三区! 91精品国产欧美一区二区 欧美日韩亚洲区久久综合 日韩精品一二三区 久久久夜色精品国产噜噜 国产在线精品福利91香蕉 久久久久久久亚洲精品 97se色综合一区二区二区 91国语精品自产拍在线观看性色 91久久国产综合精品女同我 日韩中文字幕a 国产成人亚洲日本精品 久久国产精品-国产精品 久久国产经典视频 久久国产精品伦理 亚洲第一页在线视频 国产精品久久久久三级 日韩毛片网 久久免费高清视频 麻豆国产在线观看一区二区 91麻豆国产福利在线观看 国产成人精品男人的天堂538 一区二区三区中文字幕 免费在线视频一区 欧美日韩国产成人精品 国产综合网站 国产资源免费观看 亚洲精品亚洲人成在线播放 精品久久久久久中文字幕专区 亚洲人成人毛片无遮挡 国产一起色一起爱 国产香蕉精品视频在 九九热免费观看 日韩亚洲欧美一区 九九热精品在线观看 精品久久久久久中文字幕专区 亚洲欧美自拍偷拍 国产精品每日更新 久久久久国产一级毛片高清板 久久天天躁狠狠躁夜夜中文字幕 久久精品片 日韩在线毛片 国产成人精品本亚洲 国产成人精品一区二区三区 九九热在线观看 国产r级在线观看 国产欧美日韩精品高清二区综合区 韩国电影一区二区 国产精品毛片va一区二区三区 五月婷婷伊人网 久久一区二区三区免费 一本色道久久综合狠狠躁篇 亚洲综合色站 国产尤物在线观看 亚洲一区亚洲二区 免费在线视频一区 欧洲精品视频在线观看 日韩中文字幕a 中文字幕日本在线mv视频精品 91精品在线免费视频 精品国产免费人成在线观看 精品a级片 中文字幕日本在线mv视频精品 日韩在线精品视频 婷婷丁香色 91精品国产高清久久久久 国产成人精品日本亚洲直接 五月综合视频 欧美日韩在线亚洲国产人 精液呈暗黄色 亚洲乱码一区 久久精品中文字幕不卡一二区 亚洲天堂精品在线 激情婷婷综合 国产免费久久精品久久久 国产精品亚洲二区在线 久久免费播放视频 五月婷婷丁香综合 在线亚洲欧美日韩 久久免费精品高清麻豆 精品久久久久久中文字幕 亚洲一区网站 国产精品福利社 日韩中文字幕免费 亚洲综合丝袜 91精品在线播放 国产精品18 亚洲日日夜夜 伊人久久大香线蕉综合影 亚洲精品中文字幕乱码影院 亚洲一区二区黄色 亚洲第一页在线视频 一区二区在线观看视频 国产成人福利精品视频 亚洲高清二区 国内成人免费视频 精品亚洲性xxx久久久 国产精品合集一区二区三区 97av免费视频 国产一起色一起爱 国产区久久 国产资源免费观看 99精品视频免费 国产成人一级 国产精品九九免费视频 欧美91精品久久久久网免费 99热国产免费 久久精品色 98精品国产综合久久 久久精品播放 中文字幕视频免费 国产欧美日韩一区二区三区在线 精品久久蜜桃 国产小视频精品 一本色道久久综合狠狠躁篇 91在线免费观看 亚洲精品区 伊人成综合网 伊人热人久久中文字幕 伊人黄色片 99国产精品热久久久久久夜夜嗨 久久免费精品视频 亚洲一区二区三区高清不卡 久久久久国产一级毛片高清板 国产片一区二区三区 久久狠狠干 99久久婷婷国产综合精品电影 国产99区 国产精品成人久久久久 久久狠狠干 青青国产在线观看 亚洲高清国产拍精品影院 国产精品一区二区av 九九热在线免费视频 伊人久久国产 国产精品久久久久久久久久一区 在线观看免费视频一区 国产精品自在在线午夜区app 国产精品综合色区在线观看 国产毛片久久久久久国产毛片 97国产免费全部免费观看 国产精品每日更新 国产尤物视频在线 九九视频这里只有精品99 一本一道久久a久久精品综合 久久综合给会久久狠狠狠 国产成人精品男人的天堂538 欧美一区二区高清 毛片一区二区三区 国产欧美日韩在线观看一区二区三区 在线国产二区 欧美不卡网 91在线精品中文字幕 在线国产福利 国内精品91久久久久 91亚洲福利 日韩欧美国产中文字幕 91久久精品国产性色也91久久 亚洲性久久久影院 欧美精品1区 国产热re99久久6国产精品 九九热免费观看 国产精品欧美日韩 久久久久国产一级毛片高清板 久久国产经典视频 日韩欧美亚洲国产一区二区三区 欧美亚洲综合另类在线观看 国产精品自在在线午夜区app 97中文字幕在线观看 视频一二三区 精品国产一区在线观看 国产欧美日韩在线一区二区不卡 欧美一区二三区 伊人成人在线观看 国内精品91久久久久 97在线亚洲 国产在线不卡一区 久久久全免费全集一级全黄片 国产精品v欧美精品∨日韩 亚洲毛片网站 在线不卡一区二区 99re热在线视频 久久激情网 国产毛片一区二区三区精品 久久亚洲综合色 中文字幕视频免费 国产视频亚洲 婷婷伊人久久 国产一区二区免费播放 久久99国产精品成人欧美 99国产在线视频 国产成人免费视频精品一区二区 国产不卡一区二区三区免费视 国产码欧美日韩高清综合一区 久久精品国产主播一区二区 国产一区电影 久久精品国产夜色 国产精品国产三级国产 日韩一区二区三区在线 久久97久久97精品免视看 久久国产免费一区二区三区 伊人久久大香线蕉综合电影网 99re6久精品国产首页 久久激情网 亚洲成人高清在线 国产精品网址 国产成人精品男人的天堂538 香蕉国产综合久久猫咪 国产专区中文字幕 91麻豆精品国产高清在线 久久国产经典视频 国产精品成人va在线观看 国产精品爱啪在线线免费观看 日本精品久久久久久久久免费 亚洲综合一区二区三区 久久五月网 精品国产网红福利在线观看 久久综合亚洲伊人色 亚洲国产精品久久久久久网站 在线日韩国产 99国产精品热久久久久久夜夜嗨 国产综合精品在线 国产区福利 精品亚洲综合久久中文字幕 国产制服丝袜在线 毛片在线播放网站 在线观看免费视频一区 国产精品久久久精品三级 亚洲国产电影在线观看 最新日韩欧美不卡一二三区 狠狠综合久久综合鬼色 日本精品1在线区 国产日韩一区二区三区在线播放 欧美日韩精品在线播放 亚洲欧美日韩国产一区二区三区精品 久久综合久久网 婷婷六月激情在线综合激情 亚洲乱码一区 国产专区91 97av视频在线观看 精品久久久久久中文字幕 久久五月视频 国产成人福利精品视频 国产精品网址 中文字幕视频在线 精品一区二区三区免费视频 伊人手机在线视频 亚洲精品中文字幕乱码 国产在线视频www色 色噜噜国产精品视频一区二区 精品亚洲成a人在线观看 国产香蕉尹人综合在线 成人免费一区二区三区在线观看 国产不卡一区二区三区免费视 欧美精品久久天天躁 国产专区中文字幕 久久精品国产免费中文 久久精品国产免费一区 久久无码精品一区二区三区 国产欧美另类久久久精品免费 欧美精品久久天天躁 亚洲精品在线视频 国产视频91在线 91精品福利一区二区三区野战 日韩中文字幕免费 国产精品99一区二区三区 欧美成人高清性色生活 国产精品系列在线观看 亚洲国产福利精品一区二区 国产成人在线小视频 国产精品久久久久免费 99re热在线视频 久久久久久久综合 一区二区国产在线播放 成人国产在线视频 亚洲精品乱码久久久久 欧美日韩一区二区综合 精品久久久久免费极品大片 中文字幕视频二区 激情粉嫩精品国产尤物 国产成人精品一区二区视频 久久精品中文字幕首页 亚洲高清在线 国产精品亚洲一区二区三区 伊人久久艹 中文在线亚洲 国产精品一区二区在线播放 国产精品九九免费视频 亚洲二区在线播放 亚洲狠狠婷婷综合久久久久网站 亚洲欧美日韩网站 日韩成人精品 亚洲国产一区二区三区青草影视 91精品国产福利在线观看 国产精品久久久久久久久99热 国产一区二区精品尤物 久碰香蕉精品视频在线观看 亚洲日日夜夜 在线不卡一区二区 国产午夜亚洲精品 九九热在线视频观看这里只有精品 伊人手机在线视频 91免费国产精品 日韩欧美中字 91精品国产91久久久久 国产全黄三级播放 视频一区二区三区免费观看 国产开裆丝袜高跟在线观看 国产成人欧美 激情综合丝袜美女一区二区 国产成人亚洲综合无 欧美精品一区二区三区免费观看 欧美亚洲国产日韩 日韩亚州 国产欧美日韩精品高清二区综合区 亚洲午夜国产片在线观看 精品久久久久久中文字幕 欧美精品1区 久久伊人久久亚洲综合 亚洲欧美日韩精品 国产成人精品久久亚洲高清不卡 久久福利影视 国产精品99精品久久免费 久久久久免费精品视频 国产日产亚洲精品 亚洲国产午夜电影在线入口 精品无码一区在线观看 午夜国产精品视频 亚洲一级片免费 伊人久久大香线蕉综合影 国产精品久久影院 久碰香蕉精品视频在线观看 www.欧美精品 在线小视频国产 亚洲国产天堂久久综合图区 欧美一区二区三区不卡 日韩美女福利视频 九九精品免视频国产成人 不卡国产00高中生在线视频 亚洲第一页在线视频 欧美日韩在线播放成人 99re视频这里只有精品 国产精品91在线 精品乱码一区二区三区在线 国产区久久 91麻豆精品国产自产在线观看一区 日韩精品成人在线 九九热在线观看 国产精品久久不卡日韩美女 欧美一区二区三区综合色视频 欧美精品免费一区欧美久久优播 国产精品网址 国产专区中文字幕 国产精品欧美亚洲韩国日本久久 日韩美香港a一级毛片 久久精品123 欧美一区二区三区免费看 99r在线视频 亚洲精品国产字幕久久vr 国产综合激情在线亚洲第一页 91免费国产精品 日韩免费小视频 亚洲国产精品综合一区在线 国产亚洲第一伦理第一区 在线亚洲精品 国产精品一区二区制服丝袜 国产在线成人精品 九九精品免视频国产成人 亚洲国产网 欧美日韩亚洲一区二区三区在线观看 在线亚洲精品 欧美一区二区三区高清视频 国产成人精品男人的天堂538 欧美日韩在线观看区一二 亚洲欧美一区二区久久 久久精品中文字幕首页 日本高清www午夜视频 久久精品国产免费 久久999精品 亚洲国产精品欧美综合 88国产精品视频一区二区三区 91久久偷偷做嫩草影院免费看 国产精品夜色视频一区二区 欧美日韩导航 国产成人啪精品午夜在线播放 一区二区视频在线免费观看 99久久精品国产自免费 精液呈暗黄色 久久99国产精品 日本精品久久久久久久久免费 精品国产97在线观看 99re视频这里只有精品 国产视频91在线 999av视频 亚洲美女视频一区二区三区 久久97久久97精品免视看 亚洲国产成人久久三区 99久久亚洲国产高清观看 日韩毛片在线视频 综合激情在线 91福利一区二区在线观看 一区二区视频在线免费观看 激情粉嫩精品国产尤物 国产成人精品曰本亚洲78 国产成人精品本亚洲 国产精品成人免费视频 国产成人啪精品视频免费软件 久久精品国产亚洲妲己影院 国产精品成人久久久久久久 久久大香线蕉综合爱 欧美一区二区三区高清视频 99热国产免费 在线观看欧美国产 91精品视频在线播放 国产精品福利社 欧美精品一区二区三区免费观看 国产一区二区免费视频 国产午夜精品一区二区 精品视频在线观看97 91精品福利久久久 国产一区福利 国产综合激情在线亚洲第一页 国产精品久久久久久久久久久不卡 九色国产 在线日韩国产 黄网在线观看 亚洲一区小说区中文字幕 中文字幕丝袜 日本二区在线观看 日本国产一区在线观看 欧美日韩一区二区三区久久 欧美精品亚洲精品日韩专 国产日产亚洲精品 久久综合九色综合欧美播 亚洲国产欧美无圣光一区 欧美视频区 亚洲乱码视频在线观看 久久无码精品一区二区三区 九九热精品免费视频 久久99精品久久久久久牛牛影视 国产精品成久久久久三级 国产一区福利 午夜国产精品视频 日本二区在线观看 99久久网站 国产亚洲天堂 精品国产一区二区三区不卡 亚洲国产日韩在线一区 国产成人综合在线观看网站 久久免费高清视频 欧美在线导航 午夜精品久久久久久99热7777 欧美久久综合网 国产小视频精品 国产尤物在线观看 亚洲国产精品综合一区在线 欧美一区二区三区不卡视频 欧美黑人欧美精品刺激 日本福利在线观看 久久国产偷 国产手机精品一区二区 国产热re99久久6国产精品 国产高清啪啪 欧美亚洲国产成人高清在线 国产在线第三页 亚洲综合一区二区三区 99r在线视频 99精品久久久久久久婷婷 国产精品乱码免费一区二区 国产在线精品福利91香蕉 国产尤物视频在线 五月婷婷亚洲 中文字幕久久综合伊人 亚洲精品一级毛片 99国产精品电影 在线视频第一页 久久99国产精品成人欧美 国产白白视频在线观看2 成人精品一区二区www 亚洲成人网在线观看 麻豆91在线视频 色综合合久久天天综合绕视看 久久精品国产免费高清 国产不卡一区二区三区免费视 欧美国产中文 99精品欧美 九九在线精品 国产中文字幕在线免费观看 国产一区中文字幕在线观看 国产成人一级 国产精品一区二区制服丝袜 国产一起色一起爱 亚洲精品成人在线 亚洲欧美精品在线 国产欧美自拍视频 99精品久久久久久久婷婷 久99视频 国产热re99久久6国产精品 视频一区亚洲 国产精品视频分类 国产精品成在线观看 99re6久精品国产首页 亚洲在成人网在线看 亚洲国产日韩在线一区 久久国产三级 日韩国产欧美 欧美在线一区二区三区 国产精品美女一级在线观看 成人午夜免费福利视频 亚洲天堂精品在线 91精品国产手机 欧美日韩视频在线播放 狠狠综合久久综合鬼色 九一色视频 青青视频国产 亚洲欧美自拍一区 中文字幕天天躁日日躁狠狠躁97 日韩免费大片 996热视频 伊人成综合网 亚洲天堂欧美 日韩精品亚洲人成在线观看 久久综合给会久久狠狠狠 日韩精品亚洲人成在线观看 日韩国产欧美 亚洲成aⅴ人片在线影院八 亚洲精品1区 99久久精品免费 国产精品高清在线观看 国产精品久久久免费视频 在线亚洲欧美日韩 91在线看视频 国产精品96久久久久久久 欧美日韩国产成人精品 91在线亚洲 热久久亚洲 国产精品美女免费视频观看 日韩在线毛片 亚洲永久免费视频 九九免费在线视频 亚洲一区网站 日本高清二区视频久二区 精品国产美女福利在线 伊人久久艹 国产精品久久久久三级 欧美成人精品第一区二区三区 99久久精品国产自免费 在线观看日韩一区 国产中文字幕一区 成人免费午夜视频 欧美日韩另类在线 久久99国产精品成人欧美 色婷婷中文网 久久天天躁夜夜躁狠狠躁2020 欧美成人伊人久久综合网 国产精品福利资源在线 国产伦精品一区二区三区高清 国产精品亚洲综合色区韩国 亚洲一区欧美日韩 色综合视频 国语自产精品视频在线区 国产高清a 成人国内精品久久久久影 国产在线精品香蕉综合网一区 国产不卡在线看 国产成人精品精品欧美 国产欧美日韩综合精品一区二区三区 韩国电影一区二区 国产在线视频www色 91中文字幕在线一区 国产人成午夜免视频网站 亚洲综合一区二区三区 色综合视频一区二区观看 久久五月网 九九热精品在线观看 国产一区二区三区国产精品 99久热re在线精品996热视频 亚洲国产网 在线视频亚洲一区 日韩字幕一中文在线综合 国产高清一级毛片在线不卡 精品国产色在线 国产高清视频一区二区 精品日本久久久久久久久久 亚洲国产午夜精品乱码 成人免费国产gav视频在线 日韩欧美一区二区在线观看 欧美曰批人成在线观看 韩国电影一区二区 99re这里只有精品6 日韩精品一区二区三区视频 99re6久精品国产首页 亚洲欧美一区二区三区导航 欧美色图一区二区三区 午夜精品视频在线观看 欧美激情在线观看一区二区三区 亚洲热在线 成人国产精品一区二区网站 亚洲一级毛片在线播放 亚洲一区小说区中文字幕 亚洲午夜久久久久影院 国产自产v一区二区三区c 国产精品视频免费 久久调教视频 国产成人91激情在线播放 国产精品欧美亚洲韩国日本久久 久久亚洲日本不卡一区二区 91中文字幕网 成人国产在线视频 国产视频91在线 欧美成人精品第一区二区三区 国产精品福利在线 久久综合九色综合精品 欧美一区二区三区精品 久久国产综合尤物免费观看 久久99青青久久99久久 日韩精品免费 久久国产精品999 91亚洲视频在线观看 国产精品igao视频 色综合区 在线亚洲欧国产精品专区 国产一区二区三区在线观看视频 亚洲精品成人在线 一区二区国产在线播放 中文在线亚洲 亚洲精品第一国产综合野 国产一区二区精品久久 一区二区三区四区精品视频 99热精品久久 中文字幕视频二区 国产成人精品男人的天堂538 99精品影视 美女福利视频一区二区 久久午夜夜伦伦鲁鲁片 综合久久久久久久综合网 国产精品国产欧美综合一区 国产99视频在线观看 国产亚洲女在线精品 婷婷影院在线综合免费视频 国产亚洲3p一区二区三区 91成人爽a毛片一区二区 亚洲一区二区高清 国产欧美亚洲精品第二区首页 欧美日韩导航 亚洲高清二区 欧美激情观看一区二区久久 日韩毛片在线播放 亚洲欧美日韩高清中文在线 亚洲日本在线播放 国产精品一区二区制服丝袜 精品国产一区二区三区不卡 国产不卡在线看 国产欧美网站 四虎永久在线观看视频精品 国产黄色片在线观看 夜夜综合 一本色道久久综合狠狠躁篇 欧美亚洲综合另类在线观看 国产91在线看 伊人久久国产 欧美一区二区在线观看免费网站 国产精品久久久久三级 久久福利 日韩中文字幕a 亚洲午夜久久久久影院 91在线高清视频 国产亚洲一区二区三区啪 久久人精品 国产精品亚洲午夜一区二区三区 综合久久久久久 久久伊人一区二区三区四区 国产综合久久久久久 日韩一区精品视频在线看 国产精品日韩欧美制服 日本精品1在线区 99re视频 无码av免费一区二区三区试看 国产视频1区 日韩欧美中文字幕一区 日本高清中文字幕一区二区三区a 亚洲国产欧美无圣光一区 国产在线视频一区二区三区 欧美国产第一页 在线亚洲欧美日韩 日韩中文字幕第一页 在线不卡一区二区 伊人久久青青 国产精品一区二区在线播放 www.五月婷婷 麻豆久久婷婷国产综合五月 亚洲精品区 久久国产欧美另类久久久 99在线视频免费 伊人久久中文字幕久久cm 久久精品成人免费看 久久这里只有精品首页 88国产精品视频一区二区三区 中文字幕日本在线mv视频精品 国产在线精品成人一区二区三区 伊人精品线视天天综合 亚洲一区二区黄色 国产尤物视频在线 亚洲精品99久久久久中文字幕 国产一区二区三区免费观看 伊人久久大香线蕉综合电影网 国产成人精品区在线观看 日本精品一区二区三区视频 日韩高清在线二区 久久免费播放视频 一区二区成人国产精品 国产精品免费精品自在线观看 亚洲精品视频二区 麻豆国产精品有码在线观看 精品日本一区二区 亚洲欧洲久久 久久中文字幕综合婷婷 中文字幕视频在线 国产成人精品综合在线观看 91精品国产91久久久久福利 精液呈暗黄色 香蕉国产综合久久猫咪 国产专区精品 亚洲精品无码不卡 国产永久视频 亚洲成a人片在线播放观看国产 一区二区国产在线播放 亚洲一区二区黄色 欧美日韩在线观看视频 亚洲精品另类 久久国产综合尤物免费观看 国产一区二区三区国产精品 高清视频一区 国产精品igao视频 国产精品资源在线 久久综合精品国产一区二区三区 www.五月婷婷 精品色综合 99热国产免费 麻豆福利影院 亚洲伊人久久大香线蕉苏妲己 久久电影院久久国产 久久精品伊人 在线日韩理论午夜中文电影 亚洲国产欧洲综合997久久 伊人国产精品 久草国产精品 欧美一区精品二区三区 亚洲成人高清在线 91免费国产精品 日韩精品福利在线 国产一线在线观看 国产不卡在线看 久久99青青久久99久久 亚洲精品亚洲人成在线播放 99久久免费看国产精品 国产日本在线观看 青草国产在线视频 麻豆久久婷婷国产综合五月 国产中文字幕一区 91久久精品国产性色也91久久 国产一区a 国产欧美日韩成人 国产亚洲女在线精品 一区二区美女 中文字幕在线2021一区 在线小视频国产 久久这里只有精品首页 国产在线第三页 欧美日韩中文字幕 在线亚洲+欧美+日本专区 精品国产一区二区三区不卡 久久这里精品 欧美在线va在线播放 精液呈暗黄色 91精品国产手机 91在线免费播放 欧美视频亚洲色图 欧美国产日韩精品 日韩高清不卡在线 精品视频免费观看 欧美日韩一区二区三区四区 国产欧美亚洲精品第二区首页 亚洲韩精品欧美一区二区三区 国产精品视频免费 在线精品小视频 久久午夜夜伦伦鲁鲁片 国产无套在线播放 久热这里只精品99re8久 欧美久久久久 久久香蕉国产线看观看精品蕉 国产成人精品男人的天堂538 亚洲人成网站色7799在线观看 日韩在线第二页 一本色道久久综合狠狠躁篇 国产一区二区三区不卡在线观看 亚洲乱码在线 在线观看欧美国产 久久福利青草精品资源站免费 国产玖玖在线观看 在线亚洲精品 亚洲成aⅴ人在线观看 精品91在线 欧美一区二三区 日韩中文字幕视频在线 日本成人一区二区 日韩免费专区 国内精品在线观看视频 久久国产综合尤物免费观看 国产精品系列在线观看 一本一道久久a久久精品综合 亚洲免费播放 久久精品国产免费 久久人精品 亚洲毛片网站 亚洲成a人一区二区三区 韩国福利一区二区三区高清视频 亚洲精品天堂在线 一区二区三区中文字幕 亚洲国产色婷婷精品综合在线观看 亚洲国产成人久久笫一页 999国产视频 国产精品香港三级在线电影 欧美日韩一区二区三区四区 日韩国产欧美 国产精品99一区二区三区 午夜国产精品理论片久久影院 亚洲精品中文字幕麻豆 亚洲国产高清视频 久久免费手机视频 日韩a在线观看 五月婷婷亚洲 亚洲精品中文字幕麻豆 中文字幕丝袜 www国产精品 亚洲天堂精品在线 亚洲乱码一区 国产日韩欧美三级 久久999精品 伊人热人久久中文字幕 久热国产在线视频 国产欧美日韩在线观看一区二区三区 国产一二三区在线 日韩国产欧美 91精品国产91久久久久 亚洲一区小说区中文字幕 精品一区二区免费视频 国产精品视频免费 国产精品亚洲综合色区韩国 亚洲国产精品成人午夜在线观看 欧美国产日韩精品 中文字幕精品一区二区精品