一種虛擬云平臺管理系統及方法

            文檔序號:7869488閱讀:280來源:國知局
            專利名稱:一種虛擬云平臺管理系統及方法
            技術領域
            本發明屬于云計算技術領域,尤其涉及一種虛擬云平臺管理系統及方法。
            背景技術
            目前虛擬化技術與云計算技術越來越受到重視,虛擬機管理的服務正是云服務的一種。虛擬化廠商在云計算大潮中也開始推出自己的虛擬機管理平臺,但是這些平臺均存
            在一定的差異。目前應用比較廣泛的虛擬機管理方案主要有Eucalyptus、OpenNebula和OpenStack0Eucalyptus方案核心為Eucalyptus私有云平臺系統,云接口基于AmazonAWS API規范定義,能夠提供與公有云計算平臺Amazon EC2/S3服務相同的功能。Eucalyptus包括云控制器(CLC)、Walrus、集群控制器(CC)、存儲控制器(SC)和節點控制器(NC)。CLC是整個Eucalyptu系統的核心,負責高層次的資源調度,例如向CC請求計算資源。Walrus是一個與AmazonS3類似的存儲服務,主要用于存儲虛擬機映像和用戶數據。CC是一個集群的前端,負責協調一個集群內的計算資源,并且管理集群內的網絡流量。SC是一個與AmazonEBS類似的存儲塊設備服務,可以用來存儲業務數據。NC是最終的計算節點,通過調用操作系統層的虛擬化技術來啟動和關閉虛擬機。在同一個集群(CC)內的所有計算節點(NC)必須在同一個子網內。在一個集群(CC)內通常需要部署一臺存儲服務器(SC),為該集群內的計算節點提供數據存儲服務。Eucalyptus通過Agent的方式來管理計算資源。在每一個計算節點上,都需要運行一個Eucalyptus-nc的服務。該服務在集群控制器(CC)上注冊后,云控制器(CLC)即可通過 集群控制器(CLC)將需要運行的虛擬機映像文件(EMI)拷貝到該計算節點上運行。OpenNebula是開放原始碼的虛擬基礎設施引擎,可用來動態部署虛擬機器在一群實體資源上。OpenNebula的構架包括三個部分驅動層、核心層、工具層。驅動層直接與操作系統打交道,負責虛擬機的創建、啟動和關閉,為虛擬機分配存儲,監控物理機和虛擬機的運行狀況。核心層負責對虛擬機、存儲設備、虛擬網絡等進行管理。工具層通過命令行界面/瀏覽器界面方式提供用戶交互接口,通過API方式提供程序調用接口。OpenNebula使用共享存儲設備來提供虛擬機映像服務,使得每一個計算節點都能夠訪問到相同的虛擬機映像資源。當用戶需要啟動或者是關閉某個虛擬機時,OpenNebula通過SSH登陸到計算節點,在計算節點上直接運行相對應的虛擬化管理命令。這種模式也稱為無代理模式,由于不需要在計算節點上安裝額外的軟件(或者服務),系統的復雜度也相對降低了。OpenStack 也是一個與 Amazon EC2 兼容的 IaaS 系統。OpenStack 包括 OpenStackCompute 和 OpenStack Object Storage 兩個部分。OpenStackCompute 又包含 Web 前端、計算服務、存儲服務、身份認證服務、存儲塊設備(卷)服務、網絡服務、任務調度等多個模塊。OpenStack Compute的不同模塊之間不共享任何信息,通過消息傳遞進行通訊。因此,不同的模塊可以運行在不同的服務器上,也可以運行在同一臺服務器上。OpenStack通過Agent的方式來管理計算資源。在每一個計算節點上,都需要運行nova-network服務和nova-compute服務。這些服務啟動之后,就可以通過消息隊列來與云控制器進行交互。OpenNebula功能易用性和開放性較好,支持OCCI規范,但存在穩定性和部署過程復雜的問題;網絡虛擬化VLAN只能實現Level2級網絡隔離,功能有限。Eucalyptus與Ubuntu系統集成的UEC版部署簡單,產品易用性和穩定性較好,支持能耗管理等高級功能,網絡虛擬化功能較OpenNebula完善,提供了四種虛擬網絡模式,但對支持VMWare、SAN存儲網絡和跨虛擬化平臺的鏡像遷移功能需要購買企業版,而且對彈性控制策略定義和對虛擬機監控的功能尚不完善。OpenStack功能上雖然比較全面,且以全開源方式提供給我們所需的功能,但它的功能還不是很成熟,在計費,日志和policy管理等功能方面還沒有完整地實現。不同的虛擬化管理平臺的二次開發接口不盡相同,如相關廠商推出的Eucalyptus、0penStack和OpenNebula雖然提供了與Amazon EC2兼容或者是類似的接口,但這些管理平臺開放的功能接口還正在完善,這對虛擬資源(虛擬內存,虛擬網絡,虛擬磁盤,虛擬CPU)進行統一全面的管理帶來了一定的難度;不同的虛擬化管理平臺是在不同的設計思想下完成的,支持的虛擬化技術也不完全一樣,如VMware的vCloud就是基于VMware產品的可靠性和技術而構建的一種虛擬機管理解決方案,但其僅支持VMware的產品,而OpenNebula和Eucalyptus均支持Xen、KVM/Linux和VMware ;不同的虛擬化管理平臺的架構也相差迥異,例如Eucalyptus和OpenStack均是基于代理的方式來管理計算資源,具有單獨的存儲服務組件(Eucalyptus 的 Walrus 和 OpenStack 的 OpenStack Object Store)提供對鏡像的存儲服務,而OpenNebula是由一個主節點統一對集群中的從節點進行資源管理,使用共享存儲設備(例如NFS (Network File System))來提對鏡像的存儲服務;不同的虛擬化管理平臺在技術文檔中類似概念的描述也不盡相同,而且虛擬化管理平臺軟件的安裝、配置和測試均比較繁瑣。綜上所述,現有 的虛擬化管理平臺的缺陷在于不同的虛擬機管理平臺的完善程度不一,同時具有功能、架構、安裝配置、技術文檔,用戶界面的差異,對這些虛擬資源進行統一管理帶來了一定的難度,增加了最終用戶使用的復雜度;另外,不同管理平臺間的服務器資源不能動態共享,影響了彈性服務的性能。

            發明內容
            本發明提供了一種虛擬云平臺管理系統及方法,旨在解決現有的虛擬化管理平臺不能對各種架構的虛擬資源進行統一管理、且不同管理平臺間的服務器資源不能動態共享的技術問題。本發明提供的技術方案為一種虛擬云平臺管理系統,包括界面模塊和異構虛擬云模塊,所述界面模塊是用戶與虛擬云平臺交互的窗口,所述異構虛擬云模塊包括各種虛擬云平臺,還包括混合云管理模塊用于管理異構虛擬云模塊中的各種虛擬云平臺;虛擬云適配器用于為混合云管理模塊提供統一的編程接口來管理和屏蔽底層多種不同的虛擬云平臺的差異性。本發明的技術方案還包括所述虛擬云平臺管理系統還包括
            混合云管理接口模塊用于向界面模塊提供混合云管理模塊所有開放的功能,支持界面模塊提供給最終用戶使用的所有功能。本發明的技術方案還包括所述混合云管理模塊包括虛擬云池部件用于承載各種虛擬云平臺的數據空間,提供對各種虛擬云平臺數據操作的一致訪問,并裝載各種虛擬云數據對象,提供虛擬云數據對象的增加、刪除和查找功能;信息管理部件用于調用虛擬云池部件提供的虛擬云數據對象的操作接口獲取日志信息和平臺信息,并將不同平臺的日志信息和平臺信息用統一的數據格式提供給界面顯
            /Jn ο本發明的技術方案還包括所述虛擬云數據對象通過創建的可動態增加大小的容器進行裝載和維護,所述容器提供通過輪詢的方法查詢每個虛擬云數據的內部狀態,通過部件內部提供的名稱查找方法找到需要操作的虛擬云數據對象。本發明的技術方案還包括所述混合云管理模塊還包括負載均衡部件根據集群內部所有服務器的處理性能高低,將外部用戶的虛擬資源請求根據設定的策略合理分配到服務器;用戶數據庫部件利用數據庫系統對用戶的權限數據、用戶運行的虛擬機基本信息進行持久化保存。本發明的技術方案還包括所述混合云管理模塊為自身維護一個管理線程,所述管理線程通過消息觸發機制協調和管理模塊內各個部件之間的運行以及框架中各個模塊之間的運行。

            本發明的技術方案還包括所述虛擬云適配器包括適配器模塊接口部件,所述適配器模塊接口部件屏蔽了不同虛擬云平臺接口的差異性,按需動態匹配到合適的虛擬云驅動部件。本發明提供的另一技術方案為一種虛擬云平臺管理方法,包括步驟a :創建虛擬云平臺管理系統總線程;步驟b :虛擬云平臺管理系統總線程創建信息管理線程,觸發信息管理線程從虛擬云池管理線程中獲取平臺信息,然后將獲取的平臺信息的格式歸一化;步驟c :將歸一化的虛擬云平臺資源信息數據返回至界面,按照界面格式呈現給用戶。本發明的技術方案還包括所述步驟a和b之間還包括虛擬云平臺管理系統總線程創建用戶數據庫管理線程,觸發用戶數據庫線程獲取系統數據庫信息事件。本發明的技術方案還包括所述步驟a和b之間還包括虛擬云平臺管理系統總線程創建負載均衡線程,觸發負載均衡線程,通過負載均衡線程的策略分析,返回符合虛擬資源申請條件的物理節點訪問地址。本發明的技術方案還包括所述步驟a和b之間還包括虛擬云平臺管理系統總線程創建虛擬云池管理線程,同時觸發虛擬云池管理線程獲取用戶數據庫線程獲取的系統相關數據,觸發虛擬云池管理線程通過虛擬云適配器獲取虛擬云平臺部件的平臺信息,由獲取的平臺信息構建虛擬云數據對象。本發明的技術方案具有如下優點或有益效果本發明實施例的虛擬云平臺管理系統及方法提供一種以單一的方式管理多種異構的虛擬云平臺的方式,實現了不同用戶管理異構平臺的透明性;系統內部各個模塊在框架系統運行期以多線程的方式存在,各個模塊之間以及各個部件之間的交互通過事件機制觸發,保證了框架內部模塊之間、模塊內部各個部件的松耦合,使得框架具有可維護性;框架內的虛擬云適配器包含的物理節點管控部件可以直接對物理節點進行管理,彌補了目前主流虛擬機管理平臺缺乏對物理資源直接控制的不足,這樣保障了框架的容錯性和穩定性;框架內虛擬云適配器基于驅動程序設計理想實現適配器模塊部件的動態可擴展,使得框架對現有虛擬云平臺的兼容性和可擴展性。本發明實施例的虛擬云平臺管理系統及方法具有可維護性,可擴展性,一定的容錯性和用戶操控的透明性。


            附圖1是本發明實施例的虛擬云平臺管理系統的結構示意圖;附圖2是本發明實施例的虛擬云平臺管理系統的虛擬云數據對象的結構示意圖;附圖3是本發明實施例的虛擬·云平臺管理系統的虛擬云適配器的結構示意圖;附圖4是本發明實施例的虛擬云平臺管理方法的流程示意圖。
            具體實施例方式為了使本發明的目的、技術方案及優點更加清楚明白,以下結合附圖及實施例,對本發明進行進一步詳細說明。應當理解,此處所描述的具體實施例僅僅用以解釋本發明,并不用于限定本發明。請參閱圖1,為本發明實施例的虛擬云平臺管理系統的結構示意圖。本發明實施例的虛擬云平臺管理系統包括界面模塊、混合云管理接口模塊、混合云管理模塊、虛擬云適配器和異構虛擬云模塊。界面模塊是用戶與虛擬云平臺交互的窗口,用戶可以通過WEB界面或者命令行的方式完成下述功能設置虛擬機的相關參數,如內存大小、CPU、磁盤大小、鏡像種類和虛擬網絡等;選擇虛擬機運行的虛擬機管理平臺,如OpenNebula, Eucalyptus和OpenStack等;創建用戶所需的虛擬機集群;查看異構平臺中的虛擬機運行狀態;管理和控制異構平臺中虛擬機的運行周期;管理不同物理主機之間實施虛擬機的冷遷移或熱遷移。混合云管理接口模塊面向界面模塊提供了混合云管理模塊所有開放的功能,支持界面模塊提供給最終用戶使用的所有功能,并支持功能的進一步擴展,混合云管理接口模塊接口的設計標準依據EC2標準設計,最終用戶可以與系統建立XMLRPC連接,并通過該連接使用這些開放的接口。混合云管理模塊用于管理各種虛擬云平臺,管理各種虛擬云平臺的信息,例如平臺信息,日志信息等,以及管理虛擬機的供應和基于負載均衡的虛擬機部署,維護和管理用戶的權限。混合云管理模塊包括虛擬云池部件、信息管理部件、負載均衡部件和用戶數據庫部件。虛擬云池部件是承載各種虛擬云平臺的數據空間,提供了對各種虛擬云平臺數據操作的一致訪問,其裝載了各種虛擬云的數據對象(例如OpenNebula數據對象、Eucalyptus數據對象和OpenStack數據對象),提供虛擬云對象的增加、刪除和查找功能。虛擬云數據對象特封裝了虛擬云的通用屬性數據,這些數據包括虛擬云平臺的名稱、虛擬云平臺程序接口的訪問地址信息、訪問該地址的賬戶信息、運行的實例信息、虛擬機宿主機信息、虛擬網絡信息和運行期的日志信息;虛擬云平臺的名稱是唯一的,用于不同虛擬云池平臺識別的依據;虛擬云池中管理的虛擬云數據對象的數據操作接口是一致的,便于其它部件對虛擬云池中的平臺數據對象的一致訪問。本發明實施例的虛擬云平臺管理系統通過創建一個可動態增加大小的容器,裝載和維護不同的虛擬云數據對象,該容器提供通過輪詢的方法查詢每個虛擬云數據的內部狀態,通過部件內部提供的名稱查找方法找到需要操作的虛擬云數據對象;部件會在設定的時間周期內更新虛擬云數據對象的內部數據,進而觸發其它相關部件的數據更新。虛擬云數據對象如圖2所示,包括虛擬云數據對象的名稱,每一種虛擬云數據對象的命名必須是唯一的。規則為虛擬云平臺名稱加上虛擬云數據對象的序號,其中異構的虛擬云平臺可以設為集合X,X= {OpenNebula, Eucalyptus, Openstack...},其中 X1=OpenNebula7X2=Eucalyptus,依次類推;虛擬云數據對象的序號為按虛擬數據對象的產生順序由O依次遞增;虛擬云平臺驅動,在混 合云管理模塊操作適配器模塊接口時,適配器模塊具體指派的虛擬云平臺驅動對象的名稱,通過該名稱適配器模塊能適配到對應的虛擬云平臺驅動對象;虛擬機/[目息、物理機/[目息、虛擬網絡/[目息、鏡像/[目息、集群/[目息和模板彳目息,其均是通過具體虛擬云平臺獲取的信息,虛擬機信息包括虛擬機的網絡信息、虛擬機所在的宿主機信息、虛擬機的磁盤和內存大小、虛擬機的CPU數量和主頻。這些信息的具體格式和內容與具體的虛擬云平臺相關,針對不同的虛擬云平臺的數據需要利用不同的解析器進行解析,混合云管理模塊提供了信息管理模塊,以實現對這些異構平臺的數據格式進行歸一化。信息管理部件屏蔽了各個平臺信息格式的差異性,統一數據格式,同時管理和維護日志信息和平臺信息,其能調用虛擬云池部件提供的虛擬云數據對象的操作接口獲取日志信息和平臺信息,并將不同平臺的日志信息和平臺信息用統一的數據格式提供給界面顯示。日志信息主要用于監控系統的健康狀態和追蹤錯誤,這些信息主要包括系統運行期關鍵過程信息和虛擬機運行過程中的狀態信息和錯誤信息。平臺信息主要包括系統管理下的各個平臺的虛擬集群信息,物理主機信息,虛擬機信息,虛擬網絡信息,鏡像信息。信息管理模塊獲取各種平臺的日志信息和平臺信息,并對這些信息格式進行解析,將解析的信息用統一的數據格式提供給界面顯示,提供給負載均衡部件作為負載信息分析的依據,提供給用戶數據庫部件進行持久化保存。信息管理部件獲取信息的方式為信息管理部件通過虛擬云適配器的遠程物理節點管控部件以輪詢的方式,以SSH的方式登陸到集群中的各個目的物理主機;信息管理部件在每一臺登陸的物理主機中運行獲取CPU利用率和內存利用率,進程數,連接數的腳本程序,并收集腳本程序獲取的數據。負載均衡部件能根據集群內部所有服務器的處理性能高低,將外部用戶的虛擬資源請求根據設定的策略合理分配到每一臺服務器上,使各臺服務器的負載處于相對均衡的狀態,從而最大限度地利用好每一臺服務器,提升集群的整體服務性能,及時地供應用戶所需虛擬資源,其中設定策略的基本步驟為
            負載均衡部件從信息管理模塊獲取各個物理主機所屬虛擬云平臺的信息,這些信息包括物理機所屬平臺的虛擬機虛擬化技術、物理機上已經運行的虛擬機運行數量、物理機所屬平臺的虛擬機運行的健康狀態;負載均衡部件利用從物理主機采集的五個輸入參數CPU利用率、內存利用率、進程數、連接數和響應時間,計算各物理主機的當前負載權值,五個輸入參數對應的權值和物理主機負載權值的計算方式均可以通過腳本的方式根據用戶的需求動態設定;將計算所得的各個物理主機的負載權值進行排序,依據負載均衡部件從信息管理部件獲取的信息,選擇虛擬機虛擬化技術一致,虛擬機運行數量沒有超過設定的最大運行數量,虛擬機運行狀態健康的物理機地址和物理機上運行的虛擬云平臺名稱。用戶數據庫部件利用數據庫系統對用戶的權限數據、用戶運行的虛擬機基本信息進行持久化保存,用戶權限數據包括用戶名、密碼和權限,用戶的權限為用戶所在的賬戶下能運行的虛擬機最大數量和占用物理資源的最大數量,用戶在所在賬戶下能進行的操作虛擬機基本信息包括虛擬機運行的平臺名稱,用戶所擁有的虛擬機數量和虛擬機訪問的地址信息。混合云管理模塊為自身維護一個管理線程,該線程從系統啟動后便開始運行,管理線程會通過消息觸發的機制協調和管理模塊內各個部件之間的運行以及框架中各個模塊之間的運行。一般情況下,管理線程處于循環運行的狀態,管理線程會在設定的時間觸發虛擬云池部件的更新事件,虛擬云池部件中的各個虛擬云數據對象更新各自的數據,然后管理線程將再次觸發信息管理部件的更新事件,信息管理部件將更新的數據格式統一,最終更新至WEB界面。當用戶的虛擬資源請求到達時,管理線程會根據用戶的權限執行相應的動作如果用戶的權限不滿足申請虛擬資源的條件,則返回申請資源錯誤至界面;如果用戶的權限滿足申請資源的條件則觸發負載均衡部件的分配資源事件,負載均衡部件找到符合條件的物理主機和物理主機上運行的虛擬云平臺名稱,利用虛擬云平臺名稱作為虛擬云池部件的輸入,找到虛擬云池中的 虛擬云數據對象,通過該對象的接口申請虛擬云資源,虛擬云數據對象會將需要申請的資源作為輸入傳送給虛擬云適配器,虛擬云適配器適配到對應的虛擬云平臺操作接口,最終通過操作接口的一系列動作在給定的物理主機上申請到需要的虛擬資源,并將虛擬資源的訪問地址返回給用戶使用。虛擬云適配器為上層的混合云管理模塊提供了統一的編程接口來管理和屏蔽底層多種不同的虛擬機供應和管理方式,其具有動態配置性,能根據混合云管理模塊提供的虛擬云平臺信息找到對應的虛擬云平臺部件(如OpenNebula虛擬云平臺部件、Eucalyptus虛擬云平臺部件和OpenStack虛擬云平臺部件)實際的操作接口,然后將虛擬云平臺部件實際的操作接口配置給混合云管理模塊中的虛擬云池部件的數據操作接口 ;虛擬云適配器對不同的虛擬云平臺所具有的接口的進一步封裝,設計了對虛擬云平臺部件操作一致的接口,通過用戶設定的配置文件實現對不同虛擬云平臺部件的選擇。虛擬云適配器以一組應用程序編程接口的形式存在,它通過動態匹配的機制與每個有效的虛擬云平臺部件進行通信,以完成用戶調用各個虛擬云平臺部件接口的請求。為支持各種虛擬云平臺部件的可擴展性,虛擬云適配器被設計為一種基于驅動程序的結構,該結構允許以一種通用的接口為大量潛在的虛擬云管理平臺提供服務。請參閱圖3,圖3是本發明實施例的虛擬云平臺管理系統的虛擬云適配器的結構示意圖。本發明實施例的虛擬云平臺管理系統的虛擬云適配器包括適配器模塊接口部件,適配器模塊接口部件屏蔽了不同虛擬云平臺接口的差異性,不同的虛擬云平臺驅動部件的接口設計一致,適配器模塊接口部件能按需動態匹配到合適的虛擬云驅動部件,最終實現框架對不同虛擬云平臺對象透明一致地管理,適配器模塊接口部件的接口根據類型可以劃分為五種類型1、虛擬機 管理接口,這些接口通過兩種方式管理虛擬機,第一種方式是通過適配器模塊的各個驅動對象提供的接口實現對異構平臺的虛擬機的統一管理,這些接口主要有創建虛擬機、暫停虛擬機、恢復虛擬機、停止虛擬機和遷移虛擬機;第二種方式是通過適配器模塊的遠程物理節點管控部件所提供的接口實現對物理機上的虛擬機資源管理,這些接口主要有虛擬機物理環境健康狀態獲取,虛擬機失控時的物理資源清理,第二種方式是在虛擬機失控時對虛擬機的維護,以彌補某些虛擬云平臺對虛擬機管理的不足。2、存儲管理接口,由虛擬云適配器遠程物理節點管控部件實現,遠程物理節點管控部件通過ssh登錄到物理節點,運行遠程物理節點上對應的腳本程序,構建用戶所需的存儲系統,存儲系統主要包括創建存儲卷、創建共享存儲系統和刪除創建的存儲卷和系統;3、存儲池管理接口,通過虛擬云適配器的遠程物理節點管控部件管理存儲池實現對用戶創建的存儲塊管理,存儲塊存儲的資源主要包括插入存儲資源,刪除存儲資源,查找存儲資源;4、虛擬網絡管理接口,通過虛擬云適配器中各個虛擬云平臺部件提供的接口實現對異構平臺的虛擬網絡的統一管理,統一管理包括創建虛擬網絡、刪除虛擬網絡和查看虛擬網絡狀態。5、鏡像管理接口,通過虛擬云適配器中各個虛擬云平臺部件提供的接口實現對異構平臺的鏡像的統一管理,統一管理包括創建鏡像,刪除鏡像。異構虛擬云模塊包括多種虛擬云平臺,如OpenNebula虛擬云平臺、Eucalyptus虛擬云平臺和OpenStack虛擬云平臺。最終用戶可以通過界面模塊的部件(WEB界面或者命令行界面)調用混合云管理接口模塊提供的接口,混合云管理接口模塊利用混合云管理模塊中各個部件提供的服務,由虛擬云適配器動態選擇匹配的虛擬云封裝對象,實現了對各種虛擬云管理平臺地統一管理。本發明實施例的虛擬云平臺管理系統包括的部件或模塊之間通過事件機制交互信息和觸發模塊的行為,由此降低了部件間的耦合度。事件機制是由事件觸發器、事件響應器和事件隊列三種對象協作實現,其中,事件中承載的數據包括數據的觸發源信息、事件的響應方信息、事件執行需要的數據和事件執行的動作序列。框架中的每一部件內部均維護了一個事件隊列,該隊列用以裝載和管理外部部件觸發產生的各種事件,部件會依序執行自身事件隊列中的事件。另外本發明實施例的虛擬云平臺管理系統包括的部件或模塊在運行之前需要初始化,初始化的內容包括模塊構建自身的運行數據和空間、構建模塊運作的事件機制和創建模塊運行期的監聽線程,初始化的基本流程包括步驟a :虛擬云平臺管理系統的主系統啟動;
            步驟b :主系統創建虛擬云平臺管理系統總線程;步驟c :虛擬云平臺管理系統總線程創建用戶數據庫管理線程;步驟d :虛擬云平臺管理系統總線程觸發用戶數據庫線程獲取系統數據庫信息事件,用戶數據庫線程獲取主系統的系統相關數據,其中,系統相關數據包括與用戶關聯的各個平臺虛擬機/[目息、虛擬機宿主機/[目息、虛擬網絡/[目息、鏡像/[目息、模板/[目息和物理節點/[目息;步驟e :虛擬云平臺管理系統總線程創建虛擬云池管理線程,同時觸發虛擬云池管理線程獲取用戶數據庫線程獲取的系統相關數據,觸發虛擬云池管理線程通過虛擬云適配器獲取虛擬云平臺部件的平臺信息,由這些平臺信息構建虛擬云數據對象,其中平臺信息主要包括各個平臺的虛擬機信息、虛擬機宿主機信息、虛擬網絡信息、鏡像信息、模板信息和物理節點信息;步驟f :主系統創建虛擬云適配器虛擬云驅動部件;步驟g :主系統創建物理節點管控線程,物理節點管控線程通過數據庫中存儲的物理節點信息登陸各個物理節點;步驟h :物理節點管控線程獲取物理節點的狀態信息,構建虛擬機運行需要的存儲資源,其中所述的物理節點狀態信息包括存儲狀態、網絡狀態、CPU狀態和內存狀態;步驟1:虛擬云平臺管理系統總線程創建信息管理線程,觸發信息管理線程從虛擬云池管理線程中獲取平臺信息,然后將獲取的平臺信息的格式歸一化;步驟j :虛擬云平臺管理系統總線程創建負載均衡線程,觸發負載均衡線程從虛擬云池管理線程獲取 平臺信息,從物理節點管控線程中獲取物理節點的狀態信息,由這些信息對當前管控的異構平臺負載進行分析,分析得到候選的虛擬機運行的物理節點;步驟k :各線程進入循環等待狀態,等待事件觸發。請參閱圖4,為本發明實施例的虛擬云平臺管理方法的流程示意圖。本發明實施例的虛擬云平臺管理方法包括如下步驟步驟1:當用戶輸入申請的虛擬資源信息后,界面將信息傳送至主線程;步驟2 :主線程通過信息觸發虛擬云平臺的管理線程分析數據;步驟3 :虛擬云平臺的管理線程觸發數據庫線程查詢用戶的權限,并返回用戶的選項數據,如果用戶的權限不滿足申請虛擬資源的條件,則步驟運行至步驟14,返回主線程用戶權限不夠的錯誤;步驟4:如果用戶的權限滿足申請的虛擬資源的條件,則虛擬云平臺的管理線程觸發負載均衡線程模塊,通過負載均衡線程的策略分析,返回符合虛擬資源申請條件的物理節點訪問地址;步驟5 :虛擬云平臺的管理線程觸發虛擬云池線程創建虛擬機資源的事件,虛擬云池線程通過負載均衡線程分析得到的物理節點地址查找到對應物理節點上運行的虛擬云平臺數據對象;步驟6 :虛擬云平臺的管理線程調用適配器模塊接口,同時將步驟5查找到的虛擬云數據對象傳送給對應的虛擬資源創建接口;步驟7 :適配器管理接口通過步驟6傳送的虛擬云數據對象中的虛擬云驅動對象適配到對應的虛擬云驅動對象;
            步驟8 :適配器管理接口通過步驟7適配的虛擬云驅動對象操作對應的虛擬云驅動對象創建虛擬資源的接口;步驟9 :虛擬云驅動對象控制對應的虛擬云平臺創建虛擬機資源;步驟10 :虛擬云平臺在指定的物理節點上創建虛擬機資源;步驟11 :創建的虛擬機資源由虛擬云平臺返回,最后到達虛擬云池對象;步驟12 :虛擬云池線程觸發信息管理線程信息歸一化事件,信息管理線程將虛擬機資源信息數據格式歸一化;步驟13 :信息管理線程將信息返回至混合云管理線程;步驟14 :混合云管理線程最終將步驟12歸一化的虛擬機資源信息數據返回至界面,界面將信息按照界面的格式呈現給用戶;步驟15 :如果用戶需要管理和維護虛擬機的存儲系統,還可以通過混合云管理線程觸發物理節點管控線程的存儲資源管理事件。在步驟15中,混合云管理線程還會根據請求觸發物理節點管控線程獲取物理節點信息事件,并將信息更新至信息管理線程。本發明實施例的虛擬云平臺管理系統及方法提供一種以單一的方式管理多種異構的虛擬云平臺的方式,實現了不同用戶管理異構平臺的透明性;系統內部各個模塊在框架系統運行期以多線程的方式存在,各個模塊之間以及各個部件之間的交互通過事件機制觸發,保證了框架內部模塊之間、模塊內部各個部件的松耦合,使得框架具有可維護性;框架內的虛擬云適配器包含的物理節點管控部件可以直接對物理節點進行管理,彌補了目前主流虛擬機管理平臺缺乏對物理資源直接控制的不足,這樣保障了框架的容錯性和穩定性;框架內虛擬云適配器基 于驅動程序設計理想實現適配器模塊部件的動態可擴展,使得框架對現有虛擬云平臺的兼容性和可擴展性。本發明實施例的虛擬云平臺管理系統及方法具有可維護性,可擴展性,一定的容錯性和用戶操控的透明性。以上所述僅為本發明的較佳實施例而已,并不用以限制本發明,凡在本發明的精神和原則之內所作的任何修改、等同替換和改進等,均應包含在本發明的保護范圍之內。
            權利要求
            1.一種虛擬云平臺管理系統,包括界面模塊和異構虛擬云模塊,所述界面模塊是用戶與虛擬云平臺交互的窗口,所述異構虛擬云模塊包括各種虛擬云平臺,其特征在于,還包括 混合云管理模塊用于管理異構虛擬云模塊中的各種虛擬云平臺; 虛擬云適配器用于為混合云管理模塊提供統一的編程接口來管理和屏蔽底層多種不同的虛擬云平臺的差異性。
            2.根據權利要求1所述的虛擬云平臺管理系統,其特征在于,還包括 混合云管理接口模塊用于向界面模塊提供混合云管理模塊所有開放的功能,支持界面模塊提供給最終用戶使用的所有功能。
            3.根據權利要求2所述的虛擬云平臺管理系統,其特征在于,所述混合云管理模塊包括 虛擬云池部件用于承載各種虛擬云平臺的數據空間,提供對各種虛擬云平臺數據操作的一致訪問,并裝載各種虛擬云數據對象,提供虛擬云數據對象的增加、刪除和查找功倉泛; 信息管理部件用于調用虛擬云池部件提供的虛擬云數據對象的操作接口獲取日志信息和平臺信息,并將不同平臺的日志信息和平臺信息用統一的數據格式提供給界面顯示。
            4.根據權利要求3所述的虛擬云平臺管理系統,其特征在于,所述虛擬云數據對象通過創建的可動態增加大小的容器進行裝載和維護,所述容器提供通過輪詢的方法查詢每個虛擬云數據的內部狀態,通過部件內部提供的名稱查找方法找到需要操作的虛擬云數據對象。
            5.根據權利要求3所述的虛擬云平臺管理系統,其特征在于,所述混合云管理模塊還包括 負載均衡部件根據集群內部所有服務器的處理性能高低,將外部用戶的虛擬資源請求根據設定的策略合理分配到服務器; 用戶數據庫部件利用數據庫系統對用戶的權限數據、用戶運行的虛擬機基本信息進行持久化保存。
            6.根據權利要求1或2所述的虛擬云平臺管理系統,其特征在于,所述混合云管理模塊為自身維護一個管理線程,所述管理線程通過消息觸發機制協調和管理模塊內各個部件之間的運行以及框架中各個模塊之間的運行。
            7.根據權利要求1或2所述的虛擬云平臺管理系統,其特征在于,所述虛擬云適配器包括適配器模塊接口部件,所述適配器模塊接口部件屏蔽了不同虛擬云平臺接口的差異性,按需動態匹配到合適的虛擬云驅動部件。
            8.一種虛擬云平臺管理方法,包括 步驟a :創建虛擬云平臺管理系統總線程; 步驟b :虛擬云平臺管理系統總線程創建信息管理線程,觸發信息管理線程從虛擬云池管理線程中獲取平臺信息,然后將獲取的平臺信息的格式歸一化; 步驟c :將歸一化的虛擬云平臺資源信息數據返回至界面,按照界面格式呈現給用戶。
            9.根據權利要求8所述的虛擬云平臺管理方法,其特征在于,所述步驟a和b之間還包括虛擬云平臺管理系統總線程創建用戶數據庫管理線程,觸發用戶數據庫線程獲取系統數據庫信息事件。
            10.根據權利要求9所述的虛擬云平臺管理方法,其特征在于,所述步驟a和b之間還包括虛擬云平臺管理系統總線程創建負載均衡線程,觸發負載均衡線程,通過負載均衡線程的策略分析,返回符合虛擬資源申請條件的物理節點訪問地址。
            11.根據權利要求10所述的虛擬云平臺管理方法,其特征在于,所述步驟a和b之間還包括虛擬云平臺管理系統總線程創建虛擬云池管理線程,同時觸發虛擬云池管理線程獲取用戶數據庫線程獲取的系統相關數據,觸發虛擬云池管理線程通過虛擬云適配器獲取虛擬云平臺部件的平臺信息,由獲取的平臺信息構建虛擬云數據對象。
            全文摘要
            本發明屬于云計算技術領域,尤其涉及一種虛擬云平臺管理系統及方法。本發明的虛擬云平臺管理系統包括界面模塊和異構虛擬云模塊,所述界面模塊是用戶與虛擬云平臺交互的窗口,所述異構虛擬云模塊包括各種虛擬云平臺,還包括混合云管理模塊用于管理異構虛擬云模塊中的各種虛擬云平臺;虛擬云適配器用于為混合云管理模塊提供統一的編程接口來管理和屏蔽底層多種不同的虛擬云平臺的差異性。本發明實施例的虛擬云平臺管理系統及方法提供一種以單一的方式管理多種異構的虛擬云平臺的方式,實現了不同用戶管理異構平臺的透明性。
            文檔編號H04L29/08GK103051710SQ201210558549
            公開日2013年4月17日 申請日期2012年12月20日 優先權日2012年12月20日
            發明者貝振東, 須成忠, 郭龍, 洪爵 申請人:中國科學院深圳先進技術研究院
            網友詢問留言 已有0條留言
            • 還沒有人留言評論。精彩留言會獲得點贊!
            1
            婷婷六月激情在线综合激情,亚洲国产大片,久久中文字幕综合婷婷,精品久久久久久中文字幕,亚洲一区二区三区高清不卡,99国产精品热久久久久久夜夜嗨 ,欧美日韩亚洲综合在线一区二区,99国产精品电影,伊人精品线视天天综合,精品伊人久久久大香线蕉欧美
            亚洲精品1区 国产成人一级 91精品国产欧美一区二区 亚洲精品乱码久久久久久下载 国产精品久久久久久久伊一 九色国产 国产精品九九视频 伊人久久成人爱综合网 欧美日韩亚洲区久久综合 欧美日本一道免费一区三区 夜夜爽一区二区三区精品 欧美日韩高清一区二区三区 国产成人av在线 国产精品对白交换绿帽视频 国产视频亚洲 国产在线欧美精品 国产精品综合网 国产日韩精品欧美一区色 国产日韩精品欧美一区喷 欧美日韩在线观看区一二 国产区精品 欧美视频日韩视频 中文字幕天天躁日日躁狠狠躁97 视频一二三区 欧美高清在线精品一区二区不卡 国产精品揄拍一区二区久久 99久久综合狠狠综合久久aⅴ 亚洲乱码视频在线观看 日韩在线第二页 亚洲精品无码专区在线播放 成人亚洲网站www在线观看 欧美三级一区二区 99久久精品免费看国产高清 91麻豆国产在线观看 最新日韩欧美不卡一二三区 成人在线观看不卡 日韩国产在线 在线亚洲精品 亚洲午夜久久久久中文字幕 国产精品成人久久久久久久 精品国产一区二区在线观看 欧美精品国产一区二区三区 中文在线播放 亚洲第一页在线视频 国产午夜精品福利久久 九色国产 精品国产九九 国产永久视频 久久精品人人做人人综合试看 国产一区二区三区免费观看 亚洲精品国产电影 9999热视频 国产精品资源在线 麻豆久久婷婷国产综合五月 国产精品免费一级在线观看 亚洲国产一区二区三区青草影视 中文在线播放 国产成人综合在线 国产在线观看色 国产亚洲三级 国产片一区二区三区 久久99精品久久久久久牛牛影视 亚洲欧美日韩国产 四虎永久免费网站 国产一毛片 国产精品视频在 九九热在线精品 99精品福利视频 色婷婷色99国产综合精品 97成人精品视频在线播放 精品久久久久久中文字幕 亚洲欧美一区二区三区孕妇 亚洲欧美成人网 日韩高清在线二区 国产尤物在线观看 在线不卡一区二区 91网站在线看 韩国精品福利一区二区 欧美日韩国产成人精品 99热精品久久 国产精品免费视频一区 高清视频一区 精品九九久久 欧美日韩在线观看免费 91欧美激情一区二区三区成人 99福利视频 亚洲国产精品91 久热国产在线 精品久久久久久中文字幕女 国产精品久久久久久久久99热 成人自拍视频网 国产精品视频久久久久久 久久影院国产 国产玖玖在线观看 99精品在线免费 亚洲欧美一区二区三区导航 久久久久久久综合 国产欧美日韩精品高清二区综合区 国产精品视频自拍 亚洲一级片免费 久久久久久九九 国产欧美自拍视频 视频一区二区在线观看 欧美日韩一区二区三区久久 中文在线亚洲 伊人热人久久中文字幕 日韩欧美亚洲国产一区二区三区 欧美亚洲国产成人高清在线 欧美日韩国产码高清综合人成 国产性大片免费播放网站 亚洲午夜综合网 91精品久久一区二区三区 国产无套在线播放 国产精品视频网站 国产成人亚洲精品老王 91在线网站 国产视频97 欧美黑人欧美精品刺激 国产一区二区三区免费在线视频 久久久国产精品免费看 99re6久精品国产首页 久久精品91 国产成人一级 国产成人精品曰本亚洲 日本福利在线观看 伊人成综合网 久久综合一本 国产综合久久久久久 久久精品成人免费看 久久福利 91精品国产91久久久久久麻豆 亚洲精品成人在线 亚洲伊人久久精品 欧美日本二区 国产永久视频 国产一区二 一区二区福利 国产一毛片 亚洲精品1区 毛片一区二区三区 伊人久久大香线蕉综合影 国产欧美在线观看一区 亚洲国产欧洲综合997久久 国产一区二区免费视频 国产91精品对白露脸全集观看 久久亚洲国产伦理 欧美成人伊人久久综合网 亚洲性久久久影院 久久99国产精一区二区三区! 91精品国产欧美一区二区 欧美日韩亚洲区久久综合 日韩精品一二三区 久久久夜色精品国产噜噜 国产在线精品福利91香蕉 久久久久久久亚洲精品 97se色综合一区二区二区 91国语精品自产拍在线观看性色 91久久国产综合精品女同我 日韩中文字幕a 国产成人亚洲日本精品 久久国产精品-国产精品 久久国产经典视频 久久国产精品伦理 亚洲第一页在线视频 国产精品久久久久三级 日韩毛片网 久久免费高清视频 麻豆国产在线观看一区二区 91麻豆国产福利在线观看 国产成人精品男人的天堂538 一区二区三区中文字幕 免费在线视频一区 欧美日韩国产成人精品 国产综合网站 国产资源免费观看 亚洲精品亚洲人成在线播放 精品久久久久久中文字幕专区 亚洲人成人毛片无遮挡 国产一起色一起爱 国产香蕉精品视频在 九九热免费观看 日韩亚洲欧美一区 九九热精品在线观看 精品久久久久久中文字幕专区 亚洲欧美自拍偷拍 国产精品每日更新 久久久久国产一级毛片高清板 久久天天躁狠狠躁夜夜中文字幕 久久精品片 日韩在线毛片 国产成人精品本亚洲 国产成人精品一区二区三区 九九热在线观看 国产r级在线观看 国产欧美日韩精品高清二区综合区 韩国电影一区二区 国产精品毛片va一区二区三区 五月婷婷伊人网 久久一区二区三区免费 一本色道久久综合狠狠躁篇 亚洲综合色站 国产尤物在线观看 亚洲一区亚洲二区 免费在线视频一区 欧洲精品视频在线观看 日韩中文字幕a 中文字幕日本在线mv视频精品 91精品在线免费视频 精品国产免费人成在线观看 精品a级片 中文字幕日本在线mv视频精品 日韩在线精品视频 婷婷丁香色 91精品国产高清久久久久 国产成人精品日本亚洲直接 五月综合视频 欧美日韩在线亚洲国产人 精液呈暗黄色 亚洲乱码一区 久久精品中文字幕不卡一二区 亚洲天堂精品在线 激情婷婷综合 国产免费久久精品久久久 国产精品亚洲二区在线 久久免费播放视频 五月婷婷丁香综合 在线亚洲欧美日韩 久久免费精品高清麻豆 精品久久久久久中文字幕 亚洲一区网站 国产精品福利社 日韩中文字幕免费 亚洲综合丝袜 91精品在线播放 国产精品18 亚洲日日夜夜 伊人久久大香线蕉综合影 亚洲精品中文字幕乱码影院 亚洲一区二区黄色 亚洲第一页在线视频 一区二区在线观看视频 国产成人福利精品视频 亚洲高清二区 国内成人免费视频 精品亚洲性xxx久久久 国产精品合集一区二区三区 97av免费视频 国产一起色一起爱 国产区久久 国产资源免费观看 99精品视频免费 国产成人一级 国产精品九九免费视频 欧美91精品久久久久网免费 99热国产免费 久久精品色 98精品国产综合久久 久久精品播放 中文字幕视频免费 国产欧美日韩一区二区三区在线 精品久久蜜桃 国产小视频精品 一本色道久久综合狠狠躁篇 91在线免费观看 亚洲精品区 伊人成综合网 伊人热人久久中文字幕 伊人黄色片 99国产精品热久久久久久夜夜嗨 久久免费精品视频 亚洲一区二区三区高清不卡 久久久久国产一级毛片高清板 国产片一区二区三区 久久狠狠干 99久久婷婷国产综合精品电影 国产99区 国产精品成人久久久久 久久狠狠干 青青国产在线观看 亚洲高清国产拍精品影院 国产精品一区二区av 九九热在线免费视频 伊人久久国产 国产精品久久久久久久久久一区 在线观看免费视频一区 国产精品自在在线午夜区app 国产精品综合色区在线观看 国产毛片久久久久久国产毛片 97国产免费全部免费观看 国产精品每日更新 国产尤物视频在线 九九视频这里只有精品99 一本一道久久a久久精品综合 久久综合给会久久狠狠狠 国产成人精品男人的天堂538 欧美一区二区高清 毛片一区二区三区 国产欧美日韩在线观看一区二区三区 在线国产二区 欧美不卡网 91在线精品中文字幕 在线国产福利 国内精品91久久久久 91亚洲福利 日韩欧美国产中文字幕 91久久精品国产性色也91久久 亚洲性久久久影院 欧美精品1区 国产热re99久久6国产精品 九九热免费观看 国产精品欧美日韩 久久久久国产一级毛片高清板 久久国产经典视频 日韩欧美亚洲国产一区二区三区 欧美亚洲综合另类在线观看 国产精品自在在线午夜区app 97中文字幕在线观看 视频一二三区 精品国产一区在线观看 国产欧美日韩在线一区二区不卡 欧美一区二三区 伊人成人在线观看 国内精品91久久久久 97在线亚洲 国产在线不卡一区 久久久全免费全集一级全黄片 国产精品v欧美精品∨日韩 亚洲毛片网站 在线不卡一区二区 99re热在线视频 久久激情网 国产毛片一区二区三区精品 久久亚洲综合色 中文字幕视频免费 国产视频亚洲 婷婷伊人久久 国产一区二区免费播放 久久99国产精品成人欧美 99国产在线视频 国产成人免费视频精品一区二区 国产不卡一区二区三区免费视 国产码欧美日韩高清综合一区 久久精品国产主播一区二区 国产一区电影 久久精品国产夜色 国产精品国产三级国产 日韩一区二区三区在线 久久97久久97精品免视看 久久国产免费一区二区三区 伊人久久大香线蕉综合电影网 99re6久精品国产首页 久久激情网 亚洲成人高清在线 国产精品网址 国产成人精品男人的天堂538 香蕉国产综合久久猫咪 国产专区中文字幕 91麻豆精品国产高清在线 久久国产经典视频 国产精品成人va在线观看 国产精品爱啪在线线免费观看 日本精品久久久久久久久免费 亚洲综合一区二区三区 久久五月网 精品国产网红福利在线观看 久久综合亚洲伊人色 亚洲国产精品久久久久久网站 在线日韩国产 99国产精品热久久久久久夜夜嗨 国产综合精品在线 国产区福利 精品亚洲综合久久中文字幕 国产制服丝袜在线 毛片在线播放网站 在线观看免费视频一区 国产精品久久久精品三级 亚洲国产电影在线观看 最新日韩欧美不卡一二三区 狠狠综合久久综合鬼色 日本精品1在线区 国产日韩一区二区三区在线播放 欧美日韩精品在线播放 亚洲欧美日韩国产一区二区三区精品 久久综合久久网 婷婷六月激情在线综合激情 亚洲乱码一区 国产专区91 97av视频在线观看 精品久久久久久中文字幕 久久五月视频 国产成人福利精品视频 国产精品网址 中文字幕视频在线 精品一区二区三区免费视频 伊人手机在线视频 亚洲精品中文字幕乱码 国产在线视频www色 色噜噜国产精品视频一区二区 精品亚洲成a人在线观看 国产香蕉尹人综合在线 成人免费一区二区三区在线观看 国产不卡一区二区三区免费视 欧美精品久久天天躁 国产专区中文字幕 久久精品国产免费中文 久久精品国产免费一区 久久无码精品一区二区三区 国产欧美另类久久久精品免费 欧美精品久久天天躁 亚洲精品在线视频 国产视频91在线 91精品福利一区二区三区野战 日韩中文字幕免费 国产精品99一区二区三区 欧美成人高清性色生活 国产精品系列在线观看 亚洲国产福利精品一区二区 国产成人在线小视频 国产精品久久久久免费 99re热在线视频 久久久久久久综合 一区二区国产在线播放 成人国产在线视频 亚洲精品乱码久久久久 欧美日韩一区二区综合 精品久久久久免费极品大片 中文字幕视频二区 激情粉嫩精品国产尤物 国产成人精品一区二区视频 久久精品中文字幕首页 亚洲高清在线 国产精品亚洲一区二区三区 伊人久久艹 中文在线亚洲 国产精品一区二区在线播放 国产精品九九免费视频 亚洲二区在线播放 亚洲狠狠婷婷综合久久久久网站 亚洲欧美日韩网站 日韩成人精品 亚洲国产一区二区三区青草影视 91精品国产福利在线观看 国产精品久久久久久久久99热 国产一区二区精品尤物 久碰香蕉精品视频在线观看 亚洲日日夜夜 在线不卡一区二区 国产午夜亚洲精品 九九热在线视频观看这里只有精品 伊人手机在线视频 91免费国产精品 日韩欧美中字 91精品国产91久久久久 国产全黄三级播放 视频一区二区三区免费观看 国产开裆丝袜高跟在线观看 国产成人欧美 激情综合丝袜美女一区二区 国产成人亚洲综合无 欧美精品一区二区三区免费观看 欧美亚洲国产日韩 日韩亚州 国产欧美日韩精品高清二区综合区 亚洲午夜国产片在线观看 精品久久久久久中文字幕 欧美精品1区 久久伊人久久亚洲综合 亚洲欧美日韩精品 国产成人精品久久亚洲高清不卡 久久福利影视 国产精品99精品久久免费 久久久久免费精品视频 国产日产亚洲精品 亚洲国产午夜电影在线入口 精品无码一区在线观看 午夜国产精品视频 亚洲一级片免费 伊人久久大香线蕉综合影 国产精品久久影院 久碰香蕉精品视频在线观看 www.欧美精品 在线小视频国产 亚洲国产天堂久久综合图区 欧美一区二区三区不卡 日韩美女福利视频 九九精品免视频国产成人 不卡国产00高中生在线视频 亚洲第一页在线视频 欧美日韩在线播放成人 99re视频这里只有精品 国产精品91在线 精品乱码一区二区三区在线 国产区久久 91麻豆精品国产自产在线观看一区 日韩精品成人在线 九九热在线观看 国产精品久久不卡日韩美女 欧美一区二区三区综合色视频 欧美精品免费一区欧美久久优播 国产精品网址 国产专区中文字幕 国产精品欧美亚洲韩国日本久久 日韩美香港a一级毛片 久久精品123 欧美一区二区三区免费看 99r在线视频 亚洲精品国产字幕久久vr 国产综合激情在线亚洲第一页 91免费国产精品 日韩免费小视频 亚洲国产精品综合一区在线 国产亚洲第一伦理第一区 在线亚洲精品 国产精品一区二区制服丝袜 国产在线成人精品 九九精品免视频国产成人 亚洲国产网 欧美日韩亚洲一区二区三区在线观看 在线亚洲精品 欧美一区二区三区高清视频 国产成人精品男人的天堂538 欧美日韩在线观看区一二 亚洲欧美一区二区久久 久久精品中文字幕首页 日本高清www午夜视频 久久精品国产免费 久久999精品 亚洲国产精品欧美综合 88国产精品视频一区二区三区 91久久偷偷做嫩草影院免费看 国产精品夜色视频一区二区 欧美日韩导航 国产成人啪精品午夜在线播放 一区二区视频在线免费观看 99久久精品国产自免费 精液呈暗黄色 久久99国产精品 日本精品久久久久久久久免费 精品国产97在线观看 99re视频这里只有精品 国产视频91在线 999av视频 亚洲美女视频一区二区三区 久久97久久97精品免视看 亚洲国产成人久久三区 99久久亚洲国产高清观看 日韩毛片在线视频 综合激情在线 91福利一区二区在线观看 一区二区视频在线免费观看 激情粉嫩精品国产尤物 国产成人精品曰本亚洲78 国产成人精品本亚洲 国产精品成人免费视频 国产成人啪精品视频免费软件 久久精品国产亚洲妲己影院 国产精品成人久久久久久久 久久大香线蕉综合爱 欧美一区二区三区高清视频 99热国产免费 在线观看欧美国产 91精品视频在线播放 国产精品福利社 欧美精品一区二区三区免费观看 国产一区二区免费视频 国产午夜精品一区二区 精品视频在线观看97 91精品福利久久久 国产一区福利 国产综合激情在线亚洲第一页 国产精品久久久久久久久久久不卡 九色国产 在线日韩国产 黄网在线观看 亚洲一区小说区中文字幕 中文字幕丝袜 日本二区在线观看 日本国产一区在线观看 欧美日韩一区二区三区久久 欧美精品亚洲精品日韩专 国产日产亚洲精品 久久综合九色综合欧美播 亚洲国产欧美无圣光一区 欧美视频区 亚洲乱码视频在线观看 久久无码精品一区二区三区 九九热精品免费视频 久久99精品久久久久久牛牛影视 国产精品成久久久久三级 国产一区福利 午夜国产精品视频 日本二区在线观看 99久久网站 国产亚洲天堂 精品国产一区二区三区不卡 亚洲国产日韩在线一区 国产成人综合在线观看网站 久久免费高清视频 欧美在线导航 午夜精品久久久久久99热7777 欧美久久综合网 国产小视频精品 国产尤物在线观看 亚洲国产精品综合一区在线 欧美一区二区三区不卡视频 欧美黑人欧美精品刺激 日本福利在线观看 久久国产偷 国产手机精品一区二区 国产热re99久久6国产精品 国产高清啪啪 欧美亚洲国产成人高清在线 国产在线第三页 亚洲综合一区二区三区 99r在线视频 99精品久久久久久久婷婷 国产精品乱码免费一区二区 国产在线精品福利91香蕉 国产尤物视频在线 五月婷婷亚洲 中文字幕久久综合伊人 亚洲精品一级毛片 99国产精品电影 在线视频第一页 久久99国产精品成人欧美 国产白白视频在线观看2 成人精品一区二区www 亚洲成人网在线观看 麻豆91在线视频 色综合合久久天天综合绕视看 久久精品国产免费高清 国产不卡一区二区三区免费视 欧美国产中文 99精品欧美 九九在线精品 国产中文字幕在线免费观看 国产一区中文字幕在线观看 国产成人一级 国产精品一区二区制服丝袜 国产一起色一起爱 亚洲精品成人在线 亚洲欧美精品在线 国产欧美自拍视频 99精品久久久久久久婷婷 久99视频 国产热re99久久6国产精品 视频一区亚洲 国产精品视频分类 国产精品成在线观看 99re6久精品国产首页 亚洲在成人网在线看 亚洲国产日韩在线一区 久久国产三级 日韩国产欧美 欧美在线一区二区三区 国产精品美女一级在线观看 成人午夜免费福利视频 亚洲天堂精品在线 91精品国产手机 欧美日韩视频在线播放 狠狠综合久久综合鬼色 九一色视频 青青视频国产 亚洲欧美自拍一区 中文字幕天天躁日日躁狠狠躁97 日韩免费大片 996热视频 伊人成综合网 亚洲天堂欧美 日韩精品亚洲人成在线观看 久久综合给会久久狠狠狠 日韩精品亚洲人成在线观看 日韩国产欧美 亚洲成aⅴ人片在线影院八 亚洲精品1区 99久久精品免费 国产精品高清在线观看 国产精品久久久免费视频 在线亚洲欧美日韩 91在线看视频 国产精品96久久久久久久 欧美日韩国产成人精品 91在线亚洲 热久久亚洲 国产精品美女免费视频观看 日韩在线毛片 亚洲永久免费视频 九九免费在线视频 亚洲一区网站 日本高清二区视频久二区 精品国产美女福利在线 伊人久久艹 国产精品久久久久三级 欧美成人精品第一区二区三区 99久久精品国产自免费 在线观看日韩一区 国产中文字幕一区 成人免费午夜视频 欧美日韩另类在线 久久99国产精品成人欧美 色婷婷中文网 久久天天躁夜夜躁狠狠躁2020 欧美成人伊人久久综合网 国产精品福利资源在线 国产伦精品一区二区三区高清 国产精品亚洲综合色区韩国 亚洲一区欧美日韩 色综合视频 国语自产精品视频在线区 国产高清a 成人国内精品久久久久影 国产在线精品香蕉综合网一区 国产不卡在线看 国产成人精品精品欧美 国产欧美日韩综合精品一区二区三区 韩国电影一区二区 国产在线视频www色 91中文字幕在线一区 国产人成午夜免视频网站 亚洲综合一区二区三区 色综合视频一区二区观看 久久五月网 九九热精品在线观看 国产一区二区三区国产精品 99久热re在线精品996热视频 亚洲国产网 在线视频亚洲一区 日韩字幕一中文在线综合 国产高清一级毛片在线不卡 精品国产色在线 国产高清视频一区二区 精品日本久久久久久久久久 亚洲国产午夜精品乱码 成人免费国产gav视频在线 日韩欧美一区二区在线观看 欧美曰批人成在线观看 韩国电影一区二区 99re这里只有精品6 日韩精品一区二区三区视频 99re6久精品国产首页 亚洲欧美一区二区三区导航 欧美色图一区二区三区 午夜精品视频在线观看 欧美激情在线观看一区二区三区 亚洲热在线 成人国产精品一区二区网站 亚洲一级毛片在线播放 亚洲一区小说区中文字幕 亚洲午夜久久久久影院 国产自产v一区二区三区c 国产精品视频免费 久久调教视频 国产成人91激情在线播放 国产精品欧美亚洲韩国日本久久 久久亚洲日本不卡一区二区 91中文字幕网 成人国产在线视频 国产视频91在线 欧美成人精品第一区二区三区 国产精品福利在线 久久综合九色综合精品 欧美一区二区三区精品 久久国产综合尤物免费观看 久久99青青久久99久久 日韩精品免费 久久国产精品999 91亚洲视频在线观看 国产精品igao视频 色综合区 在线亚洲欧国产精品专区 国产一区二区三区在线观看视频 亚洲精品成人在线 一区二区国产在线播放 中文在线亚洲 亚洲精品第一国产综合野 国产一区二区精品久久 一区二区三区四区精品视频 99热精品久久 中文字幕视频二区 国产成人精品男人的天堂538 99精品影视 美女福利视频一区二区 久久午夜夜伦伦鲁鲁片 综合久久久久久久综合网 国产精品国产欧美综合一区 国产99视频在线观看 国产亚洲女在线精品 婷婷影院在线综合免费视频 国产亚洲3p一区二区三区 91成人爽a毛片一区二区 亚洲一区二区高清 国产欧美亚洲精品第二区首页 欧美日韩导航 亚洲高清二区 欧美激情观看一区二区久久 日韩毛片在线播放 亚洲欧美日韩高清中文在线 亚洲日本在线播放 国产精品一区二区制服丝袜 精品国产一区二区三区不卡 国产不卡在线看 国产欧美网站 四虎永久在线观看视频精品 国产黄色片在线观看 夜夜综合 一本色道久久综合狠狠躁篇 欧美亚洲综合另类在线观看 国产91在线看 伊人久久国产 欧美一区二区在线观看免费网站 国产精品久久久久三级 久久福利 日韩中文字幕a 亚洲午夜久久久久影院 91在线高清视频 国产亚洲一区二区三区啪 久久人精品 国产精品亚洲午夜一区二区三区 综合久久久久久 久久伊人一区二区三区四区 国产综合久久久久久 日韩一区精品视频在线看 国产精品日韩欧美制服 日本精品1在线区 99re视频 无码av免费一区二区三区试看 国产视频1区 日韩欧美中文字幕一区 日本高清中文字幕一区二区三区a 亚洲国产欧美无圣光一区 国产在线视频一区二区三区 欧美国产第一页 在线亚洲欧美日韩 日韩中文字幕第一页 在线不卡一区二区 伊人久久青青 国产精品一区二区在线播放 www.五月婷婷 麻豆久久婷婷国产综合五月 亚洲精品区 久久国产欧美另类久久久 99在线视频免费 伊人久久中文字幕久久cm 久久精品成人免费看 久久这里只有精品首页 88国产精品视频一区二区三区 中文字幕日本在线mv视频精品 国产在线精品成人一区二区三区 伊人精品线视天天综合 亚洲一区二区黄色 国产尤物视频在线 亚洲精品99久久久久中文字幕 国产一区二区三区免费观看 伊人久久大香线蕉综合电影网 国产成人精品区在线观看 日本精品一区二区三区视频 日韩高清在线二区 久久免费播放视频 一区二区成人国产精品 国产精品免费精品自在线观看 亚洲精品视频二区 麻豆国产精品有码在线观看 精品日本一区二区 亚洲欧洲久久 久久中文字幕综合婷婷 中文字幕视频在线 国产成人精品综合在线观看 91精品国产91久久久久福利 精液呈暗黄色 香蕉国产综合久久猫咪 国产专区精品 亚洲精品无码不卡 国产永久视频 亚洲成a人片在线播放观看国产 一区二区国产在线播放 亚洲一区二区黄色 欧美日韩在线观看视频 亚洲精品另类 久久国产综合尤物免费观看 国产一区二区三区国产精品 高清视频一区 国产精品igao视频 国产精品资源在线 久久综合精品国产一区二区三区 www.五月婷婷 精品色综合 99热国产免费 麻豆福利影院 亚洲伊人久久大香线蕉苏妲己 久久电影院久久国产 久久精品伊人 在线日韩理论午夜中文电影 亚洲国产欧洲综合997久久 伊人国产精品 久草国产精品 欧美一区精品二区三区 亚洲成人高清在线 91免费国产精品 日韩精品福利在线 国产一线在线观看 国产不卡在线看 久久99青青久久99久久 亚洲精品亚洲人成在线播放 99久久免费看国产精品 国产日本在线观看 青草国产在线视频 麻豆久久婷婷国产综合五月 国产中文字幕一区 91久久精品国产性色也91久久 国产一区a 国产欧美日韩成人 国产亚洲女在线精品 一区二区美女 中文字幕在线2021一区 在线小视频国产 久久这里只有精品首页 国产在线第三页 欧美日韩中文字幕 在线亚洲+欧美+日本专区 精品国产一区二区三区不卡 久久这里精品 欧美在线va在线播放 精液呈暗黄色 91精品国产手机 91在线免费播放 欧美视频亚洲色图 欧美国产日韩精品 日韩高清不卡在线 精品视频免费观看 欧美日韩一区二区三区四区 国产欧美亚洲精品第二区首页 亚洲韩精品欧美一区二区三区 国产精品视频免费 在线精品小视频 久久午夜夜伦伦鲁鲁片 国产无套在线播放 久热这里只精品99re8久 欧美久久久久 久久香蕉国产线看观看精品蕉 国产成人精品男人的天堂538 亚洲人成网站色7799在线观看 日韩在线第二页 一本色道久久综合狠狠躁篇 国产一区二区三区不卡在线观看 亚洲乱码在线 在线观看欧美国产 久久福利青草精品资源站免费 国产玖玖在线观看 在线亚洲精品 亚洲成aⅴ人在线观看 精品91在线 欧美一区二三区 日韩中文字幕视频在线 日本成人一区二区 日韩免费专区 国内精品在线观看视频 久久国产综合尤物免费观看 国产精品系列在线观看 一本一道久久a久久精品综合 亚洲免费播放 久久精品国产免费 久久人精品 亚洲毛片网站 亚洲成a人一区二区三区 韩国福利一区二区三区高清视频 亚洲精品天堂在线 一区二区三区中文字幕 亚洲国产色婷婷精品综合在线观看 亚洲国产成人久久笫一页 999国产视频 国产精品香港三级在线电影 欧美日韩一区二区三区四区 日韩国产欧美 国产精品99一区二区三区 午夜国产精品理论片久久影院 亚洲精品中文字幕麻豆 亚洲国产高清视频 久久免费手机视频 日韩a在线观看 五月婷婷亚洲 亚洲精品中文字幕麻豆 中文字幕丝袜 www国产精品 亚洲天堂精品在线 亚洲乱码一区 国产日韩欧美三级 久久999精品 伊人热人久久中文字幕 久热国产在线视频 国产欧美日韩在线观看一区二区三区 国产一二三区在线 日韩国产欧美 91精品国产91久久久久 亚洲一区小说区中文字幕 精品一区二区免费视频 国产精品视频免费 国产精品亚洲综合色区韩国 亚洲国产精品成人午夜在线观看 欧美国产日韩精品 中文字幕精品一区二区精品