分布式虛擬化系統的虛擬中斷管理方法及裝置的制作方法

            文檔序號:6372446閱讀:338來源:國知局
            專利名稱:分布式虛擬化系統的虛擬中斷管理方法及裝置的制作方法
            技術領域
            本發明實施例涉及計算機技術,尤其涉及一種分布式虛擬化系統的虛擬中斷管理方法及裝置。
            背景技術
            如圖IA所示,在非虛擬化環境下 ,每個外圍設備互聯(Peripheral ComponentInterconnect,簡稱PCI)設備Devi、Dev2***. Devn,在完成自己的一次工作后需要傳送一次中斷去告知操作系統,這是通過將該PCI設備連接到中斷控制器的中斷引腳來實現的,例如,連接到IO高級可編程中斷控制器(I/O Advanced Programmable InterruptController,簡稱I0-APIC)的中斷引腳。在系統啟動時,基本輸入輸出系統(Basicinput/output System,簡稱BIOS)通過向內存中寫入高級配置和電源管理接口(AdvancedConfiguration and Power Interface,簡稱ACPI)表的方式,向操作系統告知所有PCI設備的信息,包括所有PCI設備自身的中斷引腳與中斷控制器的中斷引腳的連接關系。操作系統啟動后,設置該PCI設備的中斷引腳,使該PCI設備的中斷傳遞到一個指定的物理CPU上處理。其中,ACPI表可以是差異化系統描述表(Differentiated System DescriptionTable,簡稱 DSDT)表。在分布式虛擬化環境下,分布式虛擬機監控器(Distributed Virtual MachineMonitor,簡稱DVMM)也需要模擬虛擬PCI設備的中斷連接關系。首先,分布式虛擬化環境下每個物理節點的設備模型(Device Model,簡稱DM)在創建一個虛擬PCI設備時,會為該虛擬PCI設備分配總線號Bus和設備號Device,并確定該虛擬PCI設備自身的中斷引腳號 Intx。其次,當啟動虛擬機時,虛擬 BIOS (Virtual Basic Input/Output System,簡稱vBIOS)會通過內存中的ACPI表告知操作系統設備號為Device的虛擬PCI設備的第Intx號中斷引腳,連接在全局虛擬10高級可編程中斷控制器(Virtual I/0AdvancedProgrammable Interrupt Controller,簡稱vIO-APIC)的哪一個全局虛擬中斷引腳上。最后,DVMM為虛擬機模擬全局vIO-APIC中的全局虛擬中斷引腳所連接的虛擬PCI設備的中斷引腳號。現有的分布式虛擬化系統中,一臺虛擬機的一個全局虛擬中斷引腳可能會連接到若干個物理節點中的虛擬PCI設備的中斷引腳上,如圖IB所示,某物理節點中設備號和中斷引腳號為(0,1)的虛擬PCI設備的中斷引腳與另一物理節點中設備號和中斷引腳號為(8,0)的虛擬PCI設備的中斷引腳同時連接在某虛擬機的第17號全局虛擬中斷引腳上。那么當操作系統對該第17號全局虛擬中斷引腳的進行設置時,運行設置命令的DVMM截獲到操作系統對該第17號全局虛擬中斷引腳的設置操作后,需要向多個物理節點發送數據包,以對連接到該第17號全局虛擬中斷引腳的所有的虛擬PCI設備的中斷引腳,例如(0,I)和(8,0)進行同步設置,發送同步設置的數據包。當虛擬機的一條設置指令被截獲之后,它的下一條指令會在上一條指令被模擬完后才會被執行,所以模擬該設置指令的所用時間越長,虛擬機的運行速度更慢。而模擬一條設置指令需要在多個節點間進行同步設置,花費的時間更長,這種不同物理節點間的同步操作會對虛擬機性能造成很大影響。

            發明內容
            本發明實施例提供一種分布式虛擬化系統的虛擬中斷管理方法及裝置,用以解決現有分布式虛擬化系統中,由于若干個物理節點中的虛擬PCI設備連接到同一個全局虛擬中斷引腳導致性能降低的缺陷。一方面,本發明實施例提供一種分布式虛擬化系統的虛擬中斷管理方法,包括虛擬機的虛擬BIOS模塊在高級配置和電源管理接口 ACPI表中建立全局虛擬中斷引腳與虛擬外圍設備互聯PCI設備的中斷引腳的連接關系,其中,所述全局虛擬中斷引腳為虛擬中斷引腳控制器上的一個或多個中斷引腳,所述全局虛擬中斷引腳中的任意一個對應于屬于同一個物理節點的一個或多個所述虛擬PCI設備的中斷引腳;所述虛擬中斷引腳控制器是為所述虛擬機的操作系統提供的;所述虛擬機的操作系統獲取所述ACPI表,根據所述ACPI表,運行為所述ACPI表中的全局虛擬中斷引腳設置目標虛擬中央處理單元vCPU的指令;截獲到所述指令的分布式虛擬機監控器,根據分布式中斷引腳信息確定所述全局虛擬中斷引腳對應的局部虛擬中斷引腳所在的物理節點,所述局部虛擬中斷引腳位于物理節點上并用于模擬所述全局虛擬中斷引腳,所述分布式中斷引腳信息包括全局虛擬中斷引腳與虛擬PCI設備的中斷引腳的連接關系,以及各個物理節點包括的虛擬PCI設備和局部虛擬中斷引腳;所述局部虛擬中斷引腳所在的物理節點上的分布式虛擬機監控器,根據所述指令保存所述局部虛擬中斷引腳與所述目標VCPU的對應關系,其中,所述目標vCPU用于處理所述局部虛擬中斷引腳上的中斷。另一方面,本發明實施例提供一種分布式虛擬化系統的虛擬中斷管理裝置,包括虛擬機和多個部署在不同物理節點上的分布式虛擬機監控器。所述虛擬機,包括虛擬BIOS模塊和操作系統;所述虛擬BIOS模塊,用于在ACPI表中建立所述虛擬機上全局虛擬中斷引腳與虛擬PCI設備的中斷引腳的連接關系,其中所述全局虛擬中斷引腳中的任意一個對應于屬于同一個所述物理節點的一個或多個所述虛擬PCI設備的中斷引腳;所述操作系統,用于獲取所述ACPI表,根據所述ACPI表,運行為所述ACPI表中的 全局虛擬中斷引腳設置目標vCPU的指令;所述多個分布式虛擬機監控器中的第一分布式虛擬機監控器,用于截獲所述操作系統設置目標vCPU的指令,根據分布式中斷引腳信息確定所述全局虛擬中斷引腳對應的局部虛擬中斷引腳所在的物理節點,所述局部虛擬中斷引腳位于所述物理節點上并用于模擬所述全局虛擬中斷引腳,所述分布式中斷引腳信息包括全局虛擬中斷引腳與虛擬PCI設備的中斷引腳的連接關系,以及各個物理節點包括的虛擬PCI設備以及所述各個物理節點負責的局部虛擬中斷引腳;所述多個分布式虛擬機監控器中的第二分布式虛擬機監控器,用于根據所述指令保存所述局部虛擬中斷引腳與所述目標vCPU的對應關系,所述第二分布式虛擬機監控器為所述局部虛擬中斷引腳所在的物理節點上的分布式虛擬機監控器。本發明實施例提供的分布式虛擬化系統的虛擬中斷管理方法及裝置,虛擬BIOS模塊寫入ACPI表中的一個全局虛擬中斷引腳對應同一個物理節點上的局部虛擬中斷引腳,即一個全局虛擬中斷引腳由在同一個物理節點上的局部虛擬中斷引腳去模擬,因而,操作系統在設置該全局虛擬中斷引腳時,不需要向不同的節點發送同步設置的數據包,提高了分布式虛擬化系統的性能。


            圖IA為現有技術提供的在非虛擬化環境下的PCI設備中斷連接架構圖;圖IB為現有技術提供的在分布式虛擬化環境下的虛擬PCI設備中斷連接架構圖;圖2為本發明實施例提供的一種分布式虛擬化結構;圖3為本發明實施例提供的一種分布式虛擬化系統的虛擬中斷引腳管理方法流程圖;·圖4為本發明實施例提供的虛擬PCI設備中斷連接架構圖;圖5為本發明實施例提供的另一種分布式虛擬化系統的虛擬中斷引腳管理方法流程圖;圖6為本發明實施例提供的又一種分布式虛擬化系統的虛擬中斷引腳管理方法流程圖;圖7為本發明實施例提供的一種分布式虛擬化系統的虛擬中斷引腳管理結構示意圖。
            具體實施例方式虛擬化技術是一種將底層硬件設備與上層操作系統、應用程序分離的去耦合方法,其引入虛擬機監控器(Virtual Machine Monitor,簡稱VMM)層來直接管理底層硬件資源,并創建與底層硬件無關的虛擬機(Virtual Machine,簡稱VM)供上層操作系統和應用程序使用。虛擬機沒有真正的物理設備,需要用軟件模擬中斷控制器和物理設備,形成虛擬中斷控制器和虛擬設備。操作系統啟動之前,虛擬BIOS在分配給所屬虛擬機的內存中寫入ACPI表。操作系統啟動后,可以通過指令設置和使用虛擬設備。VMM在截獲到操作系統的這些指令后,按照操作系統的指令設置虛擬設備或模擬地操作物理設備,并把模擬結果返回給虛擬機。分布式虛擬化技術是一種將來自多臺物理機器的資源,以虛擬的方式重新組合成一臺虛擬機的技術,也就是分布式虛擬機的虛擬硬件分布在不同節點,為的是使用不同節點上的硬件設備。圖2為本發明實施例提供的一種分布式虛擬化結構。如圖2所示的分布式虛擬化架構包括VM層、DVMM層和物理節點層。每個物理節點包括處理器、內存、磁盤、網卡和外設等硬件資源。每個物理節點均部署有一個DVMM,創建一個虛擬機時,部署在每個物理節點上的DVMM會在各自所屬的物理節點為虛擬機創建所需的虛擬硬件設備。虛擬機在同一個時間段,基于一個物理節點進行運行。DVMM主要包括CPU虛擬化、內存虛擬化和I/O虛擬化等三大模塊,達成了以虛擬資源聚合為途徑的物理資源聚合。其中I/O虛擬化會模擬非虛擬化環境下的PCI設備及其中斷連接結構。安裝在虛擬機上的操作系統啟動和運行時初始化和使用硬件資源時,DVMM不會允許所有這些動作直接操作在物理硬件上,而是會截獲敏感的訪問行為,并把這種訪問行為模擬成對虛擬硬件的訪問,最終以虛擬硬件為代理去操作真正的物理硬件,保證了不同虛擬機間的隔離性和虛擬機對硬件資源使用的正確性。DVMM層直接管理本地底層硬件資源,并通過網絡通信的方式與其他節點上的DVMM相互協作,使虛擬機具有跨節點訪問資源的能力。具體地,當一個節點的分布式虛擬機監控器截獲虛擬機操作系統的指令后,首先要判斷該指令所操作的虛擬硬件(包括虛擬中斷控制器的引腳)在哪個節點,然后把所要進行的操作通過通訊模塊傳送到該節點去模擬,例如,傳送給設置虛擬硬件或者操作虛擬硬件對應的真正物理設備去模擬。圖3為本發明實施例提供的一種分布式虛擬化系統的虛擬中斷引腳管理方法流程圖。圖4為本發明實施例提供的虛擬PCI設備中斷連接架構圖。如圖4所示,VM提供的虛擬中斷控制器為全局vIO-APIC,全局vIO-APIC上的中斷引腳稱為全局虛擬中斷引腳,虛擬OS只有VM給它提供的全局虛擬中斷控制器,每個虛擬PCI設備的中斷引腳連接在全局虛擬中斷控制器上的一個全局虛擬中斷引腳上。每個物理節點上的DVMM提供的虛擬中斷控制器為局部vIO-APIC,局部vIO-APIC上的中斷引腳稱為局部虛擬中斷引腳,由每個物理節點上的局部虛擬中斷控制器來模擬全局虛擬中斷引腳,每個虛擬PCI設備的中斷引腳連接在 局部虛擬中斷控制器上的一個局部虛擬中斷引腳。一個物理節點有多個虛擬PCI設備,一個虛擬PCI設備可有多個中斷引腳,一個虛擬PCI設備也可連接到局部vIO-APIC上的多個局部虛擬中斷引腳。DM模塊在為每個物理節點中創建的虛擬PCI設備注冊所屬PCI總線號和設備號,所有物理節點上的虛擬PCI設備的設備號統一編號,每個物理節點上的局部vIO-APIC上的局部虛擬中斷引腳可單獨編號。VM向虛擬機操作系統提供的中斷結構為,該VM包括的虛擬PCI設備的虛擬中斷引腳與全局vIO-APIC上的全局虛擬中斷引腳的連接關系。而部署在一個物理節點上的DVMM提供的中斷結構為,該物理節點包括的虛擬PCI設備的中斷引腳與本物理節點管理的局部vIO-APIC上的局部虛擬中斷引腳的連接關系。例如,虛擬化操作系統獲知的中斷結構中,設備號為Device的虛擬PCI設備的第Intx號中斷引腳連接到全局vIO-APIC中第gsi號的全局虛擬中斷引腳上;而在設備號為Device的虛擬PCI設備所在的物理節點上保存的中斷結構為,設備號為Device的虛擬PCI設備的第Intx號中斷引腳連接到局部vIO-APIC中第X號的局部虛擬中斷引腳上,也就是,在物理節點上,用局部vIO-APIC中第X號的局部虛擬中斷引腳模擬全局vIO-APIC中第gsi號的全局虛擬中斷引腳。當虛擬機操作系統要去設置某個全局虛擬中斷引腳時,DVMM會截獲這個操作,并模擬成在指定的物理節點內設置該全局虛擬中斷引腳,所述指定的物理節點為連接到該全局虛擬中斷引腳的局部虛擬中斷引腳所在物理節點。如圖3所示,本實施例提供的方法包括步驟31 :虛擬機的虛擬BIOS模塊在ACPI表中建立全局虛擬中斷引腳與虛擬PCI設備的中斷引腳的連接關系,其中,所述全局虛擬中斷引腳為虛擬中斷引腳控制器上的一個或多個中斷引腳,所述全局虛擬中斷引腳中的任意一個對應于屬于同一個物理節點的一個或多個所述虛擬PCI設備的中斷引腳;所述虛擬中斷引腳控制器是為所述虛擬機的操作系統提供的;分布式虛擬化系統的虛擬BIOS模塊可以將所述ACPI寫入虛擬機的虛擬內存。將ACPI表寫入虛擬內存后,虛擬機操作系統可從內存中獲取ACPI表,根據ACPI表可獲知哪個全局虛擬中斷引腳被連接到哪個虛擬PCI設備上的哪個虛擬中斷引腳上。在ACPI表記錄的所有連接關系中,任意一個全局虛擬中斷引腳連接到同一個物理節點上的一個或多個虛擬PIC設備的中斷引腳。也就是說,不同物理節點上的虛擬PCI設備不會連接到一個相同的全局虛擬中斷引腳上。因此,實現了同一個全局虛擬中斷引腳由一個物理節點上的局部虛擬中斷引腳去模擬。例如,將設備號為Device的虛擬PCI設備的第Intx號中斷引腳連接到全局vIO-APIC中第gsi號的全局虛擬中斷引腳上,在ACPI表上述連接關系可表述為(虛擬PCI設備號Device、中斷引腳號Intx、全局虛擬中斷引腳號gsi)。如圖4所示,全局vIO-APIC的第10號全局虛擬中斷引腳連接到NODEl節點上虛擬PCI設備vDEVll的第Intxl號中斷引腳和NODEl節點上虛擬PCI設備vDEV12的第Intx3號中斷引腳,全局vIO-APIC的第20號全局虛擬中斷引腳連接到N0DE2節點上虛擬PCI設備vDEV21的第Intxl號中斷引腳和N0DE2節點上虛擬PCI設備vDEV22的第Intxl號中斷引腳。從上述連接關系可獲知,全局vIO-APIC的第10號全局虛擬中斷引腳連接到NODEl節點上的虛擬PCI設備,全局vIO-APIC的第20號全局虛擬中斷引腳連接到N0DE2節點上的虛擬PCI設備。
            使一個全局虛擬中斷引腳連接在同一個物理節點上的虛擬PCI設備上的中斷引腳的方法有多種。優選地,虛擬BIOS模塊將所有的全局虛擬中斷引腳劃分為多個互不相交的子集,在映射一個物理節點上的局部虛擬中斷引腳時,將同一個物理節點的所有PCI設備的中斷引腳映射在一個子集內。因此,在ACPI表中一個物理節點的所有PCI設備的中斷引腳連接在一個子集內。例如,0號物理節點上虛擬PCI設備的設備號在(T10之間,I號物理節點上虛擬PCI設備的設備號在If 13之間,2號物理節點上虛擬PCI設備的設備號在iri6之間,. .,7號節點上虛擬PCI設備的設備號為2擴31之間,(TlO號PCI設備的中斷針腳(即0號節點的所有PCI設備中斷針腳)會直連到16 26號vIO-APIC針腳;1廣13號PCI設備的中斷針腳(即I號節點的所有PCI設備中斷針腳)會直連到27 29號vIO-APIC針腳;2擴31號PCI設備的中斷針腳(即7號節點的所有PCI設備中斷針腳)會直連到45 47號vIO-APIC針腳。vIO-APIC的(T15號針腳作為特殊用途。如果將所有的全局虛擬中斷引腳劃分為多個互不相交的子集,將一個物理節點的所有PCI設備的中斷引腳對應在一個子集內后,操作系統可一次設置該子集內的所有全局虛擬中斷引腳,而不需要分多次設置這些全局虛擬中斷引腳,因為模擬這些全局虛擬中斷引腳的局部虛擬中斷引腳在同一個物理節點上。因而,可提高虛擬機的性能。可選地,虛擬BIOS模塊也可以將一個物理節點上的所有虛擬PCI設備的中斷引腳都連接到同一個全局虛擬中斷引腳,即在ACPI表中一個物理節點上的所有局部虛擬中斷引腳對應一個全局虛擬中斷引腳。步驟32 :虛擬機的操作系統獲取所述ACPI表,根據所述ACPI表,運行為所述ACPI表中的全局虛擬中斷引腳設置目標vCPU的指令。虛擬機的操作系統根據APCI表中全局虛擬中斷引腳所連接的虛擬PCI設備,確定處理每個全局虛擬中斷引腳上中斷的目標虛擬中央處理器(Virtual Central ProcessingUnit,簡稱vCPU)。例如,APCI表中的一個全局中斷引腳連接的虛擬PCI設備為虛擬鼠標,虛擬機操作系統將處理該虛擬PCI設備的中斷的目標vCPU可以設置為多個vCPU,而APCI表中的另一個全局中斷引腳連接的虛擬PCI設備為虛擬硬盤,虛擬機操作系統將處理該虛擬PCI設備的中斷的目標vCPU可以設置為一個vCPU。虛擬機操作系統設置處理一個全局虛擬中斷引腳上中斷的vCPU時,向全局虛擬中斷控制器發送設置指令,該設置指令用于設置全局虛擬中斷引腳上產生的中斷由哪個vCPU來處理。需要說明的是,APCI表中的每一個全局虛擬中斷引腳都需要設置目標vCPU,可以是一個個處理,也可以是批處理,以下實施例中,為了便于理解,具體以單次為其中的一個全局虛擬中斷引腳設置vCPU為例來說明的,本領域技術人員完全可以理解,以下實施例的每個步驟中,也可以針對APCI表中的全部全局虛擬中斷引腳同時進行相同的處理。步驟33 :截獲到所述指令的分布式虛擬機監控器,根據分布式中斷引腳信息確定所述全局虛擬中斷引腳對應的局部虛擬中斷引腳所在的物理節點,所述局部虛擬中斷引腳位于物理節點上并用于模擬所述全局虛擬中斷引腳,所述分布式中斷引腳信息包括全局虛擬中斷引腳與虛擬PCI設備的中斷引腳的連接關系,以及各個物理節點包括的虛擬PCI設備和局部虛擬中斷引腳。分布式虛擬化系統的存儲系統中可以記錄有以下分布式中斷引腳信息一種是,每個全局虛擬中斷引腳與物理節點上虛擬PCI設備的中斷引腳的連接關系,該連接關系與 ACPI表中連接關系相同。另一種是,各個物理節點包括的虛擬PCI設備和局部虛擬中斷引腳。分布式中斷引腳信息有可能沒有存儲在截獲虛擬機操作系統設置指令的DVMM所屬的物理節點,截獲虛擬機操作系統設置指令的DVMM可通過DVMM之間相互協作,從其它物理節點獲取分布式中斷引腳信息。在物理節點中,虛擬PCI設備的中斷引腳所連接的局部虛擬中斷引腳,在物理節點上模擬該虛擬PCI設備的中斷引腳所連接的全局虛擬中斷引腳。如圖4所示,部署在NODEl節點上DVMM提供的中斷結構中,NODEl節點上虛擬PCI設備vDEVll的第Intxl號中斷引腳連接在NODEl節點上的局部vIO-APIC的第5號局部虛擬中斷引腳,NODEl節點上虛擬PCI設備vDEV12的第Intx3號中斷引腳連接在NODEl節點上的局部vIO-APIC的第6號局部虛擬中斷引腳。如圖4所示,部署在N0DE2節點上DVMM提供的中斷結構中,在N0DE2節點上虛擬PCI設備vDEV21的第Intxl號中斷引腳連接在N0DE2節點上的局部vIO-APIC的第9號局部虛擬中斷引腳,在N0DE2節點上虛擬PCI設備vDEV22的第Intxl號中斷引腳連接在N0DE2節點上的局部vIO-APIC的第10號局部虛擬中斷引腳。虛擬機操作系統為一個全局虛擬中斷引腳設置處理其上產生的中斷的目標vCPU時,運行虛擬機操作系統的物理節點上部署的DVMM截獲虛擬機操作系統設置全局中斷虛擬引腳的設置指令后,根據記錄的每個全局虛擬中斷引腳與物理節點上虛擬PCI設備的中斷引腳的連接關系,確定被設置的全局虛擬中斷引腳所對應的虛擬PCI設備的中斷引腳。通過記錄的每個物理節點包括的虛擬PCI設備和每個物理節點負責的局部虛擬中斷引腳,可確定模擬的局部虛擬中斷引腳所在的物理節點。步驟34 :所述局部虛擬中斷引腳所在的物理節點上的DVMM根據所述指令保存所述局部虛擬中斷引腳與所述目標vCPU的對應關系,所述目標vCPU用于處理所述局部虛擬中斷引腳上的中斷。所述局部虛擬中斷引腳所在的物理節點與截獲操作系統設置指令的DVMM的本地物理節點為同一物理節點時,截獲操作系統設置指令的DVMM保存所述局部虛擬中斷引腳與處理所述局部虛擬中斷引腳上中斷的目標vCPU的對應關系,例如保存在中斷處理vCPU表中,處理所述局部虛擬中斷引腳上中斷的目標vCPU為操作系統的指令中設置的目標VCPU0當連接在所述局部虛擬中斷引腳上的虛擬PCI設備的中斷引腳上產生中斷后,該局部虛擬中斷引腳所在物理節點上的DVMM按照保存的中斷處理vCPU表可確定由哪個vCPU來處理該局部虛擬中斷引腳上的中斷。所述局部虛擬中斷引腳所在的物理節點與截獲操作系統設置指令的DVMM所在的本地物理節點不是同一物理節點時,截獲操作系統設置指令的DVMM將設置指令發送給所述局部虛擬中斷引腳所在的遠端物理節點,由遠端物理節點的DVMM保存所述局部虛擬中斷引腳與目標vCPU的對應關系,例如保存在中斷處理vCPU表中,從而在連接在所述局部虛擬中斷引腳上的虛擬PCI設備產生中斷后,遠端物理節點的DVMM按照保存的中斷處理vCPU表可確定由哪個vCPU來處理所述局部虛擬中斷引腳上的中斷。本實施例提供的方法,虛擬BIOS模塊寫入ACPI表中的一個全局虛擬中斷引腳連接到同一個物理節點上一個或多個虛擬PIC設備的中斷引腳上,即一個全局虛擬中斷引腳由同一個物理節點上的局部虛擬中斷引腳去模擬,由于不同的物理節點的虛擬PCI設備的中斷引腳不會連接在同一個全局虛擬中斷引腳上,虛擬機操作系統在設置該全局虛擬中斷引腳時,不需要向不同的物理節點發送用于同步設置的數據包,提高了分布式虛擬化系統 的性能。進一步,如果步驟35中所述局部虛擬中斷引腳所在物理節點的DVMM,根據操作系統的指令確定處理所述局部虛擬中斷引腳上中斷的目標vCPU是遠端物理節點上的vCPU,該局部虛擬中斷引腳所在物理節點的DVMM接收到該局部虛擬中斷引腳上的中斷后,根據保存的中斷處理vCPU表,要將該中斷傳遞到遠端物理節點的目標vCPU來處理,導致處理時間較長,這種非本地化處理中斷的方式會對虛擬機的性能產生較大的影響。為避免中斷由非本地vCPU處理的現象,本發明實施例還提供了以下方法實現中斷本地化處理如圖5所示,步驟34可以包括步驟340 :局部虛擬中斷引腳所在物理節點的DVMM,根據所述指令確定目標vCPU所在物理節點是否為本地物理節點。若是執行步驟341,否則執行步驟342。步驟341 :保存局部虛擬中斷引腳與所述指令中目標vCPU的對應關系。步驟342 :如果本地物理節點上包括一個以上的vCPU,將設置指令中的目標vCPU修改為本地物理節點上的vCPU,保存局部虛擬中斷引腳與修改后目標vCPU的對應關系。如果局部虛擬中斷引腳所在物理節點的DVMM,根據設置指令判斷處理被設置的全局中斷引腳上產生的中斷的目標vCPU所在物理節點不是本地物理節點,而且本地物理節點包括多個vCPU,可根據本地vCPU的負載狀況,將設置指令中處理被設置的全局中斷引腳上產生的中斷的目標vCPU修改為本地物理節點上的vCPU。模擬該全局虛擬中斷引腳的局部虛擬中斷引腳上產生中斷后,本地DVMM將該中斷傳遞給本地物理節點上的vCPU來處理,不需要將該中斷傳遞到遠端物理節點來處理,減輕了節點間的通訊壓力,降低了中斷對虛擬機性能的影響,提高了中斷過程中虛擬機的性能。圖6為本發明實施例提供的又一種分布式虛擬化系統的虛擬中斷引腳管理方法流程圖。本實施例為對圖5對應實施例進一步細化后的實施例。如圖6所示,本實施例提供的方法包括步驟60 :虛擬機的虛擬BIOS模塊在ACPI表中建立全局虛擬中斷引腳與虛擬PCI設備的中斷引腳的連接關系,其中,所述全局虛擬中斷引腳為虛擬中斷引腳控制器上的一個或多個中斷引腳,所述全局虛擬中斷引腳中的任意一個對應于屬于同一個物理節點的一個或多個所述虛擬PCI設備的中斷引腳;所述虛擬中斷引腳控制器是為所述虛擬機的操作系統提供的;步驟61 :虛擬機的操作系統獲取所述ACPI表,根據所述ACPI表,運行為所述ACPI表中的全局虛擬中斷引腳設置目標vCPU的指令。步驟62 :截獲所述指令的DVMM根據分布式虛擬中斷信息,確定所述模擬被設置的全局虛擬中斷引腳的局部虛擬中斷引腳。步驟63 :截獲所述指令的DVMM根據分布式虛擬中斷信息,確定所述局部虛擬中斷弓I腳所在的物理節點是否為該DVMM所在的本地物理節點。若所述局部虛擬中斷引腳所在的物理節點為本地物理節點,截獲操作系統指令的DVMM執行步驟641、步驟642和步驟643,否則截獲操作系統指令的DVMM執行步驟65。 步驟641 :根據所述指令判斷處理被設置的全局中斷引腳上產生的中斷的目標vCPU所在物理節點是否為本地物理節點。若是執行步驟642,否則執行步驟643。步驟642 :處理被設置的全局中斷引腳上產生的中斷的目標vCPU所在物理節點是本地物理節點,根據設置指令保存所述局部虛擬中斷引腳與目標vCPU的對應關系。步驟643 :處理被設置的全局中斷引腳上產生的中斷的目標vCPU所在物理節點不是本地物理節點且本地物理節點上包括一個以上的vCPU,將處理被設置的全局中斷引腳上產生的中斷的目標vCPU修改為本地物理節點上的目標vCPU,保存所述局部虛擬中斷引腳與修改后目標vCPU的對應關系。步驟65 :截獲所述指令的DVMM將所述指令發送給所述局部虛擬中斷引腳所在的遠端物理節點。接收到指令的遠端物理節點執行步驟641、步驟642和步驟643。圖7為本發明實施例提供的一種分布式虛擬化系統的虛擬中斷管理裝置結構示意圖。如圖7所示,該裝置包括虛擬機和多個部署在不同物理節點上的分布式虛擬機監控器。其中,虛擬機包括虛擬BIOS模塊70和操作系統71,分布式虛擬機監控器可以是第一分布式虛擬機監控器72和第二分布式虛擬機監控器73。所述虛擬BIOS模塊70,用于在ACPI表中建立虛擬機上全局虛擬中斷引腳與虛擬PCI設備的中斷引腳的連接關系,其中所述全局虛擬中斷引腳中的任意一個對應于屬于同一個所述物理節點的一個或多個所述虛擬PCI設備的中斷引腳。虛擬BIOS模塊70可以將所述ACPI表寫入虛擬機的虛擬內存。優選地,所述虛擬BIOS模塊具體用于將所述全局虛擬中斷引腳劃分為多個互不相交的子集,建立所述全局虛擬中斷引腳與虛擬PCI設備的中斷引腳的連接關系,其中,屬于同一個所述物理節點的所有虛擬PCI設備的中斷引腳連接在同一個所述子集內。或者,所述虛擬BIOS模塊具體用于建立所述全局虛擬中斷引腳與虛擬PCI設備的中斷引腳的連接關系,其中同一個物理節點上的所有虛擬PCI設備中斷引腳對應在同一個全局虛擬中斷引腳。操作系統71,用于獲取所述ACPI表,根據所述ACPI表,運行為所述ACPI表中的全局虛擬中斷引腳設置目標vCPU的指令。所述多個分布式虛擬機監控器中的第一分布式虛擬機監控器72,用于截獲所述操作系統設置目標vCPU的指令,根據分布式中斷引腳信息確定所述全局虛擬中斷引腳對應的局部虛擬中斷引腳所在的物理節點,所述局部虛擬中斷引腳位于所述物理節點上并用于模擬所述全局虛擬中斷引腳,所述分布式中斷引腳信息包括所述虛擬機上全局虛擬中斷引腳與物理節點上虛擬PCI設備的中斷引腳的連接關系,以及各個物理節點包括的虛擬PCI設備以及所述各個物理節點負責的局部虛擬中斷引腳。進一步,第一分布式虛擬機監控器72,還用于確定所述局部虛擬中斷引腳所在的物理節點不是本地物理節點時,將所述指令發送給所述局部虛擬中斷引腳所在物理節點上的分布式虛擬機監控器。所述多個分布式虛擬機監控器中的第二分布式虛擬機監控器73,用于根據所述指令保存所述局部虛擬中斷引腳與所述目標vCPU的對應關系,所述第二分布式虛擬機監控器為所述局部虛擬中斷引腳所在的物理節點上的分布式虛擬機監控器。進一步,第二分布式虛擬機監控器73,還用于連接在所述局部虛擬中斷引腳上的虛擬PCI設備的中斷引腳上產生中斷后,根據所在物理節點保存的所述局部虛擬中斷引腳與處理所述局部虛擬中斷引腳上中斷的目標vCPU的對應關系,將所述局部虛擬中斷引腳上中斷傳遞到目標vCPU。 本實施例提供的裝置中,虛擬BIOS模塊寫入虛擬內存的ACPI表中的同一個全局虛擬中斷引腳對應到同一個物理節點上的局部虛擬中斷引腳,即一個全局虛擬中斷引腳由同一個物理節點上的局部虛擬中斷引腳去模擬,因而,操作系統在設置該全局虛擬中斷引腳時,不需要向不同的節點發送同步設置的數據包,提高了分布式虛擬化系統的性能。為避免中斷非本地處理的現象,即避免本地中斷引腳上產生的中斷由遠端的物理節點上的vCPU來處理的現象,第二分布式虛擬機監控器還具有以下功能所述第二分布式虛擬機監控器73,還用于當根據所述指令確定所述目標vCPU所在物理節點是本地物理節點時,保存所述局部虛擬中斷引腳與所述局部虛擬中斷引腳上中斷的目標vCPU的對應關系。其中,處理所述局部虛擬中斷引腳上中斷的目標vCPU為操作系統的指令中的vCPU。所述第二分布式虛擬機監控器73,還用于當根據所述指令確定所述目標vCPU所在物理節點不是本地物理節點且所述本地物理節點包括一個以上的vCPU時,將所述指令中所述目標vCPU修改為所述本地物理節點上的一個vCPU,保存局部虛擬中斷引腳與修改后所述目標vCPU的對應關系。本領域普通技術人員可以理解實現上述方法實施例的全部或部分步驟可以通過程序指令相關的硬件來完成,前述的程序可以存儲于一計算機可讀取存儲介質中,該程序在執行時,執行包括上述方法實施例的步驟;而前述的存儲介質包括R0M、RAM、磁碟或者光盤等各種可以存儲程序代碼的介質。最后應說明的是以上實施例僅用以說明本發明的技術方案,而非對其限制;盡管參照前述實施例對本發明進行了詳細的說明,本領域的普通技術人員應當理解其依然可以對前述各實施例所記載的技術方案進行修改,或者對其中部分技術特征進行等同替換;而這些修改或者替換,并不使相應技術方案的本質脫離本發明各實施例技術方案的范圍。
            權利要求
            1.一種分布式虛擬化系統的虛擬中斷管理方法,其特征在于,包括 虛擬機的虛擬BIOS模塊在高級配置和電源管理接口 ACPI表中建立全局虛擬中斷引腳與虛擬外圍設備互聯PCI設備的中斷引腳的連接關系,其中,所述全局虛擬中斷引腳為虛擬中斷引腳控制器上的一個或多個中斷引腳,所述全局虛擬中斷引腳中的任意一個對應于屬于同一個物理節點的一個或多個所述虛擬PCI設備的中斷引腳;所述虛擬中斷引腳控制器是為所述虛擬機的操作系統提供的; 所述虛擬機的操作系統獲取所述ACPI表,根據所述ACPI表,運行為所述ACPI表中的全局虛擬中斷引腳設置目標虛擬中央處理單元vCPU的指令; 截獲到所述指令的分布式虛擬機監控器,根據分布式中斷引腳信息確定所述全局虛擬中斷引腳對應的局部虛擬中斷引腳所在的物理節點,所述局部虛擬中斷引腳位于物理節點上并用于模擬所述全局虛擬中斷引腳,所述分布式中斷引腳信息包括全局虛擬中斷引腳與虛擬PCI設備的中斷引腳的連接關系,以及各個物理節點包括的虛擬PCI設備和局部虛擬中斷引腳; 所述局部虛擬中斷引腳所在的物理節點上的分布式虛擬機監控器,根據所述指令保存所述局部虛擬中斷引腳與所述目標VCPU的對應關系,其中,所述目標VCPU用于處理所述局部虛擬中斷引腳上的中斷。
            2.根據權利要求I所述的方法,其特征在于,所述局部虛擬中斷引腳所在的物理節點上的分布式虛擬機監控器,根據所述指令保存所述局部虛擬中斷引腳與所述目標vCPU的對應關系包括 若所述截獲到所述指令的分布式虛擬機監控器確定所述全局虛擬中斷引腳對應的局部虛擬中斷引腳所在的物理節點為自身所在的物理節點,則所述截獲到所述指令的分布式虛擬機監控器,根據所述指令確定所述目標vCPU所在物理節點是本地物理節點時,保存所述局部虛擬中斷引腳與所述目標vCPU的對應關系。
            3.根據權利要求I或2所述的方法,其特征在于,所述局部虛擬中斷引腳所在的物理節點上的分布式虛擬機監控器,根據所述指令保存所述局部虛擬中斷引腳與所述目標vCPU的對應關系包括 若所述截獲到所述指令的分布式虛擬機監控器確定所述全局虛擬中斷引腳對應的局部虛擬中斷引腳所在的物理節點不是自身所在的物理節點,則所述截獲到所述指令的分布式虛擬機監控器通知所述局部虛擬中斷引腳所在的物理節點上的分布式虛擬機監控器設置所述指令,所述局部虛擬中斷引腳所在的物理節點的分布式虛擬機監控器,根據所述指令確定所述目標vCPU所在物理節點不是本地物理節點且所述本地物理節點包括一個以上的vCPU時,將所述指令中的所述目標vCPU修改為所述本地物理節點上的一個vCPU,保存所述局部虛擬中斷引腳與修改后所述目標vCPU的對應關系。
            4.根據權利要求1、2或3所述的方法,其特征在于,所述建立全局虛擬中斷引腳與虛擬PCI設備的中斷引腳的連接關系,具體為 將所述全局虛擬中斷引腳劃分為多個互不相交的子集,建立所述全局虛擬中斷引腳與虛擬PCI設備的中斷引腳的連接關系,其中,屬于同一個物理機的所述虛擬PCI設備的中斷引腳連接在同一個所述子集內。
            5.根據權利要求1、2或3所述的方法,其特征在于,所述ACPI表中,同一個物理節點上的所述所有虛擬PCI設備的中斷引腳連接到一個所述全局虛擬中斷引腳。
            6.根據權利要求I至5任一項所述的方法,其特征在于,還包括 連接在所述局部虛擬中斷引腳上的虛擬PCI設備的中斷引腳上產生中斷后,所述局部虛擬中斷引腳所在物理節點上的分布式虛擬機監控器,根據所在的物理節點保存的所述局部虛擬中斷引腳與處理所述局部虛擬中斷引腳上中斷的所述目標VCPU的對應關系,將所述局部虛擬中斷引腳上的中斷傳遞到所述目標vCPU。
            7.一種分布式虛擬化系統的虛擬中斷管理裝置,包括虛擬機和多個部署在不同物理節點上的分布式虛擬機監控器。其特征在于 所述虛擬機,包括虛擬BIOS模塊和操作系統; 所述虛擬BIOS模塊,用于在ACPI表中建立所述虛擬機上全局虛擬中斷引腳與虛擬PCI設備的中斷引腳的連接關系,其中所述全局虛擬中斷引腳中的任意一個對應于屬于同一個所述物理節點的一個或多個所述虛擬PCI設備的中斷引腳; 所述操作系統,用于獲取所述ACPI表,根據所述ACPI表,運行為所述ACPI表中的全局虛擬中斷引腳設置目標vCPU的指令;所述多個分布式虛擬機監控器中的第一分布式虛擬機監控器,用于截獲所述操作系統設置目標vCPU的指令,根據分布式中斷引腳信息確定所述全局虛擬中斷引腳對應的局部虛擬中斷引腳所在的物理節點,所述局部虛擬中斷引腳位于所述物理節點上并用于模擬所述全局虛擬中斷引腳,所述分布式中斷引腳信息包括全局虛擬中斷引腳與虛擬PCI設備的中斷引腳的連接關系,以及各個物理節點包括的虛擬PCI設備以及所述各個物理節點負責的局部虛擬中斷引腳; 所述多個分布式虛擬機監控器中的第二分布式虛擬機監控器,用于根據所述指令保存所述局部虛擬中斷引腳與所述目標VCPU的對應關系,所述第二分布式虛擬機監控器為所述局部虛擬中斷引腳所在的物理節點上的分布式虛擬機監控器。
            8.根據權利要求7所述的裝置,其特征在于 所述第二分布式虛擬機監控器,還用于當根據所述指令確定所述目標vCPU所在物理節點是本地物理節點時,保存所述局部虛擬中斷引腳與所述目標vCPU的對應關系; 所述第二分布式虛擬機監控器,還用于當根據所述指令確定所述目標vCPU所在物理節點不是本地物理節點且所述本地物理節點包括一個以上的vCPU時,將所述指令中的所述所述目標vCPU修改為所述本地物理節點上的一個vCPU,保存所述局部虛擬中斷引腳與修改后所述目標vCPU的對應關系。
            9.根據權利要求8所述的裝置,其特征在于 所述第一分布式虛擬機監控器,還用于當確定所述局部虛擬中斷引腳所在的物理節點不是本地物理節點時,將所述指令發送給所述局部虛擬中斷引腳所在物理節點上的分布式虛擬機監控器。
            10.根據權利要求7、8或9所述的裝置,其特征在于,所述虛擬BIOS模塊具體用于將所述全局虛擬中斷引腳劃分為多個互不相交的子集,建立所述全局虛擬中斷引腳與虛擬PCI設備的中斷引腳的連接關系,其中,屬于同一個所述物理機的所有虛擬PCI設備的中斷引腳連接在同一個所述子集內。
            11.根據權利要求7、8或9所述的裝置,其特征在于,所述虛擬BIOS模塊具體用于建立所述全局虛擬中斷引腳與虛擬PCI設備的中斷引腳的連接關系,其中同一個物理節點上的所有虛擬PCI設備的中斷引腳連接到同一個所述全局虛擬中斷引腳。
            12.根據權利要求7至11任一項所述的裝置,其特征在于,所述第二分布式虛擬機監控器,用于連接在所述局部虛擬中斷引腳上的虛擬PCI設備的中斷引腳上產生中斷后,根據所在的物理節點保存的所述局部虛擬中斷引腳與處理所述局部虛擬中斷引腳上中斷的目標vCPU的對應關系,將所述局部虛擬中斷引腳上的中斷傳遞到目標vCPU。
            全文摘要
            本發明提供一種分布式虛擬化系統的虛擬中斷管理方法及裝置,該方法包括虛擬BIOS模塊在ACPI表中建立全局虛擬中斷引腳與虛擬PCI設備的中斷引腳的連接關系,所述全局虛擬中斷引腳中的任意一個對應于屬于同一個物理節點上的一個或多個虛擬PCI設備的中斷引腳;所述虛擬機的操作系統獲取所述ACPI表,并根據ACPI表運行為所述ACPI表中的全局虛擬中斷引腳設置目標vCPU的指令;截獲到所述指令的分布式虛擬機監控器,根據分布式中斷引腳信息確定所述全局虛擬中斷引腳對應的局部虛擬中斷引腳所在的物理節點,根據指令保存該局部虛擬中斷引腳與所述目標vCPU的對應關系,其中,所述目標vCPU用于處理所述局部虛擬中斷引腳上的中斷。
            文檔編號G06F9/48GK102799465SQ20121022302
            公開日2012年11月28日 申請日期2012年6月30日 優先權日2012年6月30日
            發明者王海波 申請人:華為技術有限公司
            網友詢問留言 已有0條留言
            • 還沒有人留言評論。精彩留言會獲得點贊!
            1
            婷婷六月激情在线综合激情,亚洲国产大片,久久中文字幕综合婷婷,精品久久久久久中文字幕,亚洲一区二区三区高清不卡,99国产精品热久久久久久夜夜嗨 ,欧美日韩亚洲综合在线一区二区,99国产精品电影,伊人精品线视天天综合,精品伊人久久久大香线蕉欧美
            亚洲精品1区 国产成人一级 91精品国产欧美一区二区 亚洲精品乱码久久久久久下载 国产精品久久久久久久伊一 九色国产 国产精品九九视频 伊人久久成人爱综合网 欧美日韩亚洲区久久综合 欧美日本一道免费一区三区 夜夜爽一区二区三区精品 欧美日韩高清一区二区三区 国产成人av在线 国产精品对白交换绿帽视频 国产视频亚洲 国产在线欧美精品 国产精品综合网 国产日韩精品欧美一区色 国产日韩精品欧美一区喷 欧美日韩在线观看区一二 国产区精品 欧美视频日韩视频 中文字幕天天躁日日躁狠狠躁97 视频一二三区 欧美高清在线精品一区二区不卡 国产精品揄拍一区二区久久 99久久综合狠狠综合久久aⅴ 亚洲乱码视频在线观看 日韩在线第二页 亚洲精品无码专区在线播放 成人亚洲网站www在线观看 欧美三级一区二区 99久久精品免费看国产高清 91麻豆国产在线观看 最新日韩欧美不卡一二三区 成人在线观看不卡 日韩国产在线 在线亚洲精品 亚洲午夜久久久久中文字幕 国产精品成人久久久久久久 精品国产一区二区在线观看 欧美精品国产一区二区三区 中文在线播放 亚洲第一页在线视频 国产午夜精品福利久久 九色国产 精品国产九九 国产永久视频 久久精品人人做人人综合试看 国产一区二区三区免费观看 亚洲精品国产电影 9999热视频 国产精品资源在线 麻豆久久婷婷国产综合五月 国产精品免费一级在线观看 亚洲国产一区二区三区青草影视 中文在线播放 国产成人综合在线 国产在线观看色 国产亚洲三级 国产片一区二区三区 久久99精品久久久久久牛牛影视 亚洲欧美日韩国产 四虎永久免费网站 国产一毛片 国产精品视频在 九九热在线精品 99精品福利视频 色婷婷色99国产综合精品 97成人精品视频在线播放 精品久久久久久中文字幕 亚洲欧美一区二区三区孕妇 亚洲欧美成人网 日韩高清在线二区 国产尤物在线观看 在线不卡一区二区 91网站在线看 韩国精品福利一区二区 欧美日韩国产成人精品 99热精品久久 国产精品免费视频一区 高清视频一区 精品九九久久 欧美日韩在线观看免费 91欧美激情一区二区三区成人 99福利视频 亚洲国产精品91 久热国产在线 精品久久久久久中文字幕女 国产精品久久久久久久久99热 成人自拍视频网 国产精品视频久久久久久 久久影院国产 国产玖玖在线观看 99精品在线免费 亚洲欧美一区二区三区导航 久久久久久久综合 国产欧美日韩精品高清二区综合区 国产精品视频自拍 亚洲一级片免费 久久久久久九九 国产欧美自拍视频 视频一区二区在线观看 欧美日韩一区二区三区久久 中文在线亚洲 伊人热人久久中文字幕 日韩欧美亚洲国产一区二区三区 欧美亚洲国产成人高清在线 欧美日韩国产码高清综合人成 国产性大片免费播放网站 亚洲午夜综合网 91精品久久一区二区三区 国产无套在线播放 国产精品视频网站 国产成人亚洲精品老王 91在线网站 国产视频97 欧美黑人欧美精品刺激 国产一区二区三区免费在线视频 久久久国产精品免费看 99re6久精品国产首页 久久精品91 国产成人一级 国产成人精品曰本亚洲 日本福利在线观看 伊人成综合网 久久综合一本 国产综合久久久久久 久久精品成人免费看 久久福利 91精品国产91久久久久久麻豆 亚洲精品成人在线 亚洲伊人久久精品 欧美日本二区 国产永久视频 国产一区二 一区二区福利 国产一毛片 亚洲精品1区 毛片一区二区三区 伊人久久大香线蕉综合影 国产欧美在线观看一区 亚洲国产欧洲综合997久久 国产一区二区免费视频 国产91精品对白露脸全集观看 久久亚洲国产伦理 欧美成人伊人久久综合网 亚洲性久久久影院 久久99国产精一区二区三区! 91精品国产欧美一区二区 欧美日韩亚洲区久久综合 日韩精品一二三区 久久久夜色精品国产噜噜 国产在线精品福利91香蕉 久久久久久久亚洲精品 97se色综合一区二区二区 91国语精品自产拍在线观看性色 91久久国产综合精品女同我 日韩中文字幕a 国产成人亚洲日本精品 久久国产精品-国产精品 久久国产经典视频 久久国产精品伦理 亚洲第一页在线视频 国产精品久久久久三级 日韩毛片网 久久免费高清视频 麻豆国产在线观看一区二区 91麻豆国产福利在线观看 国产成人精品男人的天堂538 一区二区三区中文字幕 免费在线视频一区 欧美日韩国产成人精品 国产综合网站 国产资源免费观看 亚洲精品亚洲人成在线播放 精品久久久久久中文字幕专区 亚洲人成人毛片无遮挡 国产一起色一起爱 国产香蕉精品视频在 九九热免费观看 日韩亚洲欧美一区 九九热精品在线观看 精品久久久久久中文字幕专区 亚洲欧美自拍偷拍 国产精品每日更新 久久久久国产一级毛片高清板 久久天天躁狠狠躁夜夜中文字幕 久久精品片 日韩在线毛片 国产成人精品本亚洲 国产成人精品一区二区三区 九九热在线观看 国产r级在线观看 国产欧美日韩精品高清二区综合区 韩国电影一区二区 国产精品毛片va一区二区三区 五月婷婷伊人网 久久一区二区三区免费 一本色道久久综合狠狠躁篇 亚洲综合色站 国产尤物在线观看 亚洲一区亚洲二区 免费在线视频一区 欧洲精品视频在线观看 日韩中文字幕a 中文字幕日本在线mv视频精品 91精品在线免费视频 精品国产免费人成在线观看 精品a级片 中文字幕日本在线mv视频精品 日韩在线精品视频 婷婷丁香色 91精品国产高清久久久久 国产成人精品日本亚洲直接 五月综合视频 欧美日韩在线亚洲国产人 精液呈暗黄色 亚洲乱码一区 久久精品中文字幕不卡一二区 亚洲天堂精品在线 激情婷婷综合 国产免费久久精品久久久 国产精品亚洲二区在线 久久免费播放视频 五月婷婷丁香综合 在线亚洲欧美日韩 久久免费精品高清麻豆 精品久久久久久中文字幕 亚洲一区网站 国产精品福利社 日韩中文字幕免费 亚洲综合丝袜 91精品在线播放 国产精品18 亚洲日日夜夜 伊人久久大香线蕉综合影 亚洲精品中文字幕乱码影院 亚洲一区二区黄色 亚洲第一页在线视频 一区二区在线观看视频 国产成人福利精品视频 亚洲高清二区 国内成人免费视频 精品亚洲性xxx久久久 国产精品合集一区二区三区 97av免费视频 国产一起色一起爱 国产区久久 国产资源免费观看 99精品视频免费 国产成人一级 国产精品九九免费视频 欧美91精品久久久久网免费 99热国产免费 久久精品色 98精品国产综合久久 久久精品播放 中文字幕视频免费 国产欧美日韩一区二区三区在线 精品久久蜜桃 国产小视频精品 一本色道久久综合狠狠躁篇 91在线免费观看 亚洲精品区 伊人成综合网 伊人热人久久中文字幕 伊人黄色片 99国产精品热久久久久久夜夜嗨 久久免费精品视频 亚洲一区二区三区高清不卡 久久久久国产一级毛片高清板 国产片一区二区三区 久久狠狠干 99久久婷婷国产综合精品电影 国产99区 国产精品成人久久久久 久久狠狠干 青青国产在线观看 亚洲高清国产拍精品影院 国产精品一区二区av 九九热在线免费视频 伊人久久国产 国产精品久久久久久久久久一区 在线观看免费视频一区 国产精品自在在线午夜区app 国产精品综合色区在线观看 国产毛片久久久久久国产毛片 97国产免费全部免费观看 国产精品每日更新 国产尤物视频在线 九九视频这里只有精品99 一本一道久久a久久精品综合 久久综合给会久久狠狠狠 国产成人精品男人的天堂538 欧美一区二区高清 毛片一区二区三区 国产欧美日韩在线观看一区二区三区 在线国产二区 欧美不卡网 91在线精品中文字幕 在线国产福利 国内精品91久久久久 91亚洲福利 日韩欧美国产中文字幕 91久久精品国产性色也91久久 亚洲性久久久影院 欧美精品1区 国产热re99久久6国产精品 九九热免费观看 国产精品欧美日韩 久久久久国产一级毛片高清板 久久国产经典视频 日韩欧美亚洲国产一区二区三区 欧美亚洲综合另类在线观看 国产精品自在在线午夜区app 97中文字幕在线观看 视频一二三区 精品国产一区在线观看 国产欧美日韩在线一区二区不卡 欧美一区二三区 伊人成人在线观看 国内精品91久久久久 97在线亚洲 国产在线不卡一区 久久久全免费全集一级全黄片 国产精品v欧美精品∨日韩 亚洲毛片网站 在线不卡一区二区 99re热在线视频 久久激情网 国产毛片一区二区三区精品 久久亚洲综合色 中文字幕视频免费 国产视频亚洲 婷婷伊人久久 国产一区二区免费播放 久久99国产精品成人欧美 99国产在线视频 国产成人免费视频精品一区二区 国产不卡一区二区三区免费视 国产码欧美日韩高清综合一区 久久精品国产主播一区二区 国产一区电影 久久精品国产夜色 国产精品国产三级国产 日韩一区二区三区在线 久久97久久97精品免视看 久久国产免费一区二区三区 伊人久久大香线蕉综合电影网 99re6久精品国产首页 久久激情网 亚洲成人高清在线 国产精品网址 国产成人精品男人的天堂538 香蕉国产综合久久猫咪 国产专区中文字幕 91麻豆精品国产高清在线 久久国产经典视频 国产精品成人va在线观看 国产精品爱啪在线线免费观看 日本精品久久久久久久久免费 亚洲综合一区二区三区 久久五月网 精品国产网红福利在线观看 久久综合亚洲伊人色 亚洲国产精品久久久久久网站 在线日韩国产 99国产精品热久久久久久夜夜嗨 国产综合精品在线 国产区福利 精品亚洲综合久久中文字幕 国产制服丝袜在线 毛片在线播放网站 在线观看免费视频一区 国产精品久久久精品三级 亚洲国产电影在线观看 最新日韩欧美不卡一二三区 狠狠综合久久综合鬼色 日本精品1在线区 国产日韩一区二区三区在线播放 欧美日韩精品在线播放 亚洲欧美日韩国产一区二区三区精品 久久综合久久网 婷婷六月激情在线综合激情 亚洲乱码一区 国产专区91 97av视频在线观看 精品久久久久久中文字幕 久久五月视频 国产成人福利精品视频 国产精品网址 中文字幕视频在线 精品一区二区三区免费视频 伊人手机在线视频 亚洲精品中文字幕乱码 国产在线视频www色 色噜噜国产精品视频一区二区 精品亚洲成a人在线观看 国产香蕉尹人综合在线 成人免费一区二区三区在线观看 国产不卡一区二区三区免费视 欧美精品久久天天躁 国产专区中文字幕 久久精品国产免费中文 久久精品国产免费一区 久久无码精品一区二区三区 国产欧美另类久久久精品免费 欧美精品久久天天躁 亚洲精品在线视频 国产视频91在线 91精品福利一区二区三区野战 日韩中文字幕免费 国产精品99一区二区三区 欧美成人高清性色生活 国产精品系列在线观看 亚洲国产福利精品一区二区 国产成人在线小视频 国产精品久久久久免费 99re热在线视频 久久久久久久综合 一区二区国产在线播放 成人国产在线视频 亚洲精品乱码久久久久 欧美日韩一区二区综合 精品久久久久免费极品大片 中文字幕视频二区 激情粉嫩精品国产尤物 国产成人精品一区二区视频 久久精品中文字幕首页 亚洲高清在线 国产精品亚洲一区二区三区 伊人久久艹 中文在线亚洲 国产精品一区二区在线播放 国产精品九九免费视频 亚洲二区在线播放 亚洲狠狠婷婷综合久久久久网站 亚洲欧美日韩网站 日韩成人精品 亚洲国产一区二区三区青草影视 91精品国产福利在线观看 国产精品久久久久久久久99热 国产一区二区精品尤物 久碰香蕉精品视频在线观看 亚洲日日夜夜 在线不卡一区二区 国产午夜亚洲精品 九九热在线视频观看这里只有精品 伊人手机在线视频 91免费国产精品 日韩欧美中字 91精品国产91久久久久 国产全黄三级播放 视频一区二区三区免费观看 国产开裆丝袜高跟在线观看 国产成人欧美 激情综合丝袜美女一区二区 国产成人亚洲综合无 欧美精品一区二区三区免费观看 欧美亚洲国产日韩 日韩亚州 国产欧美日韩精品高清二区综合区 亚洲午夜国产片在线观看 精品久久久久久中文字幕 欧美精品1区 久久伊人久久亚洲综合 亚洲欧美日韩精品 国产成人精品久久亚洲高清不卡 久久福利影视 国产精品99精品久久免费 久久久久免费精品视频 国产日产亚洲精品 亚洲国产午夜电影在线入口 精品无码一区在线观看 午夜国产精品视频 亚洲一级片免费 伊人久久大香线蕉综合影 国产精品久久影院 久碰香蕉精品视频在线观看 www.欧美精品 在线小视频国产 亚洲国产天堂久久综合图区 欧美一区二区三区不卡 日韩美女福利视频 九九精品免视频国产成人 不卡国产00高中生在线视频 亚洲第一页在线视频 欧美日韩在线播放成人 99re视频这里只有精品 国产精品91在线 精品乱码一区二区三区在线 国产区久久 91麻豆精品国产自产在线观看一区 日韩精品成人在线 九九热在线观看 国产精品久久不卡日韩美女 欧美一区二区三区综合色视频 欧美精品免费一区欧美久久优播 国产精品网址 国产专区中文字幕 国产精品欧美亚洲韩国日本久久 日韩美香港a一级毛片 久久精品123 欧美一区二区三区免费看 99r在线视频 亚洲精品国产字幕久久vr 国产综合激情在线亚洲第一页 91免费国产精品 日韩免费小视频 亚洲国产精品综合一区在线 国产亚洲第一伦理第一区 在线亚洲精品 国产精品一区二区制服丝袜 国产在线成人精品 九九精品免视频国产成人 亚洲国产网 欧美日韩亚洲一区二区三区在线观看 在线亚洲精品 欧美一区二区三区高清视频 国产成人精品男人的天堂538 欧美日韩在线观看区一二 亚洲欧美一区二区久久 久久精品中文字幕首页 日本高清www午夜视频 久久精品国产免费 久久999精品 亚洲国产精品欧美综合 88国产精品视频一区二区三区 91久久偷偷做嫩草影院免费看 国产精品夜色视频一区二区 欧美日韩导航 国产成人啪精品午夜在线播放 一区二区视频在线免费观看 99久久精品国产自免费 精液呈暗黄色 久久99国产精品 日本精品久久久久久久久免费 精品国产97在线观看 99re视频这里只有精品 国产视频91在线 999av视频 亚洲美女视频一区二区三区 久久97久久97精品免视看 亚洲国产成人久久三区 99久久亚洲国产高清观看 日韩毛片在线视频 综合激情在线 91福利一区二区在线观看 一区二区视频在线免费观看 激情粉嫩精品国产尤物 国产成人精品曰本亚洲78 国产成人精品本亚洲 国产精品成人免费视频 国产成人啪精品视频免费软件 久久精品国产亚洲妲己影院 国产精品成人久久久久久久 久久大香线蕉综合爱 欧美一区二区三区高清视频 99热国产免费 在线观看欧美国产 91精品视频在线播放 国产精品福利社 欧美精品一区二区三区免费观看 国产一区二区免费视频 国产午夜精品一区二区 精品视频在线观看97 91精品福利久久久 国产一区福利 国产综合激情在线亚洲第一页 国产精品久久久久久久久久久不卡 九色国产 在线日韩国产 黄网在线观看 亚洲一区小说区中文字幕 中文字幕丝袜 日本二区在线观看 日本国产一区在线观看 欧美日韩一区二区三区久久 欧美精品亚洲精品日韩专 国产日产亚洲精品 久久综合九色综合欧美播 亚洲国产欧美无圣光一区 欧美视频区 亚洲乱码视频在线观看 久久无码精品一区二区三区 九九热精品免费视频 久久99精品久久久久久牛牛影视 国产精品成久久久久三级 国产一区福利 午夜国产精品视频 日本二区在线观看 99久久网站 国产亚洲天堂 精品国产一区二区三区不卡 亚洲国产日韩在线一区 国产成人综合在线观看网站 久久免费高清视频 欧美在线导航 午夜精品久久久久久99热7777 欧美久久综合网 国产小视频精品 国产尤物在线观看 亚洲国产精品综合一区在线 欧美一区二区三区不卡视频 欧美黑人欧美精品刺激 日本福利在线观看 久久国产偷 国产手机精品一区二区 国产热re99久久6国产精品 国产高清啪啪 欧美亚洲国产成人高清在线 国产在线第三页 亚洲综合一区二区三区 99r在线视频 99精品久久久久久久婷婷 国产精品乱码免费一区二区 国产在线精品福利91香蕉 国产尤物视频在线 五月婷婷亚洲 中文字幕久久综合伊人 亚洲精品一级毛片 99国产精品电影 在线视频第一页 久久99国产精品成人欧美 国产白白视频在线观看2 成人精品一区二区www 亚洲成人网在线观看 麻豆91在线视频 色综合合久久天天综合绕视看 久久精品国产免费高清 国产不卡一区二区三区免费视 欧美国产中文 99精品欧美 九九在线精品 国产中文字幕在线免费观看 国产一区中文字幕在线观看 国产成人一级 国产精品一区二区制服丝袜 国产一起色一起爱 亚洲精品成人在线 亚洲欧美精品在线 国产欧美自拍视频 99精品久久久久久久婷婷 久99视频 国产热re99久久6国产精品 视频一区亚洲 国产精品视频分类 国产精品成在线观看 99re6久精品国产首页 亚洲在成人网在线看 亚洲国产日韩在线一区 久久国产三级 日韩国产欧美 欧美在线一区二区三区 国产精品美女一级在线观看 成人午夜免费福利视频 亚洲天堂精品在线 91精品国产手机 欧美日韩视频在线播放 狠狠综合久久综合鬼色 九一色视频 青青视频国产 亚洲欧美自拍一区 中文字幕天天躁日日躁狠狠躁97 日韩免费大片 996热视频 伊人成综合网 亚洲天堂欧美 日韩精品亚洲人成在线观看 久久综合给会久久狠狠狠 日韩精品亚洲人成在线观看 日韩国产欧美 亚洲成aⅴ人片在线影院八 亚洲精品1区 99久久精品免费 国产精品高清在线观看 国产精品久久久免费视频 在线亚洲欧美日韩 91在线看视频 国产精品96久久久久久久 欧美日韩国产成人精品 91在线亚洲 热久久亚洲 国产精品美女免费视频观看 日韩在线毛片 亚洲永久免费视频 九九免费在线视频 亚洲一区网站 日本高清二区视频久二区 精品国产美女福利在线 伊人久久艹 国产精品久久久久三级 欧美成人精品第一区二区三区 99久久精品国产自免费 在线观看日韩一区 国产中文字幕一区 成人免费午夜视频 欧美日韩另类在线 久久99国产精品成人欧美 色婷婷中文网 久久天天躁夜夜躁狠狠躁2020 欧美成人伊人久久综合网 国产精品福利资源在线 国产伦精品一区二区三区高清 国产精品亚洲综合色区韩国 亚洲一区欧美日韩 色综合视频 国语自产精品视频在线区 国产高清a 成人国内精品久久久久影 国产在线精品香蕉综合网一区 国产不卡在线看 国产成人精品精品欧美 国产欧美日韩综合精品一区二区三区 韩国电影一区二区 国产在线视频www色 91中文字幕在线一区 国产人成午夜免视频网站 亚洲综合一区二区三区 色综合视频一区二区观看 久久五月网 九九热精品在线观看 国产一区二区三区国产精品 99久热re在线精品996热视频 亚洲国产网 在线视频亚洲一区 日韩字幕一中文在线综合 国产高清一级毛片在线不卡 精品国产色在线 国产高清视频一区二区 精品日本久久久久久久久久 亚洲国产午夜精品乱码 成人免费国产gav视频在线 日韩欧美一区二区在线观看 欧美曰批人成在线观看 韩国电影一区二区 99re这里只有精品6 日韩精品一区二区三区视频 99re6久精品国产首页 亚洲欧美一区二区三区导航 欧美色图一区二区三区 午夜精品视频在线观看 欧美激情在线观看一区二区三区 亚洲热在线 成人国产精品一区二区网站 亚洲一级毛片在线播放 亚洲一区小说区中文字幕 亚洲午夜久久久久影院 国产自产v一区二区三区c 国产精品视频免费 久久调教视频 国产成人91激情在线播放 国产精品欧美亚洲韩国日本久久 久久亚洲日本不卡一区二区 91中文字幕网 成人国产在线视频 国产视频91在线 欧美成人精品第一区二区三区 国产精品福利在线 久久综合九色综合精品 欧美一区二区三区精品 久久国产综合尤物免费观看 久久99青青久久99久久 日韩精品免费 久久国产精品999 91亚洲视频在线观看 国产精品igao视频 色综合区 在线亚洲欧国产精品专区 国产一区二区三区在线观看视频 亚洲精品成人在线 一区二区国产在线播放 中文在线亚洲 亚洲精品第一国产综合野 国产一区二区精品久久 一区二区三区四区精品视频 99热精品久久 中文字幕视频二区 国产成人精品男人的天堂538 99精品影视 美女福利视频一区二区 久久午夜夜伦伦鲁鲁片 综合久久久久久久综合网 国产精品国产欧美综合一区 国产99视频在线观看 国产亚洲女在线精品 婷婷影院在线综合免费视频 国产亚洲3p一区二区三区 91成人爽a毛片一区二区 亚洲一区二区高清 国产欧美亚洲精品第二区首页 欧美日韩导航 亚洲高清二区 欧美激情观看一区二区久久 日韩毛片在线播放 亚洲欧美日韩高清中文在线 亚洲日本在线播放 国产精品一区二区制服丝袜 精品国产一区二区三区不卡 国产不卡在线看 国产欧美网站 四虎永久在线观看视频精品 国产黄色片在线观看 夜夜综合 一本色道久久综合狠狠躁篇 欧美亚洲综合另类在线观看 国产91在线看 伊人久久国产 欧美一区二区在线观看免费网站 国产精品久久久久三级 久久福利 日韩中文字幕a 亚洲午夜久久久久影院 91在线高清视频 国产亚洲一区二区三区啪 久久人精品 国产精品亚洲午夜一区二区三区 综合久久久久久 久久伊人一区二区三区四区 国产综合久久久久久 日韩一区精品视频在线看 国产精品日韩欧美制服 日本精品1在线区 99re视频 无码av免费一区二区三区试看 国产视频1区 日韩欧美中文字幕一区 日本高清中文字幕一区二区三区a 亚洲国产欧美无圣光一区 国产在线视频一区二区三区 欧美国产第一页 在线亚洲欧美日韩 日韩中文字幕第一页 在线不卡一区二区 伊人久久青青 国产精品一区二区在线播放 www.五月婷婷 麻豆久久婷婷国产综合五月 亚洲精品区 久久国产欧美另类久久久 99在线视频免费 伊人久久中文字幕久久cm 久久精品成人免费看 久久这里只有精品首页 88国产精品视频一区二区三区 中文字幕日本在线mv视频精品 国产在线精品成人一区二区三区 伊人精品线视天天综合 亚洲一区二区黄色 国产尤物视频在线 亚洲精品99久久久久中文字幕 国产一区二区三区免费观看 伊人久久大香线蕉综合电影网 国产成人精品区在线观看 日本精品一区二区三区视频 日韩高清在线二区 久久免费播放视频 一区二区成人国产精品 国产精品免费精品自在线观看 亚洲精品视频二区 麻豆国产精品有码在线观看 精品日本一区二区 亚洲欧洲久久 久久中文字幕综合婷婷 中文字幕视频在线 国产成人精品综合在线观看 91精品国产91久久久久福利 精液呈暗黄色 香蕉国产综合久久猫咪 国产专区精品 亚洲精品无码不卡 国产永久视频 亚洲成a人片在线播放观看国产 一区二区国产在线播放 亚洲一区二区黄色 欧美日韩在线观看视频 亚洲精品另类 久久国产综合尤物免费观看 国产一区二区三区国产精品 高清视频一区 国产精品igao视频 国产精品资源在线 久久综合精品国产一区二区三区 www.五月婷婷 精品色综合 99热国产免费 麻豆福利影院 亚洲伊人久久大香线蕉苏妲己 久久电影院久久国产 久久精品伊人 在线日韩理论午夜中文电影 亚洲国产欧洲综合997久久 伊人国产精品 久草国产精品 欧美一区精品二区三区 亚洲成人高清在线 91免费国产精品 日韩精品福利在线 国产一线在线观看 国产不卡在线看 久久99青青久久99久久 亚洲精品亚洲人成在线播放 99久久免费看国产精品 国产日本在线观看 青草国产在线视频 麻豆久久婷婷国产综合五月 国产中文字幕一区 91久久精品国产性色也91久久 国产一区a 国产欧美日韩成人 国产亚洲女在线精品 一区二区美女 中文字幕在线2021一区 在线小视频国产 久久这里只有精品首页 国产在线第三页 欧美日韩中文字幕 在线亚洲+欧美+日本专区 精品国产一区二区三区不卡 久久这里精品 欧美在线va在线播放 精液呈暗黄色 91精品国产手机 91在线免费播放 欧美视频亚洲色图 欧美国产日韩精品 日韩高清不卡在线 精品视频免费观看 欧美日韩一区二区三区四区 国产欧美亚洲精品第二区首页 亚洲韩精品欧美一区二区三区 国产精品视频免费 在线精品小视频 久久午夜夜伦伦鲁鲁片 国产无套在线播放 久热这里只精品99re8久 欧美久久久久 久久香蕉国产线看观看精品蕉 国产成人精品男人的天堂538 亚洲人成网站色7799在线观看 日韩在线第二页 一本色道久久综合狠狠躁篇 国产一区二区三区不卡在线观看 亚洲乱码在线 在线观看欧美国产 久久福利青草精品资源站免费 国产玖玖在线观看 在线亚洲精品 亚洲成aⅴ人在线观看 精品91在线 欧美一区二三区 日韩中文字幕视频在线 日本成人一区二区 日韩免费专区 国内精品在线观看视频 久久国产综合尤物免费观看 国产精品系列在线观看 一本一道久久a久久精品综合 亚洲免费播放 久久精品国产免费 久久人精品 亚洲毛片网站 亚洲成a人一区二区三区 韩国福利一区二区三区高清视频 亚洲精品天堂在线 一区二区三区中文字幕 亚洲国产色婷婷精品综合在线观看 亚洲国产成人久久笫一页 999国产视频 国产精品香港三级在线电影 欧美日韩一区二区三区四区 日韩国产欧美 国产精品99一区二区三区 午夜国产精品理论片久久影院 亚洲精品中文字幕麻豆 亚洲国产高清视频 久久免费手机视频 日韩a在线观看 五月婷婷亚洲 亚洲精品中文字幕麻豆 中文字幕丝袜 www国产精品 亚洲天堂精品在线 亚洲乱码一区 国产日韩欧美三级 久久999精品 伊人热人久久中文字幕 久热国产在线视频 国产欧美日韩在线观看一区二区三区 国产一二三区在线 日韩国产欧美 91精品国产91久久久久 亚洲一区小说区中文字幕 精品一区二区免费视频 国产精品视频免费 国产精品亚洲综合色区韩国 亚洲国产精品成人午夜在线观看 欧美国产日韩精品 中文字幕精品一区二区精品