故障處理方法、虛擬架構管理系統和業務管理系統與流程

            文檔序號:12278202閱讀:358來源:國知局
            故障處理方法、虛擬架構管理系統和業務管理系統與流程

            本發明涉及云計算領域,尤其涉及一種故障處理方法、虛擬架構管理系統、業務管理系統和虛擬化計算機系統。



            背景技術:

            在云計算領域,各個行業的業務系統正在實施虛擬化或云化部署。目前,業務系統中的業務運行在虛擬機上,虛擬機部署在作為共享資源池的硬件設備上,即業務不再采用傳統的專用硬件或物理服務器部署,以實現軟件硬件解耦和提高資源利用率。

            目前,當設備(如物理主機、存儲設備等)發生故障后,會把故障設備的故障通過故障告警消息發送給虛擬架構管理系統,虛擬架構管理系統再把故障告警消息發送給業務管理系統,由業務管理系統根據故障告警消息確定受影響的虛擬機和業務應用,并對受影響的業務應用執行故障處理操作。這使得業務管理系統需要感知硬件和硬件故障對應的業務應用,才能對業務應用執行故障處理,這樣會使得業務管理系統不能快速地將故障設備通知給故障設備所影響的業務應用,影響業務應用可靠性。



            技術實現要素:

            本發明提供一種故障處理方法、虛擬架構管理系統業務管理系統和虛擬化計算機系統,能夠快速地將硬件故障對虛擬機的影響通知給受影響的虛擬機所影響的業務,從而提高業務可靠性。

            第一方面,本發明提供了一種故障處理方法。該故障處理方法用于在虛擬化計算機系統中進行故障處理,該虛擬化計算機系統包括:虛擬架構管理系統、業務管理系統以及至少一個虛擬機,至少一個虛擬機運行在至少一臺物理設備上,至少一個虛擬機用于執行業務應用,業務管理系統用于管理業務應用,虛擬架構管理系統用于管理至少一個虛擬機和至少一臺物理設備。該故障處理方法包括:虛擬架構管理系統獲取故障告警消息,故障告警消息攜帶故障設備的標識信息和故障類型;虛擬架構管理系統根據故障告警消息確定第一虛擬機集合,第一虛擬機集合包括受所述故障設備影響的至少一個第一虛擬機;虛擬架構管理系統向業務管理系統發送狀態告警消息,狀態告警消息攜帶第一虛擬機集合的信息。

            該故障處理方法中,虛擬架構管理系統獲取到故障設備上的故障告警消息后,直接對該故障告警消息進行分析處理,獲取故障設備影響的一個或多個虛擬機,并向業務管理系統發送這些虛擬機的信息,使得業務管理系統可以直接根據這些虛擬機的信息分析得到受影響的業務應用,進而可以對受影響的業務應用進行處理。與現有技術相比,由虛擬架構管理系統直接根據故障設備的故障告警消息確定受故障設備影響的虛擬機的信息,使得業務管理系統可以直接根據第一虛擬機集合的狀態告警消息分析得到受影響的業務應用,而不是根據故障設備的告警消息去分析得到受影響的虛擬機、再分析受影響的業務應用。從而使得業務管理系統不需要直接感知硬件故障,進而可以快速觸發業務應用的影響處理,降低業務損失,提高業務應用的可靠性。

            在一種可能的實現方式中,所述故障處理方法還包括:虛擬架構管理系統根據故障硬件的故障告警消息確定第一虛擬機集合的影響信息,該影響信息用于指示故障設備對第一虛擬機集合中的第一虛擬機產生的影響的類型和/或級別;相應地,狀態告警消息還可以攜帶第一虛擬機集合的影響信息。

            該故障處理方法中,虛擬架構管理系統根據故障設備的故障告警信息除了可以獲取受影響的至少一個虛擬機,還可以獲取故障設備發生的故障對這些虛擬機的影響的類型和/或級別,然后在向業務管理系統發送的狀態告警消息中還攜帶用于指示故障設備對第一虛擬機集合中的第一虛擬機產生的影響的類型和/或級別的影響信息,從而使得業務管理系統或業務系統可以更加根據該影響信息對業務應用進行處理,進一步提高業務應用的可靠性。

            可選地,狀態告警信息還可以包括第一虛擬機集合中的第一虛擬機的標識信息、告警標識信息、告警名稱信息、告警對象類型信息、告警類型信息、告警產生時間信息、告警部件類型信息、告警部件標識信息和告警部件名稱信息。

            可選地,所述狀態告警信息可以包括故障設備的故障類型信息。

            在一種可能的實現方式中,故障設備對第一虛擬機集合中的第一虛擬機產生的影響的類型包括故障、高風險、中風險、低風險或無影響中的一種或多種類型。

            可選地,故障設備對第一虛擬機集合中的第一虛擬機產生的影響的級別包括緊急、重要或不重要。

            在一種可能的實現方式中,該故障處理方法還包括:虛擬架構管理系統接收業務管理系統發送的第一請求消息,第一請求消息用于指示待恢復的虛擬機,該待恢復的虛擬機為第一虛擬機集合中一個子集;虛擬架構管理系統根據第一請求信息優先恢復該待恢復的虛擬機。

            該故障處理方法中,虛擬架構管理系統可以根據業務管理系統的請求,根據業務管理系統指示的優先級,對受故障設備的故障所影響的第一虛擬機集合中的至少一個虛擬機進行恢復處理。

            可選地,虛擬架構管理系統對虛擬機進行的恢復處理可以包括:虛擬機熱遷移。

            在一種可能的實現方式中,該故障處理方法還包括:若虛擬架構管理系統在預置時間閾值內未接收到業務管理系統發送的第一請求信息,則按照預置虛擬機恢復策略恢復第一虛擬機集合中的第一虛擬機。

            該故障處理方法可以保證在業務管理系統沒有信息指示虛擬架構管理系統如何恢復第一虛擬機集合中的虛擬機時,虛擬架構管理系統可以主動根據預先配置的恢復策略對第一虛擬機集合中的第一虛擬機進行恢復。

            在一種可能的實現方式中,該故障處理方法還包括:虛擬架構管理系統向業務管理系統發送狀態告警清除消息。

            該故障處理方法中,虛擬架構管理系統對虛擬機進行恢復處理后,向業務管理系統發送狀態告警清除消息,使得業務管理系統可以根據該狀態告警清除消息清除之前接收的相關的狀態告警消息,從而避免業務管理系統對已經恢復的虛擬機相關的狀態告警消息進行分析處理。

            第二方面,本發明提供了一種虛擬架構管理系統,所述虛擬架構管理系統包括用于執行第一方面或第一方面任一種可能實現方式中的故障處理方法的各個模塊。

            本發明提供的虛擬架構管理系統,獲取到故障設備上的故障告警消息后,直接對該故障告警消息進行分析處理,獲取故障設備影響的一個或多個虛擬機,并向業務管理系統發送這些虛擬機的信息,使得業務管理系統可以直接根據這些虛擬機的信息分析得到受影響的業務應用,進而可以受影響的業務應用進行處理。與現有技術相比,由虛擬架構管理系統直接根據故障設備的故障告警消息確定受故障設備影響的虛擬機的信息,使得業務管理系統可以直接根據第一虛擬機集合的狀態告警消息分析得到受影響的業務應用,而不是根據故障設備的告警消息去分析得到受影響的虛擬機、再分析受影響的業務應用。從而使得業務管理系統不需要直接感知硬件故障,進而可以快速觸發業務應用的影響處理,降低業務損失,提高業務應用的可靠性。

            第三方面,本發明提供一種虛擬架構管理系統,所述虛擬架構管理系統包括處理器、存儲器、通信接口和總線。其中,處理器、存儲器、通信接口通過總線進行通信,也可以通過無線傳輸等其他手段實現通信。該存儲器用于存儲指令,該處理器用于執行該存儲器存儲的指令。該存儲器存儲程序代碼,且處理器可以調用存儲器中存儲的程序代碼執行第一方面及第一方面任一種可能實現方式中的故障處理方法。

            第四方面,本發明提供了一種計算機可讀介質,所述計算機可讀介質存儲用于虛擬架構管理系統執行的程序代碼,所述程序代碼包括用于執行第一方面及第一方面任一種可能實現方式中的故障處理方法的指令。

            第五方面,本發明還提供了一種故障處理方法,該故障處理方法用于在虛擬化計算機系統中進行故障處理,虛擬化計算機系統包括:虛擬架構管理系統、業務管理系統以及至少一個虛擬機,該至少一個虛擬機運行在至少一臺物理設備上,該至少一個虛擬機用于執行業務應用,業務管理系統用于管理業務應用,虛擬架構管理系統用于管理該至少一個虛擬機和該至少一臺物理設備;該故障處理方法包括:業務管理系統接收虛擬架構管理系統發送的狀態告警消息,該狀態告警消息攜帶受故障設備影響的第一虛擬機集合的信息,第一虛擬機集合中包括至少一個第一虛擬機;業務管理系統根據狀態告警消息確定至少一個第一虛擬機關聯的業務應用;業務管理系統對關聯的業務應用執行處理操作。

            該故障處理方法中,業務管理系統從虛擬架構管理系統接收到受故障設備影響的第一虛擬機集合中的虛擬機的信息后,可以直接根據這些虛擬機的信息分析得到受影響的業務應用,進而可以對受影響的業務應用進行處理。與現有技術相比,業務管理系統可以直接根據第一虛擬機集合的狀態告警消息分析得到受影響的業務應用,而不是根據故障設備的告警消息去分析得到受影響的虛擬機、再分析受影響的業務應用。從而使得業務管理系統不需要直接感知硬件故障,進而可以快速觸發業務應用的影響處理,降低業務損失,提高業務應用的可靠性。

            在一種可能的實現方式中,第一虛擬機集合的狀態告警消息還攜帶第一虛擬機集合的影響信息,該影響信息用于指示故障設備對第一虛擬機集合中的至少一個第一虛擬機產生的影響的類型和/或級別。相應地,業務管理系統對業務應用執行處理操作包括:業務管理系統根據第一虛擬機集合的影響信息對業務應用執行處理操作。

            該故障處理方法中,業務管理系統從虛擬架構管理系統接收的第一虛擬機集合的狀態告警消息中還攜帶用于指示故障設備對第一虛擬機集合中的第一虛擬機產生的影響的類型和/或級別的影響信息,從而使得業務管理系統或業務系統可以更加根據該影響信息對業務應用進行處理,進一步提高業務應用的可靠性。

            可選地,狀態告警信息還可以包括第一虛擬機集合中的第一虛擬機的標識信息、告警標識信息、告警名稱信息、告警對象類型信息、告警類型信息、告警產生時間信息、告警部件類型信息、告警部件標識信息和告警部件名稱信息。

            可選地,所述狀態告警信息可以包括故障設備的故障類型信息。

            在一種可能的實現方式中,第一虛擬機集合產生的影響的類型包括故障、高風險、中風險、低風險或無影響中的一種或多種類型。

            可選地,故障設備對第一虛擬機集合中的第一虛擬機產生的影響的級別包括緊急、重要或不重要。

            在一種可能的實現方式中,處理操作包括以下方式中的至少一種:

            業務管理系統將至少一個第一虛擬機關聯的業務應用切換至未受故障設備影響的虛擬機執行;或

            業務管理系統將至少一個第一虛擬機的應用狀態信息標識為隔離狀態,隔離狀態用于指示至少一個第一虛擬機停止執行至少一個第一虛擬機關聯的業務應用;或

            業務管理系統向虛擬架構管理系統發送第一請求消息,第一請求消息用于指示待恢復的虛擬機,待恢復的虛擬機為第一虛擬機集合中一個子集;或

            業務管理系統向至少一個第一虛擬機關聯的業務應用的控制節點發送狀態告警消息,以使得控制節點根據狀態告警消息將至少一個第一虛擬機關聯的業務應用切換至未受故障設備影響的虛擬機執行或將至少一個第一虛擬機的應用狀態信息標識為隔離狀態。

            在一種可能的實現方式中,該故障處理方法還包括:業務管理系統根據第一虛擬機集合的影響信息確定第一請求消息。

            該故障處理方法中,業務管理系統可以根據第一虛擬機的影響信息確定第一虛擬機集合中需要虛擬架構管理系統恢復的待恢復的虛擬機的優先級,并向虛擬機架構管理發送用于指示這些待恢復的虛擬機的恢復優先級的第一請求消息,使得虛擬架構管理系統可以根據業務管理系統指示的優先級,對受故障設備的故障所影響的第一虛擬機集合中的至少一個虛擬機進行恢復處理。

            在一種可能的實現方式中,業務管理系統向虛擬架構管理系統發送用于指示待恢復的虛擬機的恢復優先級的第一請求消息的一種具體實現方式可以為:業務管理系統根據業務應用的優先級向虛擬架構管理系統發送第一請求消息。

            該故障處理方法中,業務管理系統根據第一虛擬機集合中的第一虛擬機相關聯的業務應用的優先級,即根據故障設備影響的業務應用的優先級指示虛擬架構管理系統對第一虛擬機集合中的待恢復的虛擬機進行恢復處理,從而可以保證高優先級的業務應用可以優先得到恢復,進一步保證業務應用的可靠性。

            可選地,業務管理系統可以根據第一虛擬機集合的影響信息和相關聯的業務應用的優先級向虛擬架構管理系統發送第一請求消息。

            在一種可能的實現方式中,業務管理系統向虛擬架構管理系統發送第一請求消息的一種具體實現方式為:業務管理系統根據業務應用的部署模式向虛擬架構管理系統發送第一請求消息,業務應用的部署模式包括主備模式、負荷分擔模式和單虛擬機模式中的至少一種。

            該故障處理方法中,業務管理系統根據業務應用的部署模式,即根據故障設備影響的業務應用的部署模式指示虛擬架構管理系統對第一虛擬機集合中的待恢復的虛擬機進行恢復處理。

            可選地,業務管理系統可以根據第一虛擬機集合的影響信息和業務應用的部署模式向虛擬架構管理系統發送第一請求消息,或可以根據業務應用的部署模式和業務應用的優先級向虛擬架構管理系統發送第一請求消息,或可以根據第一虛擬機集合的影響信息、業務應用的部署模式和業務應用的優先級向虛擬架構管理系統發送第一請求消息。

            在一種可能的實現方式中,該故障處理方法還包括:業務管理系統接收虛擬架構管理系統發送的狀態告警清除消息;業務管理系統根據該狀態告警清除消息清除之前接收的相關的狀態告警消息。

            該故障處理方法中,業務管理系統可以根據虛擬架構管理系統發送的狀態告警清除消息清除之前接收的相關的狀態告警消息,從而避免對已經恢復的虛擬機相關的狀態告警消息進行分析處理。

            第六方面,本發明提供了一種業務管理系統,所述業務管理系統包括用于執行第五方面或第五方面的任一可能的實現方式中的故障處理方法的各個模塊。

            第七方面,本發明提供了一種業務管理系統,所述業務管理系統包括處理器、存儲器、通信接口和總線。其中,處理器、存儲器、通信接口通過總線進行通信,也可以通過無線傳輸等其他手段實現通信。該存儲器用于存儲指令,該處理器用于執行該存儲器存儲的指令。該存儲器存儲程序代碼,且處理器可以調用存儲器中存儲的程序代碼執行第五方面及第五方面任一種可能實現方式中的故障處理方法。

            第八方面,本發明提供了一種計算機可讀介質,所述計算機可讀介質存儲用于業務管理系統執行的程序代碼,所述程序代碼包括用于執行第五方面或第五方面的任一可能的實現方式中的故障處理方法的指令。

            第九方面,本發明提供了一種虛擬化計算機系統,包括虛擬管理節點和業務管理節點,該虛擬化管理節點用于執行第一方面或第一方面的任一可能的實現方式中的故障處理方法,該業務管理節點用于執行第五方面或第五方面的任一可能的實現方式中的故障處理方法。

            附圖說明

            為了更清楚地說明本發明實施例的技術方案,下面將對本發明實施例中所需要使用的附圖作簡單地介紹,顯而易見地,下面所描述的附圖僅僅是本發明的一些實施例的附圖。

            圖1A是應用本發明實施例的故障處理方法的示意性系統結構圖。

            圖1B是應用本發明實施例的故障處理方法的另一種示意性系統結構圖。

            圖2是本發明一個實施例的故障處理方法的示意性流程圖。

            圖3是本發明另一個實施例的故障處理方法的示意性流程圖。

            圖4是本發明另一個實施例的故障處理方法的示意性流程圖。

            圖5是本發明一個實施例的虛擬架構管理系統的示意性結構圖。

            圖6是本發明一個實施例的業務管理系統的示意性結構圖。

            圖7是本發明另一個實施例的虛擬架構管理系統的示意性結構圖。

            圖8是本發明另一個實施例的業務管理系統的示意性結構圖。

            具體實施方式

            下面將結合本發明實施例中的附圖,對本發明實施例中的技術方案進行清楚、完整地描述,顯然,所描述的實施例是本發明一部分實施例,而不是全部的實施例。

            為了便于理解,先從整體上描述能夠實施本發明實施例的故障處理方法的系統架構的示例圖。應理解,本發明實施例并不限于圖1A和圖1B所示的虛擬化計算機系統中,此外,圖1A和圖1B中的裝置可以是硬件,也可以是從功能上劃分的軟件或者以上二者的結合。

            硬件資源(Hardware Resources)110可以包括一個或多個設備,每個設備可以為X86服務器、存儲設備、網絡設備等硬件設備資源,可用于提供計算、存儲、網絡等硬件功能。

            虛擬化層(Virtualization Layer)120通過虛擬化技術對計算、存儲、網絡等硬件資源進行虛擬化,其中,虛擬化技術可以使用Xen,HyperV,也可以使用KVM,本發明不作限制。

            虛擬資源(Virtual Resources)130是指通過虛擬化技術對硬件資源110進行虛擬化形成的虛擬資源,如虛擬計算、虛擬網絡、虛擬存儲等。

            硬件資源110、虛擬化層120和虛擬資源130又可以成為虛擬架構層(Virtualized Infrastructure Layer),為上層業務提供虛擬資源或虛擬資源池等基礎設施層。

            業務系統140中部署一個或多個業務應用功能,每個業務應用部署在一個或多個虛擬機上,即這些虛擬機用于執行業務應用。虛擬機部署在硬件資源110中的設備上。

            每個業務應用有對應的控制節點。控制節點用于對對應的業務應用進行管理。控制節點也可稱為仲裁節點。控制節點可以部署在業務系統中,一個控制節點可以分別管理對應的一個業務應用,如圖1A所示;一個控制節點也可以管理多個業務應用,如圖1B所示。控制節點可以指用于對對應的業務應用進行管理的硬件裝置,也可以指業務應用運行的多個虛擬機中的一個虛擬機。

            虛擬架構管理(Virtualized Infrastructure Manager)系統150實現虛擬化基礎設施的管理,負責對物理硬件(即硬件資源110)虛擬化資源和部署在硬件資源110中的設備上的虛擬機進行統一管理、監控、資源調度、故障處理等,為業務系統運行提供資源支持,并提供開放接口等。虛擬化架構管理系統150也可以稱為是虛擬化層的組成部分。

            業務管理系統160,用于對運行在虛擬機上的業務應用進行管理,如創建業務應用、發放業務應用、業務應用中虛擬資源調度、及關閉業務應用等。業務管理系統可以管理一個或多個業務應用。業務管理系統調用虛擬架構管理系統提供的接口,為業務應用運行提供資源,實現業務應用發放、部署等。業務管理系統160與虛擬架構管理系統150對接。當然,業務管理系統可以與多個虛擬架構管理系統對接。

            其中,業務管理系統160和業務系統140又可統稱為應用層。業務管理系統160和業務系統140可以是邏輯分開的系統,如圖1A和1B所示,也可以由一個系統實現二者的功能。本發明實施例的以下具體描述中以圖1A所示虛擬化計算機系統為例進行具體描述。

            由上述內容可知,業務系統運行在虛擬資源130中的虛擬機上,業務系統不需要關心具體的硬件設備,也不需要知道業務應用所在的虛擬機具體在哪個硬件設備上運行,業務管理系統和業務系統均不需要直接感知設備及故障設備對業務應用的影響。

            因此本發明提出新的故障處理方法、虛擬架構管理系統、業務管理系統和虛擬化計算機系統,使得業務管理系統不用直接感知設備以及設備故障對業務應用的影響,而是可以從虛擬架構管理系統獲知設備故障對VM的影響,從而可以快速地獲知受影響的業務應用,進而使得受影響的業務應用能夠快速地得到處理。

            下面以圖1A所示的虛擬化計算機系統為例對本發明實施例的故障處理方法進行詳細的介紹。

            圖2為本發明實施例的故障處理方法的示意性流程圖。應理解,圖2示出了故障處理方法的步驟或操作,但這些步驟或操作僅是示例,本發明實施例還可以執行其他操作或者圖2中的各個操作的變形。此外,圖2中的各個步驟可以按照與圖2呈現的不同的順序來執行,并且有可能并非要執行圖2中的全部操作。

            S210,虛擬架構管理系統獲取故障告警消息,故障告警消息攜帶故障設備的標識信息和故障類型。

            其中,故障設備可以是圖1A中所示硬件資源110中任意一種或多種設備,故障類型包括整機故障或部分硬件故障。

            例如,若故障設備為X86服務器,則故障類型可以為X86服務器整機故障,也可以是X86服務器中CPU、內存、網卡、磁盤中至少一種硬件故障。

            本發明實施例中,故障設備(如服務器、存儲設備等)可以快速檢測自身故障,然后虛擬架構管理系統可以通過多種方式或協議獲取故障設備的故障告警消息,如故障設備可以通過簡單網絡管理協議(Simple Network Management Protocol,SNMP)向虛擬架構管理系統上報故障設備的故障告警消息,或者虛擬架構管理系統可以通過表述性狀態傳遞(Representational State Transfer,REST)接口查詢故障設備的故障告警消息。

            S220,虛擬架構管理系統根據故障設備的故障告警消息確定第一虛擬機集合,第一虛擬機集合包括受故障設備影響的至少一個第一虛擬機。

            虛擬架構管理系統獲取到故障設備的故障告警消息后,根據該故障告警消息確定受故障設備影響的第一虛擬機集合。虛擬架構管理系統獲取到故障設備的故障告警消息后,根據該故障告警消息確定第一虛擬機集合確定第一虛擬機集合的具體實現方式可以是:虛擬架構管理系統根據故障設備的標識信息和故障類型,從虛擬架構管理系統的數據庫中,查詢部署在該故障設備上且受該故障設備發生的故障所影響的全部或部分虛擬機的信息。為了后續描述方便,可以將受到影響的虛擬機中的每個虛擬機稱為第一虛擬機,所有的第一虛擬機組成第一虛擬機集合。

            S230,虛擬架構管理系統向業務管理系統發送狀態告警消息其中,狀態告警消息攜帶第一虛擬機集合的信息。

            當虛擬架構管理系統為多個第一虛擬機分別生成一條狀態告警消息時,虛擬架構管理系統可以一次將這些狀態告警消息發送給業務管理系統,也可以分多次發送給業務管理系統。

            當然,虛擬架構管理系統也可以為所有受影響的虛擬機生成一個狀態告警消息,即第一虛擬機集合中所有第一虛擬機生成一個狀態告警消息,本發明對此不作限制。

            業務管理系統接收虛擬架構管理系統發送的第一虛擬機集合的狀態告警消息后,可以存儲將該狀態告警消息,如將該狀態告警消息記錄或保存在業務管理系統的數據庫中。

            S240,業務管理系統根據第一虛擬機集合的狀態告警消息確定第一虛擬機集合中至少一個第一虛擬機關聯的業務應用。

            業務管理系統接收到虛擬架構管理系統發送的第一虛擬機集合的狀態告警消息后,將該狀態告警信息和業務應用關聯,識別具體受影響的業務應用,具體實現方式可以為:根據第一虛擬機集合的狀態告警消息中攜帶的受影響的第一虛擬機的信息,從業務管理系統的數據庫或配置文件中,查詢第一虛擬機和業務應用的對應關系,識別出具體受影響的業務應用。

            S250,業務管理系統對第一虛擬機集合中的至少一個第一虛擬機關聯的業務應用執行處理操作。

            具體而言,業務管理系統對第一虛擬機集合中的第一虛擬機關聯的業務應用執行處理操作的一種實現方式可以是:業務管理系統向業務應用對應的控制節點發送第一虛擬機集合的信息。其中,第一虛擬機集合的信息用于指示控制節點對該業務應用進行恢復處理。

            可選地,業務管理系統對第一虛擬機集合中的至少一個第一虛擬機關聯的業務應用執行處理操作包括以下方式中的至少一種:

            方式一:業務管理系統將受影響的至少一個第一虛擬機關聯的業務應用切換至未受所述故障設備影響的虛擬機執行

            方式二:業務管理系統將將所述至少一個第一虛擬機的應用狀態信息標識為隔離狀態,所述隔離狀態用于指示所述至少一個第一虛擬機停止執行所述至少一個第一虛擬機關聯的業務應用,即在業務應用中隔離受影響的虛擬機。

            方式三:業務管理系統向虛擬架構管理系統發送第一請求消息,第一請求消息用于指示待恢復的虛擬機,待恢復的虛擬機為所述第一虛擬機集合中一個子集。

            方式四:業務管理系統向至少一個第一虛擬機關聯的業務應用的控制節點發送狀態告警消息,以使得控制節點根據所述狀態告警消息將至少一個第一虛擬機關聯的業務應用切換至未受所述故障設備影響的虛擬機執行或將所述至少一個第一虛擬機的應用狀態信息標識為所述隔離狀態。

            本發明實施例中,虛擬架構管理系統獲取到故障設備上的故障告警消息后,直接對該故障告警消息進行分析處理,獲取故障設備影響的一個或多個虛擬機,并向業務管理系統發送這些虛擬機的信息。業務管理系統可以直接根據這些虛擬機的信息分析得到受影響的業務應用,進而可以對受影響的業務應用進行處理。與現有技術相比,由虛擬架構管理系統直接根據故障設備的故障告警消息確定受故障設備影響的虛擬機的信息,使得業務管理系統可以直接根據第一虛擬機集合的狀態告警消息分析得到受影響的業務應用,而不是根據故障設備的告警消息去分析得到受影響的虛擬機、再分析受影響的業務應用。從而使得業務管理系統不需要直接感知硬件故障,進而可以快速觸發業務應用的影響處理,降低業務損失,提高業務應用的可靠性。

            本發明實施例中,可選地,虛擬架構管理系統可以根據故障設備的故障告警消息確定第一虛擬機集合的影響信息,該影響信息用于指示故障設備對第一虛擬機集合中至少一個第一虛擬機產生的影響的類型和/或級別。對應地,虛擬機架構管理系統向業務管理系統發送的狀態告警消息還可以攜帶該影響信息,業務管理系統從虛擬架構管理系統出接收的狀態告警消息可以攜帶該影響信息。然后業務管理系統根據第一虛擬機集合的影響信息對所述第一虛擬機集合中的第一虛擬機關聯的業務應用執行處理操作。

            用戶可以根據需求定義虛擬機受到故障設備的故障所影響的類型和/或級別,下面是本發明實施例的虛擬機受到故障設備的影響的類型和級別的示例。

            當物理服務器發生整機故障(包括物理服務器下電、主機操作系統故障等不能提供計算資源的故障)、存儲設備故障(存儲設備下電、全部斷鏈等情況)、以及其他硬件故障導致虛擬機無法運行、為業務提供服務時,則虛擬機受影響的類型可設置為故障,級別可設置為緊急。對于網卡或其他硬件故障,若導致虛擬機無法正常工作時,則虛擬機受影響的類型可以為故障,級別可以設置為緊急。

            當物理服務器發生部件故障,如中央處理器(Central Processing Unit,CPU)、內存、部分網卡發生故障時,若暫時不影響虛擬機運行,但存在運行風險的情況,則虛擬機受影響的類型可以設置為高風險,級別可設置為重要。

            當存儲設備發生部件故障,如部分鏈路中斷、部分控制器故障等,若暫時不影響虛擬機運行,但存在運行風險的情況,則虛擬機受影響的類型可以設置為中風險,級別可以設置為次要。

            通常情況下,凡是硬件故障導致虛擬機無法運行或無法對外提供服務時,虛擬機受影響的類型均可以設置為故障,級別均可以設置為緊急。

            而對于不影響任何虛擬機運行的硬件故障,則可以不設置虛擬機的受影響的類型和級別,或者可以設置虛擬機受影響的類型為低風險或無風險,級別為提示。

            通過上面內容的描述可知,虛擬架構管理系統向業務管理系統發送的狀態告警消息可以包括第一虛擬機集合的信息,即受影響的至少一個第一虛擬機的標識。還可以包括第一虛擬機集合的影響信息,即故障設備對第一虛擬機集合中至少一個第一虛擬機產生的影響的類型和/或級別。

            可選地,告警狀態消息還可以包括產生時間、清除時間、告警同步號、告警名稱、告警對象類型等。除了上述信息,虛擬機的狀態告警消息還可以攜帶故障設備的故障原因等信息。當然,虛擬機的狀態告警消息包括的信息不限于上述列舉的內容。

            上述虛擬架構管理系統執行的方法中,虛擬架構管理系統雖然只是對故障設備的告警消息進行分析處理,并向業務管理系統提供分析得到的信息,但是虛擬架構管理系統執行的該故障處理方法是后續對受故障影響的虛擬機進行處理或后續對受故障影響的業務應用的處理之前行之有效的方法,因此可以毫無意義地將其稱為故障處理方法。

            本發明實施例中,可選地,業務管理系統可以調用虛擬架構管理系統提供的接口,請求虛擬架構管理系統對受影響的虛擬機進行處理。具體而言,業務管理系統可以根據第一虛擬機集合的影響信息確定用于指示需要優先恢復的待恢復的虛擬機的第一請求消息,該待恢復的虛擬機虛擬機為第一虛擬機集合中一個子集。然后業務管理系統向虛擬架構管理系統發送該第一請求消息。

            業務管理系統根據第一虛擬機的影響信息確定第一虛擬機集合中需要虛擬架構管理系統恢復的虛擬機的優先級,并向虛擬機架構管理發送用于指示待恢復的虛擬機的恢復優先級的第一請求消息,使得虛擬架構管理系統可以根據業務管理系統指示的優先級,對受故障設備的故障所影響的第一虛擬機集合中的至少一個虛擬機進行恢復處理。

            可選地,業務管理系統向虛擬架構管理系統發送用于指示待恢復的虛擬機的恢復優先級的第一請求消息的另一種具體實現方式可以為:業務管理系統根據業務應用的優先級向虛擬架構管理系統發送第一請求消息。

            具體而言,業務管理系統根據第一虛擬機集合中的第一虛擬機相關聯的業務應用的優先級,即根據故障設備影響的業務應用的優先級指示虛擬架構管理系統對第一虛擬機集合中的待恢復的虛擬機進行恢復處理,從而可以保證高優先級的業務應用可以優先得到恢復,進一步保證業務應用的可靠性。

            如業務管理系統可以通過第一請求消息指示虛擬機架構管理系統優先恢復第一虛擬機集合中優先級高的第一虛擬機。

            可選地,業務管理系統可以根據第一虛擬機集合的影響信息和相關聯的業務應用的優先級向虛擬架構管理系統發送第一請求消息。

            可選地,業務管理系統向虛擬架構管理系統發送第一請求消息的一種具體實現方式為:業務管理系統根據業務應用的部署模式向虛擬架構管理系統發送第一請求消息,業務應用的部署模式包括主備模式、負荷分擔模式和單虛擬機模式中的至少一種。

            具體而言,業務管理系統根據業務應用的部署模式,即根據故障設備影響的業務應用的部署模式指示虛擬架構管理系統對第一虛擬機集合中的待恢復的虛擬機進行恢復處理。

            如業務管理系統可以通過第一請求消息指示虛擬架構管理系統優先恢復部署模式為主備模式的業務應用的主備虛擬機中的主虛擬機。

            可選地,業務管理系統可以根據第一虛擬機集合的影響信息和業務應用的部署模式向虛擬架構管理系統發送第一請求消息,或可以根據業務應用的部署模式和業務應用的優先級向虛擬架構管理系統發送第一請求消息,或可以根據第一虛擬機集合的影響信息、業務應用的部署模式和業務應用的優先級向虛擬架構管理系統發送第一請求消息。

            虛擬架構管理系統接收業務管理系統發送的第一請求消息后,可以根據第一請求消息的指示對第一虛擬機集合中的待恢復的虛擬機按照一定的優先級進行恢復處理。虛擬架構管理系統對虛擬機的具體恢復形式可以是虛擬機遷移,即將虛擬機從故障設備遷移到其他正常設備;還可以是利用虛擬機快照在其他正常設備上恢復該虛擬機。

            可選地,若虛擬架構管理系統在預置時間閾值內未接收到業務管理系統發送的用于指示第一虛擬機集合中需要優先恢復的虛擬機的第一請求信息,則按照預置虛擬機恢復策略恢復第一虛擬機集合中的第一虛擬機。

            這樣可以保證在業務管理系統沒有信息指示虛擬架構管理系統如何恢復第一虛擬機集合中的虛擬機時,虛擬架構管理系統可以主動根據預置虛擬機恢復策略對第一虛擬機集合中的至少一個第一虛擬機進行恢復。

            可選地,無論是業務管理系統請求虛擬架構管理系統對受影響的虛擬機進行處理,還是虛擬架構管理系統主動對受影響的虛擬機進行處理,虛擬架構管理系統對受影響的虛擬機處理完后,均可以給業務管理系統發送狀態告警清除消息,以指示業務管理系統可以清除之前接收到的、與該進行處理的虛擬機對應的狀態告警消息。

            業務管理系統收到虛擬架構管理系統發送的狀態告警清除消息后,可以將對應的虛擬機的狀態告警消息清除,減少業務管理系統對已恢復告警的維護工作,從而可以節省資源,提高效率。

            業務管理系統清除狀態告警消息的具體形式可以是將存儲的狀態告警消息刪掉,也可以是修改狀態告警消息中的某個信息,使得該信息指示該狀態告警消息對應的虛擬機已經恢復了。

            本發明實施例中,可選地,業務管理系統根據第一虛擬機集合的信息確定第一虛擬機集合中的第一虛擬機關聯的業務應用后,可以向業務應用關聯的控制節點發送第一虛擬機集合的信息。

            當業務應用的控制節點接收到業務管理系統發送的第一虛擬機集合的信息后,可以根據第一虛擬機集合中的第一虛擬機的信息對受影響的業務應用進行處理。

            可選地,業務應用的控制節點還可以根據業務應用的部署模式對業務應用進行處理。如當業務應用為主備模式部署時,若主虛擬機故障,則控制節點需要進行主備切換;若備VM故障,控制節點不需要主備切換。如當業務應用為負荷分擔模式部署時,控制節點將受影響的VM隔離。

            可選地,業務應用的控制節點可以根據業務應用的部署模式和第一虛擬機集合的影響信息對業務應用進行處理。如當第一虛擬機集合的影響信息指示故障設備對第一虛擬機的影響的類型為故障、級別為緊急,且業務應用為主備模式部署,若主VM故障,則控制節點需要進行主備切換,若備VM故障或業務應用不重要,則控制節點可以不作處理,即控制節點不需要主備切換。應了解,上述根據虛擬機受影響的類型、級別及部署模式等對業務應用進行處理的方式只是示例性說明,其具體實現可以根據用戶的需求來定義,本發明對此不作限制。

            可選地,業務應用的控制節點對業務應用處理完成后,可以向業務管理系統發送業務處理反饋消息,告知業務管理系統其對業務應用的處理結果。

            下面結合圖3,以物理主機故障為例,詳細介紹本發明實施例的故障處理方法。如圖3所示,其中包括三個設備,分別為計算節點1、計算節點2和計算節點3。計算節點1、計算節點2和計算節點3可以分別為圖1A或圖1B中的設備1、設備2和設備3。

            在虛擬化計算機系統中部署了2種業務應用(Application,APP)。一種應用為App1,與VM1和VM2關聯,采用主備模式部署。其中,VM1部署在計算節點1上,為APP1的主用虛擬機;VM2部署在計算節點2上,為APP1的備用虛擬機。另一種應用為App2,與VM3和VM4關聯,采用負荷分擔模式部署,VM3部署在服務器計算節點2上,VM4部署在計算節點3上。

            S402,當計算節點1發生掉電故障時,計算節點1通過SNMP協議向虛擬架構管理上報計算節點1的故障告警消息。

            S404,虛擬架構管理接收到故障告警消息,根據該故障告警消息,確定受故障影響的虛擬機,并產生虛擬機的狀態告警消息,具體步驟如下。

            (1)虛擬架構管理系統收到計算節點1的硬件故障告警消息,從虛擬架構管理系統的數據庫中查詢計算節點1上運行的虛擬機列表,獲取到受影響的虛擬機有VM1,得到VM1的ID等信息。

            (2)由于計算節點1掉電故障導致VM1故障,VM1無法運行提供服務,因此可以將VM1受影響的類型設置為故障,VM1受影響的級別設置為緊急。

            (3)虛擬架構管理系統產生VM1的狀態告警消息,其攜帶信息包括:VM1ID、VM1受影響的類型(為故障)、產生時間、VM1受影響的級別(為緊急)、故障設備的故障類型(為計算節點1整機故障)等。

            S406,虛擬架構管理系統向業務管理系統發送VM1的狀態告警消息。

            S408,業務管理系統接收虛擬架構管理系統發送的虛擬機的狀態告警消息,獲得VM1的ID等信息,從業務管理系統的數據庫查詢出VM1和業務應用的對應關系,得到受影響的業務應用為App1。

            業務管理系統向App1的控制節點發送通知消息,通知VM1的故障。然后該控制節點根據通知消息確定把VM2升為主用服務器。

            S410,業務管理系統調用虛擬架構管理系統提供的接口,向虛擬架構管理系統發送第一請求消息,請求虛擬架構管理系統快速恢復VM1。

            S412,虛擬架構管理系統將VM1遷移到計算節點3中,此時,VM1變為App1的備用虛擬機。

            此時,在具體實施過程中,虛擬架構管理系統還可以對計算節點1進行故障隔離。

            S414,虛擬架構管理系統把VM1恢復后,給業務管理發送VM1狀態告警清除消息。

            經過故障處理后,業務系統中的應用的部署情況如圖4所示。其中,App1采用主備模式部署,VM2部署在計算節點2上為主用虛擬機,VM1部署在計算節點3上為備用虛擬機。App2采用負荷分擔模式部署,VM3部署在計算節點2上,VM4部署在計算節點3上。計算節點1故障,從資源池隔離。

            上述實施例中,計算節點1發生故障后,向虛擬架構管理系統發送告警消息,虛擬架構管理系統根據告警消息確定受影響的虛擬機為VM1,且確定VM1受到的影響的類型和級別。業務管理系統不用直接對硬件的告警消息進行處理,即可直接從虛擬架構管理系統處獲取受影響的VM1的信息和VM1受到的影響信息,進而確定VM1上運行的業務應用為App1,業務管理系統通知App1的控制節點對App1進行處理,并請求虛擬架構管理系統對VM1進行恢復。虛擬架構管理系統根據業務管理系統的請求將VM1遷移到計算節點3上。App1的控制節點從業務管理系統處獲取VM1的信息及VM1受到的影響信息后,將App1原來的備虛擬機VM2切換為主虛擬機,并將遷移到計算節點3上的VM1設置為備用虛擬機,從而保證App1的運行,提高App1的可靠性。

            上面結合圖2至圖4介紹了本發明實施例的故障處理方法,下面結合圖5至圖8介紹本發明實施例的虛擬架構管理系統和業務管理系統。

            圖5為本發明一個實施例的虛擬架構管理系統的示意性結構圖。應理解,圖5示出的虛擬架構管理系統500僅是示例,本發明實施例的虛擬架構管理系統還可包括其他模塊或單元,或者包括與圖5中的各個模塊的功能相似的模塊,或者并非要包括圖5中的所有模塊。

            獲取模塊510,用于獲取故障告警消息,所述故障告警消息攜帶故障設備的標識信息和故障類型。

            確定模塊520,用于根據所述故障告警消息確定第一虛擬機集合,所述第一虛擬機集合包括受所述故障設備影響的至少一個第一虛擬機。

            發送模塊530,用于向所述業務管理系統發送狀態告警消息,所述狀態告警消息攜帶所述第一虛擬機集合的信息。

            本發明實施例中,虛擬架構管理系統獲取到故障設備上的故障告警消息后,直接對該故障告警消息進行分析處理,獲取故障設備影響的一個或多個虛擬機,并向業務管理系統發送這些虛擬機的信息,使得業務管理系統可以直接根據這些虛擬機的信息分析得到受影響的業務應用,進而可以對受影響的業務應用進行處理。與現有技術相比,由虛擬架構管理系統直接根據故障設備的故障告警消息確定受故障設備影響的虛擬機的信息,使得業務管理系統可以直接根據第一虛擬機集合的狀態告警消息分析得到受影響的業務應用,而不是根據故障設備的告警消息去分析得到受影響的虛擬機、再分析受影響的業務應用。從而使得業務管理系統不需要直接感知硬件故障,進而可以快速觸發業務應用的影響處理,降低業務損失,提高業務應用的可靠性。

            可選地,作為一個實施例,所述確定模塊還用于根據所述故障告警消息確定所述第一虛擬機集合的影響信息,所述影響信息用于指示所述故障設備對所述至少一個第一虛擬機產生的影響的類型和/或級別。則所述虛擬架構管理系統向所述業務管理系統發送狀態告警消息還攜帶所述第一虛擬機集合的影響信息。

            本發明實施例中,虛擬架構管理系統根據故障設備的故障告警信息除了可以獲取受影響的至少一個虛擬機,還可以獲取故障設備發生的故障對這些虛擬機的影響的類型和/或級別,然后在向業務管理系統發送的狀態告警消息中還攜帶用于指示故障設備對第一虛擬機集合中的第一虛擬機產生的影響的類型和/或級別的影響信息,從而使得業務管理系統或業務系統可以更加根據該影響信息對業務應用進行處理,進一步提高業務應用的可靠性。

            可選地,作為一個實施例,所述故障設備對所述至少一個第一虛擬機產生的影響的類型包括以下至少一種:故障、高風險、中風險、低風險或無影響。

            可選地,作為一個實施例,所述虛擬架構管理系統還包括接收模塊和恢復模塊。所述接收模塊用于接收所述業務管理系統發送的第一請求消息,所述第一請求消息用于指示需要優先恢復的待恢復的虛擬機,所述待恢復的虛擬機為所述第一虛擬機集合中一個子集。所述恢復模塊用于根據所述第一請求信息優先恢復待恢復的虛擬機。

            本發明實施例中,虛擬架構管理系統可以根據業務管理系統的請求,根據業務管理系統指示的優先級,對受故障設備的故障所影響的第一虛擬機集合中的至少一個虛擬機進行恢復處理。

            可選地,作為一個實施例,所述恢復模塊還用于在預置時間閾值內未接收到所述業務管理系統發送的所述第一請求信息時,按照預置虛擬機恢復策略恢復所述至少一個第一虛擬機。

            本發明實施例可以保證在業務管理系統沒有信息指示虛擬架構管理系統如何恢復第一虛擬機集合中的虛擬機時,虛擬架構管理系統可以主動根據預先配置的恢復策略對第一虛擬機集合中的第一虛擬機進行恢復。

            可選地,作為一個實施例,所述發送模塊還用于向所述業務管理系統發送狀態告警清除消息,所述狀態告警清除消息用于指示所述業務管理系統清除所述業務管理系統中的所述狀態告警消息。

            本發明實施例中,虛擬架構管理系統對虛擬機進行恢復處理后,向業務管理系統發送狀態告警清除消息,使得業務管理系統可以根據該狀態告警清除消息清除之前接收的相關的狀態告警消息,從而避免業務管理系統對已經恢復的虛擬機相關的狀態告警消息進行分析處理。

            應理解的是,本發明實施例的虛擬架構管理系統500可以通過專用集成電路(Application Specific Integrated Circuit,ASIC)實現,或可編程邏輯器件(Programmable Logic Device,PLD)實現,上述PLD可以是復雜程序邏輯器件(Complex Programmable Logic Device,CPLD),現場可編程門陣列(Field-Programmable Gate Array,FPGA),通用陣列邏輯(Generic Array Logic,GAL)或其任意組合。通過軟件實現圖2所示的故障處理方法中由虛擬架構管理系統執行的步驟時,虛擬架構管理系統500及其各個模塊也可以為軟件模塊。

            應理解,圖5所示的虛擬架構管理系統500可對應于圖2所示故障處理方法中的虛擬架構管理系統,并且虛擬架構管理系統500中的各個單元的上述和其它操作和/或功能分別為了實現圖2中的故障處理方法的相應流程,為了簡潔,在此不再贅述。

            圖6為本發明一個實施例的業務管理系統的示意性結構圖。應理解,圖6示出的業務管理系統600僅是示例,本發明實施例的業務系統還可包括其他模塊或單元,或者包括與圖6中的各個模塊的功能相似的模塊,或者并非要包括圖6中的所有模塊。

            接收模塊610,用于接收所述虛擬架構管理系統發送的狀態告警消息,所述狀態告警消息攜帶受故障設備影響的第一虛擬機集合的信息,所述第一虛擬機集合中包括至少一個第一虛擬機。

            確定模塊620,用于根據所述狀態告警消息確定所述至少一個第一虛擬機關聯的業務應用。

            處理模塊630,用于對所述至少一個第一虛擬機關聯的業務應用執行處理操作。

            本發明實施例中,業務管理系統從虛擬架構管理系統接收到受故障設備影響的第一虛擬機集合中的虛擬機的信息后,可以直接根據這些虛擬機的信息分析得到受影響的業務應用,進而可以對受影響的業務應用進行處理。與現有技術相比,業務管理系統可以直接根據第一虛擬機集合的狀態告警消息分析得到受影響的業務應用,而不是根據故障設備的告警消息去分析得到受影響的虛擬機、再分析受影響的業務應用。從而使得業務管理系統不需要直接感知硬件故障,進而可以快速觸發業務應用的影響處理,降低業務損失,提高業務應用的可靠性。

            可選地,作為一個實施例,所述狀態告警消息還攜帶所述第一虛擬機集合的影響信息,所述影響信息用于指示所述故障設備對所述至少一個第一虛擬機產生的影響的類型和/或級別。其中,所述處理模塊具體用于根據所述第一虛擬機集合的影響信息對所述至少一個第一虛擬機關聯的業務應用執行處理操作。

            本發明實施例中,業務管理系統從虛擬架構管理系統接收的第一虛擬機集合的狀態告警消息中還攜帶用于指示故障設備對第一虛擬機集合中的第一虛擬機產生的影響的類型和/或級別的影響信息,從而使得業務管理系統或業務系統可以更加根據該影響信息對業務應用進行處理,進一步提高業務應用的可靠性。

            可選地,作為一個實施例,所述第一虛擬機集合產生的影響的類型包括以下至少一種:故障、高風險、中風險、低風險或無影響。

            可選地,作為一個實施例,所述處理操作包括以下方式中的至少一種:

            所述業務管理系統將所述至少一個第一虛擬機關聯的業務應用切換至未受所述故障設備影響的虛擬機執行;或

            所述業務管理系統將所述至少一個第一虛擬機的應用狀態信息標識為隔離狀態,所述隔離狀態用于指示所述至少一個第一虛擬機停止執行所述至少一個第一虛擬機關聯的業務應用;或

            所述業務管理系統向所述虛擬架構管理系統發送第一請求消息,所述第一請求消息用于指示待恢復的虛擬機,所述待恢復的虛擬機為所述第一虛擬機集合中一個子集;或

            所述業務管理系統向所述至少一個第一虛擬機關聯的業務應用的控制節點發送所述狀態告警消息,以使得所述控制節點根據所述狀態告警消息將所述至少一個第一虛擬機關聯的業務應用切換至所述未受所述故障設備影響的虛擬機執行或將所述至少一個第一虛擬機的應用狀態信息標識為所述隔離狀態。

            可選地,作為一個實施例,所述確定模塊還用于根據所述第一虛擬機集合的影響信息確定第一請求消息,所述第一請求消息用于指示需要優先恢復的待恢復的虛擬機,所述待恢復的虛擬機為所述第一虛擬機集合中一個子集。所述業務管理系統還包括發送模塊,用于向所述虛擬架構管理系統發送所述第一請求消息。

            本發明實施例中,業務管理系統可以根據第一虛擬機的影響信息確定第一虛擬機集合中需要虛擬架構管理系統恢復的待恢復的虛擬機的優先級,并向虛擬機架構管理發送用于指示這些待恢復的虛擬機的恢復優先級的第一請求消息,使得虛擬架構管理系統可以根據業務管理系統指示的優先級,對受故障設備的故障所影響的第一虛擬機集合中的至少一個虛擬機進行恢復處理。

            可選地,作為一個實施例,所述發送模塊還用于根據所述至少一個第一虛擬機關聯的業務應用的優先級向所述虛擬架構管理系統發送所述第一請求消息。

            本發明實施例中,業務管理系統根據第一虛擬機集合中的第一虛擬機相關聯的業務應用的優先級,即根據故障設備影響的業務應用的優先級指示虛擬架構管理系統對第一虛擬機集合中的待恢復的虛擬機進行恢復處理,從而可以保證高優先級的業務應用可以優先得到恢復,進一步保證業務應用的可靠性。

            可選地,作為一個實施例,所述發送模塊還用于根據所述至少一個第一虛擬機關聯的業務應用的部署模式向所述虛擬架構管理系統發送所述第一請求消息,所述至少一個第一虛擬機關聯的業務應用的部署模式包括主備模式、負荷分擔模式和單虛擬機模式中的至少一種。

            本發明實施例中,業務管理系統根據受影響的業務應用的部署模式,即根據故障設備影響的業務應用的部署模式指示虛擬架構管理系統對第一虛擬機集合中的待恢復的虛擬機進行恢復處理。

            可選地,作為一個實施例,所述接收模塊還用于接收所述虛擬架構管理系統發送的狀態告警清除消息,所述處理模塊還用于根據所述狀態告警清除消息清除所述狀態告警消息。

            本發明實施例中,業務管理系統可以根據虛擬架構管理系統發送的狀態告警清除消息清除之前接收的相關的狀態告警消息,從而避免對已經恢復的虛擬機相關的狀態告警消息進行分析處理。

            應理解的是,本發明實施例的業務管理系統600可以通過專用集成電路實現,或可編程邏輯器件實現,上述PLD可以是復雜程序邏輯器件,現場可編程門陣列,通用陣列邏輯或其任意組合。通過軟件實現圖2所示的故障處理方法中由業務管理系統執行的步驟時,業務管理系統600及其各個模塊也可以為軟件模塊。

            應理解,圖6所示的業務管理系統600可對應于圖2所示故障處理方法中的業務管理系統,并且業務管理系統600中的各個單元的上述和其它操作和/或功能分別為了實現圖2中的故障處理方法的相應流程,為了簡潔,在此不再贅述。

            圖7是本發明另一個實施例的虛擬架構管理系統700的示意性結構圖。虛擬架構管理系統700包括處理器710、存儲器720、通信接口730和總線740。其中,處理器710、存儲器720、通信接口730通過總線740進行通信,也可以通過無線傳輸等其他手段實現通信。該存儲器720用于存儲指令,該處理器710用于執行該存儲器720存儲的指令。該存儲器720存儲程序代碼,且處理器710可以調用存儲器720中存儲的程序代碼執行以下操作:

            獲取故障告警消息,所述故障告警消息攜帶故障設備的標識信息和故障類型;根據所述故障告警消息確定第一虛擬機集合,所述第一虛擬機集合包括受所述故障設備影響的至少一個第一虛擬機;向所述業務管理系統發送狀態告警消息,所述狀態告警消息攜帶所述第一虛擬機集合的信息。

            本發明實施例中,虛擬架構管理系統獲取到故障設備上的故障告警消息后,直接對該故障告警消息進行分析處理,獲取故障設備影響的一個或多個虛擬機,并向業務管理系統發送這些虛擬機的信息,使得業務管理系統可以直接根據這些虛擬機的信息分析得到受影響的業務應用,進而可以對受影響的業務應用進行處理。與現有技術相比,由虛擬架構管理系統直接根據故障設備的故障告警消息確定受故障設備影響的虛擬機的信息,使得業務管理系統可以直接根據第一虛擬機集合的狀態告警消息分析得到受影響的業務應用,而不是根據故障設備的告警消息去分析得到受影響的虛擬機、再分析受影響的業務應用。從而使得業務管理系統不需要直接感知硬件故障,進而可以快速觸發業務應用的影響處理,降低業務損失,提高業務應用的可靠性。

            可選地,作為一個實施例,處理器710還可以調用存儲器720中存儲的程序代碼執行以下操作:根據所述故障告警消息確定所述第一虛擬機集合的影響信息,所述影響信息用于指示所述故障設備對所述至少一個第一虛擬機產生的影響的類型和/或級別。其中,所述狀態告警消息還攜帶所述影響信息。

            本發明實施例中,虛擬架構管理系統根據故障設備的故障告警信息除了可以獲取受影響的至少一個虛擬機,還可以獲取故障設備發生的故障對這些虛擬機的影響的類型和/或級別,然后在向業務管理系統發送的狀態告警消息中還攜帶用于指示故障設備對第一虛擬機集合中的第一虛擬機產生的影響的類型和/或級別的影響信息,從而使得業務管理系統或業務系統可以更加根據該影響信息對業務應用進行處理,進一步提高業務應用的可靠性。

            可選地,作為一個實施例,所述故障設備對所述至少一個第一虛擬機產生的影響的類型包括以下至少一種:故障、高風險、中風險、低風險或無影響。

            可選地,作為一個實施例,處理器710可以調用存儲器720中存儲的程序代碼執行以下操作:接收所述業務管理系統發送的第一請求消息,所述第一請求消息用于指示需要優先恢復的待恢復的虛擬機,所述待恢復的虛擬機為所述第一虛擬機集合中一個子集。所述處理器還用于根據所述第一請求信息優先恢復所述待恢復的虛擬機。

            本發明實施例中,虛擬架構管理系統可以根據業務管理系統的請求,根據業務管理系統指示的優先級,對受故障設備的故障所影響的第一虛擬機集合中的至少一個虛擬機進行恢復處理。

            可選地,作為一個實施例,處理器710可以調用存儲器720中存儲的程序代碼執行以下操作:在預置時間閾值內未接收到所述業務管理系統發送的所述第一請求信息時,按照預置虛擬機恢復策略恢復所述至少一個第一虛擬機。

            本發明實施例可以保證在業務管理系統沒有信息指示虛擬架構管理系統如何恢復第一虛擬機集合中的虛擬機時,虛擬架構管理系統可以主動根據預先配置的恢復策略對第一虛擬機集合中的第一虛擬機進行恢復。

            可選地,作為一個實施例,處理器710可以調用存儲器720中存儲的程序代碼執行以下操作:向所述業務管理系統發送狀態告警清除消息,所述狀態告警清除消息用于指示所述業務管理系統清除所述業務管理系統中的所述狀態告警消息。

            本發明實施例中,虛擬架構管理系統對虛擬機進行恢復處理后,向業務管理系統發送狀態告警清除消息,使得業務管理系統可以根據該狀態告警清除消息清除之前接收的相關的狀態告警消息,從而避免業務管理系統對已經恢復的虛擬機相關的狀態告警消息進行分析處理。

            應理解,圖7所示本發明實施例的虛擬架構管理系統可對應于圖5所示的虛擬架構管理系統,并且本發明實施例的虛擬架構管理系統中的各個單元的上述和其它操作和/或功能分別為了實現圖2所示的故障處理方法中由虛擬架構管理系統執行的相應流程,為了簡潔,在此不再贅述。

            圖8是本發明另一個實施例的業務管理系統800的示意性結構圖。業務管理系統800包括處理器810、存儲器820、通信接口830和總線840。其中,處理器810、存儲器820、通信接口830通過總線840進行通信,也可以通過無線傳輸等其他手段實現通信。該存儲器820用于存儲指令,該處理器810用于執行該存儲器820存儲的指令。該存儲器820存儲程序代碼,且處理器810可以調用存儲器820中存儲的程序代碼執行以下操作:

            接收所述虛擬架構管理系統發送的狀態告警消息,所述狀態告警消息攜帶受故障設備影響的第一虛擬機集合的信息,所述第一虛擬機集合中包括至少一個第一虛擬機;根據所述狀態告警消息確定所述至少一個第一虛擬機關聯的業務應用;對所述至少一個第一虛擬機關聯的業務應用執行處理操作。

            本發明實施例中,業務管理系統從虛擬架構管理系統接收到受故障設備影響的第一虛擬機集合中的虛擬機的信息后,可以直接根據這些虛擬機的信息分析得到受影響的業務應用,進而可以對受影響的業務應用進行處理。與現有技術相比,業務管理系統可以直接根據第一虛擬機集合的狀態告警消息分析得到受影響的業務應用,而不是根據故障設備的告警消息去分析得到受影響的虛擬機、再分析受影響的業務應用。從而使得業務管理系統不需要直接感知硬件故障,進而可以快速觸發業務應用的影響處理,降低業務損失,提高業務應用的可靠性。

            可選地,作為一個實施例,所述狀態告警消息還攜帶所述第一虛擬機集合的影響信息,所述影響信息用于指示所述故障設備對所述至少一個第一虛擬機產生的影響的類型和/或級別。其中,所述處理器具體用于根據所述第一虛擬機集合的影響信息對所述至少一個第一虛擬機關聯的業務應用執行處理操作。

            本發明實施例中,業務管理系統從虛擬架構管理系統接收的第一虛擬機集合的狀態告警消息中還攜帶用于指示故障設備對第一虛擬機集合中的第一虛擬機產生的影響的類型和/或級別的影響信息,從而使得業務管理系統或業務系統可以更加根據該影響信息對業務應用進行處理,進一步提高業務應用的可靠性。

            可選地,作為一個實施例,所述第一虛擬機集合產生的影響的類型包括以下至少一種:故障、高風險、中風險、低風險或無影響。

            可選地,作為一個實施例,所述處理操作包括以下方式中的至少一種:

            所述業務管理系統將所述至少一個第一虛擬機關聯的業務應用切換至未受所述故障設備影響的虛擬機執行;或

            所述業務管理系統將所述至少一個第一虛擬機的應用狀態信息標識為隔離狀態,所述隔離狀態用于指示所述至少一個第一虛擬機停止執行所述至少一個第一虛擬機關聯的業務應用;或

            所述業務管理系統向所述虛擬架構管理系統發送第一請求消息,所述第一請求消息用于指示待恢復的虛擬機,所述待恢復的虛擬機為所述第一虛擬機集合中一個子集;或

            所述業務管理系統向所述至少一個第一虛擬機關聯的業務應用的控制節點發送所述狀態告警消息,以使得所述控制節點根據所述狀態告警消息將所述至少一個第一虛擬機關聯的業務應用切換至所述未受所述故障設備影響的虛擬機執行或將所述至少一個第一虛擬機的應用狀態信息標識為所述隔離狀態。

            可選地,作為一個實施例,處理器710可以調用存儲器720中存儲的程序代碼執行以下操作:根據所述第一虛擬機集合的影響信息確定第一請求消息。所述發送器840用于向所述虛擬架構管理系統發送所述第一請求消息。

            本發明實施例中,業務管理系統可以根據第一虛擬機的影響信息確定第一虛擬機集合中需要虛擬架構管理系統恢復的待恢復的虛擬機的優先級,并向虛擬機架構管理發送用于指示這些待恢復的虛擬機的恢復優先級的第一請求消息,使得虛擬架構管理系統可以根據業務管理系統指示的優先級,對受故障設備的故障所影響的第一虛擬機集合中的至少一個虛擬機進行恢復處理。

            可選地,作為一個實施例,處理器710可以調用存儲器720中存儲的程序代碼執行以下操作:根據所述至少一個第一虛擬機關聯的業務應用的優先級向所述虛擬架構管理系統發送所述第一請求消息。

            本發明實施例中,業務管理系統根據第一虛擬機集合中的第一虛擬機相關聯的業務應用的優先級,即根據故障設備影響的業務應用的優先級指示虛擬架構管理系統對第一虛擬機集合中的待恢復的虛擬機進行恢復處理,從而可以保證高優先級的業務應用可以優先得到恢復,進一步保證業務應用的可靠性。

            可選地,作為一個實施例,處理器710可以調用存儲器720中存儲的程序代碼執行以下操作:根據所述至少一個第一虛擬機關聯的業務應用的部署模式向所述虛擬架構管理系統發送所述第一請求消息,所述至少一個第一虛擬機關聯的業務應用的部署模式包括主備模式、負荷分擔模式和單虛擬機模式中的至少一種。

            本發明實施例中,業務管理系統根據業務應用的部署模式,即根據故障設備影響的業務應用的部署模式指示虛擬架構管理系統對第一虛擬機集合中的待恢復的虛擬機進行恢復處理。

            可選地,作為一個實施例,處理器710可以調用存儲器720中存儲的程序代碼執行以下操作:接收所述虛擬架構管理系統發送的狀態告警清除消息,所述處理器還用于根據所述狀態告警清除消息清除所述狀態告警消息。

            本發明實施例中,業務管理系統可以根據虛擬架構管理系統發送的狀態告警清除消息清除之前接收的相關的狀態告警消息,從而避免對已經恢復的虛擬機相關的狀態告警消息進行分析處理。

            應理解,圖8所示本發明實施例的業務管理系統可對應于圖6所示的業務管理系統,并且本發明實施例的業務管理系統中的各個單元的上述和其它操作和/或功能分別為了實現圖2所示的故障處理方法中由業務管理系統執行的相應流程,為了簡潔,在此不再贅述。

            可以理解,本發明實施例中的處理器可以是一種集成電路芯片,具有信號的處理能力。在實現過程中,上述方法實施例的各步驟可以通過處理器中的硬件的集成邏輯電路或者軟件形式的指令完成。上述的處理器可以是通用處理器、數字信號處理器(Digital Signal Processor,DSP)、專用集成電路(Application Specific Integrated Circuit,ASIC)、現成可編程門陣列(Field Programmable Gate Array,FPGA)或者其他可編程邏輯器件、分立門或者晶體管邏輯器件、分立硬件組件。可以實現或者執行本發明實施例中的公開的各方法、步驟及邏輯框圖。通用處理器可以是微處理器或者該處理器也可以是任何常規的處理器等。結合本發明實施例所公開的方法的步驟可以直接體現為硬件譯碼處理器執行完成,或者用譯碼處理器中的硬件及軟件模塊組合執行完成。軟件模塊可以位于隨機存儲器,閃存、只讀存儲器,可編程只讀存儲器或者電可擦寫可編程存儲器、寄存器等本領域成熟的存儲介質中。該存儲介質位于存儲器,處理器讀取存儲器中的信息,結合其硬件完成上述方法的步驟。

            可以理解,本發明實施例中的存儲器可以是易失性存儲器或非易失性存儲器,或可包括易失性和非易失性存儲器兩者。其中,非易失性存儲器可以是只讀存儲器(Read-Only Memory,ROM)、可編程只讀存儲器(Programmable ROM,PROM)、可擦除可編程只讀存儲器(Erasable PROM,EPROM)、電可擦除可編程只讀存儲器(Electrically EPROM,EEPROM)或閃存。易失性存儲器可以是隨機存取存儲器(Random Access Memory,RAM),其用作外部高速緩存。通過示例性但不是限制性說明,許多形式的RAM可用,例如靜態隨機存取存儲器(Static RAM,SRAM)、動態隨機存取存儲器(Dynamic RAM,DRAM)、同步動態隨機存取存儲器(Synchronous DRAM,SDRAM)、雙倍數據速率同步動態隨機存取存儲器(Double Data Rate SDRAM,DDR SDRAM)、增強型同步動態隨機存取存儲器(Enhanced SDRAM,ESDRAM)、同步連接動態隨機存取存儲器(Synchlink DRAM,SLDRAM)和直接內存總線隨機存取存儲器(Direct Rambus RAM,DR RAM)。應注意,本文描述的系統和方法的存儲器旨在包括但不限于這些和任意其它適合類型的存儲器。

            另外,本文中術語“系統”和“網絡”在本文中常被可互換使用。本文中術語“和/或”,僅僅是一種描述關聯對象的關聯關系,表示可以存在三種關系,例如,A和/或B,可以表示:單獨存在A,同時存在A和B,單獨存在B這三種情況。另外,本文中字符“/”,一般表示前后關聯對象是一種“或”的關系。

            應理解,在本發明實施例中,“與A相應的B”表示B與A相關聯,根據A可以確定B。但還應理解,根據A確定B并不意味著僅僅根據A確定B,還可以根據A和/或其它信息確定B。

            本領域普通技術人員可以意識到,結合本文中所公開的實施例描述的各示例的單元及算法步驟,能夠以電子硬件、或者計算機軟件和電子硬件的結合來實現。這些功能究竟以硬件還是軟件方式來執行,取決于技術方案的特定應用和設計約束條件。專業技術人員可以對每個特定的應用來使用不同方法來實現所描述的功能,但是這種實現不應認為超出本發明的范圍。

            所屬領域的技術人員可以清楚地了解到,為描述的方便和簡潔,上述描述的系統、裝置和單元的具體工作過程,可以參考前述方法實施例中的對應過程,在此不再贅述。

            在本申請所提供的幾個實施例中,應該理解到,所揭露的系統、裝置和方法,可以通過其它的方式實現。例如,以上所描述的裝置實施例僅僅是示意性的,例如,所述單元的劃分,僅僅為一種邏輯功能劃分,實際實現時可以有另外的劃分方式,例如多個單元或組件可以結合或者可以集成到另一個系統,或一些特征可以忽略,或不執行。另一點,所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口,裝置或單元的間接耦合或通信連接,可以是電性,機械或其它的形式。

            所述作為分離部件說明的單元可以是或者也可以不是物理上分開的,作為單元顯示的部件可以是或者也可以不是物理單元,即可以位于一個地方,或者也可以分布到多個網絡單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本實施例方案的目的。

            另外,在本發明各個實施例中的各功能單元可以集成在一個處理單元中,也可以是各個單元單獨物理存在,也可以兩個或兩個以上單元集成在一個單元中。

            所述功能如果以軟件功能單元的形式實現并作為獨立的產品銷售或使用時,可以存儲在一個計算機可讀取存儲介質中。基于這樣的理解,本發明的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的部分可以以軟件產品的形式體現出來,該計算機軟件產品存儲在一個存儲介質中,包括若干指令用以使得一臺計算機設備(可以是個人計算機,服務器,或者網絡設備等)執行本發明各個實施例所述方法的全部或部分步驟。而前述的存儲介質包括:U盤、移動硬盤、只讀存儲器(Read-Only Memory,ROM)、隨機存取存儲器(Random Access Memory,RAM)、磁碟或者光盤等各種可以存儲程序代碼的介質。

            當前第1頁1 2 3 
            網友詢問留言 已有0條留言
            • 還沒有人留言評論。精彩留言會獲得點贊!
            1
            婷婷六月激情在线综合激情,亚洲国产大片,久久中文字幕综合婷婷,精品久久久久久中文字幕,亚洲一区二区三区高清不卡,99国产精品热久久久久久夜夜嗨 ,欧美日韩亚洲综合在线一区二区,99国产精品电影,伊人精品线视天天综合,精品伊人久久久大香线蕉欧美
            亚洲精品1区 国产成人一级 91精品国产欧美一区二区 亚洲精品乱码久久久久久下载 国产精品久久久久久久伊一 九色国产 国产精品九九视频 伊人久久成人爱综合网 欧美日韩亚洲区久久综合 欧美日本一道免费一区三区 夜夜爽一区二区三区精品 欧美日韩高清一区二区三区 国产成人av在线 国产精品对白交换绿帽视频 国产视频亚洲 国产在线欧美精品 国产精品综合网 国产日韩精品欧美一区色 国产日韩精品欧美一区喷 欧美日韩在线观看区一二 国产区精品 欧美视频日韩视频 中文字幕天天躁日日躁狠狠躁97 视频一二三区 欧美高清在线精品一区二区不卡 国产精品揄拍一区二区久久 99久久综合狠狠综合久久aⅴ 亚洲乱码视频在线观看 日韩在线第二页 亚洲精品无码专区在线播放 成人亚洲网站www在线观看 欧美三级一区二区 99久久精品免费看国产高清 91麻豆国产在线观看 最新日韩欧美不卡一二三区 成人在线观看不卡 日韩国产在线 在线亚洲精品 亚洲午夜久久久久中文字幕 国产精品成人久久久久久久 精品国产一区二区在线观看 欧美精品国产一区二区三区 中文在线播放 亚洲第一页在线视频 国产午夜精品福利久久 九色国产 精品国产九九 国产永久视频 久久精品人人做人人综合试看 国产一区二区三区免费观看 亚洲精品国产电影 9999热视频 国产精品资源在线 麻豆久久婷婷国产综合五月 国产精品免费一级在线观看 亚洲国产一区二区三区青草影视 中文在线播放 国产成人综合在线 国产在线观看色 国产亚洲三级 国产片一区二区三区 久久99精品久久久久久牛牛影视 亚洲欧美日韩国产 四虎永久免费网站 国产一毛片 国产精品视频在 九九热在线精品 99精品福利视频 色婷婷色99国产综合精品 97成人精品视频在线播放 精品久久久久久中文字幕 亚洲欧美一区二区三区孕妇 亚洲欧美成人网 日韩高清在线二区 国产尤物在线观看 在线不卡一区二区 91网站在线看 韩国精品福利一区二区 欧美日韩国产成人精品 99热精品久久 国产精品免费视频一区 高清视频一区 精品九九久久 欧美日韩在线观看免费 91欧美激情一区二区三区成人 99福利视频 亚洲国产精品91 久热国产在线 精品久久久久久中文字幕女 国产精品久久久久久久久99热 成人自拍视频网 国产精品视频久久久久久 久久影院国产 国产玖玖在线观看 99精品在线免费 亚洲欧美一区二区三区导航 久久久久久久综合 国产欧美日韩精品高清二区综合区 国产精品视频自拍 亚洲一级片免费 久久久久久九九 国产欧美自拍视频 视频一区二区在线观看 欧美日韩一区二区三区久久 中文在线亚洲 伊人热人久久中文字幕 日韩欧美亚洲国产一区二区三区 欧美亚洲国产成人高清在线 欧美日韩国产码高清综合人成 国产性大片免费播放网站 亚洲午夜综合网 91精品久久一区二区三区 国产无套在线播放 国产精品视频网站 国产成人亚洲精品老王 91在线网站 国产视频97 欧美黑人欧美精品刺激 国产一区二区三区免费在线视频 久久久国产精品免费看 99re6久精品国产首页 久久精品91 国产成人一级 国产成人精品曰本亚洲 日本福利在线观看 伊人成综合网 久久综合一本 国产综合久久久久久 久久精品成人免费看 久久福利 91精品国产91久久久久久麻豆 亚洲精品成人在线 亚洲伊人久久精品 欧美日本二区 国产永久视频 国产一区二 一区二区福利 国产一毛片 亚洲精品1区 毛片一区二区三区 伊人久久大香线蕉综合影 国产欧美在线观看一区 亚洲国产欧洲综合997久久 国产一区二区免费视频 国产91精品对白露脸全集观看 久久亚洲国产伦理 欧美成人伊人久久综合网 亚洲性久久久影院 久久99国产精一区二区三区! 91精品国产欧美一区二区 欧美日韩亚洲区久久综合 日韩精品一二三区 久久久夜色精品国产噜噜 国产在线精品福利91香蕉 久久久久久久亚洲精品 97se色综合一区二区二区 91国语精品自产拍在线观看性色 91久久国产综合精品女同我 日韩中文字幕a 国产成人亚洲日本精品 久久国产精品-国产精品 久久国产经典视频 久久国产精品伦理 亚洲第一页在线视频 国产精品久久久久三级 日韩毛片网 久久免费高清视频 麻豆国产在线观看一区二区 91麻豆国产福利在线观看 国产成人精品男人的天堂538 一区二区三区中文字幕 免费在线视频一区 欧美日韩国产成人精品 国产综合网站 国产资源免费观看 亚洲精品亚洲人成在线播放 精品久久久久久中文字幕专区 亚洲人成人毛片无遮挡 国产一起色一起爱 国产香蕉精品视频在 九九热免费观看 日韩亚洲欧美一区 九九热精品在线观看 精品久久久久久中文字幕专区 亚洲欧美自拍偷拍 国产精品每日更新 久久久久国产一级毛片高清板 久久天天躁狠狠躁夜夜中文字幕 久久精品片 日韩在线毛片 国产成人精品本亚洲 国产成人精品一区二区三区 九九热在线观看 国产r级在线观看 国产欧美日韩精品高清二区综合区 韩国电影一区二区 国产精品毛片va一区二区三区 五月婷婷伊人网 久久一区二区三区免费 一本色道久久综合狠狠躁篇 亚洲综合色站 国产尤物在线观看 亚洲一区亚洲二区 免费在线视频一区 欧洲精品视频在线观看 日韩中文字幕a 中文字幕日本在线mv视频精品 91精品在线免费视频 精品国产免费人成在线观看 精品a级片 中文字幕日本在线mv视频精品 日韩在线精品视频 婷婷丁香色 91精品国产高清久久久久 国产成人精品日本亚洲直接 五月综合视频 欧美日韩在线亚洲国产人 精液呈暗黄色 亚洲乱码一区 久久精品中文字幕不卡一二区 亚洲天堂精品在线 激情婷婷综合 国产免费久久精品久久久 国产精品亚洲二区在线 久久免费播放视频 五月婷婷丁香综合 在线亚洲欧美日韩 久久免费精品高清麻豆 精品久久久久久中文字幕 亚洲一区网站 国产精品福利社 日韩中文字幕免费 亚洲综合丝袜 91精品在线播放 国产精品18 亚洲日日夜夜 伊人久久大香线蕉综合影 亚洲精品中文字幕乱码影院 亚洲一区二区黄色 亚洲第一页在线视频 一区二区在线观看视频 国产成人福利精品视频 亚洲高清二区 国内成人免费视频 精品亚洲性xxx久久久 国产精品合集一区二区三区 97av免费视频 国产一起色一起爱 国产区久久 国产资源免费观看 99精品视频免费 国产成人一级 国产精品九九免费视频 欧美91精品久久久久网免费 99热国产免费 久久精品色 98精品国产综合久久 久久精品播放 中文字幕视频免费 国产欧美日韩一区二区三区在线 精品久久蜜桃 国产小视频精品 一本色道久久综合狠狠躁篇 91在线免费观看 亚洲精品区 伊人成综合网 伊人热人久久中文字幕 伊人黄色片 99国产精品热久久久久久夜夜嗨 久久免费精品视频 亚洲一区二区三区高清不卡 久久久久国产一级毛片高清板 国产片一区二区三区 久久狠狠干 99久久婷婷国产综合精品电影 国产99区 国产精品成人久久久久 久久狠狠干 青青国产在线观看 亚洲高清国产拍精品影院 国产精品一区二区av 九九热在线免费视频 伊人久久国产 国产精品久久久久久久久久一区 在线观看免费视频一区 国产精品自在在线午夜区app 国产精品综合色区在线观看 国产毛片久久久久久国产毛片 97国产免费全部免费观看 国产精品每日更新 国产尤物视频在线 九九视频这里只有精品99 一本一道久久a久久精品综合 久久综合给会久久狠狠狠 国产成人精品男人的天堂538 欧美一区二区高清 毛片一区二区三区 国产欧美日韩在线观看一区二区三区 在线国产二区 欧美不卡网 91在线精品中文字幕 在线国产福利 国内精品91久久久久 91亚洲福利 日韩欧美国产中文字幕 91久久精品国产性色也91久久 亚洲性久久久影院 欧美精品1区 国产热re99久久6国产精品 九九热免费观看 国产精品欧美日韩 久久久久国产一级毛片高清板 久久国产经典视频 日韩欧美亚洲国产一区二区三区 欧美亚洲综合另类在线观看 国产精品自在在线午夜区app 97中文字幕在线观看 视频一二三区 精品国产一区在线观看 国产欧美日韩在线一区二区不卡 欧美一区二三区 伊人成人在线观看 国内精品91久久久久 97在线亚洲 国产在线不卡一区 久久久全免费全集一级全黄片 国产精品v欧美精品∨日韩 亚洲毛片网站 在线不卡一区二区 99re热在线视频 久久激情网 国产毛片一区二区三区精品 久久亚洲综合色 中文字幕视频免费 国产视频亚洲 婷婷伊人久久 国产一区二区免费播放 久久99国产精品成人欧美 99国产在线视频 国产成人免费视频精品一区二区 国产不卡一区二区三区免费视 国产码欧美日韩高清综合一区 久久精品国产主播一区二区 国产一区电影 久久精品国产夜色 国产精品国产三级国产 日韩一区二区三区在线 久久97久久97精品免视看 久久国产免费一区二区三区 伊人久久大香线蕉综合电影网 99re6久精品国产首页 久久激情网 亚洲成人高清在线 国产精品网址 国产成人精品男人的天堂538 香蕉国产综合久久猫咪 国产专区中文字幕 91麻豆精品国产高清在线 久久国产经典视频 国产精品成人va在线观看 国产精品爱啪在线线免费观看 日本精品久久久久久久久免费 亚洲综合一区二区三区 久久五月网 精品国产网红福利在线观看 久久综合亚洲伊人色 亚洲国产精品久久久久久网站 在线日韩国产 99国产精品热久久久久久夜夜嗨 国产综合精品在线 国产区福利 精品亚洲综合久久中文字幕 国产制服丝袜在线 毛片在线播放网站 在线观看免费视频一区 国产精品久久久精品三级 亚洲国产电影在线观看 最新日韩欧美不卡一二三区 狠狠综合久久综合鬼色 日本精品1在线区 国产日韩一区二区三区在线播放 欧美日韩精品在线播放 亚洲欧美日韩国产一区二区三区精品 久久综合久久网 婷婷六月激情在线综合激情 亚洲乱码一区 国产专区91 97av视频在线观看 精品久久久久久中文字幕 久久五月视频 国产成人福利精品视频 国产精品网址 中文字幕视频在线 精品一区二区三区免费视频 伊人手机在线视频 亚洲精品中文字幕乱码 国产在线视频www色 色噜噜国产精品视频一区二区 精品亚洲成a人在线观看 国产香蕉尹人综合在线 成人免费一区二区三区在线观看 国产不卡一区二区三区免费视 欧美精品久久天天躁 国产专区中文字幕 久久精品国产免费中文 久久精品国产免费一区 久久无码精品一区二区三区 国产欧美另类久久久精品免费 欧美精品久久天天躁 亚洲精品在线视频 国产视频91在线 91精品福利一区二区三区野战 日韩中文字幕免费 国产精品99一区二区三区 欧美成人高清性色生活 国产精品系列在线观看 亚洲国产福利精品一区二区 国产成人在线小视频 国产精品久久久久免费 99re热在线视频 久久久久久久综合 一区二区国产在线播放 成人国产在线视频 亚洲精品乱码久久久久 欧美日韩一区二区综合 精品久久久久免费极品大片 中文字幕视频二区 激情粉嫩精品国产尤物 国产成人精品一区二区视频 久久精品中文字幕首页 亚洲高清在线 国产精品亚洲一区二区三区 伊人久久艹 中文在线亚洲 国产精品一区二区在线播放 国产精品九九免费视频 亚洲二区在线播放 亚洲狠狠婷婷综合久久久久网站 亚洲欧美日韩网站 日韩成人精品 亚洲国产一区二区三区青草影视 91精品国产福利在线观看 国产精品久久久久久久久99热 国产一区二区精品尤物 久碰香蕉精品视频在线观看 亚洲日日夜夜 在线不卡一区二区 国产午夜亚洲精品 九九热在线视频观看这里只有精品 伊人手机在线视频 91免费国产精品 日韩欧美中字 91精品国产91久久久久 国产全黄三级播放 视频一区二区三区免费观看 国产开裆丝袜高跟在线观看 国产成人欧美 激情综合丝袜美女一区二区 国产成人亚洲综合无 欧美精品一区二区三区免费观看 欧美亚洲国产日韩 日韩亚州 国产欧美日韩精品高清二区综合区 亚洲午夜国产片在线观看 精品久久久久久中文字幕 欧美精品1区 久久伊人久久亚洲综合 亚洲欧美日韩精品 国产成人精品久久亚洲高清不卡 久久福利影视 国产精品99精品久久免费 久久久久免费精品视频 国产日产亚洲精品 亚洲国产午夜电影在线入口 精品无码一区在线观看 午夜国产精品视频 亚洲一级片免费 伊人久久大香线蕉综合影 国产精品久久影院 久碰香蕉精品视频在线观看 www.欧美精品 在线小视频国产 亚洲国产天堂久久综合图区 欧美一区二区三区不卡 日韩美女福利视频 九九精品免视频国产成人 不卡国产00高中生在线视频 亚洲第一页在线视频 欧美日韩在线播放成人 99re视频这里只有精品 国产精品91在线 精品乱码一区二区三区在线 国产区久久 91麻豆精品国产自产在线观看一区 日韩精品成人在线 九九热在线观看 国产精品久久不卡日韩美女 欧美一区二区三区综合色视频 欧美精品免费一区欧美久久优播 国产精品网址 国产专区中文字幕 国产精品欧美亚洲韩国日本久久 日韩美香港a一级毛片 久久精品123 欧美一区二区三区免费看 99r在线视频 亚洲精品国产字幕久久vr 国产综合激情在线亚洲第一页 91免费国产精品 日韩免费小视频 亚洲国产精品综合一区在线 国产亚洲第一伦理第一区 在线亚洲精品 国产精品一区二区制服丝袜 国产在线成人精品 九九精品免视频国产成人 亚洲国产网 欧美日韩亚洲一区二区三区在线观看 在线亚洲精品 欧美一区二区三区高清视频 国产成人精品男人的天堂538 欧美日韩在线观看区一二 亚洲欧美一区二区久久 久久精品中文字幕首页 日本高清www午夜视频 久久精品国产免费 久久999精品 亚洲国产精品欧美综合 88国产精品视频一区二区三区 91久久偷偷做嫩草影院免费看 国产精品夜色视频一区二区 欧美日韩导航 国产成人啪精品午夜在线播放 一区二区视频在线免费观看 99久久精品国产自免费 精液呈暗黄色 久久99国产精品 日本精品久久久久久久久免费 精品国产97在线观看 99re视频这里只有精品 国产视频91在线 999av视频 亚洲美女视频一区二区三区 久久97久久97精品免视看 亚洲国产成人久久三区 99久久亚洲国产高清观看 日韩毛片在线视频 综合激情在线 91福利一区二区在线观看 一区二区视频在线免费观看 激情粉嫩精品国产尤物 国产成人精品曰本亚洲78 国产成人精品本亚洲 国产精品成人免费视频 国产成人啪精品视频免费软件 久久精品国产亚洲妲己影院 国产精品成人久久久久久久 久久大香线蕉综合爱 欧美一区二区三区高清视频 99热国产免费 在线观看欧美国产 91精品视频在线播放 国产精品福利社 欧美精品一区二区三区免费观看 国产一区二区免费视频 国产午夜精品一区二区 精品视频在线观看97 91精品福利久久久 国产一区福利 国产综合激情在线亚洲第一页 国产精品久久久久久久久久久不卡 九色国产 在线日韩国产 黄网在线观看 亚洲一区小说区中文字幕 中文字幕丝袜 日本二区在线观看 日本国产一区在线观看 欧美日韩一区二区三区久久 欧美精品亚洲精品日韩专 国产日产亚洲精品 久久综合九色综合欧美播 亚洲国产欧美无圣光一区 欧美视频区 亚洲乱码视频在线观看 久久无码精品一区二区三区 九九热精品免费视频 久久99精品久久久久久牛牛影视 国产精品成久久久久三级 国产一区福利 午夜国产精品视频 日本二区在线观看 99久久网站 国产亚洲天堂 精品国产一区二区三区不卡 亚洲国产日韩在线一区 国产成人综合在线观看网站 久久免费高清视频 欧美在线导航 午夜精品久久久久久99热7777 欧美久久综合网 国产小视频精品 国产尤物在线观看 亚洲国产精品综合一区在线 欧美一区二区三区不卡视频 欧美黑人欧美精品刺激 日本福利在线观看 久久国产偷 国产手机精品一区二区 国产热re99久久6国产精品 国产高清啪啪 欧美亚洲国产成人高清在线 国产在线第三页 亚洲综合一区二区三区 99r在线视频 99精品久久久久久久婷婷 国产精品乱码免费一区二区 国产在线精品福利91香蕉 国产尤物视频在线 五月婷婷亚洲 中文字幕久久综合伊人 亚洲精品一级毛片 99国产精品电影 在线视频第一页 久久99国产精品成人欧美 国产白白视频在线观看2 成人精品一区二区www 亚洲成人网在线观看 麻豆91在线视频 色综合合久久天天综合绕视看 久久精品国产免费高清 国产不卡一区二区三区免费视 欧美国产中文 99精品欧美 九九在线精品 国产中文字幕在线免费观看 国产一区中文字幕在线观看 国产成人一级 国产精品一区二区制服丝袜 国产一起色一起爱 亚洲精品成人在线 亚洲欧美精品在线 国产欧美自拍视频 99精品久久久久久久婷婷 久99视频 国产热re99久久6国产精品 视频一区亚洲 国产精品视频分类 国产精品成在线观看 99re6久精品国产首页 亚洲在成人网在线看 亚洲国产日韩在线一区 久久国产三级 日韩国产欧美 欧美在线一区二区三区 国产精品美女一级在线观看 成人午夜免费福利视频 亚洲天堂精品在线 91精品国产手机 欧美日韩视频在线播放 狠狠综合久久综合鬼色 九一色视频 青青视频国产 亚洲欧美自拍一区 中文字幕天天躁日日躁狠狠躁97 日韩免费大片 996热视频 伊人成综合网 亚洲天堂欧美 日韩精品亚洲人成在线观看 久久综合给会久久狠狠狠 日韩精品亚洲人成在线观看 日韩国产欧美 亚洲成aⅴ人片在线影院八 亚洲精品1区 99久久精品免费 国产精品高清在线观看 国产精品久久久免费视频 在线亚洲欧美日韩 91在线看视频 国产精品96久久久久久久 欧美日韩国产成人精品 91在线亚洲 热久久亚洲 国产精品美女免费视频观看 日韩在线毛片 亚洲永久免费视频 九九免费在线视频 亚洲一区网站 日本高清二区视频久二区 精品国产美女福利在线 伊人久久艹 国产精品久久久久三级 欧美成人精品第一区二区三区 99久久精品国产自免费 在线观看日韩一区 国产中文字幕一区 成人免费午夜视频 欧美日韩另类在线 久久99国产精品成人欧美 色婷婷中文网 久久天天躁夜夜躁狠狠躁2020 欧美成人伊人久久综合网 国产精品福利资源在线 国产伦精品一区二区三区高清 国产精品亚洲综合色区韩国 亚洲一区欧美日韩 色综合视频 国语自产精品视频在线区 国产高清a 成人国内精品久久久久影 国产在线精品香蕉综合网一区 国产不卡在线看 国产成人精品精品欧美 国产欧美日韩综合精品一区二区三区 韩国电影一区二区 国产在线视频www色 91中文字幕在线一区 国产人成午夜免视频网站 亚洲综合一区二区三区 色综合视频一区二区观看 久久五月网 九九热精品在线观看 国产一区二区三区国产精品 99久热re在线精品996热视频 亚洲国产网 在线视频亚洲一区 日韩字幕一中文在线综合 国产高清一级毛片在线不卡 精品国产色在线 国产高清视频一区二区 精品日本久久久久久久久久 亚洲国产午夜精品乱码 成人免费国产gav视频在线 日韩欧美一区二区在线观看 欧美曰批人成在线观看 韩国电影一区二区 99re这里只有精品6 日韩精品一区二区三区视频 99re6久精品国产首页 亚洲欧美一区二区三区导航 欧美色图一区二区三区 午夜精品视频在线观看 欧美激情在线观看一区二区三区 亚洲热在线 成人国产精品一区二区网站 亚洲一级毛片在线播放 亚洲一区小说区中文字幕 亚洲午夜久久久久影院 国产自产v一区二区三区c 国产精品视频免费 久久调教视频 国产成人91激情在线播放 国产精品欧美亚洲韩国日本久久 久久亚洲日本不卡一区二区 91中文字幕网 成人国产在线视频 国产视频91在线 欧美成人精品第一区二区三区 国产精品福利在线 久久综合九色综合精品 欧美一区二区三区精品 久久国产综合尤物免费观看 久久99青青久久99久久 日韩精品免费 久久国产精品999 91亚洲视频在线观看 国产精品igao视频 色综合区 在线亚洲欧国产精品专区 国产一区二区三区在线观看视频 亚洲精品成人在线 一区二区国产在线播放 中文在线亚洲 亚洲精品第一国产综合野 国产一区二区精品久久 一区二区三区四区精品视频 99热精品久久 中文字幕视频二区 国产成人精品男人的天堂538 99精品影视 美女福利视频一区二区 久久午夜夜伦伦鲁鲁片 综合久久久久久久综合网 国产精品国产欧美综合一区 国产99视频在线观看 国产亚洲女在线精品 婷婷影院在线综合免费视频 国产亚洲3p一区二区三区 91成人爽a毛片一区二区 亚洲一区二区高清 国产欧美亚洲精品第二区首页 欧美日韩导航 亚洲高清二区 欧美激情观看一区二区久久 日韩毛片在线播放 亚洲欧美日韩高清中文在线 亚洲日本在线播放 国产精品一区二区制服丝袜 精品国产一区二区三区不卡 国产不卡在线看 国产欧美网站 四虎永久在线观看视频精品 国产黄色片在线观看 夜夜综合 一本色道久久综合狠狠躁篇 欧美亚洲综合另类在线观看 国产91在线看 伊人久久国产 欧美一区二区在线观看免费网站 国产精品久久久久三级 久久福利 日韩中文字幕a 亚洲午夜久久久久影院 91在线高清视频 国产亚洲一区二区三区啪 久久人精品 国产精品亚洲午夜一区二区三区 综合久久久久久 久久伊人一区二区三区四区 国产综合久久久久久 日韩一区精品视频在线看 国产精品日韩欧美制服 日本精品1在线区 99re视频 无码av免费一区二区三区试看 国产视频1区 日韩欧美中文字幕一区 日本高清中文字幕一区二区三区a 亚洲国产欧美无圣光一区 国产在线视频一区二区三区 欧美国产第一页 在线亚洲欧美日韩 日韩中文字幕第一页 在线不卡一区二区 伊人久久青青 国产精品一区二区在线播放 www.五月婷婷 麻豆久久婷婷国产综合五月 亚洲精品区 久久国产欧美另类久久久 99在线视频免费 伊人久久中文字幕久久cm 久久精品成人免费看 久久这里只有精品首页 88国产精品视频一区二区三区 中文字幕日本在线mv视频精品 国产在线精品成人一区二区三区 伊人精品线视天天综合 亚洲一区二区黄色 国产尤物视频在线 亚洲精品99久久久久中文字幕 国产一区二区三区免费观看 伊人久久大香线蕉综合电影网 国产成人精品区在线观看 日本精品一区二区三区视频 日韩高清在线二区 久久免费播放视频 一区二区成人国产精品 国产精品免费精品自在线观看 亚洲精品视频二区 麻豆国产精品有码在线观看 精品日本一区二区 亚洲欧洲久久 久久中文字幕综合婷婷 中文字幕视频在线 国产成人精品综合在线观看 91精品国产91久久久久福利 精液呈暗黄色 香蕉国产综合久久猫咪 国产专区精品 亚洲精品无码不卡 国产永久视频 亚洲成a人片在线播放观看国产 一区二区国产在线播放 亚洲一区二区黄色 欧美日韩在线观看视频 亚洲精品另类 久久国产综合尤物免费观看 国产一区二区三区国产精品 高清视频一区 国产精品igao视频 国产精品资源在线 久久综合精品国产一区二区三区 www.五月婷婷 精品色综合 99热国产免费 麻豆福利影院 亚洲伊人久久大香线蕉苏妲己 久久电影院久久国产 久久精品伊人 在线日韩理论午夜中文电影 亚洲国产欧洲综合997久久 伊人国产精品 久草国产精品 欧美一区精品二区三区 亚洲成人高清在线 91免费国产精品 日韩精品福利在线 国产一线在线观看 国产不卡在线看 久久99青青久久99久久 亚洲精品亚洲人成在线播放 99久久免费看国产精品 国产日本在线观看 青草国产在线视频 麻豆久久婷婷国产综合五月 国产中文字幕一区 91久久精品国产性色也91久久 国产一区a 国产欧美日韩成人 国产亚洲女在线精品 一区二区美女 中文字幕在线2021一区 在线小视频国产 久久这里只有精品首页 国产在线第三页 欧美日韩中文字幕 在线亚洲+欧美+日本专区 精品国产一区二区三区不卡 久久这里精品 欧美在线va在线播放 精液呈暗黄色 91精品国产手机 91在线免费播放 欧美视频亚洲色图 欧美国产日韩精品 日韩高清不卡在线 精品视频免费观看 欧美日韩一区二区三区四区 国产欧美亚洲精品第二区首页 亚洲韩精品欧美一区二区三区 国产精品视频免费 在线精品小视频 久久午夜夜伦伦鲁鲁片 国产无套在线播放 久热这里只精品99re8久 欧美久久久久 久久香蕉国产线看观看精品蕉 国产成人精品男人的天堂538 亚洲人成网站色7799在线观看 日韩在线第二页 一本色道久久综合狠狠躁篇 国产一区二区三区不卡在线观看 亚洲乱码在线 在线观看欧美国产 久久福利青草精品资源站免费 国产玖玖在线观看 在线亚洲精品 亚洲成aⅴ人在线观看 精品91在线 欧美一区二三区 日韩中文字幕视频在线 日本成人一区二区 日韩免费专区 国内精品在线观看视频 久久国产综合尤物免费观看 国产精品系列在线观看 一本一道久久a久久精品综合 亚洲免费播放 久久精品国产免费 久久人精品 亚洲毛片网站 亚洲成a人一区二区三区 韩国福利一区二区三区高清视频 亚洲精品天堂在线 一区二区三区中文字幕 亚洲国产色婷婷精品综合在线观看 亚洲国产成人久久笫一页 999国产视频 国产精品香港三级在线电影 欧美日韩一区二区三区四区 日韩国产欧美 国产精品99一区二区三区 午夜国产精品理论片久久影院 亚洲精品中文字幕麻豆 亚洲国产高清视频 久久免费手机视频 日韩a在线观看 五月婷婷亚洲 亚洲精品中文字幕麻豆 中文字幕丝袜 www国产精品 亚洲天堂精品在线 亚洲乱码一区 国产日韩欧美三级 久久999精品 伊人热人久久中文字幕 久热国产在线视频 国产欧美日韩在线观看一区二区三区 国产一二三区在线 日韩国产欧美 91精品国产91久久久久 亚洲一区小说区中文字幕 精品一区二区免费视频 国产精品视频免费 国产精品亚洲综合色区韩国 亚洲国产精品成人午夜在线观看 欧美国产日韩精品 中文字幕精品一区二区精品