一種應用歸屬服務集群的分配方法和裝置與流程

            文檔序號:11237116閱讀:420來源:國知局
            一種應用歸屬服務集群的分配方法和裝置與流程

            本申請涉及數據處理技術領域,特別是涉及一種應用歸屬服務集群的分配方法和一種應用歸屬服務集群的分配裝置。



            背景技術:

            在一個典型的分布式系統中,為了便于對存儲和計算進行管理,比較好的方式是以應用的形式對數據和任務進行隔離,將應用作為一個整體分配至一個由若干相互獨立、通過網絡互聯的計算機組成的集群。同一集群上的不同應用擁有各自獨立的存儲空間,但共享集群的計算能力。

            在這種架構的分布式系統中,其消耗主要為集群的一次性購置成本和集群間跨集群通訊而產生的累積性帶寬消耗成本。其中,跨集群通訊主要是由于處于不同集群的應用之間相互訪問數據造成,由此,產生了對應用歸屬服務集群的分配優化需求,以使得在滿足計算、存儲等約束條件的同時可以最大限度降低集群的購置成本和帶寬消耗成本。

            目前對應用歸屬服務集群的分配方法中,主要是依賴于用戶憑借經驗進行分配,但該方法需要耗費大量的人力物力和時間,造成分配效率較低的問題。而且,分配方案可能并非是最優方案,造成了成本的浪費。

            此外,分布式系統中會不斷增加新的應用和下線部分過期應用,集群也會進行機器擴容、機器報廢等的處理,應用和集群處于一個動態變化的過程中,針對于動態變化的分布式系統,分配方案也需要檢驗是否適用于當前的分布式系統,當不適用時需要重新確定分配方案。因此,目前的分配方法可能需要人工重新進行多次分配,增加了對人力物力和時間的耗費,進一步降低了分配效率。



            技術實現要素:

            鑒于上述問題,提出了本申請實施例以便提供一種克服上述問題或者至少部分地解決上述問題的一種應用歸屬服務集群的分配方法和相應的一種 應用歸屬服務集群的分配裝置。

            為了解決上述問題,本申請公開了一種應用歸屬服務集群的分配方法,包括:

            將多個應用分配至多個服務集群,獲得初始分配結果;

            多次更換所述應用歸屬的服務集群,獲得多個新增分配結果;

            計算所述初始分配結果和所述新增分配結果各自對所述服務集群的資源消耗量;

            選擇資源消耗量最小的分配結果作為最優分配結果。

            優選地,所述將多個應用分配至多個服務集群為:

            按照排序針對各服務集群進行應用分配,直至所有應用均分配至某個服務集群;其中,針對排序在后的服務集群,在排序在前的服務集群分配后剩余的應用中進行應用分配。

            優選地,在所述將多個應用分配至多個服務集群之前,所述方法還包括:

            按照所述服務集群的至少一種負載性能,對多個服務集群進行排序。

            優選地,在所述按照排序針對各服務集群進行應用分配之前,所述方法還包括:

            計算任意兩個應用之間的關聯權重;

            所述按照排序針對各服務集群進行應用分配包括:

            從當前可選的多個應用中,選擇關聯權重最大的兩個目標應用,并選擇與所述目標應用之一的關聯權重排序靠前的多個關聯應用,分配至所述服務集群。

            優選地,所述按照排序針對各服務集群進行應用分配還包括:

            若至少一個應用未分配至所述服務集群,則將未分配的應用按照所需資源消耗量進行排序;

            按照排序逐個將未分配的應用隨機分配至某一服務集群。

            優選地,在所述將多個應用分配至多個服務集群之前,所述方法還包括:

            以所述應用為節點,以具備數據交換的兩個應用為相鄰節點,構建包括多個應用的節點網絡圖,所述關聯權重為連接兩個應用的邊的邊權重。

            優選地,所述選擇關聯權重最大的兩個目標應用包括:

            查找所述節點網絡圖中邊權重最大的目標邊。

            優選地,所述選擇與所述目標應用之一的關聯權重排序靠前的多個關聯應用包括:

            在包含所述目標邊的子圖中,以所述目標邊的兩個目標節點為起點,進行廣度優先搜索;

            從搜索的多個關聯節點中,按照與所述目標節點的邊權重從大到小,在未超出所述服務集群的負載性能的條件下,選擇最多數量的關聯節點。

            優選地,在所述多次更換所述應用歸屬的服務集群,獲得多個新增分配結果之后,所述方法還包括:

            確定更換后的新增分配結果未超出各服務集群的負載性能。

            優選地,所述多次更換所述應用歸屬的服務集群,獲得多個新增分配結果包括:

            在隨機選擇的兩個服務集群中,分別隨機選擇一個應用進行交換,直至獲得多個新增分配結果。

            優選地,所述多次更換所述應用歸屬的服務集群,獲得多個新增分配結果還包括:

            針對當前獲得的分配結果,依次選擇兩個分配結果,隨機從兩個分配結果中選擇兩個應用,并對選擇的兩個應用所歸屬的服務集群進行交換,獲得多個新增分配結果;

            和/或,隨機選擇一個應用并對所選擇的應用歸屬的服務集群進行修改,獲得多個新增分配結果。

            優選地,在所述在隨機選擇的兩個服務集群中,分別隨機選擇一個應用進行交換,直至獲得多個新增分配結果之后,所述方法還包括:

            篩選資源消耗量從小到大排序靠前的多個分配結果。

            優選地,所述計算所述初始分配結果和所述新增分配結果各自對所述服務集群的資源消耗量包括:

            計算所述初始分配結果和所述新增分配結果各自所需的集群購置成本;

            和/或,計算所述初始分配結果和所述新增分配結果中各個應用跨集群的帶寬消耗成本;加和各個應用的帶寬消耗成本,得到所述初始分配結果和所述新增分配結果的總帶寬消耗成本。

            優選地,所述選擇資源消耗量最小的分配結果作為最優分配結果包括:

            針對當前獲得的新增分配結果,若所述當前獲得的新增分配結果的資源消耗量小于所述初始分配結果的資源消耗量,則將所述當前獲得的新增分配結果作為當前最優分配結果,并與下一個新增分配結果進行比較,直至獲得最優分配結果。

            本申請還提供了一種應用歸屬服務集群的分配裝置,包括:

            應用初始分配模塊,用于將多個應用分配至多個服務集群,獲得初始分配結果;

            應用多次更換模塊,用于多次更換所述應用歸屬的服務集群,獲得多個新增分配結果;

            資源消耗量計算模塊,用于計算所述初始分配結果和所述新增分配結果各自對所述服務集群的資源消耗量;

            最優分配結果選擇模塊,用于選擇資源消耗量最小的分配結果作為最優分配結果。

            優選地,所述應用初始分配模塊具體用于:

            按照排序針對各服務集群進行應用分配,直至所有應用均分配至某個服務集群;其中,針對排序在后的服務集群,在排序在前的服務集群分配后剩余的應用中進行應用分配。

            優選地,所述裝置還包括:

            服務集群排序模塊,用于按照所述服務集群的至少一種負載性能,對多個服務集群進行排序。

            優選地,所述裝置還包括:

            關聯權重計算模塊,用于計算任意兩個應用之間的關聯權重;

            所述應用初始分配模塊包括:

            關聯應用分配子模塊,用于從當前可選的多個應用中,選擇關聯權重最 大的兩個目標應用,并選擇與所述目標應用之一的關聯權重排序靠前的多個關聯應用,分配至所述服務集群。

            優選地,所述裝置還包括:

            應用排序模塊,用于若至少一個應用未分配至所述服務集群,則將未分配的應用按照所需資源消耗量進行排序;

            未分配應用隨機分配模塊,用于按照排序逐個將未分配的應用隨機分配至某一服務集群。

            優選地,所述裝置還包括:

            節點網絡圖構建模塊,用于以所述應用為節點,以具備數據交換的兩個應用為相鄰節點,構建包括多個應用的節點網絡圖,所述關聯權重為連接兩個應用的邊的邊權重。

            優選地,所述關聯應用分配子模塊包括:

            目標邊查找子單元,用于查找所述節點網絡圖中邊權重最大的目標邊。

            優選地,所述關聯應用分配子模塊包括:

            廣度優先搜索子單元,用于在包含所述目標邊的子圖中,以所述目標邊的兩個目標節點為起點,進行廣度優先搜索;

            關聯節點選擇子單元,用于從搜索的多個關聯節點中,按照與所述目標節點的邊權重從大到小,在未超出所述服務集群的負載性能的條件下,選擇最多數量的關聯節點。

            優選地,所述裝置還包括:

            新增分配結果確定模塊,用于確定更換后的新增分配結果未超出各服務集群的負載性能。

            優選地,所述應用多次更換模塊包括:

            應用交換子模塊,用于在隨機選擇的兩個服務集群中,分別隨機選擇一個應用進行交換,直至獲得多個新增分配結果。

            優選地,所述應用多次更換模塊包括:

            服務集群交互子模塊,用于針對當前獲得的分配結果,依次選擇兩個分配結果,隨機從兩個分配結果中選擇兩個應用,并對選中的兩個應用所歸屬 的服務集群進行交換,獲得多個新增分配結果

            服務集群修改子模塊,用于隨機選擇一個應用并對所選擇的應用歸屬的服務集群進行修改,獲得多個新增分配結果。

            優選地,所述裝置還包括:

            分配結果篩選模塊,用于篩選資源消耗量從小到大排序靠前的多個分配結果。

            優選地,所述資源消耗量計算模塊包括:

            集群購置成本計算子模塊,用于計算所述初始分配結果和所述新增分配結果各自所需的集群購置成本;

            帶寬消耗成本計算子模塊,用于計算所述初始分配結果和所述新增分配結果中各個應用跨集群的帶寬消耗成本;加和各個應用的帶寬消耗成本,得到所述初始分配結果和所述新增分配結果的總帶寬消耗成本。

            優選地,所述最優分配結果選擇模塊包括:

            分配結果比較子模塊,用于針對當前獲得的新增分配結果,若所述當前獲得的新增分配結果的資源消耗量小于所述初始分配結果的資源消耗量,則將所述當前獲得的新增分配結果作為當前最優分配結果,并與下一個新增分配結果進行比較,直至獲得最優分配結果。

            本申請實施例包括以下優點:

            根據本申請實施例,基于初始分配結果進行應用歸屬的服務集群的多次更換處理,以獲得多個新增分配結果,通過對多個新增分配結果對服務集群的資源消耗量的計算和比較,由此確定最優分配結果,從而提升了應用歸屬服務集群的分配效率,同時保證了得到的分配方案可以有效地節省服務集群的資源消耗成本。

            而且,本申請實施例可以針對動態變化的分布式系統而自動確定出最優分配結果,無須人工進行多次分配,進一步提升了應用歸屬服務集群的分配效率。

            附圖說明

            圖1是本申請的一種應用歸屬服務集群的分配方法實施例一的步驟流程 圖;

            圖2是本申請的一種應用歸屬服務集群的分配方法實施例二的步驟流程圖;

            圖3是本申請的一種應用歸屬服務集群的分配裝置實施例一的結構框圖;

            圖4是本申請的一種應用歸屬服務集群的分配裝置實施例二的結構框圖;

            圖5是本申請一種基于節點網絡圖的構建示意圖;

            圖6是本申請一種應用歸屬服務集群的分配結果示意圖。

            具體實施方式

            為使本申請的上述目的、特征和優點能夠更加明顯易懂,下面結合附圖和具體實施方式對本申請作進一步詳細的說明。

            參照圖1,示出了本申請的一種應用歸屬服務集群的分配方法實施例一的步驟流程圖,具體可以包括如下步驟:

            步驟101,將多個應用分配至多個服務集群,獲得初始分配結果。

            上述的應用可以為一組數據和程序的集合,用于將不同歸屬的數據和計算,在邏輯上進行相互隔離的單位。也可以將應用理解為關系型數據庫中數據實例的概念。一個分布式系統可以具有多個服務集群。服務集群由若干臺相互獨立、通過網絡互聯的計算機組成的計算機群或服務器組。一個服務集群以一個整體的方式提供存儲和計算能力。不同服務集群之間可以通過網絡傳輸的方式進行數據交互等的通訊任務。

            在本申請實施例的具體實現中,可以首先將多個應用分配至多個服務集群,得到初始的分配結果。初始的分配方式可以有多種,例如可以隨機分配,也可以按照服務集群的負載性能對多個服務集群進行排序,按照排序分配應用。

            步驟102,多次更換所述應用歸屬的服務集群,獲得多個新增分配結果。

            針對初始分配結果,可以多次更換應用歸屬的服務集群。每一次更換都會產生一個新的分配結果,多次更換后即可獲得多個新的分配結果。更換時 可以隨機更換,也可以按照一定的規則進行更換。例如,針對服務集群編號,按照編號順序更換,本申請實施例對更換的方式不作限制。

            隨機更換應用歸屬的服務集群的方式可以有多種,例如,可以在服務集群中隨機選擇兩個服務集群,分別隨機選擇一個應用,交換分配至所選擇的另一個服務集群;或者,可以在任意兩個服務集群中分別隨機選擇兩個應用,將兩個應用歸屬的服務集群進行交換。本領域技術人員可以根據實際需要,采用各種方式更換應用歸屬的服務集群,以獲得多個分配結果。

            作為本申請實施例的優選示例,在所述步驟102之后,所述方法可以還包括:

            確定更換后的新增分配結果未超出各服務集群的負載性能。

            作為最優分配結果的候選分配結果需要符合服務集群的負載性能,以保證分配結果可以實施。因此,更換應用歸屬的服務集群后,需要確定更換后的分配結果中,各個服務集群的負載性能依然能滿足實現該分配結果。

            步驟103,計算所述初始分配結果和所述新增分配結果各自對所述服務集群的資源消耗量。

            需要說明的是,服務集群根據其所包含的計算機數量具有不同的購置成本、最大存儲量和cpu總核數,各服務集群也具有一定的出口帶寬;分配于服務集群中的每個應用需要一定的存儲空間,應用之間也可能需要進行數據交互,即具有一定的數據交換量。跨集群的數據交互需要消耗一定的集群的出口帶寬,造成出口帶寬成本。由此,不同的應用分配方案,會產生不同的集群購置成本和帶寬消耗成本。而且,根據集群的最大存儲量和cpu總核數,每個集群所能存儲和運行的應用也會受到一定約束條件的分配限制。假設系統中具有n個服務集群和m個應用,需要將m個應用分配至n’(n’≤n)個服務集群,最優的分配結果可以為n’個集群的總購置成本+跨集群的帶寬消耗成本最小。實際應用中,最優的分配結果可以由本領域技術人員根據實際情況進行定義,例如僅將集群的總購置成本最小作為最優的分配結果,或集群總購置成本+維護成本最小作為最優的分配結果。

            服務集群的資源消耗量可以包括集群購置成本和/或帶寬消耗成本,也可 以是其他的配置集群和運行集群所消耗的成本。

            可以計算初始分配結果和多個新增分配結果各自對服務集群的資源消耗量,以便進一步比較各個分配結果的資源消耗量。

            步驟104,選擇資源消耗量最小的分配結果作為最優分配結果。

            在得到多個候選的分配結果及計算得到各自的資源消耗量后,可以從中選擇資源消耗量最小的分配結果作為最優分配結果。實際應用中,也可以在得到一個新增分配結果后,與初始分配結果進行比較,若新增分配結果的資源消耗量小于初始分配結果的資源消耗量,則將新增分配結果作為最優分配結果。也可以進一步地獲取下一個新增分配結果,與上一個新增分配結果進行比較,重復多次的新增分配結果獲取和比較,直到得到最優的分配結果。還可以經過一定次數的與新增分配結果比較后,將資源消耗最小的分配結果作為最優分配結果。

            根據本申請實施例,基于初始分配結果進行應用歸屬的服務集群的多次更換處理,以獲得多個新增分配結果,通過對多個新增分配結果對服務集群的資源消耗量的計算和比較,由此確定最優分配結果,從而提升了應用歸屬服務集群的分配效率,同時保證了得到的分配方案可以有效地節省服務集群的資源消耗成本。

            而且,本申請實施例可以針對動態變化的分布式系統而自動確定出最優分配結果,無須人工進行多次分配,進一步提升了應用歸屬服務集群的分配效率。

            參照圖2,示出了本申請的一種應用歸屬服務集群的分配方法實施例二的步驟流程圖,具體可以包括如下步驟:

            步驟201,按照所述服務集群的至少一種負載性能,對多個服務集群進行排序。

            上述的負載性能可以包括每一個服務集群的最大存儲量、cpu總核數、各服務集群間的出口平均帶寬成本中至少一種。負載性能也可以包括其他的服務集群的處理能力指標。可以按照服務集群的負載性能對多個服務集群進 行排序。具體的排序方式可以有多種,例如分別按照不同的負載性能進行排序,或者針對負載性能設置權重,根據服務集群的多個負載性能的綜合權重排序。排序可以是升序,也可以是降序。本領域技術人員可以根據實際情況,按照負載性能進行排序,本申請實施例對此不作限制。

            步驟202,按照排序針對各服務集群進行應用分配,直至所有應用均分配至某個服務集群;其中,針對排序在后的服務集群,在排序在前的服務集群分配后剩余的應用中進行應用分配,獲得初始分配結果。

            在確定服務集群的排序后,可以按照排序進行應用分配。分配時可以優先將應用分配至排序靠前的服務集群,排序在前的服務集群分配完畢后再將剩余的應用分配至排序在后的服務集群。

            實際應用中,分配可以具有一定的約束條件,例如,服務集群所能分配的應用的總數據量不超過服務集群的最大存儲量的90%;或者,服務集群內的應用在任一時間點對服務集群的內存和cpu消耗不超過其最大處理能力的80%;或者,單個應用不得分別分配至不同的服務集群,而必須完整地分配至同一個服務集群;也可以采用上述多個約束條件的組合。當然,本領域技術人員可以根據實際情況設定各種約束條件或約束條件的組合,本申請實施例不限制約束條件的具體內容和約束條件的組合方式。

            對各服務集群進行應用分配的處理,可以循環處理直至所有應用均分配至某個應用,并最終得到初始分配結果。或者,直至無法再滿足約束條件為止。

            作為本申請實施例的優選示例,在所述按照排序針對各服務集群進行應用分配之前,所述方法可以還包括:

            計算任意兩個應用之間的關聯權重。

            所述按照排序針對各服務集群進行應用分配可以包括:

            從當前可選的多個應用中,選擇關聯權重最大的兩個目標應用,并選擇與所述目標應用之一的關聯權重排序靠前的多個關聯應用,分配至所述服務集群。

            可以計算任意兩個應用之間的數據交換量,以作為應用之間的關聯權 重。在計算得到全部應用之間的關聯權重后,可以選擇關聯權重最大的兩個應用作為目標應用。基于選擇的兩個目標應用,可以繼續選擇與任意一個目標應用的關聯權重較大的其他關聯應用,分配至與目標應用所屬的服務集群中。

            因為處于同一服務集群中的應用之間在交換數據時可以不占用服務集群的出口帶寬,因此,可以盡量將相互間數據交換量較大的應用分配至同一個服務集群中,以減少服務集群間的數據交換量,降低對服務集群的帶寬占用。

            作為本申請實施例的優選示例,所述按照排序針對各服務集群進行應用分配還包括:

            若至少一個應用未分配至所述服務集群,則將未分配的應用按照所需資源消耗量進行排序;按照排序逐個將未分配的應用隨機分配至某一服務集群。

            對于剩余的未分配應用,可以按照未分配應用所需資源消耗量進行降序排序,按照排序逐個將未分配應用隨機分配至一個可容納該應用的服務集群中。其中,隨機分配可能要反復若干次,直至分配到可容納該應用的服務集群。所需資源消耗量可以為購置成本,帶寬占用,應用所需的存儲空間,應用運行時需要占用的內存等資源消耗量中至少一種或多種的組合。

            作為本申請實施例的優選示例,在所述步驟202之前,所述方法可以還包括:

            以所述應用為節點,以具備數據交換的兩個應用為相鄰節點,構建包括多個應用的節點網絡圖,所述關聯權重為連接兩個應用的邊的邊權重。

            從圖的角度考慮,可以基于應用構成圖模型,通過圖算法的方式得到初始分配結果。具體地,可以以應用作為圖的節點,以具備數據交換的任意兩個應用作為相鄰的節點,代表應用之間數據交換量的關聯權重作為兩個應用節點的邊的邊權重,從而構建包括有多個應用的節點網絡圖。

            作為本申請實施例的優選示例,所述選擇關聯權重最大的兩個目標應用包括:

            查找所述節點網絡圖中邊權重最大的目標邊。

            節點網絡圖中的兩個節點的邊權重表示兩個應用之間的關聯權重,選擇關聯權重最大的兩個目標應用,可以通過在節點網絡圖中查找邊權重最大的目標邊而實現,查找到的目標邊所連接兩個節點,即對應于關聯權重最大的兩個目標應用。

            作為本申請實施例的優選示例,所述選擇與所述目標應用之一的關聯權重排序靠前的多個關聯應用可以包括:

            子步驟s11,在包含所述目標邊的子圖中,以所述目標邊的兩個目標節點為起點,進行廣度優先搜索。

            子步驟s12,從搜索的多個關聯節點中,按照與所述目標節點的邊權重從大到小,在未超出所述服務集群的負載性能的條件下,選擇最多數量的關聯節點。

            可以將包含有目標邊的節點形成一個子圖,以目標節點為起點進行廣度優先搜索(breadthfirstsearch,bfs)。廣度優先搜索是一種圖搜索算法,區別于深度優先搜索,其從某個節點開始,沿著圖的寬度遍歷各個節點,直至圖中的全部節點被訪問完畢才終止搜索計算。

            從搜索得到的多個關聯節點中,可以按照與目標節點的邊權重從大到小的順序,在滿足服務集群的負載性能的條件下,選擇數量最多的關聯節點,即選擇了與任意一個目標應用的關聯權重排序靠前的多個關聯應用。

            為了便于本領域技術人員理解本申請實施例,圖5示出了本申請一種基于節點網絡圖的構建示意圖。從圖中可見,將應用作為節點,將應用間的關聯權重作為節點的邊權重。其中,首先查找到未被分配的、邊權重最大的目標邊,同時目標邊連接的兩個節點所對應的目標應用需要滿足一定的約束條件。在包含有目標邊的子圖中,以目標節點為起點進行廣度優先搜索,不斷地將與目標節點相鄰的其他節點、按照邊權重從大到小的順序進行擴展,將子圖中的其他節點加入到由目標節點及多個關聯節點形成的圖塊中,直至子圖中所有節點均被關聯,或已無法滿足約束條件。圖5中的節點1、節點2、節點3和節點4形成一個圖塊,節點5、節點6和節點9以及節點7和節點 8分別形成另外的圖塊。即,應用1、應用2、應用3和應用4被分配至一個服務集群,應用5、應用6和應用9以及應用7和應用8分別分配至其他的兩個服務集群。相應的,參考圖6示出了本申請一種應用歸屬服務集群的分配結果示意圖。如圖6,上述9個應用分別被分配至服務集群a、服務集群b和服務集群c。

            利用應用和應用間的關聯權重構建基于邊權重關聯各個節點的節點網絡圖,可以將如何使得分配至同一服務集群的應用之間的數據交換量盡量大、同時使得服務集群之間的數據交換量盡量小的問題,轉換成如何使得圖塊之內的多個應用間邊權重盡量大、而圖塊間的邊權重盡量小的問題。通過以目標節點展開廣度優先搜索,按照其他節點的邊權重大小順序進行擴展關聯,使得圖塊之內多個節點之間的邊權重之和盡量大,而圖塊之間的邊權重之和盡量小。即,同一服務集群的應用之間的數據交換量盡量大,而服務集群之間的數據交換量盡量小。

            步驟203,多次更換所述應用歸屬的服務集群,獲得多個新增分配結果。

            作為本申請實施例的優選示例一,所述步驟203可以包括:

            子步驟s21,在隨機選擇的兩個服務集群中,分別隨機選擇一個應用進行交換,直至獲得多個新增分配結果。

            針對于初始分配結果中的多個服務集群,可以在服務集群中隨機選擇兩個服務集群,分別隨機選擇一個應用,交換分配至所選擇的另一個服務集群,從而可以獲得新增的分配結果。可以反復進行多次的交換,以獲得多個新增分配結果。新增分配結果的具體數量可以由本領域技術人員根據實際情況設定。作為本申請實施例的優選示例,在所述子步驟s21之后,所述方法可以還包括:篩選資源消耗量從小到大排序靠前的多個分配結果。

            具體地,可以針對當前獲得的多個新增分配結果,可以按照其資源消耗量從小到大進行排序,將排序靠前的若干個分配結果篩選出。

            作為本申請實施例的優選示例二,所述步驟203可以包括:子步驟s22,針對當前獲得的分配結果,依次選擇兩個分配結果,隨機從兩個分配結果中選擇兩個應用,并對選擇的兩個應用所歸屬的服務集群進行交換,獲得多個 新增分配結果。

            針對于當前獲得的多個分配結果,可以從中依次選擇兩個分配結果,在選擇的分配結果中分別選擇兩個應用,對所選擇的兩個應用所歸屬的服務集群進行交換,從而產生了新增分配結果。可以反復進行多次的交換,以獲得多個新增分配結果。

            作為本申請實施例的優選示例三,所述步驟203可以包括:

            子步驟s23,隨機選擇一個應用并對所選擇的應用歸屬的服務集群進行修改,獲得多個新增分配結果。

            可以在任意一個服務集群中,隨機選擇一個應用,并將選擇的應用分配至其他服務集群,以獲得新增分配結果。同樣,可以反復多次隨機選擇應用并重新分配應用至其他服務集群,以獲得多個新增分配結果。

            步驟204,計算所述初始分配結果和所述新增分配結果各自對所述服務集群的資源消耗量。

            作為本申請實施例的優選示例,所述步驟204可以包括:

            子步驟s31,計算所述初始分配結果和所述新增分配結果各自所需的集群購置成本。

            可以針對初始分配結果和新增分配結果,計算各個分配結果所需的集群購置成本。

            和/或,子步驟s32,計算所述初始分配結果和所述新增分配結果中各個應用跨集群的帶寬消耗成本;加和各個應用的帶寬消耗成本,得到所述初始分配結果和所述新增分配結果的總帶寬消耗成本。

            可以針對初始分配結果和多個新增的分配結果,計算各個分配結果中,各個應用之間跨集群交互數據時所對服務集群的帶寬消耗成本。將各個應用的帶寬消耗成本加和,分別得到各個分配結果的總帶寬消耗成本。

            實際應用中,上述子步驟s21和步驟204可以利用模擬退火算法(simulatedannealing,sa),實現獲得新增分配結果,并計算各個新增分配結果對服務集群的資源消耗量,以最終獲得最優分配結果的處理。模擬退火算法是一種通用概率算法,通常用于在一個較大的搜索空間內計算最優結 果。

            具體地,模擬退火算法中的初始解狀態s的概念可以用于表示初始分配結果,即迭代計算的起點;s′可以表示新增分配結果。每一次的隨機更換應用歸屬的服務集群而獲得新增分配結果,即產生新解s’,并累計迭代次數一次。通過計算公式δt′=c(s′)-c(s)計算資源消耗量的增量;其中,c(s)為表示分配結果的資源消耗量的評價函數,δt′為該次迭代計算得到的資源消耗量增量。

            當δt′小于0,即新增分配結果的資源消耗量小于之前的分配結果,可以接受s′作為新的當前解。重復隨機更換應用歸屬的服務集群獲得新增分配結果的步驟,以對新增分配結果的資源消耗量增量進行迭代計算,滿足終止條件后則將終止迭代計算并將當前解作為最優解,即最優的分配結果。終止條件可以為連續n個新解均沒有被接受,也可以為新增結果無法滿足約束條件,還可以是獲得足夠多的被接受的當前解,當前解的數量應盡可能大,以保證后續可以獲得最優解。當然,本領域技術人員也可以根據實際情況設定當前解的數量。

            實際應用中,上述子步驟s22、s23和步驟204可以利用遺傳算法(geneticalgorithm,ga),實現獲得新增分配結果并計算各個新增分配結果對服務集群的資源消耗量,以最終獲得最優分配結果的處理。遺傳算法是借鑒生物界的進化規律演化而來的隨機搜索方法。

            具體地,可以將各個應用作為染色體進行編碼,將m個應用從0-m編號,n個服務集群從0-n編號,得到一個m維的染色體向量,每一維代表一個應用,對應取值為[0,n),表示該應用當前分配的集群索引,即該應用所屬的服務集群編號。

            可以設置進化代數t=0,設置最大進化代數t,隨機生成m個個體的集合作為初始群體p(0),即初始分配結果。計算初始群體p(0)中的適應度,適應度可以通過計算該分配結果所需資源消耗量的倒數得到。分配結果所需資源消耗量越大,表示適應度越低,反之亦然。

            在實際應用中,評價函數和適應度均為分配結果所需資源消耗量的表示 方式,本領域技術人員可以根據實際情況任意選用,例如,在利用遺傳算法獲得新增分配結果時,可以用評價函數表示分配結果所需資源消耗量;在利用模擬退火算法獲得新增分配結果時,也可以用適應度表示分配結果所需資源消耗量。

            針對于上述的子步驟s22,利用遺傳算法框架實現獲得新增分配結果的具體處理中,可以針對染色體進行交叉運算,將交叉算子作用于群體。具體地,可以在初始群體p(0)的染色體中隨機選取兩個染色體,在滿足約束條件的前提下相互交互取值,即對兩個應用歸屬的服務集群進行交換,獲得新增分配結果。

            或者,針對于上述的子步驟s23,利用遺傳算法框架實現獲得新增分配的具體處理中,可以針對染色體進行變異運算,將變異算子作用于群體,即對群體中的個體串的某些基因座上的基因值作變動。具體地,可以在初始群體p(0)的染色體中隨機選取一個染色體,在滿足約束條件的前提下修改索引值,即隨機選擇一個應用并對所選擇的應用歸屬的服務集群進行修改,獲得新增分配結果。

            針對于上述的步驟204,即針對交叉運算和/或變異運算后,從群體p(t)進化到下一代群體p(t+1),利用遺傳算法框架計算資源消耗量的具體處理中,可以計算群體p(t+1)的適應度。當多次進化,進化代數t累計到最大進化代數t后則終止迭代計算,將進化過程中具有最大適應度的群體作為最優解,即最優分配結果。

            由于每一步交叉運算和變異運算都會對進化是否滿足約束條件進行檢查,因此整個進化過程均可得到有效的分配結果,保證了進化的合理性。

            需要說明的是,上述子步驟s21-子步驟s23的執行順序僅為示例,實際應用中,可以根據上述提供的一種或多種方式按照不同次序的組合以獲得多個新增的分配結果。例如先執行子步驟s21,再執行子步驟s23,最后執行子步驟s22。

            需要說明的是,實際應用中可以采用多種方式結合模擬退火算法和遺傳算法計算獲得最優分配結果。例如,可以先利用模擬退火算法獲得大量的分 配結果,然后利用遺傳算法控制分配結果的優化方向,以便接近最優分配結果;或者也可以先利用遺傳算法中的變異運算,獲得若干新增分配結果,再基于得到的若干分配結果,利用模擬退火算法獲得大量的分配結果,最后再利用遺傳算法中的交叉運算獲得最優分配結果。

            當結合模擬退火算法和遺傳算法獲得最優分配結果時,兩種算法所對應計算的資源消耗量可以為相同種類的資源的消耗,也可以不同。例如,模擬退火算法所計算的資源消耗量針對于集群購置成本的消耗,而遺傳算法所計算的是帶寬成本的消耗。

            此外,除了使用遺傳算法獲得最優分配結果,本領域技術也可以采用其他的算法獲得最優分配結果,例如蟻群算法、粒子群算法等。

            步驟205,針對當前獲得的新增分配結果,若所述當前獲得的新增分配結果的資源消耗量小于所述初始分配結果的資源消耗量,則將所述當前獲得的新增分配結果作為當前最優分配結果,并與下一個新增分配結果進行比較,直至獲得最優分配結果。

            針對于當前獲得的多個新增分配結果,可以將當前獲得的新增分配結果與初始分配結果的資源消耗量進行比較。若當前獲得的新增分配結果的資源消耗量小于初始分配結果的資源消耗量,則將當前獲得的新增分配結果作為當前最優分配結果,反之則繼續將下一新增分配結果與初始分配結果的資源消耗量進行比較。針對當前最優分配結果,可以與下一個新增分配結果進行比較,反復進行比較并確定當前最優分配結果,直至獲得資源消耗量最小的分配結果,將其作為最優分配結果。或者,針對出現了新增分配結果的集群購置成本大于初始分配結果的資源消耗量的比較結果的出現次數進行統計,當出現的次數超出預設次數,則將候選分配結果中資源消耗量最小的分配結果作為最優分配結果。

            根據本申請實施例,通過節點網絡圖得到初始分配結果,并進一步通過模擬退火算法和/或遺傳算法得到最優分配結果,從而提升了應用歸屬服務集群分配的效率。而且,所得到的分配方案更接近最優方案,節省了分布式系統部署和運行的成本。

            而且,本申請實施例可以針對動態變化的分布式系統而自動確定出最優分配結果,無須人工進行多次分配,進一步提升了應用歸屬服務集群的分配效率。

            需要說明的是,對于方法實施例,為了簡單描述,故將其都表述為一系列的動作組合,但是本領域技術人員應該知悉,本申請實施例并不受所描述的動作順序的限制,因為依據本申請實施例,某些步驟可以采用其他順序或者同時進行。其次,本領域技術人員也應該知悉,說明書中所描述的實施例均屬于優選實施例,所涉及的動作并不一定是本申請實施例所必須的。

            參照圖3,示出了本申請的一種應用歸屬服務集群的分配裝置實施例一的結構框圖,具體可以包括如下模塊:

            應用初始分配模塊301,用于將多個應用分配至多個服務集群,獲得初始分配結果。

            應用多次更換模塊302,用于多次更換所述應用歸屬的服務集群,獲得多個新增分配結果。

            資源消耗量計算模塊303,用于計算所述初始分配結果和所述新增分配結果各自對所述服務集群的資源消耗量。

            最優分配結果選擇模塊304,用于選擇資源消耗量最小的分配結果作為最優分配結果。

            根據本申請實施例,基于初始分配結果進行應用歸屬的服務集群的多次更換處理,以獲得多個新增分配結果,通過對多個新增分配結果對服務集群的資源消耗量的計算和比較,由此確定最優分配結果,從而提升了應用歸屬服務集群的分配效率,同時保證了得到的分配方案可以有效地節省服務集群的資源消耗成本。

            而且,本申請實施例可以針對動態變化的分布式系統而自動確定出最優分配結果,無須人工進行多次分配,進一步提升了應用歸屬服務集群的分配效率。

            參照圖4,示出了本申請的一種應用歸屬服務集群的分配裝置實施例二的結構框圖,具體可以包括如下模塊:

            服務集群排序模塊401,用于按照所述服務集群的至少一種負載性能,對多個服務集群進行排序。

            節點網絡圖構建模塊402,用于以所述應用為節點,以具備數據交換的兩個應用為相鄰節點,構建包括多個應用的節點網絡圖,所述關聯權重為連接兩個應用的邊的邊權重。

            應用初始分配模塊403,用于將多個應用分配至多個服務集群,獲得初始分配結果。

            應用多次更換模塊404,用于多次更換所述應用歸屬的服務集群,獲得多個新增分配結果。

            資源消耗量計算模塊405,用于計算所述初始分配結果和所述新增分配結果各自對所述服務集群的資源消耗量。

            最優分配結果選擇模塊406,用于選擇資源消耗量最小的分配結果作為最優分配結果。

            作為本申請實施例的優選示例,所述應用初始分配模塊403可以具體用于:

            按照排序針對各服務集群進行應用分配,直至所有應用均分配至某個服務集群;其中,針對排序在后的服務集群,在排序在前的服務集群分配后剩余的應用中進行應用分配。

            作為本申請實施例的優選示例,所述裝置可以還包括:

            關聯權重計算模塊,用于計算任意兩個應用之間的關聯權重。

            所述應用初始分配模塊403可以包括:

            關聯應用分配子模塊,用于從當前可選的多個應用中,選擇關聯權重最大的兩個目標應用,并選擇與所述目標應用之一的關聯權重排序靠前的多個關聯應用,分配至所述服務集群。

            作為本申請實施例的優選示例,所述裝置可以還包括:

            應用排序模塊,用于若至少一個應用未分配至所述服務集群,則將未分 配的應用按照所需資源消耗量進行排序。

            未分配應用隨機分配模塊,用于按照排序逐個將未分配的應用隨機分配至某一服務集群。

            作為本申請實施例的優選示例一,所述關聯應用分配子模塊可以包括:

            目標邊查找子單元,用于查找所述節點網絡圖中邊權重最大的目標邊。

            作為本申請實施例的優選示例二,所述關聯應用分配子模塊可以包括:

            廣度優先搜索子單元,用于在包含所述目標邊的子圖中,以所述目標邊的兩個目標節點為起點,進行廣度優先搜索。

            關聯節點選擇子單元,用于從搜索的多個關聯節點中,按照與所述目標節點的邊權重從大到小,在未超出所述服務集群的負載性能的條件下,選擇最多數量的關聯節點。

            作為本申請實施例的優選示例,所述裝置可以還包括:

            新增分配結果確定模塊,用于確定更換后的新增分配結果未超出各服務集群的負載性能。

            作為本申請實施例的優選示例,所述應用多次更換模塊404可以包括:

            應用交換子模塊,用于在隨機選擇的兩個服務集群中,分別隨機選擇一個應用進行交換,直至獲得多個新增分配結果。

            作為本申請實施例的優選示例,所述應用多次更換模塊404可以包括:

            服務集群交互子模塊,用于針對當前獲得的分配結果,依次選擇兩個分配結果,隨機從兩個分配結果中選擇兩個應用,并對選中的兩個應用所歸屬的服務集群進行交換,獲得多個新增分配結果。

            服務集群修改子模塊,用于隨機選擇一個應用并對所選擇的應用歸屬的服務集群進行修改,獲得多個新增分配結果。

            作為本申請實施例的優選示例,所述裝置可以還包括:

            分配結果篩選模塊,用于篩選資源消耗量從小到大排序靠前的多個分配結果。

            作為本申請實施例的優選示例,所述資源消耗量計算模塊405可以包括:

            集群購置成本計算子模塊,用于計算所述初始分配結果和所述新增分配 結果各自所需的集群購置成本。

            帶寬消耗成本計算子模塊,用于計算所述初始分配結果和所述新增分配結果中各個應用跨集群的帶寬消耗成本;加和各個應用的帶寬消耗成本,得到所述初始分配結果和所述新增分配結果的總帶寬消耗成本。

            作為本申請實施例的優選示例,所述最優分配結果選擇模塊406可以包括:

            分配結果比較子模塊,用于針對當前獲得的新增分配結果,若所述當前獲得的新增分配結果的資源消耗量小于所述初始分配結果的資源消耗量,則將所述當前獲得的新增分配結果作為當前最優分配結果,并與下一個新增分配結果進行比較,直至獲得最優分配結果。

            根據本申請實施例,通過節點網絡圖得到初始分配結果,并進一步通過模擬退火算法和/或遺傳算法得到最優分配結果,從而提升了應用歸屬服務集群分配的效率。而且,所得到的分配方案更接近最優方案,節省了分布式系統部署和運行的成本。

            而且,本申請實施例可以針對動態變化的分布式系統而自動確定出最優分配結果,無須人工進行多次分配,進一步提升了應用歸屬服務集群的分配效率。

            對于裝置實施例而言,由于其與方法實施例基本相似,所以描述的比較簡單,相關之處參見方法實施例的部分說明即可。

            本說明書中的各個實施例均采用遞進的方式描述,每個實施例重點說明的都是與其他實施例的不同之處,各個實施例之間相同相似的部分互相參見即可。

            本領域內的技術人員應明白,本申請實施例的實施例可提供為方法、裝置、或計算機程序產品。因此,本申請實施例可采用完全硬件實施例、完全軟件實施例、或結合軟件和硬件方面的實施例的形式。而且,本申請實施例可采用在一個或多個其中包含有計算機可用程序代碼的計算機可用存儲介質(包括但不限于磁盤存儲器、cd-rom、光學存儲器等)上實施的計算機程 序產品的形式。

            在一個典型的配置中,所述計算機設備包括一個或多個處理器(cpu)、輸入/輸出接口、網絡接口和內存。內存可能包括計算機可讀介質中的非永久性存儲器,隨機存取存儲器(ram)和/或非易失性內存等形式,如只讀存儲器(rom)或閃存(flashram)。內存是計算機可讀介質的示例。計算機可讀介質包括永久性和非永久性、可移動和非可移動媒體可以由任何方法或技術來實現信息存儲。信息可以是計算機可讀指令、數據結構、程序的模塊或其他數據。計算機的存儲介質的例子包括,但不限于相變內存(pram)、靜態隨機存取存儲器(sram)、動態隨機存取存儲器(dram)、其他類型的隨機存取存儲器(ram)、只讀存儲器(rom)、電可擦除可編程只讀存儲器(eeprom)、快閃記憶體或其他內存技術、只讀光盤只讀存儲器(cd-rom)、數字多功能光盤(dvd)或其他光學存儲、磁盒式磁帶,磁帶磁磁盤存儲或其他磁性存儲設備或任何其他非傳輸介質,可用于存儲可以被計算設備訪問的信息。按照本文中的界定,計算機可讀介質不包括非持續性的電腦可讀媒體(transitorymedia),如調制的數據信號和載波。

            本申請實施例是參照根據本申請實施例的方法、終端設備(系統)、和計算機程序產品的流程圖和/或方框圖來描述的。應理解可由計算機程序指令實現流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結合。可提供這些計算機程序指令到通用計算機、專用計算機、嵌入式處理機或其他可編程數據處理終端設備的處理器以產生一個機器,使得通過計算機或其他可編程數據處理終端設備的處理器執行的指令產生用于實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。

            這些計算機程序指令也可存儲在能引導計算機或其他可編程數據處理終端設備以特定方式工作的計算機可讀存儲器中,使得存儲在該計算機可讀存儲器中的指令產生包括指令裝置的制造品,該指令裝置實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。

            這些計算機程序指令也可裝載到計算機或其他可編程數據處理終端設備上,使得在計算機或其他可編程終端設備上執行一系列操作步驟以產生計算機實現的處理,從而在計算機或其他可編程終端設備上執行的指令提供用于實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。

            盡管已描述了本申請實施例的優選實施例,但本領域內的技術人員一旦得知了基本創造性概念,則可對這些實施例做出另外的變更和修改。所以,所附權利要求意欲解釋為包括優選實施例以及落入本申請實施例范圍的所有變更和修改。

            最后,還需要說明的是,在本文中,諸如第一和第二等之類的關系術語僅僅用來將一個實體或者操作與另一個實體或操作區分開來,而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關系或者順序。而且,術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含,從而使得包括一系列要素的過程、方法、物品或者終端設備不僅包括那些要素,而且還包括沒有明確列出的其他要素,或者是還包括為這種過程、方法、物品或者終端設備所固有的要素。在沒有更多限制的情況下,由語句“包括一個……”限定的要素,并不排除在包括所述要素的過程、方法、物品或者終端設備中還存在另外的相同要素。

            以上對本申請所提供的一種應用歸屬服務集群的分配方法和一種應用歸屬服務集群的分配裝置,進行了詳細介紹,本文中應用了具體個例對本申請的原理及實施方式進行了闡述,以上實施例的說明只是用于幫助理解本申請的方法及其核心思想;同時,對于本領域的一般技術人員,依據本申請的思想,在具體實施方式及應用范圍上均會有改變之處,綜上所述,本說明書內容不應理解為對本申請的限制。

            當前第1頁1 2 
            網友詢問留言 已有0條留言
            • 還沒有人留言評論。精彩留言會獲得點贊!
            1
            婷婷六月激情在线综合激情,亚洲国产大片,久久中文字幕综合婷婷,精品久久久久久中文字幕,亚洲一区二区三区高清不卡,99国产精品热久久久久久夜夜嗨 ,欧美日韩亚洲综合在线一区二区,99国产精品电影,伊人精品线视天天综合,精品伊人久久久大香线蕉欧美
            亚洲精品1区 国产成人一级 91精品国产欧美一区二区 亚洲精品乱码久久久久久下载 国产精品久久久久久久伊一 九色国产 国产精品九九视频 伊人久久成人爱综合网 欧美日韩亚洲区久久综合 欧美日本一道免费一区三区 夜夜爽一区二区三区精品 欧美日韩高清一区二区三区 国产成人av在线 国产精品对白交换绿帽视频 国产视频亚洲 国产在线欧美精品 国产精品综合网 国产日韩精品欧美一区色 国产日韩精品欧美一区喷 欧美日韩在线观看区一二 国产区精品 欧美视频日韩视频 中文字幕天天躁日日躁狠狠躁97 视频一二三区 欧美高清在线精品一区二区不卡 国产精品揄拍一区二区久久 99久久综合狠狠综合久久aⅴ 亚洲乱码视频在线观看 日韩在线第二页 亚洲精品无码专区在线播放 成人亚洲网站www在线观看 欧美三级一区二区 99久久精品免费看国产高清 91麻豆国产在线观看 最新日韩欧美不卡一二三区 成人在线观看不卡 日韩国产在线 在线亚洲精品 亚洲午夜久久久久中文字幕 国产精品成人久久久久久久 精品国产一区二区在线观看 欧美精品国产一区二区三区 中文在线播放 亚洲第一页在线视频 国产午夜精品福利久久 九色国产 精品国产九九 国产永久视频 久久精品人人做人人综合试看 国产一区二区三区免费观看 亚洲精品国产电影 9999热视频 国产精品资源在线 麻豆久久婷婷国产综合五月 国产精品免费一级在线观看 亚洲国产一区二区三区青草影视 中文在线播放 国产成人综合在线 国产在线观看色 国产亚洲三级 国产片一区二区三区 久久99精品久久久久久牛牛影视 亚洲欧美日韩国产 四虎永久免费网站 国产一毛片 国产精品视频在 九九热在线精品 99精品福利视频 色婷婷色99国产综合精品 97成人精品视频在线播放 精品久久久久久中文字幕 亚洲欧美一区二区三区孕妇 亚洲欧美成人网 日韩高清在线二区 国产尤物在线观看 在线不卡一区二区 91网站在线看 韩国精品福利一区二区 欧美日韩国产成人精品 99热精品久久 国产精品免费视频一区 高清视频一区 精品九九久久 欧美日韩在线观看免费 91欧美激情一区二区三区成人 99福利视频 亚洲国产精品91 久热国产在线 精品久久久久久中文字幕女 国产精品久久久久久久久99热 成人自拍视频网 国产精品视频久久久久久 久久影院国产 国产玖玖在线观看 99精品在线免费 亚洲欧美一区二区三区导航 久久久久久久综合 国产欧美日韩精品高清二区综合区 国产精品视频自拍 亚洲一级片免费 久久久久久九九 国产欧美自拍视频 视频一区二区在线观看 欧美日韩一区二区三区久久 中文在线亚洲 伊人热人久久中文字幕 日韩欧美亚洲国产一区二区三区 欧美亚洲国产成人高清在线 欧美日韩国产码高清综合人成 国产性大片免费播放网站 亚洲午夜综合网 91精品久久一区二区三区 国产无套在线播放 国产精品视频网站 国产成人亚洲精品老王 91在线网站 国产视频97 欧美黑人欧美精品刺激 国产一区二区三区免费在线视频 久久久国产精品免费看 99re6久精品国产首页 久久精品91 国产成人一级 国产成人精品曰本亚洲 日本福利在线观看 伊人成综合网 久久综合一本 国产综合久久久久久 久久精品成人免费看 久久福利 91精品国产91久久久久久麻豆 亚洲精品成人在线 亚洲伊人久久精品 欧美日本二区 国产永久视频 国产一区二 一区二区福利 国产一毛片 亚洲精品1区 毛片一区二区三区 伊人久久大香线蕉综合影 国产欧美在线观看一区 亚洲国产欧洲综合997久久 国产一区二区免费视频 国产91精品对白露脸全集观看 久久亚洲国产伦理 欧美成人伊人久久综合网 亚洲性久久久影院 久久99国产精一区二区三区! 91精品国产欧美一区二区 欧美日韩亚洲区久久综合 日韩精品一二三区 久久久夜色精品国产噜噜 国产在线精品福利91香蕉 久久久久久久亚洲精品 97se色综合一区二区二区 91国语精品自产拍在线观看性色 91久久国产综合精品女同我 日韩中文字幕a 国产成人亚洲日本精品 久久国产精品-国产精品 久久国产经典视频 久久国产精品伦理 亚洲第一页在线视频 国产精品久久久久三级 日韩毛片网 久久免费高清视频 麻豆国产在线观看一区二区 91麻豆国产福利在线观看 国产成人精品男人的天堂538 一区二区三区中文字幕 免费在线视频一区 欧美日韩国产成人精品 国产综合网站 国产资源免费观看 亚洲精品亚洲人成在线播放 精品久久久久久中文字幕专区 亚洲人成人毛片无遮挡 国产一起色一起爱 国产香蕉精品视频在 九九热免费观看 日韩亚洲欧美一区 九九热精品在线观看 精品久久久久久中文字幕专区 亚洲欧美自拍偷拍 国产精品每日更新 久久久久国产一级毛片高清板 久久天天躁狠狠躁夜夜中文字幕 久久精品片 日韩在线毛片 国产成人精品本亚洲 国产成人精品一区二区三区 九九热在线观看 国产r级在线观看 国产欧美日韩精品高清二区综合区 韩国电影一区二区 国产精品毛片va一区二区三区 五月婷婷伊人网 久久一区二区三区免费 一本色道久久综合狠狠躁篇 亚洲综合色站 国产尤物在线观看 亚洲一区亚洲二区 免费在线视频一区 欧洲精品视频在线观看 日韩中文字幕a 中文字幕日本在线mv视频精品 91精品在线免费视频 精品国产免费人成在线观看 精品a级片 中文字幕日本在线mv视频精品 日韩在线精品视频 婷婷丁香色 91精品国产高清久久久久 国产成人精品日本亚洲直接 五月综合视频 欧美日韩在线亚洲国产人 精液呈暗黄色 亚洲乱码一区 久久精品中文字幕不卡一二区 亚洲天堂精品在线 激情婷婷综合 国产免费久久精品久久久 国产精品亚洲二区在线 久久免费播放视频 五月婷婷丁香综合 在线亚洲欧美日韩 久久免费精品高清麻豆 精品久久久久久中文字幕 亚洲一区网站 国产精品福利社 日韩中文字幕免费 亚洲综合丝袜 91精品在线播放 国产精品18 亚洲日日夜夜 伊人久久大香线蕉综合影 亚洲精品中文字幕乱码影院 亚洲一区二区黄色 亚洲第一页在线视频 一区二区在线观看视频 国产成人福利精品视频 亚洲高清二区 国内成人免费视频 精品亚洲性xxx久久久 国产精品合集一区二区三区 97av免费视频 国产一起色一起爱 国产区久久 国产资源免费观看 99精品视频免费 国产成人一级 国产精品九九免费视频 欧美91精品久久久久网免费 99热国产免费 久久精品色 98精品国产综合久久 久久精品播放 中文字幕视频免费 国产欧美日韩一区二区三区在线 精品久久蜜桃 国产小视频精品 一本色道久久综合狠狠躁篇 91在线免费观看 亚洲精品区 伊人成综合网 伊人热人久久中文字幕 伊人黄色片 99国产精品热久久久久久夜夜嗨 久久免费精品视频 亚洲一区二区三区高清不卡 久久久久国产一级毛片高清板 国产片一区二区三区 久久狠狠干 99久久婷婷国产综合精品电影 国产99区 国产精品成人久久久久 久久狠狠干 青青国产在线观看 亚洲高清国产拍精品影院 国产精品一区二区av 九九热在线免费视频 伊人久久国产 国产精品久久久久久久久久一区 在线观看免费视频一区 国产精品自在在线午夜区app 国产精品综合色区在线观看 国产毛片久久久久久国产毛片 97国产免费全部免费观看 国产精品每日更新 国产尤物视频在线 九九视频这里只有精品99 一本一道久久a久久精品综合 久久综合给会久久狠狠狠 国产成人精品男人的天堂538 欧美一区二区高清 毛片一区二区三区 国产欧美日韩在线观看一区二区三区 在线国产二区 欧美不卡网 91在线精品中文字幕 在线国产福利 国内精品91久久久久 91亚洲福利 日韩欧美国产中文字幕 91久久精品国产性色也91久久 亚洲性久久久影院 欧美精品1区 国产热re99久久6国产精品 九九热免费观看 国产精品欧美日韩 久久久久国产一级毛片高清板 久久国产经典视频 日韩欧美亚洲国产一区二区三区 欧美亚洲综合另类在线观看 国产精品自在在线午夜区app 97中文字幕在线观看 视频一二三区 精品国产一区在线观看 国产欧美日韩在线一区二区不卡 欧美一区二三区 伊人成人在线观看 国内精品91久久久久 97在线亚洲 国产在线不卡一区 久久久全免费全集一级全黄片 国产精品v欧美精品∨日韩 亚洲毛片网站 在线不卡一区二区 99re热在线视频 久久激情网 国产毛片一区二区三区精品 久久亚洲综合色 中文字幕视频免费 国产视频亚洲 婷婷伊人久久 国产一区二区免费播放 久久99国产精品成人欧美 99国产在线视频 国产成人免费视频精品一区二区 国产不卡一区二区三区免费视 国产码欧美日韩高清综合一区 久久精品国产主播一区二区 国产一区电影 久久精品国产夜色 国产精品国产三级国产 日韩一区二区三区在线 久久97久久97精品免视看 久久国产免费一区二区三区 伊人久久大香线蕉综合电影网 99re6久精品国产首页 久久激情网 亚洲成人高清在线 国产精品网址 国产成人精品男人的天堂538 香蕉国产综合久久猫咪 国产专区中文字幕 91麻豆精品国产高清在线 久久国产经典视频 国产精品成人va在线观看 国产精品爱啪在线线免费观看 日本精品久久久久久久久免费 亚洲综合一区二区三区 久久五月网 精品国产网红福利在线观看 久久综合亚洲伊人色 亚洲国产精品久久久久久网站 在线日韩国产 99国产精品热久久久久久夜夜嗨 国产综合精品在线 国产区福利 精品亚洲综合久久中文字幕 国产制服丝袜在线 毛片在线播放网站 在线观看免费视频一区 国产精品久久久精品三级 亚洲国产电影在线观看 最新日韩欧美不卡一二三区 狠狠综合久久综合鬼色 日本精品1在线区 国产日韩一区二区三区在线播放 欧美日韩精品在线播放 亚洲欧美日韩国产一区二区三区精品 久久综合久久网 婷婷六月激情在线综合激情 亚洲乱码一区 国产专区91 97av视频在线观看 精品久久久久久中文字幕 久久五月视频 国产成人福利精品视频 国产精品网址 中文字幕视频在线 精品一区二区三区免费视频 伊人手机在线视频 亚洲精品中文字幕乱码 国产在线视频www色 色噜噜国产精品视频一区二区 精品亚洲成a人在线观看 国产香蕉尹人综合在线 成人免费一区二区三区在线观看 国产不卡一区二区三区免费视 欧美精品久久天天躁 国产专区中文字幕 久久精品国产免费中文 久久精品国产免费一区 久久无码精品一区二区三区 国产欧美另类久久久精品免费 欧美精品久久天天躁 亚洲精品在线视频 国产视频91在线 91精品福利一区二区三区野战 日韩中文字幕免费 国产精品99一区二区三区 欧美成人高清性色生活 国产精品系列在线观看 亚洲国产福利精品一区二区 国产成人在线小视频 国产精品久久久久免费 99re热在线视频 久久久久久久综合 一区二区国产在线播放 成人国产在线视频 亚洲精品乱码久久久久 欧美日韩一区二区综合 精品久久久久免费极品大片 中文字幕视频二区 激情粉嫩精品国产尤物 国产成人精品一区二区视频 久久精品中文字幕首页 亚洲高清在线 国产精品亚洲一区二区三区 伊人久久艹 中文在线亚洲 国产精品一区二区在线播放 国产精品九九免费视频 亚洲二区在线播放 亚洲狠狠婷婷综合久久久久网站 亚洲欧美日韩网站 日韩成人精品 亚洲国产一区二区三区青草影视 91精品国产福利在线观看 国产精品久久久久久久久99热 国产一区二区精品尤物 久碰香蕉精品视频在线观看 亚洲日日夜夜 在线不卡一区二区 国产午夜亚洲精品 九九热在线视频观看这里只有精品 伊人手机在线视频 91免费国产精品 日韩欧美中字 91精品国产91久久久久 国产全黄三级播放 视频一区二区三区免费观看 国产开裆丝袜高跟在线观看 国产成人欧美 激情综合丝袜美女一区二区 国产成人亚洲综合无 欧美精品一区二区三区免费观看 欧美亚洲国产日韩 日韩亚州 国产欧美日韩精品高清二区综合区 亚洲午夜国产片在线观看 精品久久久久久中文字幕 欧美精品1区 久久伊人久久亚洲综合 亚洲欧美日韩精品 国产成人精品久久亚洲高清不卡 久久福利影视 国产精品99精品久久免费 久久久久免费精品视频 国产日产亚洲精品 亚洲国产午夜电影在线入口 精品无码一区在线观看 午夜国产精品视频 亚洲一级片免费 伊人久久大香线蕉综合影 国产精品久久影院 久碰香蕉精品视频在线观看 www.欧美精品 在线小视频国产 亚洲国产天堂久久综合图区 欧美一区二区三区不卡 日韩美女福利视频 九九精品免视频国产成人 不卡国产00高中生在线视频 亚洲第一页在线视频 欧美日韩在线播放成人 99re视频这里只有精品 国产精品91在线 精品乱码一区二区三区在线 国产区久久 91麻豆精品国产自产在线观看一区 日韩精品成人在线 九九热在线观看 国产精品久久不卡日韩美女 欧美一区二区三区综合色视频 欧美精品免费一区欧美久久优播 国产精品网址 国产专区中文字幕 国产精品欧美亚洲韩国日本久久 日韩美香港a一级毛片 久久精品123 欧美一区二区三区免费看 99r在线视频 亚洲精品国产字幕久久vr 国产综合激情在线亚洲第一页 91免费国产精品 日韩免费小视频 亚洲国产精品综合一区在线 国产亚洲第一伦理第一区 在线亚洲精品 国产精品一区二区制服丝袜 国产在线成人精品 九九精品免视频国产成人 亚洲国产网 欧美日韩亚洲一区二区三区在线观看 在线亚洲精品 欧美一区二区三区高清视频 国产成人精品男人的天堂538 欧美日韩在线观看区一二 亚洲欧美一区二区久久 久久精品中文字幕首页 日本高清www午夜视频 久久精品国产免费 久久999精品 亚洲国产精品欧美综合 88国产精品视频一区二区三区 91久久偷偷做嫩草影院免费看 国产精品夜色视频一区二区 欧美日韩导航 国产成人啪精品午夜在线播放 一区二区视频在线免费观看 99久久精品国产自免费 精液呈暗黄色 久久99国产精品 日本精品久久久久久久久免费 精品国产97在线观看 99re视频这里只有精品 国产视频91在线 999av视频 亚洲美女视频一区二区三区 久久97久久97精品免视看 亚洲国产成人久久三区 99久久亚洲国产高清观看 日韩毛片在线视频 综合激情在线 91福利一区二区在线观看 一区二区视频在线免费观看 激情粉嫩精品国产尤物 国产成人精品曰本亚洲78 国产成人精品本亚洲 国产精品成人免费视频 国产成人啪精品视频免费软件 久久精品国产亚洲妲己影院 国产精品成人久久久久久久 久久大香线蕉综合爱 欧美一区二区三区高清视频 99热国产免费 在线观看欧美国产 91精品视频在线播放 国产精品福利社 欧美精品一区二区三区免费观看 国产一区二区免费视频 国产午夜精品一区二区 精品视频在线观看97 91精品福利久久久 国产一区福利 国产综合激情在线亚洲第一页 国产精品久久久久久久久久久不卡 九色国产 在线日韩国产 黄网在线观看 亚洲一区小说区中文字幕 中文字幕丝袜 日本二区在线观看 日本国产一区在线观看 欧美日韩一区二区三区久久 欧美精品亚洲精品日韩专 国产日产亚洲精品 久久综合九色综合欧美播 亚洲国产欧美无圣光一区 欧美视频区 亚洲乱码视频在线观看 久久无码精品一区二区三区 九九热精品免费视频 久久99精品久久久久久牛牛影视 国产精品成久久久久三级 国产一区福利 午夜国产精品视频 日本二区在线观看 99久久网站 国产亚洲天堂 精品国产一区二区三区不卡 亚洲国产日韩在线一区 国产成人综合在线观看网站 久久免费高清视频 欧美在线导航 午夜精品久久久久久99热7777 欧美久久综合网 国产小视频精品 国产尤物在线观看 亚洲国产精品综合一区在线 欧美一区二区三区不卡视频 欧美黑人欧美精品刺激 日本福利在线观看 久久国产偷 国产手机精品一区二区 国产热re99久久6国产精品 国产高清啪啪 欧美亚洲国产成人高清在线 国产在线第三页 亚洲综合一区二区三区 99r在线视频 99精品久久久久久久婷婷 国产精品乱码免费一区二区 国产在线精品福利91香蕉 国产尤物视频在线 五月婷婷亚洲 中文字幕久久综合伊人 亚洲精品一级毛片 99国产精品电影 在线视频第一页 久久99国产精品成人欧美 国产白白视频在线观看2 成人精品一区二区www 亚洲成人网在线观看 麻豆91在线视频 色综合合久久天天综合绕视看 久久精品国产免费高清 国产不卡一区二区三区免费视 欧美国产中文 99精品欧美 九九在线精品 国产中文字幕在线免费观看 国产一区中文字幕在线观看 国产成人一级 国产精品一区二区制服丝袜 国产一起色一起爱 亚洲精品成人在线 亚洲欧美精品在线 国产欧美自拍视频 99精品久久久久久久婷婷 久99视频 国产热re99久久6国产精品 视频一区亚洲 国产精品视频分类 国产精品成在线观看 99re6久精品国产首页 亚洲在成人网在线看 亚洲国产日韩在线一区 久久国产三级 日韩国产欧美 欧美在线一区二区三区 国产精品美女一级在线观看 成人午夜免费福利视频 亚洲天堂精品在线 91精品国产手机 欧美日韩视频在线播放 狠狠综合久久综合鬼色 九一色视频 青青视频国产 亚洲欧美自拍一区 中文字幕天天躁日日躁狠狠躁97 日韩免费大片 996热视频 伊人成综合网 亚洲天堂欧美 日韩精品亚洲人成在线观看 久久综合给会久久狠狠狠 日韩精品亚洲人成在线观看 日韩国产欧美 亚洲成aⅴ人片在线影院八 亚洲精品1区 99久久精品免费 国产精品高清在线观看 国产精品久久久免费视频 在线亚洲欧美日韩 91在线看视频 国产精品96久久久久久久 欧美日韩国产成人精品 91在线亚洲 热久久亚洲 国产精品美女免费视频观看 日韩在线毛片 亚洲永久免费视频 九九免费在线视频 亚洲一区网站 日本高清二区视频久二区 精品国产美女福利在线 伊人久久艹 国产精品久久久久三级 欧美成人精品第一区二区三区 99久久精品国产自免费 在线观看日韩一区 国产中文字幕一区 成人免费午夜视频 欧美日韩另类在线 久久99国产精品成人欧美 色婷婷中文网 久久天天躁夜夜躁狠狠躁2020 欧美成人伊人久久综合网 国产精品福利资源在线 国产伦精品一区二区三区高清 国产精品亚洲综合色区韩国 亚洲一区欧美日韩 色综合视频 国语自产精品视频在线区 国产高清a 成人国内精品久久久久影 国产在线精品香蕉综合网一区 国产不卡在线看 国产成人精品精品欧美 国产欧美日韩综合精品一区二区三区 韩国电影一区二区 国产在线视频www色 91中文字幕在线一区 国产人成午夜免视频网站 亚洲综合一区二区三区 色综合视频一区二区观看 久久五月网 九九热精品在线观看 国产一区二区三区国产精品 99久热re在线精品996热视频 亚洲国产网 在线视频亚洲一区 日韩字幕一中文在线综合 国产高清一级毛片在线不卡 精品国产色在线 国产高清视频一区二区 精品日本久久久久久久久久 亚洲国产午夜精品乱码 成人免费国产gav视频在线 日韩欧美一区二区在线观看 欧美曰批人成在线观看 韩国电影一区二区 99re这里只有精品6 日韩精品一区二区三区视频 99re6久精品国产首页 亚洲欧美一区二区三区导航 欧美色图一区二区三区 午夜精品视频在线观看 欧美激情在线观看一区二区三区 亚洲热在线 成人国产精品一区二区网站 亚洲一级毛片在线播放 亚洲一区小说区中文字幕 亚洲午夜久久久久影院 国产自产v一区二区三区c 国产精品视频免费 久久调教视频 国产成人91激情在线播放 国产精品欧美亚洲韩国日本久久 久久亚洲日本不卡一区二区 91中文字幕网 成人国产在线视频 国产视频91在线 欧美成人精品第一区二区三区 国产精品福利在线 久久综合九色综合精品 欧美一区二区三区精品 久久国产综合尤物免费观看 久久99青青久久99久久 日韩精品免费 久久国产精品999 91亚洲视频在线观看 国产精品igao视频 色综合区 在线亚洲欧国产精品专区 国产一区二区三区在线观看视频 亚洲精品成人在线 一区二区国产在线播放 中文在线亚洲 亚洲精品第一国产综合野 国产一区二区精品久久 一区二区三区四区精品视频 99热精品久久 中文字幕视频二区 国产成人精品男人的天堂538 99精品影视 美女福利视频一区二区 久久午夜夜伦伦鲁鲁片 综合久久久久久久综合网 国产精品国产欧美综合一区 国产99视频在线观看 国产亚洲女在线精品 婷婷影院在线综合免费视频 国产亚洲3p一区二区三区 91成人爽a毛片一区二区 亚洲一区二区高清 国产欧美亚洲精品第二区首页 欧美日韩导航 亚洲高清二区 欧美激情观看一区二区久久 日韩毛片在线播放 亚洲欧美日韩高清中文在线 亚洲日本在线播放 国产精品一区二区制服丝袜 精品国产一区二区三区不卡 国产不卡在线看 国产欧美网站 四虎永久在线观看视频精品 国产黄色片在线观看 夜夜综合 一本色道久久综合狠狠躁篇 欧美亚洲综合另类在线观看 国产91在线看 伊人久久国产 欧美一区二区在线观看免费网站 国产精品久久久久三级 久久福利 日韩中文字幕a 亚洲午夜久久久久影院 91在线高清视频 国产亚洲一区二区三区啪 久久人精品 国产精品亚洲午夜一区二区三区 综合久久久久久 久久伊人一区二区三区四区 国产综合久久久久久 日韩一区精品视频在线看 国产精品日韩欧美制服 日本精品1在线区 99re视频 无码av免费一区二区三区试看 国产视频1区 日韩欧美中文字幕一区 日本高清中文字幕一区二区三区a 亚洲国产欧美无圣光一区 国产在线视频一区二区三区 欧美国产第一页 在线亚洲欧美日韩 日韩中文字幕第一页 在线不卡一区二区 伊人久久青青 国产精品一区二区在线播放 www.五月婷婷 麻豆久久婷婷国产综合五月 亚洲精品区 久久国产欧美另类久久久 99在线视频免费 伊人久久中文字幕久久cm 久久精品成人免费看 久久这里只有精品首页 88国产精品视频一区二区三区 中文字幕日本在线mv视频精品 国产在线精品成人一区二区三区 伊人精品线视天天综合 亚洲一区二区黄色 国产尤物视频在线 亚洲精品99久久久久中文字幕 国产一区二区三区免费观看 伊人久久大香线蕉综合电影网 国产成人精品区在线观看 日本精品一区二区三区视频 日韩高清在线二区 久久免费播放视频 一区二区成人国产精品 国产精品免费精品自在线观看 亚洲精品视频二区 麻豆国产精品有码在线观看 精品日本一区二区 亚洲欧洲久久 久久中文字幕综合婷婷 中文字幕视频在线 国产成人精品综合在线观看 91精品国产91久久久久福利 精液呈暗黄色 香蕉国产综合久久猫咪 国产专区精品 亚洲精品无码不卡 国产永久视频 亚洲成a人片在线播放观看国产 一区二区国产在线播放 亚洲一区二区黄色 欧美日韩在线观看视频 亚洲精品另类 久久国产综合尤物免费观看 国产一区二区三区国产精品 高清视频一区 国产精品igao视频 国产精品资源在线 久久综合精品国产一区二区三区 www.五月婷婷 精品色综合 99热国产免费 麻豆福利影院 亚洲伊人久久大香线蕉苏妲己 久久电影院久久国产 久久精品伊人 在线日韩理论午夜中文电影 亚洲国产欧洲综合997久久 伊人国产精品 久草国产精品 欧美一区精品二区三区 亚洲成人高清在线 91免费国产精品 日韩精品福利在线 国产一线在线观看 国产不卡在线看 久久99青青久久99久久 亚洲精品亚洲人成在线播放 99久久免费看国产精品 国产日本在线观看 青草国产在线视频 麻豆久久婷婷国产综合五月 国产中文字幕一区 91久久精品国产性色也91久久 国产一区a 国产欧美日韩成人 国产亚洲女在线精品 一区二区美女 中文字幕在线2021一区 在线小视频国产 久久这里只有精品首页 国产在线第三页 欧美日韩中文字幕 在线亚洲+欧美+日本专区 精品国产一区二区三区不卡 久久这里精品 欧美在线va在线播放 精液呈暗黄色 91精品国产手机 91在线免费播放 欧美视频亚洲色图 欧美国产日韩精品 日韩高清不卡在线 精品视频免费观看 欧美日韩一区二区三区四区 国产欧美亚洲精品第二区首页 亚洲韩精品欧美一区二区三区 国产精品视频免费 在线精品小视频 久久午夜夜伦伦鲁鲁片 国产无套在线播放 久热这里只精品99re8久 欧美久久久久 久久香蕉国产线看观看精品蕉 国产成人精品男人的天堂538 亚洲人成网站色7799在线观看 日韩在线第二页 一本色道久久综合狠狠躁篇 国产一区二区三区不卡在线观看 亚洲乱码在线 在线观看欧美国产 久久福利青草精品资源站免费 国产玖玖在线观看 在线亚洲精品 亚洲成aⅴ人在线观看 精品91在线 欧美一区二三区 日韩中文字幕视频在线 日本成人一区二区 日韩免费专区 国内精品在线观看视频 久久国产综合尤物免费观看 国产精品系列在线观看 一本一道久久a久久精品综合 亚洲免费播放 久久精品国产免费 久久人精品 亚洲毛片网站 亚洲成a人一区二区三区 韩国福利一区二区三区高清视频 亚洲精品天堂在线 一区二区三区中文字幕 亚洲国产色婷婷精品综合在线观看 亚洲国产成人久久笫一页 999国产视频 国产精品香港三级在线电影 欧美日韩一区二区三区四区 日韩国产欧美 国产精品99一区二区三区 午夜国产精品理论片久久影院 亚洲精品中文字幕麻豆 亚洲国产高清视频 久久免费手机视频 日韩a在线观看 五月婷婷亚洲 亚洲精品中文字幕麻豆 中文字幕丝袜 www国产精品 亚洲天堂精品在线 亚洲乱码一区 国产日韩欧美三级 久久999精品 伊人热人久久中文字幕 久热国产在线视频 国产欧美日韩在线观看一区二区三区 国产一二三区在线 日韩国产欧美 91精品国产91久久久久 亚洲一区小说区中文字幕 精品一区二区免费视频 国产精品视频免费 国产精品亚洲综合色区韩国 亚洲国产精品成人午夜在线观看 欧美国产日韩精品 中文字幕精品一区二区精品