服務器系統及其計算機實現的方法及計算機可讀存儲介質的制作方法

            文檔序號:10724211閱讀:915來源:國知局
            服務器系統及其計算機實現的方法及計算機可讀存儲介質的制作方法
            【專利摘要】服務器系統及其計算機實現的方法及計算機可讀存儲介質。本發明的各種實施例提供用于在一服務器系統中依據一或多個電源供應單元(PSU)管理二或多個PSU的方法。一些實施例中決定一服務器系統的目前和/或預測的負載量以及服務器系統的二或多個PSU的每一個的負載量。至少依據服務器系統的目前和/或預測的負載量以及服務器系統的二或多個PSU的負載量,二或多個PSU的一第一子集中的PSU可被關閉。二或多個PSU中正在運作的一第二子集的PSU之間的服務器系統的目前負載量可被重新平衡。二或多個PSU的第一子集中的一或多個PSU可依據一或多個PSU管理算法周期性地與第二子集中的一或多個PSU進行交換。
            【專利說明】
            服務器系統及其計算機實現的方法及計算機可讀存儲介質
            技術領域
            [0001] 本發明涉及電信網絡的服務器系統技術。
            【背景技術】
            [0002] 現代的服務器群(server farm)或數據中心通常采用大量的服務器來負責處理各 種應用服務的處理需求。每個服務器處理多種操作并且需要一特定電平的耗電以維持這些 操作。其中的一些操作為"關鍵任務"(mission critical)的操作,針對這些"關鍵任務" 的中斷可能對與這些操作相關的使用者造成顯著安全漏洞或收入損失。
            [0003] 前述中斷的一個來源是來自于一服務器系統的電源供應單元(power supply unit,以下簡稱PSU)發生故障或錯誤。發生在一或多個PSU的故障或錯誤可能會導致服務 器系統突然強制關機,可能導致服務器系統的數據遺失,甚至損壞服務器系統。一般情況 下,服務器系統包含一或多個冗余PSU,用以提供電力給服務器系統的負載(load)。因此, 當一個電源供應單元(PSU)發生故障時,其他的PSU可以繼續提供電力給負載。然而,使用 冗余的電源供應單元仍然存在許多相關的內在問題。

            【發明內容】

            [0004] 依據本發明的各種實施例的系統以及方法可提供了解決上述問題的方法,其可通 過動態地管理一服務器系統中的二或多個電源管理單元(power supply unit,下稱PSU), 使得服務器系統的二或多個PSU可操作在大致上為最佳化的效能電平并且具有大致上最 佳的平均故障間隔時間(Mean Time Between Failure,MTBF)。更確切來說,本發明的各種 實施例可依據一或多個PSU管理算法來提供管理服務器系統中的二或多個PSU的方法。一 些實施例中可決定一服務器系統的目前和/或預測的負載量(loading)以及服務器系統的 二或多個PSU的每一個的負載量。至少依據服務器系統的目前和/或預測的負載量以及服 務器系統的二或多個PSU電源供應單元的負載量,二或多個PSU的一第一子集中的PSU可 被關閉。二或多個PSU中正在運作的一第二子集的PSU之間的服務器系統的目前負載量可 被重新平衡。二或多個PSU的第一子集中的一或多個PSU可依據上述一或多個PSU管理算 法周期性地與第二子集中的一或多個PSU進行交換。
            [0005] 在一些實施例中,服務器系統的目前負載量可在其二或多個PSU的一第二子集中 的PSU之間重新取得平衡,使得第二子集中的PSU可大致地運作在一閾值效能電平。舉 例來說,第二子集中的每個PSU可被加載到接近其最大額定電流的一既定百分比(例如: 50% ) 〇
            [0006] 在一些實施例中,一個負載量平衡算法可以用來在二或多個PSU的正在操作中的 一第二子集的PSU之間平衡服務器系統的目前負載量或者交換二或多個PSU的第一子集與 第二子集之間的至少一 PSU。其中,平衡服務器系統的目前電流負載量或者交換二或多個 PSU的第一子集與第二子集之間的至少一 PSU的判斷可至少依據一既定最小負載量、一既 定最大負載量或一既定最小效能來決定。
            [0007] 在一些實施例中,相應于一服務器系統的負載量已增加超過一高閾值,在兩個或 多個的PSU的第一子集的所有PSU可以合并至兩個或多個的PSU的第二子集。換句話說, 在服務器系統中兩個或多個PSU的所有PSU都會被開啟并開始操作。
            [0008] -些實施例可以收集服務器系統的歷史負載量信息。所收集到的歷史負載量信息 可以依據一或多個機器學習算法進行分析,并可用于預測服務器系統在特定的未來時間時 的負載量模式(loading pattern)。所述二或多個的PSU的第一子集可至少依據服務器系 統的目前以及預測的負載量或者服務器系統的二或多個PSU的負載量來加以決定。在一些 實施例中,與服務器系統相關聯的其他信息也可被收集并用于預測服務器系統的負載量。 其他信息可包括但不受限于,所述二或多個的PSU的每一個的健康情形、其他服務器系統、 一天中的時間,一年中的天數、溫度、冷卻風扇的速度、電源狀態、存儲器與操作系統(0S) 的狀態、各種數據分組抵達速率以及數據隊列統計數據等等。在一些實施例中,關于每個所 述二或多個PSU的負載量和效能的歷史數據可被收集并用于動態地分配包含在與不包含 在所述PSU的第一子集與第二子集中的PSU。舉例來說,一特定的PSU,其已至少在二或多 個PSU之間較少使用或具有比二或多個PSU的平均效能更高的操作效能,可以更頻繁地分 配至第二子集中。
            [0009] 在一些實施例中,一或多個PSU管理算法可包括至少一機器學習算法。與服務 器系統相關聯的收集到的信息可作為上述至少一機器學習算法的一輸入特征集合(input feature set)來預測服務器系統的負載量模式。一或多個機器學習算法可包括但不限 于,線性回歸模型算法、類神經網絡模型算法、支持向量機為基礎的模型算法、貝葉斯統計 (Bayesian statistics)算法、案例推理(case-based reasoning)算法、決策樹算法、歸 納邏輯程序(inductive logic programming)算法、高斯程序回歸(Gaussian process regression)算法、數據處理群集分析算法(group method of data handling)、學習自 動機算法、隨機森林算法、合奏式分類器(ensembles of classifiers)算法、有序分類 (ordinal classification)算法、或者條件式隨機場域(conditional random field,CRF) 算法的其中至少一個。
            【附圖說明】
            [0010] 為使本發明的上述和其他目的、特征、和優點能更明顯易懂,下文特舉出一或多個 優選實施例,并配合附圖,作詳細說明如下。注意的是,雖然公開書依附圖進行說明,然其并 非用以限定本發明,本領域技術人員在不脫離本發明的精神和范圍內,當可做些許更動與 潤飾,其原理與附加特征可配合附圖描述與解釋,其中:
            [0011] 圖1顯示依據本發明一實施例的示范服務器系統的示意方塊圖;
            [0012] 圖2A至圖2G顯不依據本發明實施例的不意圖,其中表不二或多個PSU的一第一 子集被關閉,而二或多個PSU的一第二子集正在運作中的例子;
            [0013] 圖3A至圖3B顯示依據本發明另些實施例的示意圖,其中表示二或多個PSU的一 第一子集被關閉,而二或多個PSU的一第二子集正在運作中的另些例子;
            [0014] 圖4顯示依據本發明一實施例的用以管理一服務器系統的多個PSU的示范方法的 流程圖;
            [0015] 圖5顯示依據本發明各種實施例的運算裝置的示意圖;以及
            [0016] 圖6A與圖6B顯示依據本發明各種實施例的示范系統的示意圖。
            [0017] 【符號說明】
            [0018] 100~服務器系統;
            [0019] 101~電源供應;
            [0020] 110~中央處理單元(CPU);
            [0021] 111~快取存儲器;
            [0022] 120~電池系統;
            [0023] 120~電源供應單元(PSU);
            [0024] 130 ~北橋(NB);
            [0025] 135 ~PCI 總線;
            [0026] 140 ~南橋(NB);
            [0027] 150 ~插槽;
            [0028] 151~處理器;
            [0029] 152 ~ISA 插槽;
            [0030] 160 ~PCIe 插槽;
            [0031] 161 ~PCIe 插槽;
            [0032] 170 ~PCI 插槽;
            [0033] 171 ~PCI 插槽;
            [0034] 180~主存儲器;
            [0035] 400~方法流程圖;
            [0036] 221、222、223、224、225、226 ~PSU ;
            [0037] 321、322、323、324、325、326 ~PSU ;
            [0038] 400、402、404、406、408、410、412、414、416、418、420 ~執行步驟;
            [0039] 500~運算裝置;
            [0040] 515 ~總線;
            [0041] 561~存儲器;
            [0042] 562 ~CPU ;
            [0043] 563~處理器;
            [0044] 568 ~接口;
            [0045] 600 ~系統;
            [0046] 605~系統總線;
            [0047] 610~處理器;
            [0048] 612~快取存儲器;
            [0049] 615~存儲器;
            [0050] 620 ~ROM ;
            [0051 ] 625 ~RAM ;
            [0052] 630~存儲裝置;
            [0053] 632 ~MOD 1 ;
            [0054] 634 ~MOD 2 ;
            [0055] 636 ~MOD 3 ;
            [0056] 635~輸出裝置;
            [0057] 640~通信接口;
            [0058] 645~輸入裝置;
            [0059] 650~計算機系統;
            [0060] 655~處理器;
            [0061] 660~芯片組;
            [0062] 665~輸出裝置;
            [0063] 670~存儲裝置;
            [0064] 675 ~RAM ;
            [0065] 680~橋接器;
            [0066] 685~用戶接口元件;以及
            [0067] 690~通信接口。
            【具體實施方式】
            [0068] 本發明的各種實施例提供了用于在服務器系統管理兩個或多個PSU的方法,以實 現PSU大致上最佳化的功率效能以及MTBF。在一些實施例中,服務器系統的目前和/或預 測的負載量以及服務器系統的二或多個PSU的每一個的負載量可以藉由使用一或多個PSU 管理算法來決定。PSU的第一子集可至少依據服務器系統以及二或多個PSU所判定的負載 量信息而被關閉。服務器系統的目前負載量可在二或多個PSU中的第二子集(亦即:正在 操作中的剩余PSU)之間來重新平衡。在第一子集和第二子集的PSU可以依據PSU管理算 法被周期性地交換。
            [0069] 圖1顯示依據本發明一實施例的示范服務器系統100的示意方塊圖。在本實施 例中,服務器系統100包括連接到快取存儲器111的至少一個微處理器或中央處理單元 (CPU) 110、主存儲器180、二或多個電源供應單元(PSU) 120,每個PSU 120可提供電源給服 務器系統100。主存儲器180可以通過北橋(NB)邏輯130耦接至CPU 110。存儲器控制模 塊(未繪示)可用以通過在存儲器操作期間產生(assert)必要的控制信號來控制主存儲 器180的操作。主存儲器180可以包括,但不限于,動態隨機存取存儲器(dynamic random access memory,DRAM)、雙倍數據速率動態隨機存取存儲器(dual data rate DRAM,DDR DRAM)、靜態隨機存取存儲器(static RAM,SRAM),或其他類型的適當存儲器。
            [0070] 在一些實施例中,CPU 110可為多內核處理器,其中的每一內核通過連接到北橋邏 輯130的一 CPU總線耦接在一起。在一些實施例中,北橋邏輯130可整合在CPU 110中。 北橋邏輯130也可連接至多個周邊元件高速互連(Peripheral Component Interconnect express,PCIe)端口 160以及南橋(SB)邏輯140。前述多個PCIe端口 160可用于連接以 及作為總線,如PCI ExpressXl、USB 2. 0、SMBus卡、SIM卡、PCIe另一通道的未來擴展、1. 5 伏以及3. 3伏電力、以及診斷服務器的機箱上的發光二極管(Light-Emitting Diode,LED) 的電線。
            [0071] 在本例中,北橋邏輯130以及南橋邏輯140通過一周邊元件互連(peripheral component interconnect,PCI)總線135連接。PCI總線135可支持標準化格式的CPU功 能,此標準化格式獨立于所有的CPU的本地總線的格式。PCI總線135可另外連接至多個 PCI插槽170 (例如:PCI插槽171)。總線控制器(未繪示)可將連接PCI總線的裝置視為 直接連接到CPU總線,分派在CPU 110的地址空間的地址,且與單獨總線時鐘同步。PCI卡可 用于多個PCI插槽170,其包括但不受限于,網絡接口卡(Network Interface Card,NIC)、 音效卡、數據機、TV調諧器卡、硬盤控制器、顯示卡、小計算機系統接口(Small Computer System Interface,SCSI)轉換器、以及個人計算機存儲卡國際協會(PCMCIA)卡等。
            [0072] 南橋邏輯140可經由擴充總線,將PCI總線135耦接至多個擴充卡或插槽150 (例 如:ISA插槽152)。擴充總線可為用于南橋邏輯140以及周邊裝置之間通信的一總線,并且 可包括,但不限于,工業標準架構(Industry Standard Architecture,ISA)總線、PC/104 總線,低引腳數(low pin count)總線、擴充ISA (Expansion ISA,EISA)總線、通用序列總 線(Universal Serial Bus,USB)、整合式電子驅動接口(Integrated Drive Electronics, IDE)總線、或任何適合用于周邊裝置的數據通信的其他總線。
            [0073] 在本例中,南橋邏輯140更耦接至連接到二或多個PSU 120的控制器151。二或多 個PSU 120用以提供電源至服務器系統100的各種元件,例如:CPU 110、快取存儲器111、 北橋邏輯130, PCIe插槽160、主存儲器180、南橋邏輯140、ISA插槽150、PCI插槽170以 及控制器151。在服務器系統100的電源開啟后,服務器系統100用以從存儲器、計算機存 儲裝置或外部存儲裝置中載入軟件應用程序以執行各種操作。服務器系統100可還包含一 電池系統(未繪示),其用以于電源供應101被中斷時提供電源至服務器系統100。二或 多個PSU 120可包括一或多個可充電電池。上述一個或多個可充電的電池單元可以包括, 但不限于,電化學電池單元(electrochemical cell)、燃料電池單元(fuel cell)、或超電 容器(ultra-capacitor)。電化學電池單元可以包括從鉛酸、鎳鎘(NiCd)、鎳金屬氫化物 (NiMH)、鋰離子(Li-離子)以及鋰離子聚合物(Li-離子聚合物)的列表中的一或多個化 學物質。在充電模式下,PSU 120可對上述一或多個可充電電池單元進行充電。
            [0074] 在一些實施例中,控制器151可為基板管理控制器(Baseboard Management Controller,BMC)、機架管理控制器(Rack Management Controller,RMC)、鍵盤控制器、或 其他合適類型的系統控制器。控制器用于控制二或多個PSU 120的操作和/或其他可應用 操作。
            [0075] -些實施例中,控制器151可收集服務器系統100以及二或多個PSU 120的負 載量信息。在一些實施例中,可收集一個或多個既定時間窗口之內的服務器系統1〇〇的 歷史負載量信息。本文所用相對于服務器系統或其部分中,術語"負載"(load)或"負載 量"(loading)是指該服務器系統(或其部分)在一段感興趣的時間上正在執行或預期 執行的計算工作量。收集到的目前和/或歷史負載量信息可被分析并用于依據一或多個 PSU管理算法來決定要被關閉的PSU的第一子集。在一些實施例中,一或多個PSU管理 算法可還包括至少一或多個機器多個機器學習算法,其包括線性回歸模型算法、類神經網 絡模型算法、支持向量機為基礎的模型算法、貝葉斯統計(Bayesian statistics)算法、 案例推理(case-based reasoning)算法、決策樹算法、歸納邏輯程序(inductive logic programming)算法、高斯程序回歸(Gaussian process regression)算法、數據處理群集分 析算法(group method of data handling)、學習自動機算法、隨機森林算法、合奏式分類器 (ensembles of classifiers)算法、有序分類(ordinal classification)算法、或者條件 式隨機場域(conditional random field,CRF)算法。舉例來說,類神經網絡模型算法可用 于分析歷史負載量信息并且用以獲得服務器系統100的時間和負載量模式之間的復雜相 關性。
            [0076] 在一些實施例中,也可收集其他服務器系統的負載量信息并將其存儲在與服務器 系統100的相關聯的本地或遠端數據存儲裝置。其他服務器系統的負載量信息也可以被分 析,以預測服務器系統100的一負載量模式并且用以依據一或多個PSU管理算法來決定需 要被關閉的PSU的第一子集。
            [0077] 在一些實施例中,控制器151可以從內建于服務器系統100內的不同類型傳感 器中收集各種參數(例如:溫度、冷卻風扇速度、電源狀態、存儲器和/或操作系統的狀態 等)。在一些實施例中,控制器151也可收集其它信息,其包括但不限于,二或多個的PSU 的每一個的健康情形、一天中的時間、一年中的天數、各種數據分組抵達速率以及數據隊列 統計數據等等。收集的參數信息也可被分析并用以決定服務器系統100的負載量模式以及 用以決定PSU中需要被關閉的第一子集。在一些實施例中,關于所述二或多個PSU的每個 PSU的負載量和效能的歷史數據也可被收集并用以動態地分配包含在與不包含在所述PSU 的第一子集與第二子集中的PSU。舉例來說,一特定的PSU,其已至少在過去被頻繁的使用 或具有比二或多個PSU的平均效能更低的操作效能,可以更頻繁地分配至第一子集中。
            [0078] -些實施例中可重新平衡二或多個PSU 120的一第二子集之間的服務器系統100 的目前負載量,使得在第二子集中的至少一 PSU操作在一大致上為最佳化的效能電平。因 此,服務器系統100的二或多個PSU 120的能量效能可大致上通過將二或多個PSU 120的 第二子集操作在大致上為最佳化的效能電平并關閉剩余的PSU來達到最佳化。
            [0079] 在一些實施例中,二或多個PSU的第一子集和第二子集中的一或多個PSU可以周 期性地依據一或多個PSU管理算法來進行交換,使得二或多個PSU 120的整體MTBF可以大 致地最佳化。舉例來說,服務器系統100中的一特定PSU的生命周期可通過將此特定PSU 周期性地交換至二或多個PSU120的第一子集中來加以延長。此特定的PSU可在被交換回 操作之前,休息一特定時間周期T,如此可有效地產生在二或多個PSU120的一最佳化的整 體 MTBF。
            [0080] 在一些實施例中,控制器151可用以在必要時采取適當的動作。舉例來說,相應于 檢測到內建于服務器系統100的各種類型傳感器上任何參數超出其預設極限,其可表示服 務器系統100的一潛在故障,控制器151可用以相應于上述潛在故障執行一適當的操作。適 當的操作可包括,但不限于,通過網絡發送一警報給CPU 110或系統管理員,或采取某些校 正動作,例如重置該節點或使該節點重新開機,以使一當掉的0S再重新執行。
            [0081] 雖然圖1只顯示服務器系統100之內的一些元件,服務器系統100也可包括可處 理或存儲數據,或接收或傳送信號的各類型的電子或運算元件。另外,服務器系統100內的 電子或運算元件可用于執行各類型的應用程序和/或可使用各類型的操作系統。這些操 作系統可包括但不受限于Android、柏克萊軟件套件(Berkeley Software Distribution, BSD)、iPhoneOS(iOS)、Linux、0S X、類Unix的即時操作系統(例如:QNX)、微軟視窗、微軟 視窗電話、以及IBMz/0S。
            [0082] 取決于服務器系統100中所需的實施方式而定,各種網絡和訊息通信協議可包括 但不受限于TCP/IP,開放式系統互聯通信(Open System Interconnection,0SI)、文件傳 輸通信協議(File Transfer Protocol,FTP)、通用隨插即用(Universal Plug and Play, UpnP)、網絡文件系統(Network File System,NFS)、網絡文件共享系統(Common Internet File System,CIFS)、AppleTalk等等。本領域技術人員可知圖1中顯示的服務器系統100 是用于說明的目的。因此,網絡系統可使用許多合適的變化來實現,同時仍依據本發明各種 實施例提供網絡平臺設定。
            [0083] 在圖1的實施例設置中,服務器系統100內也可包括一或多個無線元件,用于與特 定無線通道的運算范圍內的一或多個電子裝置通信。無線通道可為任意用于讓裝置進行無 線通信的合適通道,例如藍牙、蜂窩、NFC、或Wi-Fi通道。同時需要了解裝置可有一或多個 已知有線通信連接,如已知技術。在本發明各種實施例的范圍中可盡可能地包括各種其他 元件和/或其結合。
            [0084] 圖2A至圖2G顯不依據本發明實施例的不意圖,其中表不二或多個PSU的一第一 子集被關閉,而二或多個PSU的一第二子集正在運作中的例子。圖2A顯示當一服務器系 統操作于一輕負載量條件時的情形。在本實施例中,服務器系統中總共有六個PSU。六個 PSU(即:221、222、223、224、225和226)中的每個?31]只操作25%的負載量且具有低于一 最佳化的負載量(例如:50% )的操作效能(operation efficiency)的操作效能。本領域 技術人員可知圖2A中顯示的負載量與效能僅用于說明的目的。因此,本發明各種實施例當 可適用于不同負載量與效能或不同負載量與效能之間的各種相關性。
            [0085] 服務器系統的一控制器可收集服務器系統的目前和/或預測的負載量以及服務 器系統中的六個PSU的負載量。控制器可更分析負載量信息以預測服務器系統的一負載量 模式并用以依據一或多個PSU管理算法來決定需要被關閉的PSU的第一子集。假設當六個 戸51]中每一個?51]的對應?51]操作在50%的負載量時會達到一最佳化效能電平。圖28顯 示PSU的第一子集中的PSU均被關閉以及PSU的第二子集中的PSU均在運作中的一個例子。 在本實施例中,PSU的第一子集包括PSU 224、225和226, PSU的第二子集則包括221、222 和223。在第二子集中的PSU操作在一大致最佳化的效能電平上(即:50% ),而在第一子 集中的PSU則被關閉。
            [0086] 在一些實施例中,服務器系統的控制器可將服務器系統中的PSU的負載量在與一 既定的低閾值(例如:30% )進行比對。相應于判定二或多個PSU操作于比低閾值還低的 負載量下時,控制器可以關閉二或多個PSU中的其中一個并且將對應PSU包含在被關閉的 PSU的第一子集。
            [0087] 圖2C至圖2G顯示依據本發明實施例的示意圖,用以表示周期性交換六個PSU中 的被關閉PSU所形成的一第一子集以及六個PSU中的正在運作中PSU所形成的一第二子集 之間一或多個PSU的例子。圖2C顯示PSU的第一子集中的PSU (即:225和226)均被關閉 以及PSU的第二子集中的PSU(即:221、222、223和224)均為運作中的例子。于本例中,在 第二子集中的PSU操作在一大致最佳化的效能電平上(即:50% ),而在第一子集中的PSU 則被關閉。
            [0088] 圖2D至圖2G顯示周期性交換圖2C中的PSU的第一子集以及PSU中的第二子集 之間一或多個PSU的例子。如圖2D所示,圖2C中的第二子集的PSU 224與第一子集的PSU 226互相交換。如圖2E所示,圖2D中的第二子集的PSU 222與223分別與第一子集的PSU 224與225互相交換,或者圖2C中的第二子集的PSU 222與223分別與第一子集的PSU 225 與226互相交換。如圖2F所示,圖2E中的第二子集的PSU 221與第一子集的PSU 223互 相交換,或者圖2C中的第二子集的PSU 221與222分別與第一子集的PSU 225與226互相 交換。如圖2G所示,圖2F中的第二子集的PSU 226與第一子集的PSU 222互相交換,或者 圖2C中的第二子集的PSU 221與第一子集的PSU 225互相交換。
            [0089] 需要了解圖2A-圖2G中的第一子集與第二子集的模式都僅用于說明目的。依據 本發明,實際的模式可以變化并且包括各種其它類型的模式。舉例來說,實際的模式可以包 括一既定的模式或者依據服務器系統的一預測負載量,服務器系統中的二或多個PSU的負 載量或每個單獨PSU的健康情形等動態決定的模式。
            [0090] 圖3A至圖3B顯示依據本發明另些實施例的示意圖,其中表示二或多個PSU的一 第一子集被關閉,而二或多個PSU的一第二子集正在運作中-的另些例子。圖3A顯示當 一服務器系統操作于一重負載量條件時的情形。在本實施例中,服務器系統中總共有六個 PSU。PSU 321、322、323中的每個PSU都操作有90%的負載量且具有低于一最佳化的負載 量(例如:50% )的操作效能的操作效能。在本實施例中,服務器系統的目前和/或歷史 的負載量以及服務器系統中的六個PSU的負載量數據可被收集并分析以預測服務器系統 的一負載量模式并且用以依據一或多個PSU管理算法決定出PSU的第一子集以及第二子 集。假設當六個PSU中每一個PSU的對應PSU操作在50%的負載量時會達到一最佳化效 能電平。圖3B顯示PSU的第一子集中的PSU(即:326)被關閉以及PSU的第二子集中的 PSU(即:321、322、323、324和325)均在運作中的一個例子。在本實施例中,第二子集中的 PSU 321、322、323、324和325操作在一大致最佳化的效能電平上(即:54% ),而在第一子 集中的PSU 326則被關閉。
            [0091] 在一些實施例中,服務器系統的控制器可將服務器系統中的PSU的負載量在與一 既定的高閾值(例如:75% )進行比對。相應于判定二或多個PSU操作于比高閾值還高的 負載量下時,控制器可以開啟二或多個PSU中的其中一個并且將對應PSU包含在正在運作 中的PSU的第二子集。
            [0092] 圖4顯示依據本發明一實施例的用以管理一服務器系統的多個PSU的示范方法的 流程圖。需要了解實施例方法400僅用于說明目的,且依據本發明實施例的其他方法可包 括以相似或替代順序、或并行方式執行更多、更少、或替代步驟。
            [0093] 實施例方法400在步驟402中首先決定一服務器系統的負載量。接著,在步驟404 中決定二或多個PSU中的每一個的負載量。在一些實施例中,服務器系統的歷史負載量信 息和/或其他服務器系統的負載量信息可被收集并分析。
            [0094] 在步驟406中,可以依據一或多個PSU管理算法分析服務器系統的目前負載量與 二或多個PSU的負載量來判斷是否有任何PSU需要被關閉或開啟。
            [0095] 相應于在步驟406中判定不需要關閉或開啟一個或多個PSU中的任一個時,可在 步驟408中判斷正在運作中的PSU的第二子集之間的服務器負載量是否有平衡。相應于判 定服務器系統的負載量并未平衡,在步驟410中可重新平衡在運作中的PSU的第二子集之 間的服務器的負載量。方法流程可接著回到起始步驟402繼續監控。
            [0096] 相應于在步驟406中判定需要關閉或開啟一個或多個PSU中的至少一個時,可在 步驟412中依據一或多個PSU管理算法來決定服務器系統的一預測的負載量模式。在一些 實施例中,服務器系統的預測的負載量模式可至少依據服務器系統的目前和/或歷史負載 量或其他服務器系統的負載量來決定。在一些實施例中,一或多個PSU管理算法包括至少 一個機器學習算法。所收集到服務器系統以及其他服務器系統的目前和/或歷史負載量信 息可以依據上述至少一個機器學習算法進行分析,并可用于預測服務器系統在特定的未來 時間時的負載量模式。
            [0097] 基于服務器系統的預測的負載量模式,在步驟414中可依據一或多個PSU管理算 法來決定是否仍然需要關閉或開啟任何PSU。相應于判定沒有第二子集中的PSU需要被關 閉或沒有第一子集中的PSU需要被開啟時,可執行步驟410來重新平衡運作中的PSU的第 二子集之間的服務器的負載量。然而,相應于判定至少一個PSU仍需要被關閉或開啟時,在 步驟416中可至少依據服務器系統在對應時間時的預測的負載量模式來決定在一特定時 間時需要被關閉的PSU的第一子集。
            [0098] 在步驟418中,可重新平衡在運作中的第二子集之間的服務器的負載量。在步驟 420中,可依據一或多個PSU管理算法,周期性交換PSU的第一子集中的一或多個關閉的 PSU與PSU的第二子集中的一或多個的運作中的PSU。在一些實施例中,可依據一既定的模 式來周期性地交換第一子集以及第二子集中的PSU。
            [0099] 術語
            [0100] -計算機網絡為藉由通信連接和區段互連的節點的地理分配聚集,用以在終端之 間傳輸數據,例如:個人計算機和工作站。可適用于許多類型的網絡,其類型范圍從區域網 絡(Local Area Network,LAN)和廣域網絡(Wide Area Network,WAN)到重疊式(overlay) 和軟件定義網絡,例如虛擬可擴展區域網絡(Virtual Extensible Local Area Network, VXLAN)〇
            [0101] LAN通常連接位于相同通用物理位置,例如大樓或校園的專用私有通信連接的節 點。另一方面,WAN通常連接長距通信連接的地理分散節點,例如共同載波電話線、光纖路 徑、同步光纖網絡(Synchronous Optical network,S0NET)、或同步數字階級(Synchronous Digital Hierarchy,SDH)連結。LAN和WAN可包括第2層(L2)和/或第3層(L3)網絡和 裝置。
            [0102] 互聯網為WAN的一個例子,其連接世界上的不同網絡,提供各種網絡上的節點之 間的全球通信。節點通常依據預定義通信協議例如傳輸控制通信協議/互聯網通信協議 (TCP/IP)等交換離散數據幀或分組而在前述網絡上進行通信。于本申請中,通信協議可視 為一組定義節點間如何彼此互動的規則。計算機網絡可進一步藉由中繼網絡節點例如路由 器等互連,以延伸每個網絡的有效"大小"。
            [0103] 重疊式網絡(overlay network) -般允許在一物理網絡基礎建設上產生以及分 層虛擬網絡。重疊式網絡通信協議,例如虛擬可擴展區域網(Virtual Extensible LAN, VXLAN)、一般路由封裝實現網絡虛擬化(Network Virtualization Using Generic Router Encapsulation,NVGRE)、網絡虛擬化共存(Network Virtualization Overlays,NV03)、以 及傳輸層隧道(Stateless Transport Tunnelling,STT),提供流量封裝方案,允許通過邏 輯通道通過L2和L3網絡而承載網絡流量。這種邏輯通道可通過虛擬通道終端(VTEP)起 始以及結束。
            [0104] 另外,重疊式網絡可包括虛擬區段,例如VXLAN重疊式網絡內的VXLAN區段,其可 包括虛擬L2和/或L3重疊式網絡,虛擬機器(Virtual Machine,VM)可在之上進行通信。 虛擬區段可通過虛擬網絡識別值(VNI)而被辨識,例如VXLAN網絡識別值,此虛擬網絡識別 值可特別辨識相關虛擬區段或網域。
            [0105] 網絡虛擬化允許硬件和軟件資源結合入虛擬網絡。舉例來說,網絡虛擬化可使多 個VM分別通過虛擬LAN(VLAN)依附于物理網絡。VM可分別依據其VLAN進行分組,且可與 其他VM以及內部或外部網絡的其他裝置通信。
            [0106] 網絡區段,例如物理或虛擬區段、網絡、裝置、端口、物理或邏輯連結、和/或流量 大致來說可分為橋接或洪水網域(flood domain)。橋接網域或洪水網域可表示一廣播網 域,例如L2廣播網域。橋接網域或洪水網域可包括單獨子網絡,但也可包括多子網絡。另 外,橋接網域可相關于網絡裝置上的橋接網域接口,例如一切換器。橋接網域接口可為支持 L2橋接網絡以及L3路由網絡之間流量的邏輯接口。此外橋接網域接口可支持互聯網通信 協議(IP)終止、VPN終止、地址解析處理、MAC定位等等。橋接網域和橋接網域接口兩者可 藉由相同索引或識別值而被辨識。
            [0107] 此外,終端群組(EndPoint Group,下稱EPG)在網絡中可用于將應用程序對映 (mapping)至網絡。特別來說,EPG可使用網絡中應用程序終端的分組,應用連接性和政策 來對應用程序分組。EPG可作為用于裝運的容器,或是應用程序或應用程序元件的集合,以 及實現轉送和政策邏輯的層級。EPG也允許從藉由使用邏輯應用程序邊界代替決定地址將 網絡政策、安全性、以及轉送分開。
            [0108] 在一或多個網絡也可提供云端運算,藉以使用共享資源提供運算服務。云端運 算可大致上包括互聯網為基礎的運算,其中運算資源通過網絡(例如〃云端〃)可取得的 資源集合被動態提供與分配給用戶端或用戶計算機或其他裝置的隨選(on-demand)功 能。云端運算資源,例如,可包括任意類型的資源,例如運算、存儲、以及網絡裝置,虛擬機 器(Virtual Machine,簡稱VM)等等。舉例來說,資源可包括服務裝置(防火墻、深度分組 檢測,流量監控、負載量平衡等等)、運算/處理裝置(服務器、CPU的、存儲器、暴力(brute force)處理能力)、存儲裝置(例如依附網絡的存儲器、存儲區域網絡裝置)等等。此外, 這種資源會用于支持虛擬網絡、虛擬機器(VM)、數據庫、應用程序(Apps)等等。
            [0109] 云端運算資源可包括"私有云端"、"公有云端"、和/或"混和式云端"。"混和式云 端"可為一種由二或多個PSU云端所組成的云端基礎建設,該二或多個PSU云端可通過技術 相互運作或進行同盟。本質上混和式云端為私有和公有云端之間的互動,其中私有云端結 合公有云端并以一種安全且有彈性(scalable)的方式使用公有云端資源。云端運算資源 也可通過虛擬網絡在重疊式網絡例如VXLAN之內提供。
            [0110] 在網絡切換系統中,可維持一查找數據庫(lookup database)以保持多個依附切 換系統的終端之間的路徑軌跡。然而終端可具有各種設定且相關于許多承租者。終端可具 有各種類型的識別值,例如IPv4、IPv6、或第2層。查找數據庫必須設定不同模式來處理不 同類型的終端識別值。一些查找數據庫的能力是設計用于處理不同地址類型的進入分組。 另外網絡切換系統中的查找數據庫通常受限于1K虛擬路由以及轉送(VRF)。因此,需要用 于處理各種類型的終端識別值的改良查找算法。本發明所公開的技術提出用于電信網絡中 的地址查找所需的技術。本發明所公開的系統、方法、和計算機可讀存儲介質用于藉由將終 端識別值對映到一致空間且允許一致處理不同形式的查找來統一各種類型的終端識別值。 接著參見圖5和圖6所示,實施例系統和網絡的簡單描述將在此公開。本發明實施例的變 形于各個實施例中描述。相關技術請參考圖5。
            [0111] 圖5顯示依據本發明一實施例的運算裝置(computing device) 500的示意圖。運 算裝置500包括主中央處理單元(CPU) 562、接口 568、以及總線515 (例如PCI總線)。當在 合適軟件或固件的控制下動作時,CPU 562用于負責執行分組管理、錯誤檢測、和/或路由 功能,例如不當連接(miscabling)檢測功能。CPU 562較佳地在包括操作系統以及任意合 適應用程序軟件的軟件控制之下完成上述功能。CPU 562可包括一或多個處理器563,例如 來自Motorola微處理器家族或MIPS微處理器家族的處理器。在另一實施例中,處理器563 為特定設計的硬件,用于控制運算裝置500的操作。在特定實施例中,存儲器561 (例如非 易失性RAM和/或ROM)也形成CPU 562 -部分。然而,存儲器可通過許多不同方式耦接系 統。
            [0112] 接口 568通常提供作為接口卡(有時稱為〃線路卡(line card)")。一般來說,接 口 568控制通過網絡的數據分組的傳送與接收且有時支持與運算裝置500 -起使用的其他 周邊。可提供的接口為以太網接口、幀中繼接口、纜線接口、DSL接口、信令環(token ring) 接口等等。此外,可提供各種非常高速接口例如快速信令環接口、無線接口、以太網接口、 Gigabit以太網接口、ATM接口、HSSI接口、P0S接口、FDDI接口等等。一般而言,這些接口 可包括用于合適介質的通信的合適端口。在一些實施例中,接口也可包括獨立處理器,以及 在一些實施例中可包括易失性RAM。獨立處理器可控制分組切換、介質控制和管理等此種通 信密集任務。藉由對通信密集任務提供分開的處理器,上述接口允許主微處理器562有效 執行路由運算、網絡診斷、安全性功能等等。
            [0113] 雖然圖5所示的系統為本發明實施例的一特定運算裝置,然其絕非本發明實施例 僅有的網絡裝置構造。舉例來說,經常使用具有單獨處理器的構造,該單獨處理器處理通信 以及路由運算等等。另外,其他類型的接口和介質也能與路由器一起使用。
            [0114] 無論網絡裝置的設定是什么,網絡裝置都會使用一或多個存儲器或存儲器模塊 (包括存儲器561)用于針對存儲通用網絡操作的程序指令以及針對上述漫游、路由優化和 路由功能的機制。例如程序指令可控制操作系統和/或一或多個應用程序的操作。存儲器 或多個存儲器也可用于存儲表格例如移動連結、注冊、和相關表格等等。
            [0115] 圖6A與圖6B顯示依據本發明多個實施例的示范系統的示意圖。本領域技術人員 在應用本發明實施例時可應用更合適的實施例。本領域技術人員也已知其他系統實施例的 可能性。
            [0116] 圖6A顯示已知系統中一種總線運算系統構造600,其中系統的元件互相使用總線 605進行電性通信。系統600的例子包括處理單元(CPU或處理器)610以及系統總線605, 此系統總線605耦接各種系統元件到處理器610,各種系統元件包括系統存儲器615,例如 只讀存儲器(ROM) 620和隨機存取存儲器(RAM) 625。系統600可包括高速存儲器的快取存 儲器,此高速存儲器直接連接、靠近、或整合為處理器610的一部分。系統600可將數據從 存儲器615和/或存儲裝置630復制到快取存儲器612用于處理器610的快速存取。以此 方式快取存儲器可于等待數據時提供效能增進,避免處理器610延遲。上述以及其他模塊 會控制或用于控制處理器610藉以執行各種動作。同時也可使用其他系統存儲器615。存 儲器615可包括多個具有不同效能特性的不同類型存儲器。處理器610可包括任意通用處 理器以及硬件模塊或軟件模塊,例如存儲于存儲裝置630的模塊632,模塊634,和模塊636, 用于控制處理器610以及特殊功用處理器,其中軟件指令結合入實際處理器設計。處理器 610可實質上為完全自給自足的運算系統,包括多內核或處理器、總線,存儲器控制器、快取 存儲器等等。多核處理器可為對稱或非對稱。
            [0117] 為了使用戶可以和運算裝置600互動,輸入裝置645會代表任意數量的輸入機制, 例如用于演講的麥克風、用于手勢或圖形輸入的觸控屏幕、鍵盤、鼠標、動作輸入、語音以及 其他。輸出裝置635也可為本領域技術人員所知的一或多個輸出機制。在一些例子中,多 模系統會對用戶提供多類型的輸入藉以和運算裝置600通信。通信接口 640會大致上包含 并管理用戶輸入以及系統輸出。任意特定硬件設置上的各種操作沒有限制,因此這里的基 本特征會很容易置入發展增進中的硬件或固件設置。
            [0118] 存儲裝置630為非易失性存儲器且可為硬盤或其他類型的計算機可讀介質,該計 算機可讀介質會存儲計算機可存取數據,且可例如為磁帶、快閃存儲器卡、固態存儲器裝 置、數字光盤、卡匣、隨機存取存儲器(RAM) 625、只讀存儲器(ROM) 620、以及其混合。
            [0119] 存儲裝置630可包括軟件模塊632、634、636,用于控制處理器610。也會考慮其他 硬件或軟件模塊。存儲裝置630會連接至系統總線605。在某個方面,執行特定功能的硬件 模塊可包括存儲于計算機可讀介質的軟件元件,該存儲于計算機可讀介質和所需硬件元件 有關,該所需硬件元件可例如為用于執行功能的處理器610、總線605、輸出裝置635 (例如 顯不器)等等。
            [0120] 圖6B是顯示一種具有芯片組構造的計算機系統650,該芯片組構造會被使用來執 行所述方法并產生及顯示圖形用戶接口(GUI)。計算機系統650為用于實現所公開技術的 計算機硬件、軟件和固件的實施例。系統650可包括處理器655,表示任意數量的物理和/ 或邏輯區別資源,執行用于所示運算的軟件、固件、和硬件。處理器655會與芯片組660通 信,該芯片組660會控制處理器655的輸入和輸出。在本實施例中,芯片組660輸出信息至 輸出裝置665,例如顯示器,且會讀取和寫入信息至存儲裝置670,存儲裝置670可包括例如 磁盤介質和固態介質。芯片組660也會讀取數據和寫入數據至RAM675。用于與各種用戶接 口元件685進行接口的橋接器680會用于與芯片組660進行接口。此種用戶接口元件685 可包括鍵盤、麥克風、觸控檢測和處理電路、指向裝置,例如鼠標等等。大致來說系統650的 輸入會來自各種來源,可以由機器產生和/或人工產生。
            [0121] 芯片組660也會與一或多個具有不同物理接口的通信接口 690進行接口。此種通 信接口可包括用于寬頻無線網絡以及個人區域網絡(personal area network)的有線和無 線本地區域網絡的接口。一些用于產生、顯示、以及使用本發明實施例⑶I的方法的應用程 序可包括,藉由處理器655分析存儲于存儲670或RAM 675的數據而接收通過物理接口或 由機器自行產生的請求數據組。另外機器接收來自用戶通過用戶接口元件685的輸入并會 藉由使用處理器655解釋輸入來執行合適的功能,例如瀏覽功能。
            [0122] 實施例系統600和650會具有一個以上的處理器610或為群組一部分或為一起網 絡連接的運算裝置群集,用以提供更多處理能力。
            [0123] 為了清楚解釋,在本發明一些實施例可包括獨自的功能區塊,該功能區塊包括軟 件或硬件和軟件的結合實現的方法中的裝置、裝置元件、步驟或常式(routines)。
            [0124] 在一些實施例中計算機可讀存儲裝置、介質、以及存儲器可包括纜線或包括比特 流的無線信號等等。然而當提到時,非暫態計算機可讀存儲介質明確排除例如能量、載波信 號、電磁波、以及信號等等介質。
            [0125] 依據上述實施例的方法會使用計算機可執行指令實現,該計算機可執行指令存儲 于計算機可讀介質或可由計算機可讀介質提供。此種指令可包括,例如讓通用計算機、特殊 功能計算機、或特殊功能處理裝置執行一些功能或功能群組的指令和數據。部分計算機資 源可通過網絡存取。計算機可執行指令可為例如二元、中繼格式指令例如組合語言、固件、 或來源碼。計算機可讀介質的實施例會用于存儲指令、使用信息、和/或依據所述實施例的 方法進行中所產生的信息,該計算機可讀介質包括磁盤或光盤、快閃存儲器、非易失性存儲 器提供的USB裝置、網絡連接存儲裝置等等。
            [0126] 依據本發明實施例實現的裝置可包括硬件,固件和/或軟件,并可使用各種形 式因素。形式因素的典型實施例包括筆記型計算機、智能手機、小型化機構(small form factor)個人計算機、個人數字助理等等。所述的功能性也會以周邊或擴充卡實現。功能性 也會藉由其他實施例,由單獨裝置中電路板上不同芯片或不同程序間的執行動作實現。
            [0127] 指令、傳遞該指令的介質、執行該指令的運算資源、以及其他支持該運算資源的構 造為用以提供公開書所述功能的方式。
            [0128] 本發明實施例的各個方面提供用以在一服務器系統中管理二或多個PSU的方法, 以實現所有PSU的大致上最佳化的功率效能與MTBF。雖然以上已經引用特定實施例來顯示 可選操作在不同指令下如何使用,其他實施例可結合可選操作和不同指令。為了清楚解釋, 在本發明一些實施例可包括獨自的功能區塊,該功能區塊包括軟件或硬件和軟件的結合實 現的方法中的裝置、裝置元件、步驟或常式。
            [0129] 其他實施例可另外在各種操作環境中實現,該各種操作環境在一些實施例中可包 括用于操作多個應用程序的一或多臺服務器計算機、用戶計算機或運算裝置。用戶或客戶 裝置可包括任意多個通用個人計算機,例如以標準操作系統運作的桌上型或膝上型計算 機、以及以移動軟件運作并能支持多個網絡和訊息通信協議的蜂窩、無線以及手持裝置。該 系統也可包括多個以各種商用操作系統以及其他已知針對特殊目的的應用程序運作的工 作站,上述特殊目的可例如為發展和數據庫管理。上述裝置也可包括其他電子裝置,例如虛 擬終端、瘦客戶端、游戲系統以及其他能通過網絡通信的裝置。
            [0130] 為了延伸實施例,本發明實施例或部分實施例以硬件實現,并以任意一種或以下 技術的結合實現:具有邏輯門的離散邏輯電路,可在收到數據信號時用于實現邏輯功能、具 有合適的組合邏輯門的特定應用集成電路(Application Specific Integrated Circuit, ASIC)、可編程硬件例如可編程門陣列(Programmable Gate Array,PGA)、現場可編程門陣 列(FPGA)等等。
            [0131] 大部分實施例使用本領域技術人員周知的至少一網絡,用于支持各種商用通信協 議的通信,例如TCP/IP、OSI、FTP、UPnP、NFS、CIFS、AppleTalk等等。網絡可為,例如為本地 區域網絡、廣域網絡、虛擬私有網絡、互聯網、內連網(intranet)、外連網(extranet)、公眾 電話交換網絡(public switched telephone network)、紅外線網絡、無線網絡以及以上任 意組合。
            [0132] 本發明實施例的方法可使用計算機可執行指令實現,該計算機可執行指令存儲于 計算機可讀介質或可由計算機可讀介質提供。此種指令可包括,例如讓通用計算機、特殊用 途計算機、或特殊用途處理裝置執行一些功能或功能群組的指令和數據。部分計算機資源 可通過網絡存取。計算機可執行指令可為例如二元碼、中繼格式指令例如組合語言、固件、 或來源碼。計算機可讀介質的實施例可用于存儲指令、使用信息、和/或依據所述實施例的 方法進行中所產生的信息,該計算機可讀介質包括磁碟或光盤、快閃存儲器、具有非易失性 存儲器的USB裝置、網絡連接存儲裝置等等。
            [0133] 依據本發明實現方法實現的裝置可包括硬件,固件和/或軟件,并使用各種形 式因素。形式因素的典型實施例包括筆記型計算機、智慧手機、小型化機構(small form factor)個人計算機、個人數字助理等等。所述的功能性也可以周邊或擴充卡實現。功能性 也可藉由其他實施例,由單獨裝置中電路板上不同芯片或不同程序間的執行動作實現。
            [0134] 在使用網絡服務器的實施例中,網絡服務器可執行各種服務器或中層應用程序, 包括HTTP服務器、FTP服務器、CGI服務器、數據服務器、Java服務器以及商業應用程序服 務器。服務器也能夠相應于用戶裝置的請求而執行程序或腳本,例如藉由執行一或多個以 任意編程語言或其他腳本語言編寫的網絡應用程序,上述任意編程語言可例如為Java?、 C、C#或C++,且上述其他腳本語言可例如為Perl、Python或TCL、以及其中一種組合。服務 器也可包括數據庫服務器,包括但不限于可在開放商業市場上取得的服務器。
            [0135] 服務器數據中心可包括上述討論的各種數據存儲以及其他存儲器和存儲介質。各 種數據存儲以及其他存儲器和存儲介質會駐于各種位置之內,例如存儲介質本地之上(和 /或駐于)一或多臺計算機或網絡上任意計算機或所有計算機的遠端。在實施例的特定組 合中,信息可駐于本領域技術人員所熟知的存儲區域網絡(SAN)之內。類似地,用于執行計 算機,服務器或其他網絡裝置特性功能的任意所需文件可于合適之處在本地和/或遠端存 儲。上述系統包括計算機化裝置,每個這種裝置可包括通過總線電耦接的硬件元件,元件包 括,例如至少一中央處理單元(CPU)、至少一輸入裝置(例如鼠標、鍵盤、控制器、觸控顯示 器元素或按鍵)以及至少一輸出裝置(例如顯示器裝置、打印機或喇叭)。此種系統也可包 括一或多個存儲裝置,例如碟機、光學存儲裝置和固態存儲裝置例如隨機存取存儲器(RAM) 或只讀存儲器(ROM),以及可移除介質裝置、存儲器卡、快閃卡等等。
            [0136] 該裝置也可包括所述的計算機可讀存儲介質讀取器、通信裝置(例如終端機、網 絡卡(無線或有線)、紅外線運算裝置)以及工作存儲器。計算機可讀存儲介質讀取器可 連接或用于接收計算機可讀存儲介質用于暫時和/或更永久包括、存儲、傳送、以及提取計 算機可讀信息,該計算機可讀存儲介質代表遠端、本地、固定和/或可移除存儲裝置以及存 儲介質。系統和各種裝置通常也可包括位于至少一工作存儲器裝置之內的多個軟件應用程 序、模塊、服務或其他元件,包括操作系統和應用程序,例如定制化應用程序或網絡瀏覽器。 本領域技術人員可知替代實施例具有上述實施例的各種變化型。例如,也可使用定制化硬 件和/或特定元件可以硬件、軟件(包括可攜軟件、例如小程序(applet))或兩者兼有加以 實現。另外,也可使用到其他運算裝置的連接,該其他運算裝置可例如為網絡輸入/輸出裝 置。
            [0137] 用以包括編碼、或部分編碼的存儲介質和計算機可讀介質可包括本領域中已知或 使用的任意合適介質,包括存儲介質和運算介質,例如但不限于易失性和非易失性、可移除 和不可移除介質,以針對存儲和/或信息傳輸的任意方法或技術實現,例如計算機可讀指 令、數據構造、程序模塊或其他數據,包括RAM、ROM、EPROM、EEPR0M、快閃存儲器或其他存儲 器技術、⑶ -ROM、數字光盤(digital versatile disk,DVD)或其他光學存儲、磁盒、磁帶、磁 盤存儲或其他磁性存儲裝置或任意其他用于存儲所需信息且會由系統裝置存取的介質。依 據本發明技術和教示,本領域技術人員可知其他方式和/或方法用以實現本發明各種實施 例。
            [0138] 本發明雖以優選實施例公開如上,然其并非用以限定本發明,本領域技術人員,在 不脫離本發明的精神和范圍內,當可做些許的更動與潤飾,因此本發明的保護范圍當視所 附權利要求書界定范圍為準。
            【主權項】
            1. 一種服務器系統,包括: 至少一處理器;以及 存儲器,其包括多個指令,當所述指令在被該至少一處理器執行時使得該服務器系統 進行以下步驟: 收集該服務器系統的負載量(loading); 收集該服務器系統的二或多個PSU電源供應單元(power supply unit,PSU)的每一個 的負載量; 依據一或多個PSU管理算法,至少依據該服務器系統的該負載量以及該服務器系統的 所述二或多個PSU的所述負載量,決定所述二或多個PSU中要被關閉的第一子集;以及 依據該一或多個PSU管理算法,致使該第一子集中的一或多個PSU被周期性地與所述 二或多個PSU中正在運作的第二子集的一或多個PSU進行交換。2. 如權利要求1所述的服務器系統,其中所述指令在被該至少一處理器執行時還使得 該服務器系統進行以下步驟: 收集該服務器系統的歷史負載量信息; 依據該一或多個PSU管理算法,至少依據該服務器系統的該歷史負載量信息,決定在 指定時間點的預測的負載量模式(loading pattern);以及 決定所述二或多個PSU中要在該指定時間點被關閉的該第一子集。3. 如權利要求2所述的服務器系統,其中所述指令在被該至少一處理器執行時更使得 該服務器系統進行以下步驟: 收集該服務器系統以外的多個其他服務器系統的歷史負載量信息;以及 依據該一或多個PSU管理算法,至少依據所述其他服務器系統的所述歷史負載量信 息,決定在該指定時間點的該預測的負載量模式。4. 如權利要求3所述的服務器系統,其中所述指令在被該至少一處理器執行時還使得 該服務器系統進行以下步驟: 收集與該服務器系統相關聯的信息,該信息包括一天中的時間、一年中的天數、溫 度、冷卻風扇的速度、電源狀態、存儲器與操作系統(0S)狀態、各種數據分組抵達速率 (arrival rate)以及數據隊列統計數據;以及 至少依據一部分的所收集到的與該服務器系統相關聯的該信息,依據該一或多個PSU 管理算法,決定在該指定時間點的該預測的負載量模式。5. 如權利要求1所述的服務器系統,其中該一或多個PSU管理算法包括至少一機器學 習算法。6. 如權利要求5所述的服務器系統,其中該至少一機器學習算法包括線性回歸模型 算法、類神經網絡模型算法算法、支持向量機為基礎的模型算法、貝葉斯統計(Bayesian statistics)算法、案例推理(case-based reasoning)算法、決策樹算法、歸納邏輯程序 (inductive logic programming)算法、高其萬程序回歸(Gaussian process regression) 算法、數據處理群集分析算法(group method of data handling)、學習自動機算法、 隨機森林算法、合奏式分類器(ensembles of classifiers)算法、有序分類(ordinal classification)算法、或者條件式隨機場域(conditional random field,CRF)算法。7. 如權利要求1所述的服務器系統,其中所述指令在被該至少一處理器執行時還使得 該服務器系統進行以下步驟: 平衡在該服務器系統的所述二或多個PSU的該第二子集中的所述PSU之間的該服務器 系統的該負載量。8. 如權利要求7所述的服務器系統,其中所述二或多個PSU的該第二子集包括運作在 閾值效能電平之上的至少一 PSU。9. 如權利要求1所述的服務器系統,其中所述指令在被該至少一處理器執行時還使得 該服務器系統進行以下步驟: 致使該第一子集中的該一或多個PSU與該第二子集中的該一或多個PSU被周期性地 以既定模式進行交換,使得所述二或多個PSU的平均故障間隔時間(Mean Time Between Failure,MTBF)大致上為最佳化。10. 如權利要求1所述的服務器系統,其中所述指令在被該至少一處理器執行時還使 得該服務器系統進行以下步驟: 將該第二子集中的每一所述PSU的負載量與既定低閾值進行比對; 相應于判定該第二子集中至少2個PSU所運作的負載量電平低于該既定低閾值,致使 該至少2個PSU的其中一個關閉并且指定該者為所述二或多個PSU的該第一子集。11. 如權利要求1所述的服務器系統,其中所述指令在被該至少一處理器執行時還使 得該服務器系統進行以下步驟: 將該第二子集中的每一所述PSU的該負載量與既定高閾值進行比對; 相應于判定該第二子集中至少2個PSU所運作的負載量電平高于該既定高閾值,致使 該第一子集中的其中一 PSU開啟并且指定該PSU為所述二或多個PSU的該第二子集。12. -種計算機實現的方法,用以在一服務器系統中管理二或多個電源供應單元 (power supply unit,PSU),包括以下步驟: 收集該服務器系統的負載量; 收集該服務器系統的該二或多個PSU電源供應單元的每一個的負載量; 依據一或多個PSU管理算法,至少依據該服務器系統的該負載量以及該服務器系統的 所述二或多個PSU的所述負載量,決定所述二或多個PSU中要被關閉的第一子集;以及 依據該一或多個PSU管理算法,致使該第一子集中的一或多個PSU被周期性地與所述 二或多個PSU中正在運作的一第二子集的一或多個PSU進行交換。13. 如權利要求12所述的計算機實現的方法,還包括: 收集該服務器系統的歷史負載量信息; 依據該一或多個PSU管理算法,至少依據該服務器系統的該歷史負載量信息,決定在 指定時間點的預測的負載量模式;以及 決定所述二或多個PSU中要在該指定時間點被關閉的該第一子集。14. 如權利要求13所述的計算機實現的方法,還包括: 收集與該服務器系統相關聯的信息,該信息包括一天中的時間、一年中的天數、溫度、 冷卻風扇的速度、電源狀態、存儲器與操作系統狀態、各種數據分組抵達速率以及數據隊列 統計數據;以及 至少依據一部分的所收集到的與該服務器系統相關聯的該信息,依據該一或多個PSU 管理算法,決定在該指定時間點的該預測的負載量模式。15. 如權利要求12所述的計算機實現的方法,還包括: 將該第二子集中的每一所述PSU的負載量與既定高閾值進行比對; 相應于判定該第二子集中至少2個PSU所運作的負載量電平高于該既定高閾值,致使 該第一子集中的其中一 PSU開啟并且指定該PSU為所述二或多個PSU的該第二子集。16. 如權利要求12所述的計算機實現的方法,其中該一或多個PSU管理算法包括至 少一機器學習算法,并且其中該至少一機器學習算法包括線性回歸模型算法、類神經網絡 模型算法算法、支持向量機為基礎的模型算法、貝葉斯統計(Bayesian statistics)算法、 案例推理(case-based reasoning)算法、決策樹算法、歸納邏輯程序(inductive logic programming)算法、高斯程序回歸(Gaussian process regression)算法、數據處理群集分 析算法(group method of data handling)、學習自動機算法、隨機森林算法、合奏式分類器 (ensembles of classifiers)算法、有序分類(ordinal classification)算法、或者條件 式隨機場域(conditional random field,CRF)算法。17. 如權利要求12所述的計算機實現的方法,還包括: 平衡在該服務器系統的所述二或多個PSU的該第二子集中的所述PSU之間的該服務器 系統的該負載量; 其中所述二或多個PSU的該第二子集包括運作在閾值效能電平之上的至少一 PSU。18. -種非暫態計算機可讀存儲介質,其中包含多個指令,當所述指令在服務器系統的 至少一處理器執行時使得該服務器系統進行以下步驟: 收集該服務器系統的負載量; 收集該服務器系統的二或多個電源供應單元(power supply unit,PSU)的每一個的負 載量; 依據一或多個PSU管理算法,至少依據該服務器系統的該負載量以及該服務器系統的 所述二或多個PSU的所述負載量,決定所述二或多個PSU中要被關閉的第一子集;以及 依據該一或多個PSU管理算法,致使該第一子集中的一或多個PSU被周期性地與所述 二或多個PSU中正在運作的第二子集的一或多個PSU進行交換。19. 如權利要求18所述的非暫態計算機可讀存儲介質,其中所述指令在被該至少一處 理器執行時更使得該服務器系統進行以下步驟: 致使該第一子集中的該一或多個PSU與該第二子集中的該一或多個PSU被周期性地 以一既定模式進行交換,使得所述二或多個PSU的平均故障間隔時間(Mean Time Between Failure,MTBF)大致上為最佳化。20. 如權利要求18所述的非暫態計算機可讀存儲介質,其中所述指令在被該至少一處 理器執行時更使得該服務器系統進行以下步驟: 將該第二子集中的每一所述PSU的負載量與既定低閾值進行比對; 相應于判定該第二子集中至少2個PSU所運作的負載量電平低于該既定低閾值,致使 該至少2個PSU的其中一個關閉并且指定該者為所述二或多個PSU的該第一子集。
            【文檔編號】G06F1/26GK106095035SQ201510647806
            【公開日】2016年11月9日
            【申請日】2015年10月9日
            【發明人】黃仁烜, 林發達, 林耿宇
            【申請人】廣達電腦股份有限公司
            網友詢問留言 已有0條留言
            • 還沒有人留言評論。精彩留言會獲得點贊!
            1
            婷婷六月激情在线综合激情,亚洲国产大片,久久中文字幕综合婷婷,精品久久久久久中文字幕,亚洲一区二区三区高清不卡,99国产精品热久久久久久夜夜嗨 ,欧美日韩亚洲综合在线一区二区,99国产精品电影,伊人精品线视天天综合,精品伊人久久久大香线蕉欧美
            亚洲精品1区 国产成人一级 91精品国产欧美一区二区 亚洲精品乱码久久久久久下载 国产精品久久久久久久伊一 九色国产 国产精品九九视频 伊人久久成人爱综合网 欧美日韩亚洲区久久综合 欧美日本一道免费一区三区 夜夜爽一区二区三区精品 欧美日韩高清一区二区三区 国产成人av在线 国产精品对白交换绿帽视频 国产视频亚洲 国产在线欧美精品 国产精品综合网 国产日韩精品欧美一区色 国产日韩精品欧美一区喷 欧美日韩在线观看区一二 国产区精品 欧美视频日韩视频 中文字幕天天躁日日躁狠狠躁97 视频一二三区 欧美高清在线精品一区二区不卡 国产精品揄拍一区二区久久 99久久综合狠狠综合久久aⅴ 亚洲乱码视频在线观看 日韩在线第二页 亚洲精品无码专区在线播放 成人亚洲网站www在线观看 欧美三级一区二区 99久久精品免费看国产高清 91麻豆国产在线观看 最新日韩欧美不卡一二三区 成人在线观看不卡 日韩国产在线 在线亚洲精品 亚洲午夜久久久久中文字幕 国产精品成人久久久久久久 精品国产一区二区在线观看 欧美精品国产一区二区三区 中文在线播放 亚洲第一页在线视频 国产午夜精品福利久久 九色国产 精品国产九九 国产永久视频 久久精品人人做人人综合试看 国产一区二区三区免费观看 亚洲精品国产电影 9999热视频 国产精品资源在线 麻豆久久婷婷国产综合五月 国产精品免费一级在线观看 亚洲国产一区二区三区青草影视 中文在线播放 国产成人综合在线 国产在线观看色 国产亚洲三级 国产片一区二区三区 久久99精品久久久久久牛牛影视 亚洲欧美日韩国产 四虎永久免费网站 国产一毛片 国产精品视频在 九九热在线精品 99精品福利视频 色婷婷色99国产综合精品 97成人精品视频在线播放 精品久久久久久中文字幕 亚洲欧美一区二区三区孕妇 亚洲欧美成人网 日韩高清在线二区 国产尤物在线观看 在线不卡一区二区 91网站在线看 韩国精品福利一区二区 欧美日韩国产成人精品 99热精品久久 国产精品免费视频一区 高清视频一区 精品九九久久 欧美日韩在线观看免费 91欧美激情一区二区三区成人 99福利视频 亚洲国产精品91 久热国产在线 精品久久久久久中文字幕女 国产精品久久久久久久久99热 成人自拍视频网 国产精品视频久久久久久 久久影院国产 国产玖玖在线观看 99精品在线免费 亚洲欧美一区二区三区导航 久久久久久久综合 国产欧美日韩精品高清二区综合区 国产精品视频自拍 亚洲一级片免费 久久久久久九九 国产欧美自拍视频 视频一区二区在线观看 欧美日韩一区二区三区久久 中文在线亚洲 伊人热人久久中文字幕 日韩欧美亚洲国产一区二区三区 欧美亚洲国产成人高清在线 欧美日韩国产码高清综合人成 国产性大片免费播放网站 亚洲午夜综合网 91精品久久一区二区三区 国产无套在线播放 国产精品视频网站 国产成人亚洲精品老王 91在线网站 国产视频97 欧美黑人欧美精品刺激 国产一区二区三区免费在线视频 久久久国产精品免费看 99re6久精品国产首页 久久精品91 国产成人一级 国产成人精品曰本亚洲 日本福利在线观看 伊人成综合网 久久综合一本 国产综合久久久久久 久久精品成人免费看 久久福利 91精品国产91久久久久久麻豆 亚洲精品成人在线 亚洲伊人久久精品 欧美日本二区 国产永久视频 国产一区二 一区二区福利 国产一毛片 亚洲精品1区 毛片一区二区三区 伊人久久大香线蕉综合影 国产欧美在线观看一区 亚洲国产欧洲综合997久久 国产一区二区免费视频 国产91精品对白露脸全集观看 久久亚洲国产伦理 欧美成人伊人久久综合网 亚洲性久久久影院 久久99国产精一区二区三区! 91精品国产欧美一区二区 欧美日韩亚洲区久久综合 日韩精品一二三区 久久久夜色精品国产噜噜 国产在线精品福利91香蕉 久久久久久久亚洲精品 97se色综合一区二区二区 91国语精品自产拍在线观看性色 91久久国产综合精品女同我 日韩中文字幕a 国产成人亚洲日本精品 久久国产精品-国产精品 久久国产经典视频 久久国产精品伦理 亚洲第一页在线视频 国产精品久久久久三级 日韩毛片网 久久免费高清视频 麻豆国产在线观看一区二区 91麻豆国产福利在线观看 国产成人精品男人的天堂538 一区二区三区中文字幕 免费在线视频一区 欧美日韩国产成人精品 国产综合网站 国产资源免费观看 亚洲精品亚洲人成在线播放 精品久久久久久中文字幕专区 亚洲人成人毛片无遮挡 国产一起色一起爱 国产香蕉精品视频在 九九热免费观看 日韩亚洲欧美一区 九九热精品在线观看 精品久久久久久中文字幕专区 亚洲欧美自拍偷拍 国产精品每日更新 久久久久国产一级毛片高清板 久久天天躁狠狠躁夜夜中文字幕 久久精品片 日韩在线毛片 国产成人精品本亚洲 国产成人精品一区二区三区 九九热在线观看 国产r级在线观看 国产欧美日韩精品高清二区综合区 韩国电影一区二区 国产精品毛片va一区二区三区 五月婷婷伊人网 久久一区二区三区免费 一本色道久久综合狠狠躁篇 亚洲综合色站 国产尤物在线观看 亚洲一区亚洲二区 免费在线视频一区 欧洲精品视频在线观看 日韩中文字幕a 中文字幕日本在线mv视频精品 91精品在线免费视频 精品国产免费人成在线观看 精品a级片 中文字幕日本在线mv视频精品 日韩在线精品视频 婷婷丁香色 91精品国产高清久久久久 国产成人精品日本亚洲直接 五月综合视频 欧美日韩在线亚洲国产人 精液呈暗黄色 亚洲乱码一区 久久精品中文字幕不卡一二区 亚洲天堂精品在线 激情婷婷综合 国产免费久久精品久久久 国产精品亚洲二区在线 久久免费播放视频 五月婷婷丁香综合 在线亚洲欧美日韩 久久免费精品高清麻豆 精品久久久久久中文字幕 亚洲一区网站 国产精品福利社 日韩中文字幕免费 亚洲综合丝袜 91精品在线播放 国产精品18 亚洲日日夜夜 伊人久久大香线蕉综合影 亚洲精品中文字幕乱码影院 亚洲一区二区黄色 亚洲第一页在线视频 一区二区在线观看视频 国产成人福利精品视频 亚洲高清二区 国内成人免费视频 精品亚洲性xxx久久久 国产精品合集一区二区三区 97av免费视频 国产一起色一起爱 国产区久久 国产资源免费观看 99精品视频免费 国产成人一级 国产精品九九免费视频 欧美91精品久久久久网免费 99热国产免费 久久精品色 98精品国产综合久久 久久精品播放 中文字幕视频免费 国产欧美日韩一区二区三区在线 精品久久蜜桃 国产小视频精品 一本色道久久综合狠狠躁篇 91在线免费观看 亚洲精品区 伊人成综合网 伊人热人久久中文字幕 伊人黄色片 99国产精品热久久久久久夜夜嗨 久久免费精品视频 亚洲一区二区三区高清不卡 久久久久国产一级毛片高清板 国产片一区二区三区 久久狠狠干 99久久婷婷国产综合精品电影 国产99区 国产精品成人久久久久 久久狠狠干 青青国产在线观看 亚洲高清国产拍精品影院 国产精品一区二区av 九九热在线免费视频 伊人久久国产 国产精品久久久久久久久久一区 在线观看免费视频一区 国产精品自在在线午夜区app 国产精品综合色区在线观看 国产毛片久久久久久国产毛片 97国产免费全部免费观看 国产精品每日更新 国产尤物视频在线 九九视频这里只有精品99 一本一道久久a久久精品综合 久久综合给会久久狠狠狠 国产成人精品男人的天堂538 欧美一区二区高清 毛片一区二区三区 国产欧美日韩在线观看一区二区三区 在线国产二区 欧美不卡网 91在线精品中文字幕 在线国产福利 国内精品91久久久久 91亚洲福利 日韩欧美国产中文字幕 91久久精品国产性色也91久久 亚洲性久久久影院 欧美精品1区 国产热re99久久6国产精品 九九热免费观看 国产精品欧美日韩 久久久久国产一级毛片高清板 久久国产经典视频 日韩欧美亚洲国产一区二区三区 欧美亚洲综合另类在线观看 国产精品自在在线午夜区app 97中文字幕在线观看 视频一二三区 精品国产一区在线观看 国产欧美日韩在线一区二区不卡 欧美一区二三区 伊人成人在线观看 国内精品91久久久久 97在线亚洲 国产在线不卡一区 久久久全免费全集一级全黄片 国产精品v欧美精品∨日韩 亚洲毛片网站 在线不卡一区二区 99re热在线视频 久久激情网 国产毛片一区二区三区精品 久久亚洲综合色 中文字幕视频免费 国产视频亚洲 婷婷伊人久久 国产一区二区免费播放 久久99国产精品成人欧美 99国产在线视频 国产成人免费视频精品一区二区 国产不卡一区二区三区免费视 国产码欧美日韩高清综合一区 久久精品国产主播一区二区 国产一区电影 久久精品国产夜色 国产精品国产三级国产 日韩一区二区三区在线 久久97久久97精品免视看 久久国产免费一区二区三区 伊人久久大香线蕉综合电影网 99re6久精品国产首页 久久激情网 亚洲成人高清在线 国产精品网址 国产成人精品男人的天堂538 香蕉国产综合久久猫咪 国产专区中文字幕 91麻豆精品国产高清在线 久久国产经典视频 国产精品成人va在线观看 国产精品爱啪在线线免费观看 日本精品久久久久久久久免费 亚洲综合一区二区三区 久久五月网 精品国产网红福利在线观看 久久综合亚洲伊人色 亚洲国产精品久久久久久网站 在线日韩国产 99国产精品热久久久久久夜夜嗨 国产综合精品在线 国产区福利 精品亚洲综合久久中文字幕 国产制服丝袜在线 毛片在线播放网站 在线观看免费视频一区 国产精品久久久精品三级 亚洲国产电影在线观看 最新日韩欧美不卡一二三区 狠狠综合久久综合鬼色 日本精品1在线区 国产日韩一区二区三区在线播放 欧美日韩精品在线播放 亚洲欧美日韩国产一区二区三区精品 久久综合久久网 婷婷六月激情在线综合激情 亚洲乱码一区 国产专区91 97av视频在线观看 精品久久久久久中文字幕 久久五月视频 国产成人福利精品视频 国产精品网址 中文字幕视频在线 精品一区二区三区免费视频 伊人手机在线视频 亚洲精品中文字幕乱码 国产在线视频www色 色噜噜国产精品视频一区二区 精品亚洲成a人在线观看 国产香蕉尹人综合在线 成人免费一区二区三区在线观看 国产不卡一区二区三区免费视 欧美精品久久天天躁 国产专区中文字幕 久久精品国产免费中文 久久精品国产免费一区 久久无码精品一区二区三区 国产欧美另类久久久精品免费 欧美精品久久天天躁 亚洲精品在线视频 国产视频91在线 91精品福利一区二区三区野战 日韩中文字幕免费 国产精品99一区二区三区 欧美成人高清性色生活 国产精品系列在线观看 亚洲国产福利精品一区二区 国产成人在线小视频 国产精品久久久久免费 99re热在线视频 久久久久久久综合 一区二区国产在线播放 成人国产在线视频 亚洲精品乱码久久久久 欧美日韩一区二区综合 精品久久久久免费极品大片 中文字幕视频二区 激情粉嫩精品国产尤物 国产成人精品一区二区视频 久久精品中文字幕首页 亚洲高清在线 国产精品亚洲一区二区三区 伊人久久艹 中文在线亚洲 国产精品一区二区在线播放 国产精品九九免费视频 亚洲二区在线播放 亚洲狠狠婷婷综合久久久久网站 亚洲欧美日韩网站 日韩成人精品 亚洲国产一区二区三区青草影视 91精品国产福利在线观看 国产精品久久久久久久久99热 国产一区二区精品尤物 久碰香蕉精品视频在线观看 亚洲日日夜夜 在线不卡一区二区 国产午夜亚洲精品 九九热在线视频观看这里只有精品 伊人手机在线视频 91免费国产精品 日韩欧美中字 91精品国产91久久久久 国产全黄三级播放 视频一区二区三区免费观看 国产开裆丝袜高跟在线观看 国产成人欧美 激情综合丝袜美女一区二区 国产成人亚洲综合无 欧美精品一区二区三区免费观看 欧美亚洲国产日韩 日韩亚州 国产欧美日韩精品高清二区综合区 亚洲午夜国产片在线观看 精品久久久久久中文字幕 欧美精品1区 久久伊人久久亚洲综合 亚洲欧美日韩精品 国产成人精品久久亚洲高清不卡 久久福利影视 国产精品99精品久久免费 久久久久免费精品视频 国产日产亚洲精品 亚洲国产午夜电影在线入口 精品无码一区在线观看 午夜国产精品视频 亚洲一级片免费 伊人久久大香线蕉综合影 国产精品久久影院 久碰香蕉精品视频在线观看 www.欧美精品 在线小视频国产 亚洲国产天堂久久综合图区 欧美一区二区三区不卡 日韩美女福利视频 九九精品免视频国产成人 不卡国产00高中生在线视频 亚洲第一页在线视频 欧美日韩在线播放成人 99re视频这里只有精品 国产精品91在线 精品乱码一区二区三区在线 国产区久久 91麻豆精品国产自产在线观看一区 日韩精品成人在线 九九热在线观看 国产精品久久不卡日韩美女 欧美一区二区三区综合色视频 欧美精品免费一区欧美久久优播 国产精品网址 国产专区中文字幕 国产精品欧美亚洲韩国日本久久 日韩美香港a一级毛片 久久精品123 欧美一区二区三区免费看 99r在线视频 亚洲精品国产字幕久久vr 国产综合激情在线亚洲第一页 91免费国产精品 日韩免费小视频 亚洲国产精品综合一区在线 国产亚洲第一伦理第一区 在线亚洲精品 国产精品一区二区制服丝袜 国产在线成人精品 九九精品免视频国产成人 亚洲国产网 欧美日韩亚洲一区二区三区在线观看 在线亚洲精品 欧美一区二区三区高清视频 国产成人精品男人的天堂538 欧美日韩在线观看区一二 亚洲欧美一区二区久久 久久精品中文字幕首页 日本高清www午夜视频 久久精品国产免费 久久999精品 亚洲国产精品欧美综合 88国产精品视频一区二区三区 91久久偷偷做嫩草影院免费看 国产精品夜色视频一区二区 欧美日韩导航 国产成人啪精品午夜在线播放 一区二区视频在线免费观看 99久久精品国产自免费 精液呈暗黄色 久久99国产精品 日本精品久久久久久久久免费 精品国产97在线观看 99re视频这里只有精品 国产视频91在线 999av视频 亚洲美女视频一区二区三区 久久97久久97精品免视看 亚洲国产成人久久三区 99久久亚洲国产高清观看 日韩毛片在线视频 综合激情在线 91福利一区二区在线观看 一区二区视频在线免费观看 激情粉嫩精品国产尤物 国产成人精品曰本亚洲78 国产成人精品本亚洲 国产精品成人免费视频 国产成人啪精品视频免费软件 久久精品国产亚洲妲己影院 国产精品成人久久久久久久 久久大香线蕉综合爱 欧美一区二区三区高清视频 99热国产免费 在线观看欧美国产 91精品视频在线播放 国产精品福利社 欧美精品一区二区三区免费观看 国产一区二区免费视频 国产午夜精品一区二区 精品视频在线观看97 91精品福利久久久 国产一区福利 国产综合激情在线亚洲第一页 国产精品久久久久久久久久久不卡 九色国产 在线日韩国产 黄网在线观看 亚洲一区小说区中文字幕 中文字幕丝袜 日本二区在线观看 日本国产一区在线观看 欧美日韩一区二区三区久久 欧美精品亚洲精品日韩专 国产日产亚洲精品 久久综合九色综合欧美播 亚洲国产欧美无圣光一区 欧美视频区 亚洲乱码视频在线观看 久久无码精品一区二区三区 九九热精品免费视频 久久99精品久久久久久牛牛影视 国产精品成久久久久三级 国产一区福利 午夜国产精品视频 日本二区在线观看 99久久网站 国产亚洲天堂 精品国产一区二区三区不卡 亚洲国产日韩在线一区 国产成人综合在线观看网站 久久免费高清视频 欧美在线导航 午夜精品久久久久久99热7777 欧美久久综合网 国产小视频精品 国产尤物在线观看 亚洲国产精品综合一区在线 欧美一区二区三区不卡视频 欧美黑人欧美精品刺激 日本福利在线观看 久久国产偷 国产手机精品一区二区 国产热re99久久6国产精品 国产高清啪啪 欧美亚洲国产成人高清在线 国产在线第三页 亚洲综合一区二区三区 99r在线视频 99精品久久久久久久婷婷 国产精品乱码免费一区二区 国产在线精品福利91香蕉 国产尤物视频在线 五月婷婷亚洲 中文字幕久久综合伊人 亚洲精品一级毛片 99国产精品电影 在线视频第一页 久久99国产精品成人欧美 国产白白视频在线观看2 成人精品一区二区www 亚洲成人网在线观看 麻豆91在线视频 色综合合久久天天综合绕视看 久久精品国产免费高清 国产不卡一区二区三区免费视 欧美国产中文 99精品欧美 九九在线精品 国产中文字幕在线免费观看 国产一区中文字幕在线观看 国产成人一级 国产精品一区二区制服丝袜 国产一起色一起爱 亚洲精品成人在线 亚洲欧美精品在线 国产欧美自拍视频 99精品久久久久久久婷婷 久99视频 国产热re99久久6国产精品 视频一区亚洲 国产精品视频分类 国产精品成在线观看 99re6久精品国产首页 亚洲在成人网在线看 亚洲国产日韩在线一区 久久国产三级 日韩国产欧美 欧美在线一区二区三区 国产精品美女一级在线观看 成人午夜免费福利视频 亚洲天堂精品在线 91精品国产手机 欧美日韩视频在线播放 狠狠综合久久综合鬼色 九一色视频 青青视频国产 亚洲欧美自拍一区 中文字幕天天躁日日躁狠狠躁97 日韩免费大片 996热视频 伊人成综合网 亚洲天堂欧美 日韩精品亚洲人成在线观看 久久综合给会久久狠狠狠 日韩精品亚洲人成在线观看 日韩国产欧美 亚洲成aⅴ人片在线影院八 亚洲精品1区 99久久精品免费 国产精品高清在线观看 国产精品久久久免费视频 在线亚洲欧美日韩 91在线看视频 国产精品96久久久久久久 欧美日韩国产成人精品 91在线亚洲 热久久亚洲 国产精品美女免费视频观看 日韩在线毛片 亚洲永久免费视频 九九免费在线视频 亚洲一区网站 日本高清二区视频久二区 精品国产美女福利在线 伊人久久艹 国产精品久久久久三级 欧美成人精品第一区二区三区 99久久精品国产自免费 在线观看日韩一区 国产中文字幕一区 成人免费午夜视频 欧美日韩另类在线 久久99国产精品成人欧美 色婷婷中文网 久久天天躁夜夜躁狠狠躁2020 欧美成人伊人久久综合网 国产精品福利资源在线 国产伦精品一区二区三区高清 国产精品亚洲综合色区韩国 亚洲一区欧美日韩 色综合视频 国语自产精品视频在线区 国产高清a 成人国内精品久久久久影 国产在线精品香蕉综合网一区 国产不卡在线看 国产成人精品精品欧美 国产欧美日韩综合精品一区二区三区 韩国电影一区二区 国产在线视频www色 91中文字幕在线一区 国产人成午夜免视频网站 亚洲综合一区二区三区 色综合视频一区二区观看 久久五月网 九九热精品在线观看 国产一区二区三区国产精品 99久热re在线精品996热视频 亚洲国产网 在线视频亚洲一区 日韩字幕一中文在线综合 国产高清一级毛片在线不卡 精品国产色在线 国产高清视频一区二区 精品日本久久久久久久久久 亚洲国产午夜精品乱码 成人免费国产gav视频在线 日韩欧美一区二区在线观看 欧美曰批人成在线观看 韩国电影一区二区 99re这里只有精品6 日韩精品一区二区三区视频 99re6久精品国产首页 亚洲欧美一区二区三区导航 欧美色图一区二区三区 午夜精品视频在线观看 欧美激情在线观看一区二区三区 亚洲热在线 成人国产精品一区二区网站 亚洲一级毛片在线播放 亚洲一区小说区中文字幕 亚洲午夜久久久久影院 国产自产v一区二区三区c 国产精品视频免费 久久调教视频 国产成人91激情在线播放 国产精品欧美亚洲韩国日本久久 久久亚洲日本不卡一区二区 91中文字幕网 成人国产在线视频 国产视频91在线 欧美成人精品第一区二区三区 国产精品福利在线 久久综合九色综合精品 欧美一区二区三区精品 久久国产综合尤物免费观看 久久99青青久久99久久 日韩精品免费 久久国产精品999 91亚洲视频在线观看 国产精品igao视频 色综合区 在线亚洲欧国产精品专区 国产一区二区三区在线观看视频 亚洲精品成人在线 一区二区国产在线播放 中文在线亚洲 亚洲精品第一国产综合野 国产一区二区精品久久 一区二区三区四区精品视频 99热精品久久 中文字幕视频二区 国产成人精品男人的天堂538 99精品影视 美女福利视频一区二区 久久午夜夜伦伦鲁鲁片 综合久久久久久久综合网 国产精品国产欧美综合一区 国产99视频在线观看 国产亚洲女在线精品 婷婷影院在线综合免费视频 国产亚洲3p一区二区三区 91成人爽a毛片一区二区 亚洲一区二区高清 国产欧美亚洲精品第二区首页 欧美日韩导航 亚洲高清二区 欧美激情观看一区二区久久 日韩毛片在线播放 亚洲欧美日韩高清中文在线 亚洲日本在线播放 国产精品一区二区制服丝袜 精品国产一区二区三区不卡 国产不卡在线看 国产欧美网站 四虎永久在线观看视频精品 国产黄色片在线观看 夜夜综合 一本色道久久综合狠狠躁篇 欧美亚洲综合另类在线观看 国产91在线看 伊人久久国产 欧美一区二区在线观看免费网站 国产精品久久久久三级 久久福利 日韩中文字幕a 亚洲午夜久久久久影院 91在线高清视频 国产亚洲一区二区三区啪 久久人精品 国产精品亚洲午夜一区二区三区 综合久久久久久 久久伊人一区二区三区四区 国产综合久久久久久 日韩一区精品视频在线看 国产精品日韩欧美制服 日本精品1在线区 99re视频 无码av免费一区二区三区试看 国产视频1区 日韩欧美中文字幕一区 日本高清中文字幕一区二区三区a 亚洲国产欧美无圣光一区 国产在线视频一区二区三区 欧美国产第一页 在线亚洲欧美日韩 日韩中文字幕第一页 在线不卡一区二区 伊人久久青青 国产精品一区二区在线播放 www.五月婷婷 麻豆久久婷婷国产综合五月 亚洲精品区 久久国产欧美另类久久久 99在线视频免费 伊人久久中文字幕久久cm 久久精品成人免费看 久久这里只有精品首页 88国产精品视频一区二区三区 中文字幕日本在线mv视频精品 国产在线精品成人一区二区三区 伊人精品线视天天综合 亚洲一区二区黄色 国产尤物视频在线 亚洲精品99久久久久中文字幕 国产一区二区三区免费观看 伊人久久大香线蕉综合电影网 国产成人精品区在线观看 日本精品一区二区三区视频 日韩高清在线二区 久久免费播放视频 一区二区成人国产精品 国产精品免费精品自在线观看 亚洲精品视频二区 麻豆国产精品有码在线观看 精品日本一区二区 亚洲欧洲久久 久久中文字幕综合婷婷 中文字幕视频在线 国产成人精品综合在线观看 91精品国产91久久久久福利 精液呈暗黄色 香蕉国产综合久久猫咪 国产专区精品 亚洲精品无码不卡 国产永久视频 亚洲成a人片在线播放观看国产 一区二区国产在线播放 亚洲一区二区黄色 欧美日韩在线观看视频 亚洲精品另类 久久国产综合尤物免费观看 国产一区二区三区国产精品 高清视频一区 国产精品igao视频 国产精品资源在线 久久综合精品国产一区二区三区 www.五月婷婷 精品色综合 99热国产免费 麻豆福利影院 亚洲伊人久久大香线蕉苏妲己 久久电影院久久国产 久久精品伊人 在线日韩理论午夜中文电影 亚洲国产欧洲综合997久久 伊人国产精品 久草国产精品 欧美一区精品二区三区 亚洲成人高清在线 91免费国产精品 日韩精品福利在线 国产一线在线观看 国产不卡在线看 久久99青青久久99久久 亚洲精品亚洲人成在线播放 99久久免费看国产精品 国产日本在线观看 青草国产在线视频 麻豆久久婷婷国产综合五月 国产中文字幕一区 91久久精品国产性色也91久久 国产一区a 国产欧美日韩成人 国产亚洲女在线精品 一区二区美女 中文字幕在线2021一区 在线小视频国产 久久这里只有精品首页 国产在线第三页 欧美日韩中文字幕 在线亚洲+欧美+日本专区 精品国产一区二区三区不卡 久久这里精品 欧美在线va在线播放 精液呈暗黄色 91精品国产手机 91在线免费播放 欧美视频亚洲色图 欧美国产日韩精品 日韩高清不卡在线 精品视频免费观看 欧美日韩一区二区三区四区 国产欧美亚洲精品第二区首页 亚洲韩精品欧美一区二区三区 国产精品视频免费 在线精品小视频 久久午夜夜伦伦鲁鲁片 国产无套在线播放 久热这里只精品99re8久 欧美久久久久 久久香蕉国产线看观看精品蕉 国产成人精品男人的天堂538 亚洲人成网站色7799在线观看 日韩在线第二页 一本色道久久综合狠狠躁篇 国产一区二区三区不卡在线观看 亚洲乱码在线 在线观看欧美国产 久久福利青草精品资源站免费 国产玖玖在线观看 在线亚洲精品 亚洲成aⅴ人在线观看 精品91在线 欧美一区二三区 日韩中文字幕视频在线 日本成人一区二区 日韩免费专区 国内精品在线观看视频 久久国产综合尤物免费观看 国产精品系列在线观看 一本一道久久a久久精品综合 亚洲免费播放 久久精品国产免费 久久人精品 亚洲毛片网站 亚洲成a人一区二区三区 韩国福利一区二区三区高清视频 亚洲精品天堂在线 一区二区三区中文字幕 亚洲国产色婷婷精品综合在线观看 亚洲国产成人久久笫一页 999国产视频 国产精品香港三级在线电影 欧美日韩一区二区三区四区 日韩国产欧美 国产精品99一区二区三区 午夜国产精品理论片久久影院 亚洲精品中文字幕麻豆 亚洲国产高清视频 久久免费手机视频 日韩a在线观看 五月婷婷亚洲 亚洲精品中文字幕麻豆 中文字幕丝袜 www国产精品 亚洲天堂精品在线 亚洲乱码一区 国产日韩欧美三级 久久999精品 伊人热人久久中文字幕 久热国产在线视频 国产欧美日韩在线观看一区二区三区 国产一二三区在线 日韩国产欧美 91精品国产91久久久久 亚洲一区小说区中文字幕 精品一区二区免费视频 国产精品视频免费 国产精品亚洲综合色区韩国 亚洲国产精品成人午夜在线观看 欧美国产日韩精品 中文字幕精品一区二区精品