監視-挖掘-管理循環的制作方法
【專利說明】監視-挖掘-管理循環
[0001]背景
[0002]監視來自過程的觀察的數據流并尋求使用該觀察來管理該過程在許多應用領域中是有用的。例如，數據中心管理、制造過程控制、工程過程控制、存貨管理、和其他的。
[0003]通常，監視基礎結構、理解所做的觀察以及決定如何適配該觀察或相應地重新配置該觀察可以是冗長而昂貴的過程。導航遍歷日志文件和蹤跡以執行對故障的根理由分析可能是漫長且沉悶的。即使在管理員使用工具化時，經常需要在監視領域和挖掘領域之間人工交替以傳輸在日志和蹤跡中收集的數據，使其經歷某種挖掘算法，決定如何解釋該挖掘并對所觀察到的結果作出反應。通常還有以下情況:基于過去監視的觀察而不是系統的實際實時狀態來作出管理動作。
[0004]數字時代的到來以使得大規模數據獲取和在線處理成為現代系統的關鍵組成部分。數據流管理系統(DSMS)使得系統能夠發出長期運行的連續查詢，該查詢實時地高效地監視和處理流。DSMS被用于寬應用范圍中的數據處理，例如，算法式股票交易。
[0005]一些先前的方法已尋求執行監視、管理和離線挖掘(以此次序)的過程。監視數據以檢測感興趣的模式，所述模式被用來管理和執行業務動作。原始數據被聚集并離線存儲。歷史數據隨后被挖掘以確定新模式(或對現有模式的修改)，該新模式被反饋回監視階段。歷時離線數據挖掘可以發現新的圖表模式或現有圖表模式的細化。此方法涉及一些人工步驟并且因此很緩慢。在其中共享想要對其數據進行更快洞察的世界中，此人工方法是不夠的。
[0006]下面描述的實施例不限于解決監視來自過程的觀察數據流的已知系統的任何或所有缺點的實現。
【發明內容】
[0007]下面呈現了本發明的簡要概述，以便向讀者提供基本理解。本概述不是本公開的窮盡概覽，并且不標識本發明的關鍵/重要元素或描述本說明書的范圍。其唯一的目的是以簡化形式呈現此處所公開的精選概念，作為稍后呈現的更詳細的描述的序言。
[0008]期望監視-挖掘-管理周期，例如以用于管理數據中心、制造過程、工程過程或其他過程。在各示例中，作為連續自動化循環來執行以下步驟:接收來自所觀察系統的原始事件；通過將所述原始事件轉換為復雜事件來監視所述原始事件；挖掘所述復雜事件并對結果做出推理；基于所述挖掘作出提議一組動作；以及通過向所觀察的系統應用所述提議動作中的一個或多個動作來管理該系統。在各示例中，連續自動化循環在原始事件被連續地從所觀察的系統接收并被監視的同時進行。在一些示例中，描述了應用編程接口，該應用編程接口包括允許用戶實現監視-挖掘-管理循環的編程語句。通過結合附圖參考以下詳細描述，可易于領會并更好地理解許多附帶特征。
[0009]附圖簡述
[0010]根據附圖閱讀以下【具體實施方式】，將更好地理解本發明，在附圖中:
[0011]圖1以抽象方式示出監視-管理-挖掘循環，其中各個步驟是實時或近乎實時地執行的；
[0012]圖2示意性地示出必須處理一天之內可變的負載的數據中心；
[0013]圖3示出被應用于圖2的數據中心優化場景的監視-管理-挖掘循環。
[0014]圖4解說用于實現圖1-3中描述的概念的API的實體；以及
[0015]圖5解說可在其中實現監視-挖掘-管理系統的實施例的示例性基于計算的設備。
[0016]在各個附圖中使用相同的附圖標記來指代相同的部件。
【具體實施方式】
[0017]下面結合附圖提供的詳細描述旨在作為本發明示例的描述，并不旨在表示可以構建或使用本發明示例的唯一形式。本描述闡述了本發明示例的功能，以及用于構建和操作本發明示例的步驟的序列。然而，可以通過不同的示例來實現相同或等效功能和序列。
[0018]雖然在本文中將本發明的示例描述并示出為在臺式計算系統中實現，但是所描述的系統只是作為示例而非限制來提供的。本領域的技術人員將會明白，本發明示例適合在各種不同類型的計算系統中的應用。
[0019]—些實施例涉及計算機實現的方法，其中以下步驟是作為連續自動化循環執行的。從所觀察的系統接收原始事件。原始事件被監視并轉換為復雜事件。復雜事件被挖掘并對結果執行推理。隨后基于該挖掘作出一組提議動作。通過向所觀察的系統應用所提議動作來管理該系統，同時原始事件被持續從所觀察的系統接收并被監視。
[0020]術語“連續自動化循環”意思是一個方法步驟的輸出被自動切循環地用作下一方法步驟的輸入，以此類推。
[0021]在一些實施例中，監視、挖掘和管理步驟是實時或近乎實時地(盡可能快地)執行的，以使得對一個步驟的輸入是基于前一步驟的輸出的，很少或沒有時間延遲。
[0022]在一些實施例中，上述循環的各步驟是以事件驅動或基于事件的方式執行的。原始事件作為流被接收且通過事件流處理技術來執行從原始事件到復雜事件的轉換。在一些實施例中，所有方法步驟的輸入和輸出(諸如挖掘事結果和挖掘輸入數據等)被建模為事件。
[0023]在一些實施例中，使用數據流管理系統(DSMS)來執行該方法。DSMS是一種控制數據流中的數據的維護和查詢的計算機程序。DSMS的特征是對數據流執行連續查詢的能力。使用DSMS來管理數據流大體類似于使用數據庫管理系統(DBMS)來管理傳統數據庫。傳統數據庫查詢執行一次并返回對于給定時間點的一組結果。相反，隨著新數據進入該流，連續查詢隨時間繼續執行。連續查詢的結果隨著新數據的出現而被更新。
[0024]事件流處理(ESP)是被設計來輔助事件驅動的信息系統的構造的一組技術。ESP技術包括事件可視化、事件數據庫、事件驅動中間件、以及事件處理語言，或復雜事件處理(CEP)。實踐中，術語ESP和CEP經常互換使用。
[0025]術語(數據)“挖掘”是指嘗試發現大數據集中的模式的過程。其利用在人工智能、機器學習、統計以及數據庫系統的交叉點處的方法。(數據)挖掘過程的總體目標是從數據集中提取信息并將其轉換為可理解的結構以供進一步使用。
[0026]在一些實施例中，微軟StreamIns i ght?作為數據流管理系統被用于監視。Streamlnsight?是可被用來開發和部署復雜事件處理(CEP)應用的平臺。其高吞吐量流處理架構使得用戶能夠實現穩健而高效的事件處理應用。事件流源通常包括來自制造應用、財務交易應用、Web分析以及操作分析的數據。通過使用Streamlnsight?，可開發出CEP應用，所述CEP應用通過減小提取、分析以及相關數據的成本并且通過針對條件、機會和缺陷來近乎即時地監視、管理和挖掘數據來從此原始數據中得到商業價值。
[0027]通過使用Streamlnsight?與其他技術集成地開發CEP應用，可監視來自多個源的數據以尋找有意義的模式、趨勢、例外和機會。數據可在當該數據在飛行中時一一即，不首先存儲該數據一一被遞增地分析和相關，從而產生非常低的等待時間。可從多個源聚集無縫相關的事件并隨時間執行高度復雜的分析。
[0028]然而，不一定使用Streamlnsight?。可使用本文中所述的能夠監視數據流的任何數據流管理系統。
[0029]上述循環包括三個主要階段:監視、挖掘和管理(3M)系統的那些階段。在一些實施例中，這些階段被自動化以使得一個階段的輸出成為下一階段的輸入，從而產生連續的循環。在此循環內，監視成為挖掘技術的輸入以理解一個人的系統并獲得洞察以及關于其狀態的推理。挖掘過程的決定作為管理過程的輸入，該管理過程反應以維持系統健康且可操作。此有可能導致自愈系統，因為關于故障的觀察可被用來進行相應的推理和反應。
[0030]在一些實施例中，原始事件由日志或蹤跡(中的改變)來表示。在監視過程中，原始事件被轉換，例如聚集，并處理以從該原始事件創建復雜事件。在其他實施例中，原始事件由個體傳感器讀數或用戶動作(諸如web點擊)來表示。
[0031]在挖掘過程中，通過應用特定技術和算法來分析監視步驟中產生的復雜事件。隨后，對結果執行推理。挖掘過程的結果是與正被觀察的系統有關的一組提議動作、推薦和決定。在一些實施例中，挖掘過程通過復雜處理來執行，諸如模式識別、統計分析或機器學習。
[0032]挖掘過程之后是管理過程，該管理過程接收挖掘過程的輸出作為輸入。管理