儲層開發計劃的基于markov決策過程的決策支持工具的制作方法

專利名稱：儲層開發計劃的基于markov決策過程的決策支持工具的制作方法
技術領域：
本發明通常涉及油氣生產，并且具體涉及考慮不確定性的儲層開發計劃。
背景技術：
開發和管理石油資源通常需要多年的大量經濟投資，同時期待收到對應的大量財 政回報。石油儲層是產生利潤還是虧損主要取決于為儲層開發和管理實施的策略和戰略。 儲層開發計劃包括策劃和/或選擇長期產生有利經濟結果的強有力的策略和戰略。儲層開發計劃可包括做出涉及例如生產平臺的規模、計時(timing)和位置以及 后來的擴展和連接的決策。關鍵決策可包括平臺數量、位置、分配，以及在每個油田中的鉆 井和完井的計時。鉆后決策可以包括確定多井的產出率分配。任何一個決策或行為可能具 有系統范圍的影響，例如通過石油操作或儲層傳播積極或消極影響。考慮到僅僅是面對石 油資源管理人員的許多決策中有代表性的一小部分的儲層開發計劃的上述方面，人們可以 認識到計劃的價值和影響。基于計算機的建模對儲層開發計劃具有顯著潛力，特別是與先進數學技術結合 時。基于計算機的計劃工具支持做出優良的決策。一類計劃工具包括基于處理各種信息輸 入識別針對一組決策的最優解決方案的方法。例如，示例性優化模型可以朝著找到從具有 定義的一組約束的已知可能中產生最佳產出的解決方案的方向運轉。因此，石油操作可以 通過適當應用用于優化石油資源開發計劃和管理的優化模型實現大的經濟利益，特別是那 些涉及針對多年的多個油或氣田做出決策的模型。在此使用的術語“最優的”、“進行優化”、“使優化”、“最優性”、“優化”(以及派生詞
和這些術語的其它形式，以及語言學上相關的單詞和短語)并非要在要求本發明尋找最佳 解決方案或做出最佳決策方面起限制性的作用。盡管數學上最優的解決方案事實上可以獲 得所有數學上可獲得的可能性中的最佳可能性，但優化例程、方法、模型和過程的真實世界 實施例可能朝著這樣的目標運轉而不曾真實地實現完美。因此，本領域技術人員在受益于 本公開的情況下將理解這些術語在本發明范圍的背景下是是更通用的。這些術語可描述朝 著一個解決方案運轉，該解決方案可能是最佳可獲得的解決方案、優選解決方案或在約束 范圍內提供特定益處的解決方案；或持續改善的解決方案；或細化的解決方案；或搜索目 標的高點或最大值的解決方案；或處理從而減少罰函數(penalty function)的解決方案；等等。在某些示例性實施例中，優化模型可以是函數和方程的代數系統，包含(1)可能 限于具體域范圍的連續變化或整數變化的決策變量，(2)基于輸入數據(參數)和決策變量的約束方程，其限制變量在指定條件集內的活動，所述條件集限定解決的優化問題的可 行性，和/或(3)基于輸入數據(參數)和決策變量的目標函數，通過最大化目標函數或最 小化目標函數來優化目標函數。在某些變化中，優化模型可包括不可微分、黑盒與其它非代 數函數或方程。典型的(確定性的)數學優化問題包括受到關于問題變量的一組約束的某個目 標函數的最小化或最大化。這些問題可經常公式化為動態(Dynamic)規劃(DP)問題。在 DP問題中，決策時間范圍(timehorizon)被劃分成一組“階段”，并且系統處于若干“狀態” 中的一個。它可有助于使DP問題可視化為X-Y坐標系，其中x軸用“階段”表示，而y軸用 “狀態”表示。在每個“階段”，決策者采取導致系統從一個階段的一個狀態轉為在下個階段 的不同狀態的“行動”或決策。在一類DP問題中，目標函數可以最小化以確定總成本，或者 可以最大化以確定遍及整個計劃范圍內的總收入。在系統轉換前，在每個階段基于選擇的 決策和當前狀態獲得成本/收入。假設成本函數在整個階段內可分離，而且系統是馬爾可 夫模型(Markovian)；即，系統轉換至階段n+1的狀態僅取決于它在階段n的狀態和在階段 n采取的行為。動態規劃可表示為(S，A，R)，其中S是狀態空間，A(s)是在狀態s可采取的行為 的集合，R(s，a)是在狀態s選擇行為a的收益。動態規劃作被公式化為如下所示的遞歸優 化問題1.對于 n = 1，2，3， ，N， 「ooi 21 a = min[c(s,a) +
LJ 扈
a,2 其中3. fi (s)=在階段n中給定狀態s的最優花費成本 (cost-to-go)函數4.c(s, a)=在狀態s中選擇行為a的成本5. f(s,a)=轉換函數，其在給定系統處于階段n中的狀態s中并選擇行為a的情 況下確定在階段n+1中的狀態。假設最終收益位(s)已知。動態規劃的目標是找到總(S0)，其中sQ是系統初始 狀態。當時間范圍有限時，可以使用后向遞歸求解動態規劃。然而，當時間范圍無限時，可 使用例如值/策略迭代等算法求解動態規劃。求解數學優化問題可包含尋找決策變量的值，以滿足全部約束，其中通過改變變 量值而仍舊保持關于全部約束的可行性來改善目標函數的值在數學上基本不可能。在問題 的“已知”固定參數中的一些實際上不確定時，做出決策的一種通用方法是忽略不確定性并 將問題作為確定性優化問題建模。然而，確定性優化問題的解決方案可以是次優化的，或可 能甚至是不可行的，尤其是在問題參數的取值最終不同于被選擇用作求解的優化模型的輸 入的那些值的情況下。儲層開發計劃的優化處理可能是挑戰性的，即使假設儲層和地面設施的經濟情況 和動態完全已知。通常，大量軟硬約束適用于甚至更大數量的決策變量。實際上，然而，儲 層動態、經濟情況和/或決策過程的其他組成部分中存在使優化處理復雜化的不確定性。

發明內容
傳統儲層開發計劃技術通常無法適當考慮這樣的不確定性。在與開發計劃有關 的信息和因素中，不確定性通常是固有的。即，優化問題的輸入(和或許問題的數學建模) 含有不確定性。不確定性可視作非確定性的或經過推理(a priori)保持未知的特征或方 面。應用計算機編程以對石油資源的開發和管理作決策支持的常規途徑不對這種不確定性 作充分全面的了解。當前，對儲層動態、經濟或決策過程的其它部分中的不確定性的考慮通常降至數 量非常有限的情形，例如由“高邊”情形、“最可能”情形以及“低邊”情形所表示的不確定 性。例如，儲層動態中的不確定性對于上述三種情形中的每種情形通常通過在不確定性空 間內對隨機點采樣而降到已知值。在此使用的術語“不確定性空間”通常指與求解中的問 題有關的不確定性的表示，例如針對輸入到優化例程的數據的集體不確定性。基于不確定性空間的有限采樣，一個值被分配給“高邊”情形、“最可能”情形和“低 邊”情形。通常針對具體情形優化決策通常針對“最可能”情形，并隨后針對剩余的兩種情 形評估決策以提供可接受的風險等級。然而，此途徑完全低估了不確定性的復雜性，并且會 導致次優化的或與某些其它尚未確認的解決方案相比更不利的解決方案。基于前面的討論，本領域顯然需要有助于儲層開發計劃和/或可提供與儲層開發 和資源管理有關的決策支持的改善型工具。進一步存在對可以針對計劃或決策支持考慮寬 范圍不確定性的工具的需求。進一步存在對在用來產生計劃或決策支持的模型內系統地處 理不確定數據的工具的需求。進一步存在對可以操縱與產生儲層開發計劃或決策支持有關 的全部不確定性空間的工具的需要。進一步存在對一種工具的需求，其中數據中的固有不 確定性直接并入決策優化模型中，由此獲得與不確定性的各種實現中的決策有關的權衡， 并因此在做出關于石油和/或天然氣儲層開發計劃的決策時可獲得更好的信息。本領域需 求的上述討論意指代表性的而非詳盡。滿足一個或更多這種需要或者克服該領域中某些其 它相關缺點的技術將有益于儲層開發計劃，例如提供用于更有效且更有利地開發和管理儲 層的決策或計劃。本發明支持做出決策、計劃、策略和/或戰略用于開發和管理石油資源，例如石油 儲層。在本發明的一方面，基于計算機或基于軟件的方法可提供與開發一個或更多石油 儲層有關的決策支持。例如，該方法可基于與儲層和/或操作有關的輸入數據產生儲層開 發計劃。這種輸入數據可包含未知或不確定的流體動力學、儲層尺寸、當前開發狀態、當前 和預計油價、鉆探成本、鉆井(rig time)時間的每小時成本、地質數據、資本成本、當前和預 計可用資源(人力、財政、設備等等)以及規章環境，以列出少量有代表性的可能數據。輸 入數據可具有不確定性。更具體地，輸入數據的每個元素可具有不確定性的相關級別、量或 表示。輸入數據中的一些可以是具有高級不確定性的已知數據(例如鉆井時間的當前成 本)，而其它輸入數據可具有各種程度的不確定性。例如，未來鉆井時間成本的不確定性可 隨著投入未來的時間量的增加而增加。即，開發計劃第五年的鉆井時間成本的不確定性將 可能比第二年的鉆井時間成本的不確定性更高。輸入數據的集合不確定性可定義不確定性 空間。軟件例程可通過處理輸入數據和考慮不確定性空間產生儲層開發計劃，例如通過應用基于Markov決策過程的例程。例如，產生儲層開發計劃可包含輸出計劃的某方面、做出 與生成或改變計劃有關的確定或做出關于一個或更多決策的推薦，該決策與儲層開發計劃
或管理有關。在一個通常方面，儲層開發計劃的方法包括接收與儲層開發有關的數據。通過計 算機實現的基于Markov決策過程的模型處理接收的數據。儲層開發計劃響應通過計算機 實施的基于Markov決策過程的模型處理接收的數據而生成。該方面的實施可包括一個或更多以下特性。例如，儲層開發計劃可以根據與接收 的數據關聯的不確定性空間生成。計算機實施的基于Markov決策過程的模型可以包括基 于接收的數據和不確定性空間優化儲層開發計劃的至少某個方面。接收數據可包括接收已 知數據參數和不確定的數據參數。通過計算機實施的基于Markov決策過程的模型處理接 收的數據可包括利用并入不確定數據參數的基于Markov決策過程的模型處理所述數據。 不確定性空間可能與接收的數據有關。通過計算機實施的基于Markov決策過程的模型處 理接收的數據可包括整體考慮不確定性空間。基于Markov決策過程的模型可包括多個階 段、每個階段中的多個狀態和/或包括多個轉換概率，每個階段都代表時間上不連續的步 幅，每個狀態代表儲層開發計劃的潛在狀態。每個轉換概率都代表數據中的不確定性，并且 每個轉換概率由儲層開發計劃的當前狀態和要采取的決策來確定。未來狀態根據轉換概率 確定。在基于Markov決策過程的模型內的多個階段中的每個階段，允許決策者采取一個或 更多糾正決策。在另一通常方面中，儲層開發計劃的方法包括接收與儲層開發計劃有關的數據， 其中不確定性與數據有關。響應利用并入不確定性的基于計算機的優化模型處理接收的數 據，產生儲層開發計劃的至少某部分。在不確定性隨時間逐漸顯露時，采取一個或更多糾正 決策。該方面的實施可包括一個或更多以下特性。例如，基于計算機的優化模型可以是 基于Markov決策過程的模型。不確定性可通過獲得不確定性的多種實現之間的權衡并入 基于Markov決策過程的模型中。響應使用并入不確定性的基于計算機的優化模型處理接 收的數據，產生儲層開發計劃的至少某部分可包括實現整個不確定性空間中的優化問題的 可行性。響應使用并入不確定性的基于計算機的優化模型處理接收的數據，產生儲層開發 計劃的至少某部分可包括系統地處理基于Markov決策過程的模型內的不確定性數據。在另一通常方面，關于石油資源開發的決策支持的方法包括接收與開發石油儲層 的決策有關的多個數據元素，其中不確定性的相應特征與數據元素中的每個數據元素有 關。響應使用基于計算機的基于Markov決策過程的模型處理每個數據元素和不確定性的 相應特征中的每個，輸出對決策的建議。基于Markov決策過程的模型包含不確定性的相應 特征中的每個。使用基于計算機的基于Markov決策過程的模型處理數據元素中的每個和 不確定性的相應特征中的每個可包括覆蓋不確定性空間。在另一通常方面，基于計算機優化儲層開發計劃的方法包括提供包含不確定性的 輸入數據。儲層的第一模擬采用儲層或地面設施動態的高保真度模型利用輸入數據生成， 其中第一模擬生成第一高保真度輸出數據。儲層或地面設施動態的低保真度模型使用輸入 數據和第一高保真度輸出數據生成，其中低保真度模型生成預測。儲層開發計劃模型利用 輸入數據和儲層或地面設施動態的低保真度模型進行優化，其中儲層開發計劃模型生成儲
8層開發計劃輸出數據。儲層開發計劃模型包括基于Markov決策過程的模型。儲層的第二模 擬采用儲層或地面設施動態的高保真度模型利用輸入數據和儲層開發計劃輸出數據執行， 其中第二模擬生成第二高保真度輸出數據。第二高保真度輸出數據與低保真度模型的預測 比較。重復生成儲層或地面設施動態的低保真度模型、優化儲層開發計劃模型、使用儲層或 地面設施動態的高保真度模型執行儲層的第二模擬以及比較第二高保真度輸出數據與低 保真度模型的預測的步驟，直到第二高保真度輸出數據與低保真度模型的預測基本一致。該方面的實施可包括一個或更多以下特性。例如，可響應第二高保真度輸出數據 與低保真度模型的預測基本一致，生成開發計劃。與基于Markov決策過程的模型接口的求 解例程可幫助基于Markov決策過程的模型優化儲層開發計劃。基于Markov決策過程的模 型可包括有助于優化儲層開發計劃的求解例程。在另一通常方面中，從地下儲層生產碳氫化合物的方法包括基于輸入數據生成儲 層開發計劃系統。儲層開發計劃系統根據不確定性空間被優化，其中儲層開發計劃系統利 用基于Markov決策過程的模型被優化。根據被優化的儲層開發計劃系統的輸出，從儲層產 生碳氫化合物。輸入數據可包括確定性分量和非確定性分量。根據不確定性空間優化儲層 開發計劃系統可包括使用基于Markov決策過程的模型考慮非確定性分量中的每個。基于 Markov決策過程的模型可并入輸入數據的不確定性。不確定性空間可指定輸入數據的固 有不確定性。儲層開發計劃系統可包括具有低保真度儲層模型和高保真度儲層模型的基于 Markov決策過程的模型。高保真度模型可從基于Markov決策過程的模型接受一個或更多 參數輸入數據，并向基于Markov決策過程的模型提供一個或更多儲層或地面設施性質輸 入數據。儲層開發計劃系統可使用高保真度模型模擬儲層的操作；以及使用低保真度模型 模擬儲層的操作而被優化。該發明內容中的儲層開發的決策支持工具的討論僅用于說明的目的。可以從公 開實施例的以下詳細描述并參考下面附圖和權利要求更清楚理解和認識本發明的各方面。 此外，對于本領域技術人員來說，查看以下附圖和詳細描述后，本發明的其它方面、系統、方 法、特性、優點和目標將是顯而易見的。所有這樣的方面、系統、方法、特性、優點和目標都將 包含在此說明書中、將屬于本發明的范圍，并由所附權利要求來保護。


圖1是根據本發明某些示例性實施例的基于Markov決策過程的模型的圖解，該模 型代表與在若干步驟中求解的儲層模型的數據有關的不確定性和不確定性隨時間的求解。圖2是根據本發明某些示例性實施例的包括定義多個節點的網格的三維儲層模 型的圖解。圖3是根據本發明某些示例性實施例模擬圖2的儲層模型的操作的儲層模擬器的 流程圖解。圖4是根據示例性實施例表示儲層區域的不確定生產剖面的離散概率分布的圖表。圖5是根據示例性實施例代表儲層的三種可能狀況的生產剖面的圖表。圖6是根據本發明某些示例性實施例的基于Markov決策過程的儲層開發計劃系 統的示意圖解。
圖7是根據本發明某些示例性實施例的操作圖6的基于Markov決策過程的儲層 開發計劃系統的方法的流程圖解。可參照上述附圖更好地理解本發明的許多方面。附圖中示出的元素和特性未必成 比例繪制，相反重點是要清楚地說明本發明示例性實施例的原理。在附圖中，參考標記指代 所有圖形中相似或對應的元素，但不必需相同。
具體實施例方式本發明示范實施例支持在不確定參數的詳情仍未知時做出關于儲層開發計劃的 決策。不確定參數隨時間逐漸顯露，并且決策可能需要在將可用信息并入到決策過程的同 時每隔一段時間做出。這些不確定性及其隨時間的演變可直接在作為基于Markov決策過 程模型的優化模型內考慮，該模型另稱為隨機動態規劃模型(“SDP”)。在示例性實施例中， 基于Markov決策過程的模型系統地處理所有不確定數據。不確定性由將進一步討論的控 制階段之間轉換的轉換概率來表示。這樣的范例允許產生覆蓋不確定性空間、仍舊可行的、 靈活且魯棒的解決方案，并允許在輸入數據中的不確定性的最優性和隨機性之間做出權衡 以反映決策者的風險態度。基于Markov決策過程的模型不僅將不確定性表示并入到優化模型中并針對所有 情形明確評估解決方案的表現，還并入決策者在真實世界中的靈活性以基于隨時間推移獲 得的新信息來調節決策。決策者將能夠基于此新信息做出糾正的決策/行為。此特性允許 生成更靈活且實際的解決方案。另外，此模型易于并入狀態方程的黑盒函數，并允許使用復 雜的條件轉換概率。在某些示例性實施例中，基于Markov決策過程的建模提供儲層開發計劃的途徑， 并有效處理不確定性。基于Markov決策過程的建模的一個示例性實施例利用已知或可估 計支配儲層開發計劃數據的概率分布的事實。在一些實施例中，基于Markov決策過程的建 模可用來尋找對全部或接近全部的可能數據實例可行的策略，并且最大化決策和隨機變量 的某一函數的期望值。本發明可以以多種形式實施，并且不應解釋為限于本文闡述的實施例；相反，提供 這些實施例是為了使本公開是詳盡且完整的，并向本領域技術人員全面地告知本發明的范 疇。此外，除了受到本發明的表述支持以外，本文給出的全部“示例”或“示例性實施例”意 指不受限的。將參照圖1-6詳細描述本發明的示例性實施例。圖1是根據本發明的某些示例性 實施例的基于Markov決策過程的模型的圖示說明，該模型代表與若干步驟中求解的儲層 模型的數據有關的不確定性和不確定性隨著時間的解。基于Markov決策過程的模型100 圖示說明具有三個階段110 (112、114和116)和每個階段110的四個狀態(122、124、126和 128)的模型。階段110代表時間范圍，狀態120用來代表約束條件，行為(未示出)代表 決策變量，并且轉換概率150是基于數據概率分布。這些轉換概率代表數據中的不確定性。 盡管在此基于Markov決策過程的模型中圖示說明三個階段和四個狀態，但是不偏離該示 例性實施例精神和范疇的任意數量的階段和狀態都是可能的。根據圖1，在階段T = 1112，系統可處于第一狀態122、第二狀態124、第三狀態126 或第四狀態128。在階段T = 2114，系統可處于第五狀態130、第六狀態132、第七狀態134
10或第八狀態136。在階段T = 3116，系統可處于第九狀態138、第十狀態140、第i^一狀態 142或第十二狀態144。圖1示出當初始狀態處于第一狀態122時不確定性隨著時間推移 的解。當系統初始狀態處于階段T = 1112和第一狀態122時，系統可基于第一轉換概 率152轉換到第五狀態130、基于第二轉換概率154轉換到第六狀態132、基于第三轉換概 率156轉換到第七狀態134，或基于第四轉換概率158轉換到第八狀態136。轉換概率150 基于將采取的計劃的行為。另外，轉換概率的數量等于階段T = 2114的未來狀態的數量。 轉換概率范圍可以從0%到100%。根據實施例中的某些實施例，轉換概率大于零，但小于 一百。當系統的狀態處于階段T = 2114和第五狀態130時，系統可基于第五轉換概率 160轉換到第九狀態138、基于第六轉換概率162轉換到第十狀態140、基于第七轉換概率 164轉換到第十一狀態142，或基于第八轉換概率166轉換到第十二狀態144。轉換概率150 基于要采取的計劃的行為。另外，轉換概率的數量等于階段T = 3116的未來狀態的數量。 轉換概率范圍可以從0%到100%。根據實施例中的某些實施例，轉換概率大于零，但小于 一百。然而，如果系統處于階段T = 2114和第六狀態132，則系統可基于第九轉換概率 168轉換到第九狀態138、基于第十轉換概率170轉換到第十狀態140、基于第十一轉換概率 172轉換到第十一狀態142，或基于第十二轉換概率174轉換到第十二狀態144。轉換概率 150基于將采取的計劃的行為。另外，轉換概率的數量等于階段T = 3116的未來狀態的數 量。轉換概率范圍可以從0%到100%。根據實施例中的某些實施例，轉換概率大于零，但 小于一百。因此，根據一個實施例，決策者的最終收益將處于階段T = 3116和第九狀態138。 如果決策者在階段T= 1112和第一狀態122開始，則決策者可以要求從階段T= 1112的 第一狀態122開始經階段T = 2114的第五狀態130行進至階段T = 3116的第九狀態138。 決策者認為某些行為將促進含有不確定性的基于轉換概率150的進程。然而，由于不確定 性，決策者可以更改為從階段T = 1112的第一狀態122開始行進至階段T = 2114的第六狀 態132。在階段T = 2114第六狀態132，決策者可采取糾正行為，從而決策者可以嘗試行進 到T = 3116的第九狀態138。盡管提供了到達階段T = 3116的第九狀態138的兩個示例， 但是可以獲得到達T = 3116的第九狀態138的最終收益的許多路徑，而不背離示例性實施 例的范圍和精神。另外，盡管最終收益被描述為階段T = 3116的第九狀態138，但是最終收 益可以是在任何未來階段的任何其它狀態，而不背離該示例性實施例的范圍和精神。此外， 盡管已經示出第一狀態122可前進到第九狀態138，但是階段T = 1122的任何初始狀態都 可以基于采取的行為和轉換概率前進到階段T = 3116的任何最終狀態。受不確定性影響的、基于Markov決策過程的模型的應用可包括投資、生產或開發 的長期計劃，其中固定決策隨著時間發生在各階段中。因此，隨著時間的推移，創建考慮更 多明確信息的機會。模型中的決策也可以包括與行為對應的決策，該行為可以恢復與不確 定性有關的信息。嵌入在基于Markov決策過程的模型中的追償(recourse)允許決策者基 于獲得的信息調節其決策或采取糾正的行為。在此使用的術語“追償”指代在隨機事件發 生后采取糾正行為的能力。通過導致魯棒的、靈活的、更高價值的決策和真實世界中作出決策的真實模型的追償，基于Markov決策過程的模型可提供更為優化的解決方案。圖2是根據本發明某些示例性實施例的三維儲層模型200的圖示說明，該模型包 括定義多個節點204的網格206。儲層模型200可用于模擬具有一個或更多垂直井202的 油和/或氣儲層的操作。如所示，儲層模型200可由網格206分為多個節點204。網格206 代表單元格式的地質構造，從而支持根據網格206的對儲層和地質信息的基于計算機的處 理。儲層模型200的節點204可具有不一致的尺寸。該三維儲層模型200可提供協同儲層 模擬器使用的附加數據。圖3是根據本發明某些示例性實施例模擬圖2的儲層模型200的操作的儲層模擬 器300的流程圖示說明。在示例性實施例中，模擬器300包含在計算機系統上執行的一組 指令。即，模擬器300包含在一臺或一臺以上計算機上運行的一個或更多軟件程序。另外， 計算機可具有執行該模擬的一個或更多處理器。參考圖2和圖3，儲層模擬器300模擬儲層模型的操作，其中井管理302針對儲層 模型200的井202和地面設施網絡執行。井管理302在儲層200中所有井202上執行，并 包括迭代過程304，其中雅可比構造(Jacobian construction)和流量計算306被執行，接 著執行線性求解308和一個或更多性質計算310。線性求解308和/或一個或更多性質計 算310在代表諸如網格206中的網點的壓力和構成的大型數據陣列上執行。一旦針對儲層模型200中的井202的迭代過程304完成且收斂，之后井202的數 據在結果/檢查點I/O 312中生成。一旦井202的井管理302完成，可以針對整個儲層模 型200的剩余井202執行井管理302，其中每個井202的結果在結果/檢查點I/O 312中生 成。儲層模擬器300可例如使用一臺或一臺以上通用計算機、專用計算機、模擬處理 器、數字處理器、中央處理器和/或分布式計算系統來實施。即，儲層模擬器300可包含計 算機可執行指令或代碼。儲層模擬器300的輸出可包含在圖形用戶界面(⑶I)上顯示的結果、數據文件、在 介質例如光盤或磁盤上的數據、紙報告或傳輸給另一計算機或另一軟件例程的信號(不是 詳盡的清單)。儲層模型200和儲層模擬器300可用來模擬儲層操作，由此允許對碳氫化合物儲 層、井和相關地面設施中的流體、能量和/或氣體流動的建模。儲層模擬器300是儲層優化 的一部分，此優化還包括構建準確表示儲層的數據。示例性的模擬目標包含理解地層流動 模式，以優化自井202和地面設施的某個組合生產碳氫化合物的某些策略。模擬通常是費 時的迭代過程的部分，以在優化生產策略的同時降低關于特定儲層模型描述的不確定性。 例如，儲層模擬，是計算流體動力學模擬的一種。儲層模型200和儲層模擬器300可進一步用來優化對應儲層、井和相關地面設施 的設計和操作。參考圖4和5，圖4是根據示例性實施例表示儲層區域的不確定產出剖面 (production profile)的離散概率分布的圖表，而圖5是根據示例性實施例表示儲層的三 種可能狀況的產出剖面的圖表。在概率分布連續的情況下，某種形式的采樣技術包括但不 限于采樣平均近似值，該采樣技術用于將模型的不確定性離散化。根據圖4中的不確定產 出剖面表400，低狀況(L)410的概率是0.30，或30%，440。另外，中等或基礎狀況(M)420
12的概率是0. 40，或40%，450。此外，高狀況(H) 430的概率是0. 30，或30%，460。圖5圖示 說明儲層的三種可能的產油狀況，低狀況出油率(oil rate) 510、基礎狀況出油率520和高 狀況出油率530。產出剖面表500中示出的數據利用儲層模擬器中的任何儲層模擬器生成。圖6是根據本發明某些示例性實施例的基于Markov決策過程的儲層開發計劃系 統600的示意性圖示說明。在示例性實施例中，儲層開發計劃系統600是計算機程序、基于 軟件的引擎或計算模塊。此外，圖6的圖形中每個圖解的方塊都可包含計算機程序、基于軟 件的引擎或計算模塊。因此，例如，可以使用一臺或一臺以上通用計算機、專用計算機、模擬 處理器、數字處理器、中央處理器單元和/或分布式計算系統來實施基于Markov決策過程 的儲層開發計劃系統600。基于Markov決策過程的儲層開發計劃系統600包括儲層開發計劃的一個或更多 基于Markov決策過程的模型602。儲層開發計劃的基于Markov決策過程的模型602是基 于Markov決策過程的模型，用于優化給定某種目標客觀且受系統約束的情況下的開發計 劃。另外，基于Markov決策過程的儲層開發計劃系統600可進一步包括輸入數據的至 少一個源604、儲層和/或地面設施動態的高保真度模型606，以及求解例程608。儲層和 /或地面設施動態的高保真度模型606是高保真度模型，或儲層模擬模型，或儲層模擬模型 的集合，其中集合中的每個元素代表不確定性空間的一種可能的實現。高保真度模型也可 以僅是包含不確定性的一個儲層模擬模型。高保真度模型用來在隨后迭代中更新并調節儲 層開發計劃的基于Markov決策過程的模型602。當儲層開發計劃的基于Markov決策過程 的模型602可能在其約束方程的系統內含有儲層和/或地面設施動態的高保真度模型606 的近似時，這種更新和調節提供改進(refinement)。包括在儲層開發計劃的基于Markov決 策過程的模型602內的低保真度模型提供儲層和/或地面設施動態的高保真度模型606的 該近似。與高保真度模型的情況類似，低保真度模型可以是各低保真度模型的集合，以使每 個元素是高保真度模型的集合中元素的簡化。可替換地，低保真度模型可作為包含不確定 性的單獨模型存在。盡管在示例性實施例中針對高保真度模型和低保真度模型中的每種保 真度模型列舉了兩種形式，但是可針對這些模型中的每個設想其他形式與組合，而不背離 示例性實施例的范圍和精神。儲層開發計劃的基于Markov決策過程的模型602可以自輸入數據的源604接收 輸入數據。輸入數據可包括在一個或更多數據表、一個或更多數據庫、通過計算機網絡或互 聯網提供的信息、人工錄入、來自GUI的用戶輸入等中的數據項。在處理輸入數據后，儲層開發計劃的基于Markov決策過程的模型602可提供輸出 至研究中的儲層的儲層和/或地面設施動態的高保真度模型606。儲層和/或地面設施動 態的高保真度模型606可進而提供返回儲層開發計劃的基于Markov決策過程的模型602 的輸出數據。最終，儲層開發計劃的基于Markov決策過程的模型602可以與求解例程608 接口(interface) ο本示例性實施例提供基于Markov決策過程的儲層開發計劃系統600，其中與儲 層有關的數據中的固有不確定性直接并入到儲層開發計劃的基于Markov決策過程的模型 602內。通過將數據中的不確定性并入到儲層開發計劃的基于Markov決策過程的模型602 內，可以獲得與不確定性的各種實現中的決策有關的權衡，并且由此可以在做出關于石油和/或天然氣儲層開發計劃的決策時利用更好的信息。通常，基于Markov決策過程的模型可以以解析或數字的方式被公式化、求解，并 經分析以向決策者提供有用信息。基于Markov決策過程的模型的諸多目標之一是在整 個計劃范圍內最小化預期成本或最大化預期收益，其中不確定性被并入到模型內。基于 Markov決策過程的模型或隨機動態規劃是動態規劃的延伸，其中不確定性并入到優化模型 中。基于Markov決策過程的模型與動態規劃模型類似，除了決定性轉換函數由代表系統中 的不確定性的轉換概率矩陣替代。因此，對于階段η中的給定狀態和行為，系統在階段n+1 中的狀態被概率性地建模。基于Markov決策過程的模型可表示為(S，A，P，R)，其中S是狀 態空間，A(S)是狀態s中可采取的行為的集合，P(s，s’，a)是給定行為a下系統將從狀態s 轉換為狀態S’的概率，而R(s，a)是在狀態s中選擇行為a的收益。下面示出基于Markov 決策過程的模型的一般公式
權利要求
1.一種儲層開發計劃的方法，包含以下步驟 接收與儲層開發相關的數據；通過計算機實現的基于Markov決策過程的模型處理接收的數據；以及 響應通過所述計算機實施的基于Markov決策過程的模型處理所述接收的數據而生成 儲層開發計劃。
2.根據權利要求1所述的方法，其中生成儲層開發計劃的步驟包含根據與所述接收的 數據關聯的不確定性空間生成所述儲層開發計劃。
3.根據權利要求1所述的方法，其中所述計算機實施的基于Markov決策過程的模型包 含基于所述接收的數據和不確定性空間優化所述儲層開發計劃的至少某方面。
4.根據權利要求1所述的方法，其中接收數據的步驟包含接收已知的數據參數和不確 定的數據參數，并且其中通過所述計算機實施的基于Markov決策過程的模型處理所述接收的數據包括使 用并入所述不確定數據參數的基于Markov決策過程的模型處理所述數據。
5.根據權利要求1所述的方法，其中不確定性空間與所述接收的數據有關，并且 其中通過所述計算機實施的基于Markov決策過程的模型處理所述接收的數據包含整體考慮所述不確定性空間。
6.根據權利要求1所述的方法，其中所述基于Markov決策過程的模型包含 多個階段，每個階段表示時間上的不連續步幅；每個階段中的多個狀態，每個狀態表示所述儲層開發計劃的潛在狀態；以及 多個轉換概率，每個轉換概率表示所述數據中的不確定性，每個轉換概率都由所述儲 層開發計劃的當前狀態和將采取的決策來確定； 其中未來狀態根據所述轉換概率確定。
7.根據權利要求1所述的方法，其中允許決策者在所述基于Markov決策過程的模型內 的多個階段中的每個階段采取一個或更多糾正決策。
8.一種儲層開發計劃的方法，包含以下步驟接收與儲層開發計劃相關的數據，其中不確定性與所述數據有關； 使用并入不確定性的基于計算機的優化模型處理接收的數據； 響應使用并入不確定性的基于計算機的優化模型處理接收的數據而產生儲層開發計 劃的至少某部分；以及當所述不確定性隨時間逐漸顯露時，采取一個或更多糾正決策。
9.根據權利要求8所述的方法，其中所述基于計算機的優化模型是基于Markov決策過 程的模型。
10.根據權利要求9所述的方法，其中在所述基于Markov決策過程的模型中并入所述 不確定性包括在所述不確定性的多個實現中獲得權衡。
11.根據權利要求8所述的方法，其中響應使用并入不確定性的基于計算機的優化模 型處理接收的數據而產生所述儲層開發計劃的至少某部分的步驟包括在整個不確定性空間實現優化問題的可行性。
12.根據權利要求8所述的方法，其中響應使用并入不確定性的基于計算機的優化模 型處理接收的數據而產生所述儲層開發計劃的至少某部分的步驟包括系統地處理所述基于Markov決策過程的模型內的不確定性數據。
13.一種關于石油資源開發的決策支持的方法，包含以下步驟接收關于決策的多個數據元素，所述決策與開發石油儲層有關，其中不確定性的相應 特征與所述數據元素中的每個有關；以及響應使用基于計算機的基于Markov決策過程的模型處理所述數據元素中的每個和不 確定性的所述相應特征中的每個，輸出對所述決策的建議。
14.根據權利要求13所述的方法，其中所述基于Markov決策過程的模型并入不確定性 的所述相應特征中的每個。
15.根據權利要求13所述的方法，其中使用所述基于計算機的基于Markov決策過程的 模型處理所述數據元素中的每個和不確定性的所述相應特征中的每個包含覆蓋不確定性 空間。
16.一種優化儲層開發計劃的基于計算機的方法，其包含 提供并入不確定性的輸入數據；使用儲層或地面設施動態的高保真度模型利用所述輸入數據生成所述儲層的第一模 擬，其中所述第一模擬生成第一高保真度輸出數據；使用所述輸入數據和所述第一高保真度輸出數據，生成儲層或地面設施動態的低保真 度模型，其中所述低保真度模型生成預測；利用所述輸入數據和儲層或地面設施動態的所述低保真度模型優化儲層開發計劃模 型，其中所述儲層開發計劃模型生成儲層開發計劃輸出數據，其中所述儲層開發計劃模型 包含基于Markov決策過程的模型；使用儲層或地面設施動態的所述高保真度模型利用所述輸入數據和所述儲層開發計 劃輸出數據執行所述儲層的第二模擬，其中所述第二模擬生成第二高保真度輸出數據； 比較所述第二高保真度輸出數據與所述低保真度模型的預測； 重復包含生成儲層或地面設施動態的低保真度模型、優化儲層開發計劃模型、使用儲 層或地面設施動態的所述高保真度模型執行所述儲層的第二模擬以及比較所述第二高保 真度輸出數據與所述低保真度模型的預測的步驟，直到所述第二高保真度輸出數據與所述 低保真度模型的預測基本一致。
17.根據權利要求16所述的方法，進一步包含響應所述第二高保真度輸出數據與所述低保真度模型的預測基本一致而生成開發計劃。
18.根據權利要求16所述的方法，其中與所述基于Markov決策過程的模型接口的求解 例程幫助所述基于Markov決策過程的模型優化所述儲層的開發計劃。
19.根據權利要求16所述的方法，其中所述基于Markov決策過程的模型包含幫助優化 所述儲層的開發計劃的求解例程。
20.一種從地下儲層生產碳氫化合物的方法，包含 基于輸入數據生成儲層開發計劃系統；根據不確定性空間優化所述儲層開發計劃系統，其中所述儲層開發計劃系統使用基于 Markov決策過程的模型進行優化；以及根據來自優化的儲層開發計劃系統的輸出從所述儲層生產碳氫化合物。
21.根據權利要求20所述的方法，其中所述輸入數據包含確定性分量和非確定性分量，并且其中根據所述不確定性空間優化所述儲層開發計劃系統的步驟包括 使用所述基于Markov決策過程的模型考慮每個所述非確定性分量。
22.根據權利要求20所述的方法，其中所述基于Markov決策過程的模型并入所述輸入 數據的不確定性。
23.根據權利要求20所述的方法，其中所述不確定性空間指定所述輸入數據的固有的 不確定性。
24.根據權利要求20所述的方法，其中所述儲層開發計劃系統包括 包含低保真度儲層模型的基于Markov決策過程的模型；以及 高保真度儲層模型，其中所述高保真度模型從所述基于Markov決策過程的模型接受一個或更多參數輸入 數據，并向所述基于Markov決策過程的模型提供一個或更多儲層或地面設施性質輸入數 據。
25.根據權利要求20所述的方法，其中優化所述儲層開發計劃系統包括 使用高保真度模型模擬所述儲層的操作；以及使用低保真度模型模擬所述儲層的操作。
全文摘要
本發明涉及一種儲層開發計劃的基于Markov決策過程的支持工具，該工具可包含輸入數據源、優化模型、模擬儲層的高保真度模型，以及與優化模型接口的一個或更多求解例程。優化模型可考慮直接在優化模型內具有不確定性的未知參數。模型包含決策者在真實世界中具有的靈活性，并允許決策者基于新信息調節決策。模型可以系統地處理不確定數據，例如全面地或甚至考慮所有不確定數據。因此，優化模型可提供靈活或魯棒的解決方案，該解決方案在不確定性空間內仍可行。一旦儲層模型被優化，則可生成最終的開發計劃。
文檔編號G06F15/18GK102007485SQ200980113555
公開日2011年4月6日 申請日期2009年1月30日 優先權日2008年4月18日
發明者K·C·弗爾曼, V·戈爾 申請人:埃克森美孚上游研究公司