一種基于大數據思維的滑坡多場監測數據的融合及預測方法
【專利摘要】本發明公開了一種基于大數據思維的滑坡多場監測數據的融合及預測方法，該方法以獲取的各類監測數據為唯一依據，通過集成方差計算、相關性分析、聚類分析、回歸分析和BP神經網絡分析來確定隱含在各類監測數據間的滑坡滑移預測函數；把多元統計的定量分析與BP神經網絡的定性趨勢分析相結合，兩者相互補充、相互驗證，以多元統計分析來確定參與預測函數的數據種類和初步的預測函數，以BP神經網絡的趨勢模擬來驗證預測函數的合理性，以調整參與的數據種類使兩者達到比較理想的統一，完成每個滑坡的滑移預測。該技術可以對滑坡進行實時預測，對全國滑坡進行定性普查和天氣預報式預警，具有重大的現實意義和廣闊的應用前景。
【專利說明】
一種基于大數據思維的滑坡多場監測數據的融合及預測方法
技術領域
[0001]本發明涉及災害預測預警技術，尤其涉及一種基于大數據思維的滑坡多場監測數據的融合及滑移預測方法。
【背景技術】
[0002]現有滑坡滑移預測一般采用以下方法:
1、多元統計分析:是數理統計學的分支學科，主要研究客觀事物中多個變量(或多個因素)之間相互依賴的統計規律性。重要的多元統計分析方法有:回歸分析、判別分析、聚類分析、主成分分析、對應分析、因子分析、相關分析、方差分析等。如相關性分析可以對變量之間的密切程度進行分析，聚類分析可以在相似分析的基礎上對數據進行影響程度大小的分類，回歸分析可以確定兩種或兩種以上變量間相互依賴的定量關系。每種多元統計分析方法在滑坡滑移預測中可以起到各自的部分參考作用，但是都不足以完成滑坡的有效滑移預測。
[0003]2、BP(Back Propagat1n)神經網絡:是一種按誤差逆傳播算法訓練的多層前饋網絡，是目前應用最廣泛的神經網絡模型之一。BP網絡能學習和存貯大量的輸入-輸出模式映射關系，其學習規則使用最速下降法，通過反向傳播來不斷調整網絡的權值和閾值，使網絡的誤差平方和最小。BP神經網絡模型拓撲結構包括輸入層(input)、隱層(hidden layer)和輸出層(output layer)。網絡的學習和記憶具有不穩定性，這與學習的樣本種類和樣本數量有很大關系，有效的樣本種類的選擇對輸出結果是否合理至關重要，而這是神經網絡本身無能為力的，另外BP神經網絡只提供趨勢預測，一般沒有一個比較明確的預測函數。
[0004]大數據思維與傳統思維的主要區別在于:一切分析不是依據已有的公式或經驗等，而是依據數據。
【發明內容】
[0005]本發明要解決的技術問題在于針對現有技術中的缺陷，提供一種基于大數據思維的滑坡多場監測數據的融合及滑移預測方法。
[0006]本發明解決其技術問題所采用的技術方案是:一種基于大數據思維的滑坡多場監測數據的融合及滑移預測方法，包括以下步驟:
1)采集可以收集到的待預測滑坡的多場數據，如GPS、測斜儀、裂隙計等位移監測數據，重力儀等地球物理場數據，降雨量等氣象數據，水位、含水量等水文數據，等等；
2)對采集的數據進行預處理，包括:統一坐標系;通過方差計算剔除每類數據中的奇異數據;對每類數據取單位時間(如每天)的平均值作為后續的計算和模擬數據；
3)進行相關性分析，得到鉆孔測斜或GPS地表位移與其他數據種類間相對顯著相關的數據類及其相關系數。
[0007]4)依據相關系數，對測斜數據、GPS位移數據和其他與滑坡滑移最相關的兩個或多個變量和其他剩余數據進行聚類分析，得到對滑坡滑移影響大小的聚類結果;將對滑坡滑移影響大的因素確定為參與后續分析的變量或數據種類；
5)對選定參與的變量進行回歸分析，獲得回歸方程和回歸方程的擬合效果。
[0008]6)對選定參與的變量(與回歸分析參與的變量保持一致)進行BP神經網絡分析，將步驟I)中采集的對應數據的2/3數據作為訓練數據，1/3數據作為校驗數據，取得最佳的迭代模型和對期望擬合程度的評估數據。
[0009]7)增加參與的變量數量(前面只選取了影響較大的，再選影響在一般以上的，再選所有的變量等，視具體情況而定，甚至可以把聚類分析結果分為更多的種類)，重復步驟5)與步驟6)，這個過程可進行多次，直到找到其中回歸擬合效果最好和BP神經網絡擬合程度最高(誤差最小)的那個回歸方程。
[0010]8)用最新獲得的數據再次驗證最后獲得的回歸方程，如誤差不超過第7)步的最終誤差，分析結束；如誤差超過，則把最新數據加入到采集的整體數據中，轉入第2)步重新開始循環；
9)獲得本次分析的滑坡滑移預測公式。
[0011 ]本發明產生的有益效果是:
1、這種基于大數據思維的滑坡預測方法對傳統滑坡滑移理論與經驗的依賴很小，可以不依賴專家而快速對單體滑坡的滑移進行預測；
2、這種方法通過集成多種多元統計分析和神經網絡的不確定性或統計性或模擬性，得到一個相對可信的結果，避免了單一方法的片面性；
3、可以對每個滑坡的滑移趨勢進行定量化“體檢”，獲取的數據越多，“體檢”的效果越好，從而實現單體滑坡的滑移預測；
4、通過本發明可以快速建立大量滑坡的滑移趨勢動態數據庫，實現對滑坡滑移天氣預報式的預測預警，起到防災減災的目的。
[0012]
【附圖說明】
[0013]下面將結合附圖及實施例對本發明作進一步說明，附圖中:
圖1是本發明實施例的方法流程圖。
[0014]
【具體實施方式】
[0015]為了使本發明的目的、技術方案及優點更加清楚明白，以下結合實施例，對本發明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅用以解釋本發明，并不用于限定本發明。
[0016]如圖1所示，一種基于大數據思維的滑坡多場監測數據融合及滑移預測方法，包括以下步驟:
1、收集A滑坡最近某段時間(如數個月或數年)每天的河水位(如在河流邊)、降雨量、過去48小時的降雨量、滑體含水量、GPS地表位移監測點1、GPS地表位移監測點2 (GPS監測點至少一個)、2個GPS監測點間的距離、裂隙計、鉆孔水位、鉆孔測斜(最好至少有一個，測斜數據比GPS數據要穩定)、滑體溫度數據等，在收集的數據中能直接反應滑坡滑移的測斜數據或GPS數據至少有一到兩項，能收集的數據越豐富，后續的分析結果越好。
[0017]2、取每類數據每天的平均值參與后續的計算和模擬，其中用GPS位移數據中主滑方向上的分量代替GPS位移數據，用鉆孔測斜主滑方向上的分量代替測斜數據。
[0018]3、通過方差計算剔除每類數據中的奇異數據(偏差很大的數據)。
[0019]4、進行相關性分析，得到鉆孔測斜或GPS地表位移(地下測斜數據更能代表滑坡是否滑移，如有，用測斜數據，如無，用GPS數據代替)與其他數據種類間顯著相關的數據類及其相關系數。
[0020]5、依據相關系數，對測斜數據、GPS位移數據和其他與滑坡滑移密切相關的變量(如裂隙寬度等)(選兩個以上)和其他數據進行聚類分析，得到對A滑坡滑移影響大的因素和影響小的因素。
[0021]建議做聚類分析時，把所有收集到的數據分為影響較大、一般和影響較小三類，這樣在回歸分析和BP神經網絡分析時可以調整參與分析的數據類的多少，以找到其中能使回歸分析與B P神經網絡的誤差最小那一組。
[0022]相關性分析和聚類分析的主要目的是確定參與后續分析的變量或數據種類。
[0023]6、對選定參與的變量進行回歸分析(如影響較大的變量較多，先只選影響較大的那組參與，如較少，讓影響一般的變量也參與，必要時，所有變量都參與)，獲得回歸方程和回歸方程的擬合效果。
[0024]7、對選定參與的變量(與回歸分析參與的變量保持一致)進行BP神經網絡分析，其中選定變量的2/3數據為訓練數據，1/3的數據為校驗數據(具體數據的比例視整體數據量的大小可以進行調整)，取得最佳的迭代模型和對期望擬合程度的評估數據(使誤差最小)。
[0025]8、調整參與的變量數量(如先選影響最大的，再選影響在一般以上的，再選所有的變量等，視具體情況而定，甚至可以把聚類分析結果分為更多的種類)，重新進行回歸分析和B P神經網絡驗證，這個過程可進行多次，直到找到其中回歸擬合效果最好和BP神經網絡擬合程度最高(誤差最小)的那個回歸方程。
[0026]9、用最新獲得的數據再次驗證最后獲得的回歸方程，如誤差不超過第8步的誤差，分析結束。如誤差超過，則把最新數據加入到整體數據中，從第2步重新開始新的循環。
[0027]10、獲得滑坡滑移的預測公式。本次分析結束。
[0028]11、過一段時間后，對經驗公式再次進行驗證，使其保持動態更新。
[0029]應當理解的是，對本領域普通技術人員來說，可以根據上述說明加以改進或變換，而所有這些改進和變換都應屬于本發明所附權利要求的保護范圍。
【主權項】
1.一種基于大數據思維的滑坡多場監測數據融合及滑移預測方法，其特征在于，以獲取的各類監測數據為唯一依據，通過集成方差計算、相關性分析、聚類分析、回歸分析和BP神經網絡分析來確定隱含在各類監測數據間的滑坡滑移預測函數。2.—種基于大數據思維的滑坡多場監測數據融合及滑移預測方法，其特征在于，包括以下步驟: 1)采集待預測滑坡的多場數據，包括:位移監測數據、地球物理場數據、氣象數據和水文數據； 2)對采集的數據進行預處理，包括:統一坐標系;通過方差計算剔除每類數據中的奇異數據;對每類數據取單位時間的平均值作為后續的計算和模擬數據； 3)進行相關性分析，得到鉆孔測斜或GPS地表位移與其他數據種類間相對顯著相關的數據類及其相關系數； 4)依據相關系數，對測斜數據、GPS位移數據和其他與滑坡滑移最相關的兩個或多個變量和其他剩余數據進行聚類分析，得到對滑坡滑移影響大小的聚類結果;將對滑坡滑移影響大的因素確定為參與后續分析的變量或數據種類； 5)對選定參與的變量進行回歸分析，獲得回歸方程和回歸方程的擬合效果； 6)對選定參與的變量進行BP神經網絡分析，將步驟I)中采集的對應數據的2/3數據作為訓練數據，1/3數據作為校驗數據，取得最佳的迭代模型和對期望擬合程度的評估數據； 7)增加參與的變量數量，重復步驟5)與步驟6)，這個過程可進行多次，直到找到其中回歸擬合效果最好和BP神經網絡擬合程度最高的回歸方程； 8)用最新獲得的數據再次驗證最后獲得的回歸方程，如誤差不超過第7)步的最終誤差，分析結束；如誤差超過第7)步的最終誤差，則把最新數據加入到采集的整體數據中，轉入第2)步重新開始循環； 9)獲得本次分析的滑坡滑移預測公式。
【文檔編號】G06Q50/26GK105869100SQ201610282839
【公開日】2016年8月17日
【申請日】2016年4月29日
【發明人】劉軍旗, 唐輝明, 吳沖龍, 蘇愛軍, 劉剛, 歐陽春, 丁瑤, 林晨, 樊俊青, 王菁莪, 鄒宗興, 翁正平, 滕偉福, 周漢文, 熊承仁, 劉清秉, 龔松林, 鐘成
【申請人】中國地質大學（武漢）