專利名稱：一種基于數值排序線性擬合的歷史數據壓縮方法
技術領域：
本發明涉及一種基于數值排序線性擬合的歷史數據壓縮方法，特別適用于處理采集自工業現場的大容量實時數據。
背景技術：
對于工業現場環境產生的數據，往往具有數量巨大，采集頻度高，持續時間長等特 點。對這些大批量采樣點數據的處理，特別是如何對采樣點的實時數據進行即時存儲并且 如何對這些存儲的歷史數據進行快速高效的訪問和分析，就成為實現實時數據庫技術中的 重點和難點。對于這些大量的存儲數據，如果只是簡單的把所有的原始數據直接存儲下來，一 方面大量的數據需要在很短時間內存儲對硬件存儲介質的性能要求非常高，另一方面數據 的保存需要占用大量的存儲資源，而且也使得之后歷史數據檢索的效率大大降低。所以對 于實時數據庫系統來說，歷史數據的壓縮技術就成為其最重要的核心技術之一。一般的數據無損壓縮技術可以存儲所有原始數據的細節，但在數據存儲和后續的 歷史數據檢索過程中，需要額外占用大量的處理器時間來進行數據塊的壓縮和解壓縮處 理，則使得系統的整體效率更為降低。對于實時數據庫來說，不僅需要在有限的物理存儲空 間中存儲大量的歷史數據，同時還需要考慮數據能夠被快速的存儲和訪問。這樣，一般的無 損壓縮方法則不能適用于實時數據庫系統。實時數據庫在實際的工業現場運用中，那些長時間比較穩定，僅在微小的數據區 間范圍內變化的數據通常用戶可能并不非常關心，一般情況下用戶更加關心的是數據的異 常振動、異常跳躍、超限等情況。這樣，實時數據庫的數據壓縮方法就可以采用有損壓縮方 式，通過各種數值擬合方法，丟棄那些在一定的誤差精度范圍內的數據。在數據檢索時，能 夠通過重構方法來重新還原出所有的歷史數據。現在比較流行的有損壓縮算法包括矩形波串-后向斜率法、旋轉門壓縮算法和 PLOT算法等等。其中使用得比較多的是旋轉門壓縮算法，又稱平行四邊形法，總體來說，它 是一種直線趨勢化壓縮算法，其實質是通過一條由起點和終點確定的直線擬合一系列連續 的數據點。對于給定的數據，在預先規定的最大允許誤差范圍(門限或閥值)內，通過該算 法能夠找出盡可能最長的直線趨勢，最后通過兩個點即可確定該趨勢，中間部分的點全部 丟棄，從而達到數據壓縮的目的。旋轉門壓縮算法在處理大多數實時數據通道時都是比較 高效的，特別是對于穩態環境(且無干擾)可以達到非常高的壓縮比。但旋轉門壓縮算法 的缺點也是非常明顯的，主要就是噪點、野點、噪聲干擾(傳感器測試誤差)對算法影響較 大，壓縮處理效果很不理想；而對于那些短時非線性趨勢數據(振動數據，非穩態數據)，則 基本上達不到壓縮的目的。
發明內容
本發明要解決的問題是對于工業現場環境產生的數據，需要進行即時存儲并且對存儲的歷史數據進行快速高效的訪問和分析，要在有限的物理存儲空間中存儲大量的歷史數據，同時還需要考慮數據能夠被快速的存儲和訪問，現有的數據壓縮方法不能滿足這 些要求，易受噪點、野點、噪聲干擾，壓縮效果不夠理想。本發明的技術方案為一種基于數值排序線性擬合的歷史數據壓縮方法，包括以 下步驟1)對獲取的歷史數據按值的大小排序從歷史數據緩沖隊列獲取歷史數據，進行 排序處理，把歷史數據按照值的大小從小到大進行排序；2)值域線性擬合對于排好順序的歷史數據，以其位序為橫坐標，值為縱坐標建 立值域，按照排序順序對歷史數據依序進行線性擬合處理，線性擬合處理最終獲得兩個點， 這兩個點連接的直線為擬合直線，通過擬合直線來擬合排序在這兩個點之間的所有點，從 而達到數據壓縮的目的；線性擬合處理中，點到已獲得的擬合直線的偏差必須在設定的壓 縮精度范圍內，如所處理的點到擬合直線的偏差在設定的壓縮精度范圍外，則以這一點為 起點開始新的線性擬合處理；3)按域存儲對線性擬合處理的數據進行域分隔，產生標識域、時間域和數據值 域三部分，標識出某時間點的值是否被壓縮，為擬合還原提供依據；4)數據處理完成判斷檢查獲取的歷史數據是否都已完成壓縮過程，如果完成則 獲取新的歷史數據，執行步驟1)開始下一輪壓縮，沒有完成則回到步驟2)。優選的，歷史數據排序前進行預處理11)獲取當前歷史緩沖隊列中存儲的緩沖數據量；12)緩沖數據量判斷設定一次處理數據量的限值，對從歷史數據緩沖隊列獲取 的歷史數據量與所述限值進行比較，超過限值，則對獲取的歷史數據按值的大小排序，否則 繼續從歷史數據緩沖隊列獲取歷史數據。值域線性擬合具體為21)設置起點和待壓點并保存起點對于排好順序的歷史數據的值，按照排序順 序依序進行處理，按位序取出待處理的第一個點作為擬合起點(Xl，yi)，下一點作為待壓點 (xn，yn)，如果本步驟是第一次執行則存儲起點Upy1)；22)求出待壓點的門限點和門限點斜率范圍設置壓縮精度d%，求出待壓點(xn， yn)的兩個門限點(xn，yn±|ynd% I)，所述門限點是指點值按照壓縮精度確定的可近似范圍 邊界，可近似范圍為[yn_|ynd% ,yn+|ynd% | ]，然后分別求出從擬合起點(Xl，yi)到兩個門 限點所確定直線的斜率范圍的最小值kn min和最大值kn max min,max] =, O^MZA]
Xn X1Xn X\通過[kn min, kn max]確定本次擬合過程的斜率判斷范圍[kmin，kmax][kmin, kmax] = [kn min, kn max]23)數據量判斷按位序檢查待壓點是否還存在下一點，如果沒有下一點，則轉到 步驟27)保存待壓點；如果存在下一點，則轉到步驟24)；24)獲得判斷點并求出起點到判斷點的斜率按位序取出待壓點的下一點作為判 斷點(χη+1，yn+1)，求出從擬合起點到判斷點所確定直線的斜率kn+1
<formula>formula see original document page 6</formula>25)斜率范圍判斷檢查kn+1是否在[kmin，kmax]范圍內，在此范圍內表示待壓點可 以被壓縮，轉到步驟26)；不在此范圍內，表示待壓點不能被壓縮，需要開始新的壓縮過程， 轉到步驟27)；26)丟棄當前待壓點并重新設置新待壓點丟棄待壓點(xn，yn)，把判斷點(xn+1， yn+1)設置為新待壓點，求出新待壓點的兩個門限點(χη+1，yn+1 士 |yn+1d% |)，再分別求出從起 點到兩個門限點所確定直線的斜率范圍的最小值kn+1min和最大值kn+1maX <formula>formula see original document page 6</formula>更新斜率判斷范圍[kmin，kmax][kmin, kmax] = [max (kmin, kn+1min), min (kmax, kn+1max)]新待壓點設置好后，繼續步驟23)；27)保存待壓點存儲當前的待壓點(xn，yn)，本次壓縮過程結束，并把緩存中待處 理的第一個點設置為新一輪壓縮的擬合起點，轉到步驟21)進行下一擬合過程的處理。按域存儲具體為將線性擬合的各種數據分為標識域、時間域、數據值域三個部分 存儲，標識域存儲壓縮標識，壓縮標識按位序來標識值域中在該位序的歷史數據是否被壓 縮，時間域存儲每一個歷史數據本身所對應的時間；數據值域存儲線性擬合中與擬合處理 相關的數據。本發明的目的在于提供一種基于數值排序線性擬合的歷史數據壓縮方法，它能在 保證數據壓縮效率的前提下在設定的數據精度范圍內利用線性擬合恢復數據，并且能夠隔 離測量噪聲干擾，從而減小測量誤差對壓縮算法的影響。本發明的有益效果在于本發明在處理數據壓縮時采用了數據按值排序的方法，對于穩態或線性數據經過 排序后可以使得線性趨勢更加明顯，而且可以達到分隔噪點的目的；對于非線性數據或非 穩態數據經過排序后，絕大多數會體現出正態分布的特點，即在某個較小的值區間內集中 絕大多數的值。這樣，通過排序使得數據規則化，適合于壓縮。壓縮方式采用線性擬合方法， 通過兩個點連接的直線來擬合位序在這兩個點之間的所有點，并且這些點到該直線的偏差 控制在設定的壓縮精度范圍內，從而達到有效的數據壓縮的目的，由于線性擬合壓縮方法 處理過程簡單，而且可以獲得較高的壓縮比，所以是一種高效的壓縮方法。通過本發明的壓 縮方法，基本解決了非穩態數據和噪點對壓縮效率的影響，具有較高的實際應用價值。
圖1是本發明方法的流程圖。圖2是本發明方法中的線性擬合壓縮方法的流程圖。圖3是本發明方法中的線性擬合壓縮方法的步驟示意圖。圖4是穩態值采樣點的示意圖。圖5是穩態值排序后進行線性擬合的示意圖。
圖6是穩態值擬合還原的示意圖。
圖7是穩態值旋轉門壓縮的示意圖。圖8是非線性值采樣點的示意圖。圖9是非線性值排序后進行線性擬合的示意圖。圖10是非線性值擬合還原的示意圖。圖11是非線性值旋轉門壓縮的示意圖。圖12是非穩態值采樣點的示意圖。圖13是非穩態值排序后進行線性擬合的示意圖。圖14是非穩態值擬合還原的示意圖。圖15是非穩態值旋轉門壓縮的示意圖。圖16是振動值采樣點的示意圖。圖17是振動值排序后進行線性擬合的示意圖。圖18是振動值擬合還原的示意圖。圖19是振動值旋轉門壓縮的示意圖。
具體實施例方式以下結合附圖對本發明做進一步說明。圖1和圖2是本發明基于數值排序線性擬合的歷史數據壓縮方法的流程圖。包括 以下步驟1)對獲取的歷史數據按值的大小排序從歷史數據緩沖隊列獲取歷史數據，進行 排序處理，把歷史數據按照值的大小從小到大進行排序；2)值域線性擬合對于排好順序的歷史數據，以其位序為橫坐標，值為縱坐標建 立值域，按照排序順序對歷史數據依序進行線性擬合處理，線性擬合處理最終獲得兩個點， 這兩個點連接的直線為擬合直線，通過擬合直線來擬合排序在這兩個點之間的所有點，從 而達到數據壓縮的目的；線性擬合處理中，點到已獲得的擬合直線的偏差必須在設定的壓 縮精度范圍內，如所處理的點到擬合直線的偏差在設定的壓縮精度范圍外，則以這一點為 起點開始新的線性擬合處理；3)按域存儲對線性擬合處理的數據進行域分隔，產生標識域、時間域和數據值 域三部分，標識出某時間點的值是否被壓縮，為擬合還原提供依據；4)數據處理完成判斷檢查獲取的歷史數據是否都已完成壓縮過程，如果完成則 獲取新的歷史數據，執行步驟1)開始下一輪壓縮，沒有完成則回到步驟2)。其中，步驟1)優選進行擬合壓縮預處理11)獲取當前歷史緩沖隊列中存儲的緩沖數據量；12)緩沖數據量判斷設定一次處理數據量的限值，對從歷史數據緩沖隊列獲取 的歷史數據量與所述限值進行比較，超過限值，則對獲取的歷史數據按值的大小排序，否則 繼續從歷史數據緩沖隊列獲取歷史數據。下面具體介紹本發明的值域線性擬合步驟，如圖2所示值域線性擬合具體為21)設置起點和待壓點并保存起點對于排好順序的歷史數據的值，按照排序順序依序進行處理，按位序取出待處理的第一個點作為擬合起點(X1, Y1),下一點作為待壓點(xn，yn)，如果本步驟是第一次執行則存儲起點Upy1)；22)求出待壓點的門限點和門限點斜率范圍設置壓縮精度d%，求出待壓點(xn， yn)的兩個門限點(xn，yn±|ynd% I)，所述門限點是指點值按照壓縮精度確定的可近似范圍 邊界，可近似范圍為[yn_|ynd% ,yn+|ynd% | ]，然后分別求出從擬合起點(Xl，yi)到兩個門 限點所確定直線的斜率范圍的最小值kn min和最大值knmax
<formula>formula see original document page 8</formula>通過[kn min, knmax]確定本次擬合過程的斜率判斷范圍[kmin，kmax][kmin, kmax] = [kn min, kn max]23)數據量判斷按位序檢查待壓點是否還存在下一點，如果沒有下一點，則轉到 步驟27)保存待壓點；如果存在下一點，則轉到步驟24)；24)獲得判斷點并求出起點到判斷點的斜率按位序取出待壓點的下一點作為判 斷點(xn+1，yn+1)，求出從擬合起點到判斷點所確定直線的斜率kn+1
<formula>formula see original document page 8</formula>25)斜率范圍判斷檢查kn+1是否在[kmin，kmax]范圍內，在此范圍內表示待壓點可 以被壓縮，轉到步驟26)；不在此范圍內，表示待壓點不能被壓縮，需要開始新的壓縮過程， 轉到步驟27)；26)丟棄當前待壓點并重新設置新待壓點丟棄待壓點(xn，yn)，把判斷點(xn+1， yn+1)設置為新待壓點，求出新待壓點的兩個門限點(χη+1，yn+1 士 |yn+1d% |)，再分別求出從起 點到兩個門限點所確定直線的斜率范圍的最小值kn+1min和最大值kn+1maX
<formula>formula see original document page 8</formula>更新斜率判斷范圍[kmin，kmax][kmin, kmax] = [max (kmin, kn+1min), min (kmax, kn+1max)]新待壓點設置好后，繼續步驟23)；27)保存待壓點存儲當前的待壓點(xn，yn)，本次壓縮過程結束，并把緩存中待處 理的第一個點設置為新一輪壓縮的擬合起點，轉到步驟21)進行下一擬合過程的處理。圖3為值域線性擬合算法的實例模擬示意圖。首先設置起點和待壓點并保存起 點。按位序取出待處理的第一個點S設置為起點，下一點A1設置為待壓點，把起點S保存 到結果隊列中。然后，求出待壓點的門限點和門限點斜率范圍。兩個門限點Ah和Ai按照設 置的壓縮精度通過下式確定Ah= (xn, yn+|ynd% |)Al= (xn, yn-|ynd% |)由起點到兩個門限點確定的直線的斜率通過下式得到<formula>formula see original document page 8</formula>
通過下式得到斜率判斷范圍[kmin，kmax][kmin, kmax] = [kn min, kn max]然后，進行數據量判斷。檢查是否還存在下一點，如果沒有下一點，表示處理過程 結束，保存當前的待壓點到結果隊列中；如果存在下一點，則執行獲得判斷點并求出起點到 判斷點的斜率。取出緩沖中當前待處理的點C作為判斷點，用于檢查待壓點A1是否可以被 壓縮，通過下式求出起點S到判斷點C的斜率
<formula>formula see original document page 9</formula>然后，斜率范圍判斷。檢查kn+1是否在[kmin，kmax]范圍內，不在此范圍內，表示待壓 點A1不能被壓縮，需要開始新的壓縮過程，本次壓縮過程結束，則執行保存待壓點A1 ；如果 在此范圍內，表示待壓點A1可以被壓縮，執行丟棄當前待壓點并把判斷點設置為待壓點。丟棄待壓點A，把判斷點C設置為新的待壓點A’，通過下式求出待壓點的兩個門限
<formula>formula see original document page 9</formula>Ah= (xn+1,yn+1+|yn+1d% |)Al= (xn+1,yn+1-|yn+1d% |)再通過下式分別求出從起點到兩個門限點所確定直線的斜率范圍的最大值和最 小值‘丨—=
太《+1 — x\^max= +通過下式更新斜率判斷范圍[kmin，kmax ][kmin, kmax] = [max (kmin, kn+1min), min (kmax, kn+1max)]繼續執行數據量判斷，進行后續點的處理，直到線性擬合步驟全部結束。線性擬合步驟結束，進行按域存儲。將線性擬合的各種數據分為標識域、時間域、 數據值域三個部分存儲，標識域存儲壓縮標識，壓縮標識按位序來標識值域中在該位序的 歷史數據是否被壓縮，時間域存儲每一個歷史數據本身所對應的時間；數據值域存儲線性 擬合中與擬合處理相關的數據，所述的相關數據包括設定的壓縮精度，擬合起點、待壓點的 值，擬合直線的數據等，例如，步驟4)獲得的壓縮后的數據就是數據值域的部分。進行數據處理完成判斷，檢查歷史緩沖隊列中的數據是否已經全部處理完成，如 果完成則獲取新的歷史數據，執行步驟1)開始下一輪壓縮，沒有完成則回到步驟2)。本發明方法壓縮數據后，需要還原時，按照標識域將被壓縮的點還原，利用數據值 域存儲的數據，通過與壓縮時線性擬合逆向的方式，還原出被壓縮的點，再根據時間域將所 有點按時間重新排列，還原出原始歷史數據。為了更好的說明本發明的方法在數據壓縮率方面的優勢，采用仿真方式對各種類 型的數據利用本發明的方法進行壓縮，并與旋轉門壓縮算法進行比較。圖4 7是穩態值仿真實例，使用了一個測量點的200點實時數據。圖4給出了 未經過壓縮的原始數據曲線。圖5使用了本發明的數值排序線性擬合的歷史數據壓縮方法 對值域擬合的結果，擬合后的曲線橫坐標為值排序的位序，圖中的黑點表示壓縮過程中保存的點。圖6給出了通過本壓縮方法壓縮的數據經過還原的數據曲線，可以看出本壓縮方 法保留了絕大部分原始數據的細節。圖7為使用旋轉門壓縮算法的還原后的曲線圖，可以 看出數據前半部分的細節基本都被壓縮，而無法還原。經過該仿真測試，可以看出對于穩態 值的處理本發明的數值排序線性擬合的歷史數據壓縮方法不僅可以獲得較大的壓縮比，而 且與旋轉門壓縮算法相比可以保留數據的絕大多數細節，得到的數據更加真實。圖8 11是非線性值仿真實例，使用了一個測量點的1000點實時數據。圖8給 出了原始的數據曲線。圖9使用了本發明的壓縮方法，圖中的黑點表示壓縮過程中保存的 點。圖10是本發明的壓縮數據還原的數據曲線，圖11是使用旋轉門壓縮方法的還原數據 曲線。可以看出，在處理該非線性值擬合過程中，本壓縮方法的壓縮比要比旋轉門壓縮算法 高得多，而且還原曲線也相當準確。圖12 15是非穩態值仿真實例，使用了一個測量點的500點實時數據。圖12給 出了原始的數據曲線。圖13使用了本發明的壓縮方法，圖中的黑點表示壓縮過程中保存的 點。圖14是本發明的壓縮數據還原的數據曲線，圖15是使用旋轉門壓縮方法的還原數據曲 線。可以看出，對非穩態值旋轉門壓縮方法基本沒有壓縮效果，而使用本發明的壓縮方法， 在確保數據精度的情況下，仍然獲得了較高的壓縮比。圖16 19是振動值仿真實例，使用了一個測量點的500點實時數據。類似非穩態仿真，旋轉門壓縮方法基本沒有壓縮效果，而使用本發明的壓縮方法，仍然可以獲得一定 壓縮比。通過以上的仿真實驗，說明本發明的數值排序線性擬合的歷史數據壓縮方法在獲 得較高數據壓縮比前提下，不僅確保數據了還原精度，而且還能保留絕大部分數據的微變 細節。本發明的壓縮方法對于絕大多數非穩態數據的處理，基本可以獲得較好的效果，而且 隨著數據量的增大，將趨向更好的壓縮效果。
權利要求
一種基于數值排序線性擬合的歷史數據壓縮方法，其特征是包括以下步驟1)對獲取的歷史數據按值的大小排序從歷史數據緩沖隊列獲取歷史數據，進行排序處理，把歷史數據按照值的大小從小到大進行排序；2)值域線性擬合對于排好順序的歷史數據，以其位序為橫坐標，值為縱坐標建立值域，按照排序順序對歷史數據依序進行線性擬合處理，線性擬合處理最終獲得兩個點，這兩個點連接的直線為擬合直線，通過擬合直線來擬合排序在這兩個點之間的所有點，從而達到數據壓縮的目的；線性擬合處理中，點到已獲得的擬合直線的偏差必須在設定的壓縮精度范圍內，如所處理的點到擬合直線的偏差在設定的壓縮精度范圍外，則以這一點為起點開始新的線性擬合處理；3)按域存儲對線性擬合處理的數據進行域分隔，產生標識域、時間域和數據值域三部分，標識出某時間點的值是否被壓縮，為擬合還原提供依據；4)數據處理完成判斷檢查獲取的歷史數據是否都已完成壓縮過程，如果完成則獲取新的歷史數據，執行步驟1)開始下一輪壓縮，沒有完成則回到步驟2)。
2.根據權利要求1所述的一種基于數值排序線性擬合的歷史數據壓縮方法，其特征是 歷史數據排序前進行預處理11)獲取當前歷史緩沖隊列中存儲的緩沖數據量；12)緩沖數據量判斷設定一次處理數據量的限值，對從歷史數據緩沖隊列獲取的歷 史數據量與所述限值進行比較，超過限值，則對獲取的歷史數據按值的大小排序，否則繼續 從歷史數據緩沖隊列獲取歷史數據。
3.根據權利要求1或2所述的一種基于數值排序線性擬合的歷史數據壓縮方法，其特 征是值域線性擬合具體為21)設置起點和待壓點并保存起點對于排好順序的歷史數據的值，按照排序順序依 序進行處理，按位序取出待處理的第一個點作為擬合起點(Xl，yi)，下一點作為待壓點(xn， yn)，如果本步驟是第一次執行則存儲起點(Xl，yi)；22)求出待壓點的門限點和門限點斜率范圍設置壓縮精度d%，求出待壓點(xn，yn)的 兩個門限點(xn，yn±|ynd% I)，所述門限點是指點值按照壓縮精度確定的可近似范圍邊界， 可近似范圍為[yn_|ynd% ,yn+|ynd% | ]，然后分別求出從擬合起點O^y1)到兩個門限點 所確定直線的斜率范圍的最小值knmin和最大值knmax <formula>formula see original document page 2</formula>通過[knmin，knmax]確定本次擬合過程的斜率判斷范圍[kmin，kmax][kmin，kmax] = [knmin, knmax]23)數據量判斷按位序檢查待壓點是否還存在下一點，如果沒有下一點，則轉到步驟 27)保存待壓點；如果存在下一點，則轉到步驟24)；24)獲得判斷點并求出起點到判斷點的斜率按位序取出待壓點的下一點作為判斷點 (xn+1，yn+1)，求出從擬合起點到判斷點所確定直線的斜率kn+1 <formula>formula see original document page 2</formula>25)斜率范圍判斷檢查kn+1是否在[kmin，kmax]范圍內，在此范圍內表示待壓點可以被壓縮，轉到步驟26)；不在此范圍內，表示待壓點不能被壓縮，需要開始新的壓縮過程，轉到 步驟27)；26)丟棄當前待壓點并重新設置新待壓點丟棄待壓點(xn，yn)，把判斷點(χη+1，yn+1)設 置為新待壓點，求出新待壓點的兩個門限點(χη+1，yn+1 士 |yn+1d% I)，再分別求出從起點到兩 個門限點所確定直線的斜率范圍的最小值kn+1min和最大值kn+1maX <formula>formula see original document page 3</formula>更新斜率判斷范圍[kmin，kmax][kmin, kmax] = [max (kmin, kn+1min) ，niin (kmax，kn+1niax)]新待壓點設置好后，繼續步驟23)；27)保存待壓點存儲當前的待壓點(xn，yn)，本次壓縮過程結束，并把緩存中待處理的 第一個點設置為新一輪壓縮的擬合起點，轉到步驟21)進行下一擬合過程的處理。
4.根據權利要求1或2所述的一種基于數值排序線性擬合的歷史數據壓縮方法，其特 征是步驟3)按域存儲具體為將線性擬合的各種數據分為標識域、時間域、數據值域三個 部分存儲，標識域存儲壓縮標識，壓縮標識按位序來標識值域中在該位序的歷史數據是否 被壓縮，時間域存儲每一個歷史數據本身所對應的時間；數據值域存儲線性擬合中與擬合 處理相關的數據。
5.根據權利要求3所述的一種基于數值排序線性擬合的歷史數據壓縮方法，其特征是 步驟3)按域存儲具體為將線性擬合的各種數據分為標識域、時間域、數據值域三個部分 存儲，標識域存儲壓縮標識，壓縮標識按位序來標識值域中在該位序的歷史數據是否被壓 縮，時間域存儲每一個歷史數據本身所對應的時間；數據值域存儲線性擬合中與擬合處理 相關的數據。
全文摘要
一種基于數值排序線性擬合的歷史數據壓縮方法，包括以下步驟1)對獲取的歷史數據按值的大小排序；2)值域線性擬合；3)按域存儲；4)數據處理完成判斷。本發明在處理數據壓縮時采用了數據按值排序的方法，對于穩態或線性數據經過排序后可以使得線性趨勢更加明顯，而且可以達到分隔噪點的目的；對于非線性數據或非穩態數據經過排序后，絕大多數會體現出正態分布的特點，即在某個較小的值區間內集中絕大多數的值。這樣，通過排序使得數據規則化，適合于壓縮，再采用線性擬合的方式在一定精度范圍內擬合數據，達到數據壓縮的目的，基本解決了非穩態數據和噪點對壓縮效率的影響，具有較高的實際應用價值。
文檔編號H03M7/30GK101807925SQ20101902609
公開日2010年8月18日 申請日期2010年2月8日 優先權日2010年2月8日
發明者樂蔚蕓, 吳文楷, 季勝鵬, 武愛斌, 茅海泉, 魏小慶 申請人:南京朗坤軟件有限公司