專利名稱：一種融入小波變換和主成分的農業無線傳感數據流壓縮方法
技術領域：
本發明涉及農業動態數據流壓縮技術，尤其是一種農業無線傳感數據流壓縮方法。
背景技術：
隨著計算機、網絡和通信技術的迅猛發展，許多應用領域出現了海量、高速和動態的數據，如電子商務、傳感器網絡、網絡監測等等。這些領域中的數據常常以數據流的形式出現，如傳感器網絡獲得的實時數據就是典型的數據流。其主要特點為1)數據流動態增長，長度可能無限；2)對流中的數據只能一次掃描，利用一次掃描建立數據流的近似概要結構，其后的處理只能依賴該概要結構。精細農業是綜合應用地球空間信息技術、計算機輔助決策技術、農業工程技術等現代高新技術，以獲得農田“高產、優質、高效”的現代化生產模式和技術體系。其核心技術包括地理信息系統GIS、全球定位系統GPS、遙感技術RS和計算機自動控制技術。目前國內的農作物生長環境的數據采集主要是使用專用數據采集儀進行人工田間測量，再將測量數據帶回實驗室傳輸到計算機進行實驗分析。對于需要長時間定時采集的數據，如溫濕度、光照強度、作物生長特征等數據，則需要反復多次到田間測量，這種做法的時間成本和人力成本較高。相對發達國家來說，國內在農作物生長環境的信息采集技術方面的研究和應用都相對滯后。無線傳感網絡(WSN,Wireless Sensor Networks)是當前在國際上備受關注的、涉及多學科高度交叉、知識高度集成的前沿熱點研究領域。它綜合了傳感器技術、嵌入式計算技術、現代網絡及無線通信技術、分布式信息處理技術等，能夠通過各類集成化的微型傳感器協作地實時監測、感知和采集各種環境或監測對象的信息，該技術被我國逐漸應用于農業中。由于無線傳感器網絡獲得的實時數據通常具有數量大、數據流量突發性高等特點，如何保存如此龐大的實時數據以及如何訪問這些保存的歷史數據一直是個難題。數據壓縮主要是通過去除數據間存在的冗余度或者對數據間具有相關性的數據進行二次表達，以達到減少存儲資源的目的，同時丟棄的這些數據又保證在一定的誤差控制中不影響對歷史數據的重構，方便之后對歷史數據的查詢處理。目前，數據壓縮的方法有很多，主要包括完全可逆的冗余度壓縮和實際上不可逆的熵壓縮兩類。冗余度壓縮常用于磁盤文件、數據通信和氣象衛星云圖等不允許在壓縮過程中有絲毫損失的場合中。但它的壓縮比通常只有幾倍，遠遠不能滿足數字視聽應用的要求。在實踐的數字視聽設備中，差不多都采用壓縮比更高、但實際有損的熵壓縮技術。只要作為最終用戶的人覺察不出或者能夠容忍這些失真，就允許對數字音像信號進一步壓縮以換取更高的編碼效率。但是這些方法的壓縮比不高，存儲數據的空間有限，常常導致數據失真。顯然，現有的數據壓縮方法不能有效適用于農業無線傳感數據流
發明內容
、
為了克服已有現有動態數據流壓縮方法的壓縮比不高、數據失真度較高、存儲數據空間受限的不足，本發明提供一種壓縮比較高、數據失真少、有效減少數據存儲空間的融入小波變換和主成分的農業無線傳感數據壓縮方法。
本發明解決其技術問題所采用的技術方案是—種融入小波變換和主成分的農業無線傳感數據流壓縮方法，所述壓縮方法包括以下步驟I)數據節點閾值過濾先將農業無線傳感數據流中不斷到來的數據作為第I層，即在相同的時間內到來的數據序列表示為X = Ix1, X2,..., XnI，該序列由n個數據組成，假設序列中平均數據個數為n'，將這n'個數據組成為一個數據節點，則第I層的數據節點
數有^，其中M為數據流的總數據個數； n2)數據預處理假設數據序列X中數據Xi的屬性個數為m，如果空缺屬性個數 ^■，則認為該條數據流是噪聲，直接過濾；反之，將空缺屬性補充為所有該屬性的加
權平均；3)壓縮處理將第I層每n'個數據組成的子序列進行壓縮，構成第2層的一個數據節點，記該子序列為屯，該數據節點為PiJU Pi中保存了 Cli的概要信息。隨著新數據的不
斷到來，第2層上的數據節點不斷增加，當第2層上的數據節點個數2 #時，將最老的Pi個
數據節點進行歸并，合并成第3層上的I個數據節點，并計算數據節點的概要信息，以此逐層向上，從而使得該農業無線傳感數據流總是被壓縮成一組分層次的數據節點，最后構造一棵能夠存儲小波系數的誤差樹； 誤差樹中，節點Ci對應小波系數，葉節點Xu對應原始數據，對一給定的誤差樹T和T中的內節點ck,令Ieavesk表示以Ck為根的子樹的葉節點集合，Ieftleavesk表示Ck的左子樹的葉節點集合，rightleavesk表示Ck的右子樹的葉節點集合，pathk為T中從Ck或Xij到根的路徑上全體非零系數的集合，設ak是Ieftleavesk中數據的均值,bk是rightleavesk中數據的均值，則Ck =C1是全部數據的均值；首先數據流Xi = {xn, xi2, A , xiq},將Xi = {xn, xi2, A , xiq}中的數據兩兩分對求其均值和均值與第二個數據的差值，則差值就是第2層的數據節點，也是相應的小波系數 c2k;其次計算誤差樹中第3層的小波系數。令Ieavesk表示以Ck為根的子樹的葉節點集合，Ieftleavesk表示Ck的左子樹的葉節點集合，rightleavesk表示Ck的右子樹的葉節點集合，設ak是Ieftleavesk中數據的均值，bk是rightleavesk中數據的均值,則C3k =(ak-bk) /2 ；最后依次繼續計算，直至誤差樹的最高層的小波系數，它也等于全部數據的平均值；4)小波系數的篩選運用誤差平方和觀(A")= - A if來進行小波系數的
i=\
篩選，其中D表示壓縮之前的數據序列，D'表示壓縮之后的數據序列，Xi是數據序列D的第i個數據，X' i是數據序列D'的第i個數；
設對子序列Xi = {xn, xi2, A，xiq}，提取得到的數據節點Pi概要信息表示成四元
組
權利要求
1.一種融入小波變換和主成分的農業無線傳感數據流壓縮方法，其特征在于所述壓縮方法包括以下步驟 1)數據節點閾值過濾先將農業無線傳感數據流中不斷到來的數據作為第I層，即在相同的時間內到來的數據序列表示為X = {χ1； X2,. · ·，X1J，該序列由η個數據組成，假設序列中平均數據個數為n'，將這n'個數據組成為一個數據節點，則第I層的數據節點數有 ，其中M為數據流的總數據個數；η 2)數據預處理假設數據序列X中數據Xi的屬性個數為m，如果空缺屬性個數m2 ^·，則認為該條數據流是噪聲，直接過濾；反之，將空缺屬性補充為所有該屬性的加權平均； 3)壓縮處理將第I層每n'個數據組成的子序列進行壓縮，構成第2層的一個數據節點，記該子序列為屯，該數據節點為PiJU Pi中保存了 Cli的概要信息。隨著新數據的不斷到來，第2層上的數據節點不斷增加，當第2層上的數據節點個數2 $時，將最老的Pi個數據節點進行歸并，合并成第3層上的I個數據節點，并計算數據節點的概要信息，以此逐層向上，從而使得該農業無線傳感數據流總是被壓縮成一組分層次的數據節點，最后構造一棵能夠存儲小波系數的誤差樹； 誤差樹中，節點Ci對應小波系數，葉節點對應原始數據，對一給定的誤差樹T和T中的內節點ck,令Ieavesk表示以Ck為根的子樹的葉節點集合，Ieftleavesk表示Ck的左子樹的葉節點集合，rightleavesk表示Ck的右子樹的葉節點集合,pathk為T中從Ck或Xij到根的路徑上全體非零系數的集合，設ak是Ieftleavesk中數據的均值，bk是rightleavesk中數據的均值，則Ck = (4-\)/2，而C1是全部數據的均值； 首先數據流Xi = {xn，χ 2 Λ，xiq},將Xi = {xn, xi2, A , XiqI中的數據兩兩分對求其均值和均值與第二個數據的差值，則差值就是第2層的數據節點，也是相應的小波系數C2k ；其次計算誤差樹中第3層的小波系數。令Ieavesk表示以Ck為根的子樹的葉節點集合，Ieftleavesk表示Ck的左子樹的葉節點集合，rightleavesk表示Ck的右子樹的葉節點集合，設ak是Ieftleavesk中數據的均值，bk是rightleavesk中數據的均值，則C3k =(ak-bk) /2 ； 最后依次繼續計算，直至誤差樹的最高層的小波系數，它也等于全部數據的平均值； 4)小波系數的篩選運用誤差平方和觀-χ/)2來進行小波系數的篩選，i=\其中D表示壓縮之前的數據序列，D'表示壓縮之后的數據序列，Xi是數據序列D的第i個數據，V i是數據序列D'的第i個數； 設對子序列 ，提取得到的數據節點Pi概要信息表示成四元組
全文摘要
一種融入小波變換和主成分的農業無線傳感數據流壓縮方法。首先對從無線傳感器提取的實時數據進行預處理，然后對經過預處理的數據進行基于小波變換的數據壓縮，得到能夠反應數據重要特征的小波概要，然后再應用主成分分析，進行二次壓縮，最后得到壓縮率很高又保留了重要數據特征的壓縮數據。本發明提供一種壓縮比較高、數據失真少、有效減少數據存儲空間的融入小波變換和主成分的農業無線傳感數據流壓縮方法。
文檔編號H04L1/00GK102630092SQ20121005175
公開日2012年8月8日 申請日期2012年3月1日 優先權日2012年3月1日
發明者劉東升, 周怡, 王冰, 王蓓, 琚春華, 許翀寰, 陳庭貴 申請人:浙江工商大學