流量壓縮方法、裝置、設備及存儲介質與流程

本發明涉及數據處理，尤其涉及一種流量壓縮方法、裝置、設備及存儲介質。

背景技術：

1、隨著計算機技術的發展，越來越多的技術應用在金融領域，目前金融行業的業務一般通過線上的應用系統處理，解放大量的人工，提高了處理效率、實時性、安全性和準確性。而在使用應用系統進行業務處理時，由于應用系統的處理方法固定，當業務結構發生變形或應用場景等發生變更時，就需要對應用系統做適應性改寫或變更參數等操作，進一步保證處理效率、實時性、安全性和準確性。相應的，需要對更新后的應用系統進行測試。

2、網絡入侵檢測系統主要監視網絡上的流量，通過對流量的分析來與已知的網絡攻擊集合進行匹配，從而捕獲攻擊或檢測異常行為。為了檢測網絡入侵系統的有效性，需要在網絡靶場中構建逼真環境和各種攻擊流量來進行檢驗。其次，對于含有未知攻擊的流量，需要在靶場中進行回放以發現未知的攻擊類型。對于繁忙時的網絡空間性能測試需要對流量進行加速回放以驗證劇增的網絡流量。流量加速回放還可幫助實驗人員快速找到流量中所存在的問題。但是目前在流量回放過程中，無法有效地壓縮原始流量，導致壓縮后的原始流量存在丟包和誤差大的問題。

3、上述內容僅用于輔助理解本發明的技術方案，并不代表承認上述內容是現有技術。

技術實現思路

1、本發明的主要目的在于提供一種流量壓縮方法、裝置、設備及存儲介質，旨在解決現有技術在流量回放過程中，無法有效地壓縮原始流量，導致壓縮后的原始流量存在丟包和誤差大的問題的技術問題。

2、為實現上述目的，本發明提供了一種流量壓縮方法，所述方法包括以下步驟：

3、獲取原始流量中各數據包之間的時間間隔，并基于至少一個所述時間間隔構建間隔集合；

4、確定所述間隔集合中待壓縮的目標間隔，對所述目標間隔進行壓縮，并基于壓縮后的所述目標間隔更新所述間隔集合，獲得目標集合；

5、基于所述目標集合對所述原始流量進行壓縮。

6、可選地，所述確定所述間隔集合中待壓縮的目標間隔，對所述目標間隔進行壓縮，并基于壓縮后的所述目標間隔更新所述間隔集合，包括：

7、基于所述間隔集合構建二叉樹結構；

8、基于所述二叉樹結構確定所述間隔集合中待壓縮的目標間隔，對所述目標間隔進行壓縮，并基于壓縮后的所述目標間隔更新所述間隔集合。

9、可選地，所述二叉樹結構包括大根堆結構；所述基于所述二叉樹結構確定所述間隔集合中待壓縮的目標間隔，對所述目標間隔進行壓縮，并基于壓縮后的所述目標間隔更新所述間隔集合，包括：

10、基于所述大根堆結構中的堆頂元素確定所述間隔集合中待壓縮的目標間隔；

11、對所述目標間隔進行壓縮，并基于壓縮后的所述目標間隔更新所述間隔集合；

12、判斷更新后的所述間隔集合是否滿足預設的壓縮條件；

13、若更新后的所述間隔集合滿足預設壓縮條件，則基于更新后的所述間隔集合獲得目標集合；

14、若更新后的所述間隔集合不滿足預設壓縮條件，則基于壓縮后的所述目標間隔調整所述大根堆結構，并返回所述基于所述大根堆結構中的堆頂元素確定所述間隔集合中待壓縮的目標間隔的步驟。

15、可選地，所述判斷更新后的所述間隔集合是否滿足預設的壓縮條件之前，還包括：

16、獲取所述原始流量的壓縮幅度；

17、基于所述壓縮幅度確定壓縮參數；

18、獲取所述原始流量的原始時長；

19、基于所述壓縮參數和所述原始時長確定目標壓縮時長；

20、基于所述目標壓縮時長生成壓縮條件。

21、可選地，所述基于所述間隔集合構建二叉樹結構，包括：

22、根據所述間隔集合中的所述時間間隔確定節點元素；

23、基于各所述時間間隔的時長確定各節點元素的節點值；

24、根據所述節點值確定各節點元素之間的層級關系；

25、基于所述層級關系和所述節點元素構建二叉樹結構。

26、可選地，所述基于所述目標集合對所述原始流量進行壓縮之后，所述流量壓縮方法還包括：

27、基于壓縮后的原始流量進行流量回放；

28、對流量回放過程進行監測，獲取所述壓縮后的原始流量中的目標數據包；

29、基于所述原始流量中各數據包和所述目標數據包獲取所述原始流量與所述壓縮后的原始流量之間的相似信息；

30、基于所述相似信息對所述流量回放過程進行評價。

31、可選地，所述基于所述原始流量中各數據包和所述目標數據包獲取所述原始流量與所述壓縮后的原始流量之間的相似信息，包括：

32、基于所述原始流量中各數據包生成第一向量；

33、基于所述目標數據包生成第二向量；

34、確定所述第一向量與所述第二向量之間的余弦相似度；

35、基于所述余弦相似度獲取所述原始流量與所述壓縮后的原始流量之間的相似信息。

36、此外，為實現上述目的，本發明還提出一種流量壓縮裝置，所述流量壓縮裝置包括：

37、集合構建模塊，用于獲取原始流量中各數據包之間的時間間隔，并基于至少一個所述時間間隔構建間隔集合；

38、間隔壓縮模塊，用于確定所述間隔集合中待壓縮的目標間隔，對所述目標間隔進行壓縮，并基于壓縮后的所述目標間隔更新所述間隔集合，獲得目標集合；

39、流量壓縮模塊，用于基于所述目標集合對所述原始流量進行壓縮。

40、此外，為實現上述目的，本發明還提出一種流量壓縮設備，所述流量壓縮設備包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的流量壓縮程序，所述流量壓縮程序配置為實現如上文所述的流量壓縮方法的步驟。

41、此外，為實現上述目的，本發明還提出一種存儲介質，所述存儲介質上存儲有流量壓縮程序，所述流量壓縮程序被處理器執行時實現如上文所述的流量壓縮方法的步驟。

42、本發明通過獲取原始流量中各數據包之間的時間間隔，并基于至少一個所述時間間隔構建間隔集合，確定所述間隔集合中待壓縮的目標間隔，對所述目標間隔進行壓縮，并基于壓縮后的所述目標間隔更新所述間隔集合，獲得目標集合，基于所述目標集合對所述原始流量進行壓縮；由于本發明通過構建原始流量的間隔集合，確定間隔集合中待壓縮的目標間隔，將目標間隔壓縮后更新間隔集合，獲得目標集合，基于目標集合對原始流量進行壓縮，從而實現在流量回放過程中，有效地壓縮原始流量，有效地避免流量壓縮存在的丟包和誤差問題，確保流量壓縮的完整性。

技術特征：

1.一種流量壓縮方法，其特征在于，所述流量壓縮方法包括：

2.如權利要求1所述的流量壓縮方法，其特征在于，所述確定所述間隔集合中待壓縮的目標間隔，對所述目標間隔進行壓縮，并基于壓縮后的所述目標間隔更新所述間隔集合，包括：

3.如權利要求2所述的流量壓縮方法，其特征在于，所述二叉樹結構包括大根堆結構；所述基于所述二叉樹結構確定所述間隔集合中待壓縮的目標間隔，對所述目標間隔進行壓縮，并基于壓縮后的所述目標間隔更新所述間隔集合，包括：

4.如權利要求3所述的流量壓縮方法，其特征在于，所述判斷更新后的所述間隔集合是否滿足預設的壓縮條件之前，還包括：

5.如權利要求2所述的流量壓縮方法，其特征在于，所述基于所述間隔集合構建二叉樹結構，包括：

6.如權利要求1至5中任一項所述的流量壓縮方法，其特征在于，所述基于所述目標集合對所述原始流量進行壓縮之后，所述流量壓縮方法還包括：

7.如權利要求6所述的流量壓縮方法，其特征在于，所述基于所述原始流量中各數據包和所述目標數據包獲取所述原始流量與所述壓縮后的原始流量之間的相似信息，包括：

8.一種流量壓縮裝置，其特征在于，所述流量壓縮裝置包括：

9.一種流量壓縮設備，其特征在于，所述流量壓縮設備包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的流量壓縮程序，所述流量壓縮程序配置為實現如權利要求1至7中任一項所述的流量壓縮方法。

10.一種存儲介質，其特征在于，所述存儲介質上存儲有流量壓縮程序，所述流量壓縮程序被處理器執行時實現如權利要求1至7任一項所述的流量壓縮方法。

技術總結
本發明公開了一種流量壓縮方法、裝置、設備及存儲介質，涉及數據處理領域，所述方法包括：獲取原始流量中各數據包之間的時間間隔，并基于至少一個所述時間間隔構建間隔集合，確定所述間隔集合中待壓縮的目標間隔，對所述目標間隔進行壓縮，并基于壓縮后的所述目標間隔更新所述間隔集合，獲得目標集合，基于所述目標集合對所述原始流量進行壓縮；由于本發明通過構建原始流量的間隔集合，確定間隔集合中待壓縮的目標間隔，將目標間隔壓縮后更新間隔集合，獲得目標集合，基于目標集合對原始流量進行壓縮，從而實現在流量回放過程中，有效地壓縮原始流量，有效地避免流量壓縮存在的丟包和誤差問題，確保流量壓縮的完整性。

技術研發人員：王明月,陳明,申志敏,連靜
受保護的技術使用者：中移動金融科技有限公司
技術研發日：
技術公布日：2024/10/21