一種安全事件流大數(shù)據(jù)分析引擎

本發(fā)明涉及網(wǎng)絡(luò)攻防，具體是涉及一種安全事件流大數(shù)據(jù)分析引擎。

背景技術(shù)：

1、安全事件流大數(shù)據(jù)分析引擎是指一種集成了大數(shù)據(jù)處理與分析能力的系統(tǒng)，它專門用于實(shí)時(shí)收集、整合、分析和挖掘來自多個源的安全事件流數(shù)據(jù)，以提供深入的安全洞察、威脅檢測和態(tài)勢感知，從而支持組織的安全管理和決策制定。

2、現(xiàn)有的安全事件流大數(shù)據(jù)分析引擎由于數(shù)據(jù)分析算法不夠精準(zhǔn)或閾值設(shè)置不合理，導(dǎo)致引擎對非安全事件的過度反應(yīng)，存在異常告警頻繁且存在誤報(bào)，且由于無法針對性訓(xùn)練，訓(xùn)練數(shù)據(jù)質(zhì)量不高，導(dǎo)致無法有效識別和區(qū)分真正的安全威脅。

技術(shù)實(shí)現(xiàn)思路

1、為解決上述技術(shù)問題，提供一種安全事件流大數(shù)據(jù)分析引擎，本技術(shù)方案解決了上述的現(xiàn)有的安全事件流大數(shù)據(jù)分析引擎由于數(shù)據(jù)分析算法不夠精準(zhǔn)或閾值設(shè)置不合理，導(dǎo)致引擎對非安全事件的過度反應(yīng)，存在異常告警頻繁且存在誤報(bào)，且由于無法針對性訓(xùn)練，訓(xùn)練數(shù)據(jù)質(zhì)量不高，導(dǎo)致無法有效識別和區(qū)分真正的安全威脅的問題。

2、為達(dá)到以上目的，本發(fā)明采用的技術(shù)方案為：

3、一種安全事件流大數(shù)據(jù)分析引擎，包括：

4、獲取設(shè)備的運(yùn)維日志中的多源安全事件流，得到設(shè)備的安全事件流數(shù)據(jù)；

5、基于設(shè)備的安全事件流數(shù)據(jù)，按照時(shí)間節(jié)點(diǎn)下的安全事件流的類型進(jìn)行數(shù)據(jù)劃分，獲得設(shè)備的若干個安全事件流歸類集合；

6、基于設(shè)備的硬件參數(shù)，確定設(shè)備硬件初始化性能；

7、根據(jù)設(shè)備的若干個安全事件流歸類集合與硬件初始化性能，分析每一個安全事件流歸類集合影響設(shè)備的性能資源消耗趨勢，獲得設(shè)備的安全事件流性能冗余開銷時(shí)序數(shù)據(jù)；

8、基于設(shè)備的安全事件流性能冗余開銷時(shí)序數(shù)據(jù)，按照每一個安全事件流的設(shè)備硬件性能偏好進(jìn)行分析，生成時(shí)間節(jié)點(diǎn)下的安全事件流動態(tài)置信度閾值。

9、優(yōu)選的，基于設(shè)備的安全事件流數(shù)據(jù)，按照時(shí)間節(jié)點(diǎn)下的安全事件流的類型進(jìn)行數(shù)據(jù)劃分，獲得設(shè)備的若干個安全事件流歸類集合具體包括：

10、基于設(shè)備的安全事件流數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗預(yù)處理，并通過獨(dú)熱編碼將設(shè)備的安全事件流數(shù)據(jù)轉(zhuǎn)換為二進(jìn)制安全事件流數(shù)據(jù)集合；

11、根據(jù)二進(jìn)制數(shù)值安全事件流數(shù)據(jù)，按照安全事件流類型、時(shí)間節(jié)點(diǎn)對安全事件流數(shù)據(jù)進(jìn)行標(biāo)記劃分，獲得時(shí)間節(jié)點(diǎn)下的安全事件流特征數(shù)組；

12、基于時(shí)間節(jié)點(diǎn)下的安全事件流特征數(shù)組，計(jì)算每一個時(shí)間節(jié)點(diǎn)下的安全事件流特征數(shù)組中的每一個樣本的信息增益；

13、基于時(shí)間節(jié)點(diǎn)下的安全事件流特征數(shù)組中的每一個樣本的信息增益，篩選大于時(shí)間節(jié)點(diǎn)下大于對應(yīng)安全事件流特征信息增益的樣本，組合為時(shí)間節(jié)點(diǎn)下的安全事件流特征樣本集合；

14、基于時(shí)間節(jié)點(diǎn)下的安全事件流特征樣本集合，建立每一個安全事件流類型對應(yīng)的決策樹，將時(shí)間節(jié)點(diǎn)下的安全事件流特征樣本集合作為對應(yīng)決策樹的分割葉子節(jié)點(diǎn)，構(gòu)建安全事件流歸類決策森林模型；

15、基于安全事件流歸類決策森林模型，以將設(shè)備的安全事件流數(shù)據(jù)作為輸入，以設(shè)備的若干個安全事件流歸類集合作為輸出；

16、其中，計(jì)算每一個時(shí)間節(jié)點(diǎn)下的安全事件流特征數(shù)組中的每一個樣本的信息增益具體為：

17、

18、式中，ev為安全事件流特征數(shù)組中的第v個樣本的信息增益，dt為t個時(shí)間節(jié)點(diǎn)下的安全事件流特征數(shù)組，為t個時(shí)間節(jié)點(diǎn)下的安全事件流特征數(shù)組中第v個樣本，為t個時(shí)間節(jié)點(diǎn)下的安全事件流特征數(shù)組中第v個樣本的信息熵。

19、優(yōu)選的，根據(jù)設(shè)備的若干個安全事件流歸類集合與硬件初始化性能，分析每一個安全事件流歸類集合影響設(shè)備的性能資源消耗趨勢，獲得設(shè)備的安全事件流性能冗余開銷時(shí)序數(shù)據(jù)具體包括：

20、基于設(shè)備的任務(wù)管理器，確定時(shí)間節(jié)點(diǎn)下的設(shè)備硬件性能占用值；

21、基于設(shè)備硬件初始化性能與時(shí)間節(jié)點(diǎn)下的設(shè)備硬件性能占用值進(jìn)行差值運(yùn)算，得到時(shí)間節(jié)點(diǎn)下的設(shè)備硬件性能冗余值；所述設(shè)備硬件性能冗余值包括：cpu性能冗余值、內(nèi)存性能冗余值、網(wǎng)絡(luò)帶寬性能冗余值；

22、標(biāo)記時(shí)間節(jié)點(diǎn)下的設(shè)備硬件性能冗余值中每一個硬件性能的冗余開銷，記為時(shí)間節(jié)點(diǎn)下的硬件性能的冗余開銷；

23、基于時(shí)間節(jié)點(diǎn)下的硬件性能的冗余開銷與時(shí)間節(jié)點(diǎn)下的若干個安全事件流歸類集合，計(jì)算時(shí)間節(jié)點(diǎn)下的硬件性能的冗余開銷與時(shí)間節(jié)點(diǎn)下的若干個安全事件流歸類之間的關(guān)聯(lián)系數(shù)；

24、篩選出時(shí)間節(jié)點(diǎn)下的硬件性能的冗余開銷與時(shí)間節(jié)點(diǎn)下的若干個安全事件流歸類之間的關(guān)聯(lián)系數(shù)正相關(guān)的安全事件流，記為時(shí)間節(jié)點(diǎn)下的硬件性能開銷影響安全事件流；

25、建立var擴(kuò)展自回歸性能開銷趨勢分析模型；

26、將時(shí)間節(jié)點(diǎn)下的硬件性能開銷影響安全事件流作為外生變量，以若干個安全事件流歸類集合與時(shí)間節(jié)點(diǎn)下的硬件性能冗余值作為因變量輸入，以預(yù)測時(shí)間節(jié)點(diǎn)下的安全事件流關(guān)聯(lián)硬件性能的冗余開銷作為輸出，生成設(shè)備的性能冗余開銷時(shí)序數(shù)據(jù)；

27、其中，所述計(jì)算時(shí)間節(jié)點(diǎn)下的安全事件流性能開銷與時(shí)間節(jié)點(diǎn)下的若干個安全事件流歸類之間的關(guān)聯(lián)系數(shù)具體為：

28、

29、式中，rij為第i個硬件性能的冗余開銷與第j個安全事件流之間的關(guān)聯(lián)系數(shù)，第t個時(shí)間節(jié)點(diǎn)下的第i個硬件性能的冗余開銷，為第t個時(shí)間節(jié)點(diǎn)下的第j個安全事件流，t為時(shí)間節(jié)點(diǎn)，t為時(shí)間節(jié)點(diǎn)的總時(shí)長；

30、其中，所述var擴(kuò)展自回歸性能開銷趨勢分析模型具體為：

31、

32、式中，為預(yù)測第t個時(shí)間節(jié)點(diǎn)下的第i個硬件性能在第j個安全事件流關(guān)聯(lián)影響下的性能冗余開銷，a1、a2、ap均為滯后自回歸系數(shù)，β為外生變量系數(shù)，∈為常數(shù)項(xiàng)，ε(t)為第t個時(shí)間節(jié)點(diǎn)下的誤差項(xiàng)，p為滯后學(xué)習(xí)的階次。

33、優(yōu)選的，基于設(shè)備的安全事件流性能冗余開銷時(shí)序數(shù)據(jù)，按照每一個安全事件流的設(shè)備硬件性能偏好進(jìn)行分析，生成時(shí)間節(jié)點(diǎn)下的安全事件流動態(tài)置信度閾值具體包括：

34、針對設(shè)備的安全事件流性能冗余開銷時(shí)序數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理；

35、基于設(shè)備的安全事件流性能冗余開銷時(shí)序數(shù)據(jù)，通過主成分分析(pca)對設(shè)備的安全事件流性能冗余開銷時(shí)序數(shù)據(jù)進(jìn)行降維，獲得設(shè)備的安全事件流性能冗余開銷時(shí)序降維數(shù)據(jù)；

36、按照安全事件流性能冗余開銷時(shí)序降維數(shù)據(jù)中每一個安全事件流對于設(shè)備的硬件性能冗余開銷偏好進(jìn)行聚類，得到時(shí)間節(jié)點(diǎn)下的安全事件流硬件性能冗余開銷偏好簇；

37、統(tǒng)計(jì)時(shí)間節(jié)點(diǎn)下的安全事件流硬件性能冗余開銷偏好簇中的安全事件流對于硬件性能冗余開銷偏好的均值與標(biāo)準(zhǔn)差；

38、基于安全事件流對于硬件性能冗余開銷偏好的均值與標(biāo)準(zhǔn)差，計(jì)算時(shí)間節(jié)點(diǎn)下的安全事件流動態(tài)置信度閾值；

39、其中，所述時(shí)間節(jié)點(diǎn)下的安全事件流硬件性能冗余開銷偏好簇具體為：

40、

41、式中，f為目標(biāo)函數(shù)(安全事件流對于設(shè)備的硬件性能冗余開銷偏好)，n為聚類簇的總數(shù)，ai′為安全事件流性能冗余開銷時(shí)序降維數(shù)據(jù)中第i′個數(shù)據(jù)點(diǎn)，bk′為包含所有被分配到第k個簇的數(shù)據(jù)點(diǎn)集合，ck′為第k個簇的質(zhì)心；

42、其中，所述計(jì)算時(shí)間節(jié)點(diǎn)下的安全事件流動態(tài)置信度閾值具體為：

43、

44、式中，q-為時(shí)間節(jié)點(diǎn)下的安全事件流動態(tài)置信度閾值下限，q+為時(shí)間節(jié)點(diǎn)下的安全事件流動態(tài)置信度閾值上限，μ為安全事件流對于硬件性能冗余開銷偏好的均值，σ為安全事件流對于硬件性能冗余開銷偏好的標(biāo)準(zhǔn)差，z為置信度水平值(z≈1.96)。

45、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果在于：

46、本發(fā)明提出一種安全事件流大數(shù)據(jù)分析引擎，通過收集設(shè)備的運(yùn)維日志中的多源安全事件流數(shù)據(jù)，首先按時(shí)間節(jié)點(diǎn)和事件類型對數(shù)據(jù)進(jìn)行劃分歸類，以了解不同安全事件流對設(shè)備性能的影響，結(jié)合設(shè)備的硬件參數(shù)和初始化性能，分析各安全事件流歸類集合對設(shè)備性能資源的消耗趨勢，從而得到安全事件流性能冗余開銷的時(shí)序數(shù)據(jù)。進(jìn)一步地，基于這些數(shù)據(jù)，針對每個安全事件流對設(shè)備硬件性能的偏好進(jìn)行聚類分析，最終生成時(shí)間節(jié)點(diǎn)下的動態(tài)置信度閾值，可有效減少異常告警，提升安全事件流檢測的準(zhǔn)確性。