一種網絡管理系統的三維評估方法及系統的制作方法
【專利摘要】本發明涉及一種網絡管理系統的三維評估方法，包括對當前的網絡狀況和管理系統的需求進行分析；根據前面的分析結果，構建可動態可配置的評估模型指標體系；采用評估模型對要評估的管理系統進行模擬評估；如果通過則部署該管理系統；如果未通過，重新對評估模型進行修正；在管理系統部署后，對要評估的管理系統進行實踐評估，如果未通過，重新對評估模型進行修正；如果通過，得出評估結果，并給出該管理系統部署后對網絡中各方實體的影響，提供改進部署方法的建議；本發明可以對現有網絡管理系統進行全面的評估，找出其中存在的缺陷并提出科學有效的部署整改意見，還可以應付大量網絡設備的評估量，另外該評估方法具有很強的靈活性和高度的擴展性。
【專利說明】一種網絡管理系統的三維評估方法及系統
【技術領域】
[0001]本發明涉及計算機網絡安全領域，尤其涉及一種網絡管理系統的三維評估方法及系統。
【背景技術】
[0002]現有的網絡管理系統，無法應對廣泛的網絡應用和網絡服務對網絡管理帶來的新的挑戰，對特定區域的網絡安全管理存在明顯不足。如現有的網絡管理系統在提供正常功能時，往往犧牲一部分網絡性能；管理系統可能會意外阻止正常的服務，或誤認為一個普通用戶是惡意用戶。
[0003]如何找出網絡管理系統存在的缺陷并提出科學有效的部署整改意見，需要評估模型對網絡管理系統進行評估。但由于網絡管理系統需要執行許多管理任務和管理大量網絡設備，現有的評估模型不足以應付其沉重的工作量，且現有的網絡管理系統評價模型不夠靈活，擴展性不強。
【發明內容】
[0004]本發明所要解決的技術問題是針對現有技術的不足，提供一種網絡管理系統的三維評估方法及系統。
[0005]本發明解決 上述技術問題的技術方案如下:一種網絡管理系統的三維評估方法，包括如下步驟:
[0006]步驟1:對當前的網絡狀況和管理系統的需求進行分析；
[0007]步驟2:根據前面的分析結果，構建可動態配置的評估模型指標體系；
[0008]步驟3:采用評估模型對要評估的管理系統進行模擬評估；
[0009]步驟4:如果模擬評估通過，部署該管理系統，執行步驟5 ;如果模擬評估未通過，對評估模型進行修正，返回步驟3 ；
[0010]步驟5:在管理系統部署后，對其進行實踐評估，如果實踐評估未通過，對評估模型進行修正，重新進行實踐評估，直至實踐評估通過，結束評估流程；如果實踐評估通過，得出評估結果，并給出該管理系統部署后對網絡中各方實體的影響，提供改進部署方法的建議。
[0011]本發明的有益效果是:本發明可以對現有網絡管理系統進行全面的評估，找出其中存在的缺陷并提出科學有效的部署整改意見，還可以應付大量網絡設備的評估量，另外該評估方法具有很強的靈活性和高度的擴展性。
[0012]在上述技術方案的基礎上，本發明還可以做如下改進。
[0013]進一步，步驟2中所述構建可動態配置的評估模型指標體系的具體步驟如下:
[0014]步驟2.1.1:從代價、影響和效果三個不同維度初步選取指標，并從三個維度進行建模；
[0015]步驟2.1.2:對選取的指標進行篩選結構化；[0016]步驟2.1.3:將篩選結構化的指標進行標準量化；
[0017]步驟2.1.4:將標準量化的指標進行權值確定；
[0018]步驟2.1.5:將確定權值的指標進行多指標聚集；
[0019]步驟2.1.6:將多指標聚集的指標進行指標綜合分析，得到評估模型指標體系。
[0020]進一步，所述步驟2.1.1中所述指標初步選取的具體實現為:研究網絡評估的通用指標，針對網絡評估的特點，為網絡評估提出指標選取通用模型，并從代價、影響和效果三個不同維度進行建模，不同維度的指標相對獨立。
[0021]進一步，所述步驟2.1.2中所述指標篩選結構化的具體實現為:通過理論分析與實驗比較，發現指標之間的相互依賴和相互作用的程度，進行指標消減、去冗余。
[0022]進一步，所述步驟2.1.3中所述指標標準量化的具體實現為:針對可測量性需求，研究指標的定性、定量計算標準，并建立相應的量化方法。
[0023]進一步，所述步驟2.1.4中所述指標權值確定的具體實現為:針對網絡管理系統的實時性和合理性的要求，利用層次分析方法，結合定性分析以及定量分析，對指標權值進行確定。 [0024]進一步，所述步驟2.1.5中所述多指標聚集的具體實現為:針對不同時期、不同環境下的網管系統需求，對不同指標的聚集算法進行選取。
[0025]進一步，所述步驟2.1.6中所述指標綜合分析的具體實現為:對各個指標進行關聯分析，發現網絡管理系統的缺陷及存在的問題，給出評估結論。
[0026]本發明解決上述技術問題的另一技術方案如下:一種網絡管理系統的三維評估系統，包括信息采集模塊、模型建立模塊、模擬評估模塊和實踐評估模塊；
[0027]所述信息采集模塊、其用于對當前的網絡狀況和管理系統的需求進行分析；
[0028]所述模型建立模塊，其用于根據前面的分析結果，構建可動態配置的評估模型指標體系；
[0029]所述模擬評估模塊，其用于采用評估模型對要評估的管理系統進行模擬評估，如果模擬評估通過，部署該管理系統；如果模擬評估未通過，對評估模型進行修正，重新進行模擬評估；
[0030]所述實踐評估模塊，其用于在管理系統部署后，對要評估的管理系統進行實踐評估，如果實踐評估未通過，對評估模型進行修正，重新進行實踐評估，直至實踐評估通過，結束評估流程；如果實踐評估通過，得出評估結果，并給出該管理系統部署后對網絡中各方實體的影響，提供改進部署方法的建議。
[0031]在上述技術方案的基礎上，本發明還可以做如下改進。
[0032]進一步,所述模型建立模塊包括指標初步選取單元、指標篩選結構化單元、指標量化單元、權值確定單元、多指標聚集單元和指標綜合分析單元；
[0033]所述指標初步選取單元，其用于研究網絡評估的通用指標，針對網絡評估的特點，為網絡評估提出指標選取通用模型，并從代價、影響和效果三個不同維度進行建模，不同維度的指標相對獨立；
[0034]所述指標篩選結構化單元，其用于通過理論分析與實驗比較，發現指標之間的相互依賴和相互作用的程度，進行指標消減、去冗余；
[0035]所述指標量化單元，其用于針對可測量性需求，研究指標的定性、定量計算標準，并建立相應的量化方法；
[0036]所述權值確定單元，其用于針對網絡管理系統的實時性和合理性的要求，利用層次分析方法，結合定性分析以及定量分析，對指標權值進行確定；
[0037]所述多指標聚集單元，其用于針對不同時期、不同環境下的網管系統需求，對不同指標的聚集算法進行選取；
[0038]所述指標綜合分析單元，其用于對多種指標進行關聯分析，發現網絡管理系統的缺陷及存在的問題，給出評估結論。
【專利附圖】
【附圖說明】
[0039]圖1為本發明所述一種網絡管理系統的三維評估方法流程圖；
[0040]圖2為本發明所述一種網絡管理系統的三維評估系統框圖；
[0041]圖3為本發明所述模型建立模塊的結構框圖。
[0042]附圖中，各標號所代表的部件列表如下:
[0043]1、信息采集模塊，2、模型建立模塊，3、模擬評估模塊，4、實踐評估模塊，2-1、指標初步選取單元，2-2、指標篩選結構化單元,2-3、指標量化單元,2-4、權值確定單元,2-5、多指標聚集單元，2-6、指標綜合分析單元。
【具體實施方式】
[0044]以下結合附圖對本發明的原理和特征進行描述，所舉實例只用于解釋本發明，并非用于限定本發明的范圍。
[0045]如圖1所示，一種網絡管理系統的三維評估方法，包括如下步驟:
[0046]步驟1:對當前的網絡狀況和管理系統的需求進行分析；
[0047]步驟2:根據前面的分析結果，構建可動態配置的評估模型指標體系；
[0048]步驟3:采用評估模型對要評估的管理系統進行模擬評估；
[0049]步驟4:如果模擬評估通過，部署該管理系統，執行步驟5 ;如果模擬評估未通過，對評估模型進行修正，返回步驟3 ；
[0050]步驟5:在管理系統部署后，對其進行實踐評估，如果實踐評估未通過，對評估模型進行修正，重新進行實踐評估，直至實踐評估通過，結束評估流程；如果實踐評估通過，得出評估結果，并給出該管理系統部署后對網絡中各方實體的影響，提供改進部署方法的建議。
[0051]步驟2中所述構建可動態配置的評估模型指標體系的具體步驟如下:
[0052]步驟2.1.1:從代價、影響和效果三個不同維度初步選取指標，并從三個維度進行建模；
[0053]步驟2.1.2:對選取的指標進行篩選結構化；
[0054]步驟2.1.3:將篩選結構化的指標進行標準量化；
[0055]步驟2.1.4:將標準量化的指標進行權值確定；
[0056]步驟2.1.5:將確定權值的指標進彳丁多指標聚集；
[0057]步驟2.1.6:將多指標聚集的指標進行指標綜合分析，得到評估模型指標體系。
[0058] 所述步驟2.1.1中所述指標初步選取的具體實現為:研究網絡評估的通用指標，針對網絡評估的特點，為網絡評估提出指標選取通用模型，并從代價、影響和效果三個不同維度進行建模，不同維度的指標相對獨立。
[0059]所述步驟2.1.2中所述指標篩選結構化的具體實現為:通過理論分析與實驗比較，發現指標之間的相互依賴和相互作用的程度，進行指標消減、去冗余。
[0060]所述步驟2.1.3中所述指標標準量化的具體實現為:針對可測量性需求，研究指標的定性、定量計算標準，并建立相應的量化方法。
[0061]所述步驟2.1.4中所述指標權值確定的具體實現為:針對網絡管理系統的實時性和合理性的要求，利用層次分析方法，結合定性分析以及定量分析，對指標權值進行確定。
[0062]所述步驟2.1.5中所述多指標聚集的具體實現為:針對不同時期、不同環境下的網管系統需求，對不同指標的聚集算法進行選取。
[0063]所述步驟2.1.6中所述指標綜合分析的具體實現為:對各個指標進行關聯分析，發現網絡管理系統的缺陷及存在的問題，給出評估結論。
[0064]如圖2所示，一種網絡管理系統的三維評估系統，包括信息采集模塊1、模型建立模塊2、模擬評估模塊3和實踐評估模塊4 ；
[0065]所述信息采集模塊1、其用于對當前的網絡狀況和管理系統的需求進行分析；
[0066]所述模型建立模塊2，其用于根據前面的分析結果，構建可動態配置的評估模型指標體系；
[0067]所述模擬評估模塊，其用于采用評估模型對要評估的管理系統進行模擬評估，如果模擬評估通過，部署該管理系統；如果模擬評估未通過，對評估模型進行修正，重新進行模擬評估；
[0068]所述實踐評估模塊，其用于在管理系統部署后，對要評估的管理系統進行實踐評估，如果實踐評估未通過，對評估模型進行修正，重新進行實踐評估，直至實踐評估通過，結束評估流程；如果實踐評估通過，得出評估結果，并給出該管理系統部署后對網絡中各方實體的影響，提供改進部署方法的建議。
[0069]所述模型建立模塊2包括指標初步選取單元2-1、指標篩選結構化單元2-2、指標量化單元2-3、權值確定單元2-4、多指標聚集單元2-5和指標綜合分析單元2-6 ；
[0070]所述指標初步選取單元2-1，其用于研究網絡評估的通用指標，針對網絡評估的特點，為網絡評估提出指標選取通用模型，并從代價、影響和效果三個不同維度進行建模，不同維度的指標相對獨立；
[0071]所述指標篩選結構化單元2-2，其用于通過理論分析與實驗比較，發現指標之間的相互依賴和相互作用的程度，進行指標消減、去冗余；
[0072]所述指標量化單元2-3，其用于針對可測量性需求，研究指標的定性、定量計算標準，并建立相應的量化方法；
[0073]所述權值確定單元2-4，其用于針對網絡管理系統的實時性和合理性的要求，利用層次分析方法，結合定性分析以及定量分析，對指標權值進行確定；
[0074]所述多指標聚集單元2-5，其用于針對不同時期、不同環境下的網管系統需求，對不同指標的聚集算法進行選取；
[0075]所述指標綜合分析單元2-6，其用于對多種指標進行關聯分析，發現網絡管理系統的缺陷及存在的問題，給出評估結論。[0076]本發明所述評估模型從效果、代價和影響三個不同維度對管理系統進行評估，而每個維度又都由全方位、多層次的評估模型指標體系所構成，三個維度既彼此獨立又相互聯系，模型通過在三個維度的綜合評估完成對管理系統的整體評估，并給出評估結果和評估建議，即系統部署的必要性和系統的部署方式。
[0077]所述評估模型包含效果、影響、代價三個維度，利用不同層次的指標體系來分析量化，達到多維度、全方面、多層次的評估指標體系，滿足特定區域網絡管理系統評價指標的合理性、完備性、獨立性和可測量性等要求。
[0078]本發明所述評估模型指標體系，所述效果維度的評估即管理系統的正確性與有效性，當出現網絡管理需求時，它能否及時生成策略并進行有效處理，主要從可靠性、功能及性能三個方面進行評估。
[0079]本發明所述評估模型指標體系，所述影響維度的評估從用戶、服務和域內網絡的角度評價網管系統的部署帶來的影響，包括正面影響和負面影響。
[0080]本發明所述評估模型指標體系，所述代價維度的評估反映網管系統為達到一定管理效果所需要付出的代價，分為技術代價和非技術代價兩部分，技術代價指的是網絡帶寬、計算、地址資源等，非技術代價指的是人員、時間等。
[0081]本發明通過一個具體實例來說明這種針對網絡管理系統的三維評估方法的應用過程。在此實例中，有一家公司準備引進大型視頻會議系統，但是不知道當前的網絡管理系統能否負載引入視頻會議系統后的需求，是否網絡需要升級及更換管理系統，對該公司的網絡系統進行本發明的三維評估，流程如下:
[0082](I)先測量 該公司的網絡狀況，描述出現有網絡的基本特征；
[0083](2)再結合引入視頻會議后的管理需求，提出明確的網絡管理目標；
[0084](3)選取恰當的指標評價體系，從代價、影響、效果三個方面進行建模，選取需要的評價指標；
[0085]在這個實例中，我們選取的評估指標如下:
[0086]①在效果評估維度中，選取的可靠性評估包含可用性、穩定性、可維護性等；選取的功能評估包含完善率、覆蓋率、準確率、管理容量等；選取的性能評估包含策略沖突、失配率、設備延遲、匹配次數、最大規則等。
[0087]②在影響評估維度中，選取的評價指標分別從用戶角度、服務角度和域內網絡的角度評估網管系統的部署帶來的正面影響和負面影響。
[0088]③在代價評估維度中，選取的技術代價評估為網絡帶寬投入、計算資源、地址資源等，非技術代價評估為人力投入、時間投入、設備投入等。
[0089]然后對評估模型中的各主要指標均進行了合理的標準量化，這里以準確率為例作簡要說明。
[0090]準確率是指檢測結果與真實情況之間的接近程度，準確性可通過誤報率衡量，誤報率可用于衡量在一定參數設置下，針對大量數據分析的錯誤概率。誤報率越高，則準確性越低。誤報率百分比Pem通常可用預測失敗的次數Nfail與總共預測次數Nsum的比值表示:Perro = Nfail/Nsum。則準確性百分比可表不為:
[_1] Paccuracy = ^Perro = 1-Nfail/Nsum。
[0092]準確性即對非法信息及行為檢測和處理的準確程度，誤報即將合法信息及行為誤判為非法而進行屏蔽和阻斷，使合法用戶不能獲取正常服務和信息，造成正常網絡服務中斷，影響網絡的可用性。因此針對某一類用戶服務的誤報率可表示:
[0093]
【權利要求】
1.一種網絡管理系統的三維評估方法，其特征在于，包括如下步驟: 步驟1:對當前的網絡狀況和管理系統的需求進行分析； 步驟2:根據前面的分析結果，構建可動態配置的評估模型指標體系； 步驟3:采用評估模型對要評估的管理系統進行模擬評估； 步驟4:如果模擬評估通過，部署該管理系統，執行步驟5 ;如果模擬評估未通過，對評估模型進行修正，返回步驟3; 步驟5:在管理系統部署后，對其進行實踐評估，如果實踐評估未通過，對評估模型進行修正，重新進行實踐評估，直至實踐評估通過，結束評估流程；如果實踐評估通過，得出評估結果，并給出該管理系統部署后對網絡中各方實體的影響，提供改進部署方法的建議。
2.根據權利要求1所述一種網絡管理系統的三維評估方法，其特征在于，步驟2中所述構建可動態配置的評估模型指標體系的具體步驟如下: 步驟2.1.1:從代價、影響和效果三個不同維度初步選取指標，并從三個維度進行建模； 步驟2.1.2:對選取的指標進行篩選結構化； 步驟2.1.3:將篩選結構化的指標進行標準量化； 步驟2.1.4:將標準量化的指標進行權值確定； 步驟2.1.5:將確定權值的指標進彳T多指標聚集； 步驟2.1.6:將多指標聚集的指標進行指標綜合分析，得到評估模型指標體系。
3.根據權利要求2所述一種網絡管理系統的三維評估方法，其特征在于，所述步驟2.1.1中所述指標初步選取的具體實現為:研究網絡評估的通用指標，針對網絡評估的特點，為網絡評估提出指標選取通用模型，并從代價、影響和效果三個不同維度進行建模，不同維度的指標相對獨立。
4.根據權利要求2所述一種網絡管理系統的三維評估方法，其特征在于，所述步驟2.1.2中所述指標篩選結構化的具體實現為:通過理論分析與實驗比較，發現指標之間的相互依賴和相互作用的程度，進行指標消減、去冗余。
5.根據權利要求2所述一種網絡管理系統的三維評估方法，其特征在于，所述步驟2.1.3中所述指標標準量化的具體實現為:針對可測量性需求，研究指標的定性、定量計算標準，并建立相應的量化方法。
6.根據權利要求2所述一種網絡管理系統的三維評估方法，其特征在于，所述步驟2.1.4中所述指標權值確定的具體實現為:針對網絡管理系統的實時性和合理性的要求，利用層次分析方法，結合定性分析以及定量分析，對指標權值進行確定。
7.根據權利要求2所述一種網絡管理系統的三維評估方法，其特征在于，所述步驟2.1.5中所述多指標聚集的具體實現為:針對不同時期、不同環境下的網管系統需求，對不同指標的聚集算法進行選取。
8.根據權利要求2所述一種網絡管理系統的三維評估方法，其特征在于，所述步驟2.1.6中所述指標綜合分析的具體實現為:對各個指標進行關聯分析，發現網絡管理系統的缺陷及存在的問題，給出評估結論。
9.一種實現權利要求1-8中任一項所述網絡管理系統的三維評估方法的系統，其特征在于，包括信息采集模塊、模型建立模塊、模擬評估模塊和實踐評估模塊；所述信息采集模塊、其用于對當前的網絡狀況和管理系統的需求進行分析； 所述模型建立模塊，其用于根據前面的分析結果，構建可動態配置的評估模型指標體系; 所述模擬評估模塊，其用于采用評估模型對要評估的管理系統進行模擬評估，如果模擬評估通過，部署該管理系統；如果模擬評估未通過，對評估模型進行修正，重新進行模擬評估； 所述實踐評估模塊，其用于在管理系統部署后，對要評估的管理系統進行實踐評估，如果實踐評估未通過，對評估模型進行修正，重新進行實踐評估，直至實踐評估通過，結束評估流程；如果實踐評估通過，得出評估結果，并給出該管理系統部署后對網絡中各方實體的影響，提供改進部署方法的建議。
10.根據權利要求9所述一種網絡管理系統的三維評估系統，其特征在于，所述模型建立模塊包括指標初步選取單元、指標篩選結構化單元、指標量化單元、權值確定單元、多指標聚集單元和指標綜合分析單元； 所述指標初步選取單元，其用于研究網絡評估的通用指標，針對網絡評估的特點，為網絡評估提出指標選取通用模型，并從代價、影響和效果三個不同維度進行建模，不同維度的指標相對獨立； 所述指標篩選結構化單元，其用于通過理論分析與實驗比較，發現指標之間的相互依賴和相互作用的程度，進行指標消減、去冗余； 所述指標量化單元，其用于針對可測量性需求，研究指標的定性、定量計算標準，并建立相應的量化方法； 所述權值確定單元，其用于針對網絡管理系統的實時性和合理性的要求，利用層次分析方法，結合定性分析以及定量分析，對指標權值進行確定； 所述多指標聚集單元，其用于針對不同時期、不同環境下的網管系統需求，對不同指標的聚集算法進行選取； 所述指標綜合分 析單元，其用于對多種指標進行關聯分析，發現網絡管理系統的缺陷及存在的問題，給出評估結論。
【文檔編號】H04L12/24GK104022899SQ201410231273
【公開日】2014年9月3日 申請日期:2014年5月28日 優先權日:2014年5月28日
【發明者】徐菲, 陳小軍, 時金橋, 文新, 胡蘭蘭, 譚慶豐 申請人:中國科學院信息工程研究所