核心網數據管理方法和系統的制作方法
【專利摘要】本發明提供一種核心網數據管理方法和系統，屬于核心網數據管理技術領域，其可解決現有的核心網數據管理方法速度慢、成本高、運算量大、準確性差的問題。本發明的核心網數據管理方法包括：采集來自核心網各網元的數據，并為每條數據設置代表數據特征的標簽；將采集的數據按時間順序排成隊列；產生訂閱者，并根據訂閱者所需的數據建立訂閱規則，所述訂閱規則包括所需數據的特征；從所述隊列中篩選出標簽內容與訂閱規則相符的數據作為結果數據，并將所述結果數據發給該訂閱者。
【專利說明】
核心網數據管理方法和系統
技術領域
[0001]本發明屬于核心網數據管理技術領域，具體涉及一種核心網數據管理方法和系統。
【背景技術】
[0002]隨著互聯網的快速發展，作為其網絡承載基礎的核心網也越來越受到重視。同時，核心網的網元(如服務器、交換機等)的數量和種類越來越多，相應的，網元的數據(如設備性能、當前狀態等)結構也越來越復雜。
[0003]這種量很大且結構分散的核心網網元的數據給核心網數據管理造成了很大困難，每次進行新指標分析時都要重新建模，無法使用已有的模型，故速度慢，成本高；而且在處理中需要對數據進行多次切片、歸聚，產生大量冗余，故其運算量大、準確性差，難以有效提取出所需的網絡管理指標。
【發明內容】
[0004]本發明針對現有的核心網數據管理方法速度慢、成本高、運算量大、準確性差的問題，提供一種速度快、成本低、運算量小、準確性高的核心網數據管理方法和系統。
[0005]解決本發明技術問題所采用的技術方案是一種核心網數據管理方法，其包括:
[0006]采集來自核心網各網元的數據，并為每條數據設置代表數據特征的標簽；
[0007]將采集的數據按時間順序排成隊列；
[0008]產生訂閱者，并根據訂閱者所需的數據建立訂閱規則，所述訂閱規則包括所需數據的特征；
[0009]從所述隊列中篩選出標簽內容與訂閱規則相符的數據作為結果數據，并將所述結果數據發給該訂閱者。
[0010]優選的是，所述數據的特征包括網絡類型、設備類型、數據類型中的任意一種或多種。
[0011]優選的是，所述數據分為實時數據和周期性數據;所述將采集的數據按時間順序排成隊列包括:將所述實時數據直接按時間順序加入隊列;將所述周期性數據加入緩存，每隔預定時間將緩存中的周期性數據加入所述隊列。
[0012]優選的是，在從所述隊列中篩選出標簽內容與訂閱規則相符的數據作為結果數據后，還包括:建立包括判斷標準的清洗模型，用清洗模型對所述結果數據進行篩選，舍棄其中不符合判斷標準的結果數據。
[0013]進一步優選的是，所述清洗模型包括多條判斷標準;所述用清洗模型對結果數據進行篩選包括:根據每個標準建立一個篩選器，用多個所述篩選器同步對所述結果數據進行篩選。
[0014]解決本發明技術問題所采用的技術方案是一種核心網數據管理系統，其包括:
[0015]采集單元，用于采集來自核心網各網元的數據，并為每條數據設置代表數據特征的標簽；
[0016]隊列單元，用于將采集的數據按時間順序排成隊列；
[0017]訂閱單元，用于產生訂閱者，并根據訂閱者所需的數據建立訂閱規則，所述訂閱規則包括所需數據的特征；
[0018]篩選單元，用于從所述隊列中篩選出標簽內容與訂閱規則相符的數據作為結果數據，并將所述結果數據發給該訂閱者。
[0019]優選的是，所述數據的特征包括網絡類型、設備類型、數據類型中的任意一種或多種。
[0020]優選的是，所述數據分為實時數據和周期性數據;所述訂閱單元包括緩存;所述訂閱單元用于將所述實時數據直接按時間順序加入隊列，以及將所述周期性數據加入緩存，每隔預定時間將緩存中的周期性數據加入所述隊列。
[0021]優選的是，所述核心網數據管理系統還包括:清洗單元，用于建立包括判斷標準的清洗模型，用清洗模型對所述結果數據進行篩選，舍棄其中不符合判斷標準的結果數據。
[0022]進一步優選的是，所述清洗模型包括多條判斷標準;所述清洗單元用于根據每個標準建立一個篩選器，用多個所述篩選器同步對所述結果數據進行篩選。
[0023]本發明的核心網數據管理方法和系統中，是根據每次的需求動態的產生相應的訂閱規則，從而其不需要每次都重新建立模型，速度快、成本低；同時，其數據是隊列形式并具有標簽，故經過簡單的切分、運算即可從隊列中獲取所需數據，其處理的數據量小且是流動的，故所需的運算量小、準確率高。
【附圖說明】
[0024]圖1為本發明的實施例的一種核心網數據管理方法的流程示意圖；
[0025]圖2為本發明的實施例的另一種核心網數據管理方法的流程示意圖；
[0026]圖3為本發明的實施例的一種核心網數據管理系統的組成示意框圖；
[0027]圖4為本發明的實施例的另一種核心網數據管理系統的組成示意框圖。
【具體實施方式】
[0028]為使本領域技術人員更好地理解本發明的技術方案，下面結合附圖和【具體實施方式】對本發明作進一步詳細描述。
[0029]實施例1:
[0030]如圖1所示，本實施例提供一種核心網數據管理方法，其包括:
[0031]S101、采集來自核心網各網元的數據，并為每條數據設置代表數據特征的標簽。
[0032]S102、將采集的數據按時間順序排成隊列。
[0033]S103、產生訂閱者，并根據訂閱者所需的數據建立訂閱規則，所述訂閱規則包括所需數據的特征。
[0034]S104、從所述隊列中篩選出標簽內容與訂閱規則相符的數據作為結果數據，并將所述結果數據發給該訂閱者。
[0035]本實施例的核心網數據管理方法中，是根據每次的需求動態的產生相應的訂閱規貝1J，從而其不需要每次都重新建立模型，速度快、成本低；同時，其數據是隊列形式并具有標簽，故經過簡單的切分、運算即可從隊列中獲取所需數據，其處理的數據量小且是流動的，故所需的運算量小、準確率高。
[0036]實施例2:
[0037]如圖2所示，本實施例提供一種核心網數據管理方法。
[0038]其中，核心網是網絡的承載基礎，其中包括許多不同的網元，網元為服務器、交換機等設備;而在核心網的運行過程中，各網元會產生很多數據，如設備性能、當前狀態等。在要進行網絡優化、改造、監控、故障分析等時，都需要用到相應的核心網網元數據，即要進行核心網數據管理，
[0039]具體的，本實施例的核心網數據管理方法包括:
[0040]S201、采集來自核心網各網元的數據，并為每條數據設置代表數據特征的標簽。
[0041]也就是說，采集由各各網元產生的數據，并為每條數據設置標簽，標明該數據的特征。
[0042]優選的，數據的特征包括網絡類型、設備類型、數據類型中的任意一種或多種。
[0043]也就是說，以上數據的特征可包括網絡類型、設備類型、數據類型等。其中，網絡類型表示數據來自什么網絡，如移動網、固網交換、傳輸網；而設備類型表示數據來自于什么設備，如服務器、交換機等;數據類型則表示數據是哪個方面的數據(如網管數據、配置數據、性能數據等)。
[0044]當然，以上數據的特征僅僅是示意性的，本領域技術人員還可根據需要設置其他不同的具體特征。
[0045]S202、將采集的數據按時間順序排成隊列。
[0046]也就是說，按照采集數據的順序，將各條數據排成一個隊列，從而實現數據的流化。
[0047]優選的，根據采集時間的不同，數據可分為隨時產生的實時數據(如設備的實時流量)和按照一定的周期T間隔產生的周期性數據(如一定時間內的總流量)。
[0048]當數據分為實時數據和周期性數據時，本步驟具體包括:
[0049]將實時數據直接按時間順序加入隊列。
[0050]也就是說，對于實時數據，其隨時來到即隨時加入隊列中。
[0051]將周期性數據加入緩存，每隔預定時間將緩存中的周期性數據加入隊列。
[0052]也就是說，對于周期性數據，在其來到后可將其暫時存在緩存中，而緩存中的數據每隔預定時間(如T+t)即被加入隊列，實現周期性流化。
[0053]當然，應當理解，由于數據是不斷到來的，故以上對實時數據和周期性數據的處理是同步進行的，而沒有特定的先后順序。
[0054]S203、產生訂閱者，并根據訂閱者所需的數據建立訂閱規則，訂閱規則包括所需數據的特征。
[0055]也就是說，當需要采用某些數據時(如要進行網絡優化、改造、監控、故障分析等)，則形成與所需數據對應的訂閱者，該訂閱者有特定的訂閱規則，訂閱規則中表明了其所需要的數據的特征。例如，需要來自nl類型網絡的ml類型設備的數據，則產生訂閱者Sub[nl、ml] ο
[0056]當然，對于整個核心網而言，可能要同時按照多個不同的需求從中選取不同數據，這樣就會有不同多個訂閱者存在，每個訂閱者有不同的訂閱規則，它們共同構成一個訂閱者群。
[0057]S204、從隊列中篩選出標簽內容與訂閱規則相符的數據作為結果數據，并將結果數據發給該訂閱者。
[0058]也就是說，將隊列中各條數據的標簽的特征與訂閱規則中規定的特征進行比較，從中切分出符合訂閱規則特征要求的數據，并將其作為結果發給相應的訂閱者，由此即可從海量的核心網網元數據中獲得所需求的數據。例如，當需要來自nl類型網絡的ml類型設備的數據時，則切分出符合網絡類型和數據類型組合(nl，ml)的數據，在得到這些數據后，將其作為結果數據提供給訂閱者Sub[nl、ml ]。
[0059]可見，本實施例的核心網數據管理方法中，是根據每次的需求動態的產生相應的訂閱規則，從而其不需要每次都重新建立模型，速度快、成本低；同時，其數據是隊列形式并具有標簽，故經過簡單的切分、運算即可從隊列中獲取所需數據，其處理的數據量小且是流動的，故所需的運算量小、準確率高。
[0060]S205、優選的，建立包括判斷標準的清洗模型，用清洗模型對結果數據進行篩選，舍棄其中不符合判斷標準的結果數據。
[0061]顯然，數據處理過程中不可避免的存在錯誤，從而會產生一些不合格的數據。為此，在得到結果數據后，還可根據一定的標準判斷其中的數據是否合格，例如是否存在完整性缺失(字段不全)、數據破損(格式不對)、重復等;對其中不合格的結果數據直接舍棄，避免其影響后續的過程。
[0062]可見，此時篩選的對象是結果數據，故一方面，其所處理的數據量大幅降低(相對于核心網網元的總數據量)，另一方面，判斷標準(清洗模型)也可根據該結果數據的具體需要設定，靈活性強，所需運算量少。
[0063]優選的，清洗模型包括多條判斷標準；而本步驟具體可為根據每個標準建立一個篩選器，用多個篩選器同步對結果數據進行篩選。
[0064]也就是說，可為每條標準建立一個篩選器(如數據格式為某類型、數據長度為多少字節等)，并用多個篩選器同時對結果數據進行篩選，保證通過篩選的數據均為合格數據，即此處的篩選優選采用“多級(多個標準)多任務(多個篩選同時進行)”的形式，以提高處理效率。
[0065]當然，本步驟中只要是對結果數據進行處理即可，因此其可在將結果數據發給訂閱者后進行，也可在將結果數據發給訂閱者前進行，在此不再詳細描述。
[0066]實施例3:
[0067]如圖3所示，本實施例提供一種核心網數據管理系統，其包括:
[0068]采集單元，用于采集來自核心網各網元的數據，并為每條數據設置代表數據特征的標簽；
[0069]隊列單元，用于將采集的數據按時間順序排成隊列；
[0070]訂閱單元，用于產生訂閱者，并根據訂閱者所需的數據建立訂閱規則，所述訂閱規則包括所需數據的特征；
[0071]篩選單元，用于從所述隊列中篩選出標簽內容與訂閱規則相符的數據作為結果數據，并將所述結果數據發給該訂閱者。
[0072]本實施例的核心網數據管理系統中，是根據每次的需求動態的產生相應的訂閱規貝1J，從而其不需要每次都重新建立模型，速度快、成本低；同時，其數據是隊列形式并具有標簽，故經過簡單的切分、運算即可從隊列中獲取所需數據，其處理的數據量小且是流動的，故所需的運算量小、準確率高。
[0073]實施例4:
[0074]如圖4所示，本實施例提供一種核心網數據管理系統，其包括:
[0075]采集單元，用于采集來自核心網各網元的數據，并為每條數據設置代表數據特征的標簽；
[0076]隊列單元，用于將采集的數據按時間順序排成隊列；
[0077]訂閱單元，用于產生訂閱者，并根據訂閱者所需的數據建立訂閱規則，訂閱規則包括所需數據的特征；
[0078]篩選單元，用于從隊列中篩選出標簽內容與訂閱規則相符的數據作為結果數據，并將結果數據發給該訂閱者。
[0079]優選的，數據的特征包括網絡類型、設備類型、數據類型中的任意一種或多種。
[0080]優選的，數據分為實時數據和周期性數據;訂閱單元包括緩存;訂閱單元用于將實時數據直接按時間順序加入隊列，以及將周期性數據加入緩存，每隔預定時間將緩存中的周期性數據加入隊列。
[0081]優選的，所述核心網數據管理系統還包括:清洗單元，用于建立包括判斷標準的清洗模型，用清洗模型對結果數據進行篩選，舍棄其中不符合判斷標準的結果數據。
[0082]優選的，清洗模型包括多條判斷標準;清洗單元用于根據每個標準建立一個篩選器，用多個篩選器同步對結果數據進行篩選。
[0083]本實施例的核心網數據管理系統中，是根據每次的需求動態的產生相應的訂閱規貝1J，從而其不需要每次都重新建立模型，速度快、成本低；同時，其數據是隊列形式并具有標簽，故經過簡單的切分、運算即可從隊列中獲取所需數據，其處理的數據量小且是流動的，故所需的運算量小、準確率高。
[0084]可以理解的是，以上實施方式僅僅是為了說明本發明的原理而采用的示例性實施方式，然而本發明并不局限于此。對于本領域內的普通技術人員而言，在不脫離本發明的精神和實質的情況下，可以做出各種變型和改進，這些變型和改進也視為本發明的保護范圍。
【主權項】
1.一種核心網數據管理方法，其特征在于，包括: 采集來自核心網各網元的數據，并為每條數據設置代表數據特征的標簽； 將采集的數據按時間順序排成隊列； 產生訂閱者，并根據訂閱者所需的數據建立訂閱規則，所述訂閱規則包括所需數據的特征； 從所述隊列中篩選出標簽內容與訂閱規則相符的數據作為結果數據，并將所述結果數據發給該訂閱者。2.根據權利要求1所述的核心網數據管理方法，其特征在于， 所述數據的特征包括網絡類型、設備類型、數據類型中的任意一種或多種。3.根據權利要求1所述的核心網數據管理方法，其特征在于， 所述數據分為實時數據和周期性數據； 所述將采集的數據按時間順序排成隊列包括:將所述實時數據直接按時間順序加入隊列;將所述周期性數據加入緩存，每隔預定時間將緩存中的周期性數據加入所述隊列。4.根據權利要求1所述的核心網數據管理方法，其特征在于，在從所述隊列中篩選出標簽內容與訂閱規則相符的數據作為結果數據后，還包括: 建立包括判斷標準的清洗模型，用清洗模型對所述結果數據進行篩選，舍棄其中不符合判斷標準的結果數據。5.根據權利要求4所述的核心網數據管理方法，其特征在于， 所述清洗模型包括多條判斷標準； 所述用清洗模型對結果數據進行篩選包括:根據每個標準建立一個篩選器，用多個所述篩選器同步對所述結果數據進行篩選。6.一種核心網數據管理系統，其特征在于，包括: 采集單元，用于采集來自核心網各網元的數據，并為每條數據設置代表數據特征的標簽； 隊列單元，用于將采集的數據按時間順序排成隊列； 訂閱單元，用于產生訂閱者，并根據訂閱者所需的數據建立訂閱規則，所述訂閱規則包括所需數據的特征； 篩選單元，用于從所述隊列中篩選出標簽內容與訂閱規則相符的數據作為結果數據，并將所述結果數據發給該訂閱者。7.根據權利要求6所述的核心網數據管理系統，其特征在于， 所述數據的特征包括網絡類型、設備類型、數據類型中的任意一種或多種。8.根據權利要求6所述的核心網數據管理系統，其特征在于， 所述數據分為實時數據和周期性數據； 所述訂閱單元包括緩存;所述訂閱單元用于將所述實時數據直接按時間順序加入隊列，以及將所述周期性數據加入緩存，每隔預定時間將緩存中的周期性數據加入所述隊列。9.根據權利要求6所述的核心網數據管理系統，其特征在于，還包括: 清洗單元，用于建立包括判斷標準的清洗模型，用清洗模型對所述結果數據進行篩選，舍棄其中不符合判斷標準的結果數據。10.根據權利要求9所述的核心網數據管理系統，其特征在于， 所述清洗模型包括多條判斷標準； 所述清洗單元用于根據每個標準建立一個篩選器，用多個所述篩選器同步對所述結果數據進行篩選。
【文檔編號】H04L12/863GK105847063SQ201610317470
【公開日】2016年8月10日
【申請日】2016年5月12日
【發明人】彭佳, 張鵬, 楊瑞, 胡尼亞
【申請人】中國聯合網絡通信集團有限公司