基于網省地統一調度的多級負載均衡及服務器角色切換方法
【專利摘要】本發明公開了一種基于網省地統一調度多級負載均衡及服務器角色切換方法，它采用中心管理服務器來管理整個云存儲文件系統，所有元數據均保存在元數據服務器上，文件被按塊劃分存儲在不同的數據節點上；元數據維護了統一的命名空間，同時掌握整個系統內數據節點的使用情況，元數據服務器根據數據節點的磁盤使用情況、網絡負擔情況，自動調節集群的負載狀態，數據節點內同時有提供磁盤級的負載均衡，根據磁盤的IO負載、空間容量情況，自動選擇負載最輕的磁盤存儲新的數據文件；本發明通過系統配置實現動態調度，實現基于網、省、地三級流媒體統一調度，實現多級負載均衡及服務器角色切換等智能調度。
【專利說明】
基于網省地統一調度的多級負載均衡及服務器角色切換方法
技術領域
[0001]本發明涉及變電站數據處理，具體來說涉及一種基于網省地三級流媒體統一調度的多級負載均衡及服務器角色切換方法。
【背景技術】
[0002]隨著變電站視頻及環境監控系統建設的升級，視頻監控高清化開始普及，視頻圖像信息的深度應用成為行業的趨勢，如何有效存儲和高效使用海量監控數據也成為了新的課題。傳統大型監控系統主要采用以下兩種模式來實現數據存儲與使用:存儲服務器+IPSAN;NVR為代表的嵌入式存儲設備。這兩種方式都存在擴展困難、可靠性低和數據無法充分共享等弱點。隨著網絡視頻監控規模的不斷擴大，為了提升系統的整體性能與服務質量，防止單點瓶頸的發生，需要將集群與負載均衡技術應用到視頻監控系統，做到地區、省、網三級級聯同時兼顧視頻監控系統特點、碼流的實時性與數據量大的特點。
【發明內容】
[0003]本發明所要解決的技術問題，就是提供一種基于網省地統一調度多級負載均衡及服務器角色切換方法，實現基于網、省、地三級流媒體統一調度，實現多級負載均衡及服務器角色切換的智能調度。
[0004]本發明的目的可通過以下的技術措施來實現:
[0005]—種基于網省地統一調度的多級負載均衡及服務器角色切換方法，包括如下內容:
[0006]采用中心管理服務器來管理整個云存儲文件系統，所有元數據均保存在元數據服務器上，文件被按塊劃分存儲在不同的數據節點上;元數據維護了統一的命名空間，同時掌握整個系統內數據節點的使用情況；當客戶端向元數據服務器發送數據讀寫的請求時，元數據服務器根據數據節點的磁盤使用情況、網絡負擔情況，選擇負擔最輕的節點服務器對外提供服務，自動調節集群的負載狀態;數據節點內同時有提供磁盤級的負載均衡，根據磁盤的1負載、空間容量情況，自動選擇負載最輕的磁盤存儲新的數據文件；當有一個數據節點因為機器故障或者其他原因造成離線時，元數據服務器將此機器自動屏蔽掉，不再將此數據節點提供給客戶端使用，同時存儲在此數據節點上的數據自動恢復到其他可用的節點服務器上，自動屏蔽數據單節點故障對系統的影響;將數據節點上的硬盤拔出，插入到其他數據節點，從而對故障的數據節點上的數據快速恢復，這樣既減少集群對數據恢復的壓力又不對客戶端讀寫產生影響。
[0007]本發明方法中，采用高速并發訪問技術，通過多進程、多線程并行執行，在大規模的數據處理中采用異步并發技術，避免信令交互及數據傳輸的等待，提高信令交互與數據傳輸的效率;在并發過程中防止沖突，需要考慮原子操作與并發控制，在多級級聯系統中，信令的觸發可以在地區、省、網任意一級，同時各級又多客戶端操作，確保各級客戶端各功能的高速并發操作。
[0008]本發明方法中，采用統一命名空間管理，整體對外提供一個訪問IP，簡化了與業務系統的接口，保證了系統使用的簡易性；同時，存儲的擴展僅限存儲內部，不會影響到系統與業務系統的接口，保證了存儲空間內數據的高共享能力。
[0009]有益效果:與現有技術相比，本發明采用業界領先的云存儲架構思想，在系統架構和設計上，充分考慮大規模集群環境下軟硬件發生故障的現實，采用先進的管理思想和軟件系統，實現對大量普通存儲服務器存儲空間資源進行虛擬化整合，實現軟硬件故障高度容錯，搭建高度穩定可靠的存儲集群。本發明將控制流與數據流分離，以及充分優化元數據節點控制系統，使得系統具備極高的性能和良好的線性擴展能力。系統整體為應用提供統一命名空間，使得系統具備極好的數據共享能力。系統將負載均衡到集群內的各節點上，充分利用集群各節點性能，以獲得很好的性能聚合能力以及保證了系統的穩定。集群采用高度靈活自組網技術，提供簡易部署和維護功能。系統在數據可靠方面，采用智能冗余重建技術，保證較高磁盤利用率的前提下，提供最佳冗余策略。另外，系統在節點軟硬件故障容錯方面，也進行充分考慮，具備屏蔽所有可屏蔽錯誤能力。本發明針對南網現狀研發網/省/地三級平臺不同廠商流媒體服務的標準化注冊式集群服務，確保集群服務軟件的標準化程度。通過系統配置實現動態調度，實現基于網、省、地三級流媒體統一調度，實現多級負載均衡及服務器角色切換等智能調度。
【附圖說明】
[0010]圖1是本發明的多級級聯業務組網圖。
【具體實施方式】
[0011]下面結合附圖和【具體實施方式】對本發明作進一步的說明。
[0012]本發明提供一種基于網省地統一調度的多級負載均衡及服務器角色切換方法，采用中心服務器來管理整個云存儲文件系統，所有元數據均保存在元數據服務器上，文件則被按塊劃分存儲在不同的數據節點上。元數據維護了統一的命名空間，同時掌握整個系統內數據節點的使用情況，當客戶端向元數據服務器發送數據讀寫的請求時，元數據服務器根據數據節點的磁盤使用情況、網絡負擔等情況，選擇負擔最輕的節點服務器對外提供服務，自動調節集群的負載狀態。數據節點內同時有提供磁盤級的負載均衡，根據磁盤的1負載，空間容量等情況，自動選擇負載最輕的磁盤存儲新的數據文件。當有一個數據節點因為機器故障或者其他原因造成離線時，元數據服務器會將此機器自動屏蔽掉，不再將此數據節點提供給客戶端使用，同時存儲在此數據節點上的數據也會自動恢復到其他可用的節點服務器上，自動屏蔽數據單節點故障對系統的影響。另外對故障的數據節點上的數據快速恢復，只需將數據節點上的硬盤拔出，插入到其他數據節點，這樣既減少集群對數據恢復的壓力，又不對客戶端讀寫產生影響。
[0013]通過多進程、多線程并行執行。在大規模的數據處理中采用異步并發技術，避免信令交互及數據傳輸的等待，提高信令交互與數據傳輸的效率。在并發過程中防止沖突，需要考慮原子操作與并發控制。在多級級聯系統中，信令的觸發可以在地區、省、網任意一級，同時各級又多客戶端操作，確保各級客戶端各功能的高速并發操作。
[0014]統一命名空間管理是分布式文件系統的一個重要功能，只有提供統一命名空間管理，才能將集群的眾多信息、狀態屏蔽在集群內，保證系統使用的簡易性、可擴展性、高可共享能力。一個具備一定規模的存儲集群，隨時都可能發生磁盤、存儲服務器硬件等方面的故障，統一命名空間管理功能實現了將整個集群統一視圖功能，整體對外提供一個訪問IP，簡化了與業務系統的接口，保證了系統使用的簡易性。同時，存儲的擴展僅限存儲內部，而不會影響到系統與業務系統的接口，也保證了存儲空間內數據的高共享能力。
[0015]如圖1所示，各業務服務器分布式安裝，各業務服務器功能描述如下:平臺服務:
[0016]I)中心管理服務器:業務管理服務器，系統的核心業務服務器。負責處理監控的業務邏輯，進行權限等控制。根據業務邏輯需要，發送命令給DMS、MTS等服務器進行處理。系統的容錯、負載均衡、動態集群等都在CMS上實現。
[0017]2)流媒體服務器:負責從設備獲取視音頻數據，以標準流媒體協議轉發給客戶端。實現媒體數據的一對多、多對多轉發/分發。
[0018]3)級聯服務器:用于變電站視頻及環境監控系統地區主站系統整合及數據采集。
[0019]4)設備管理服務器:負責進行設備管理，向設備執行查詢配置命令，向設備發送操作命令，收集設備網管信息，收集報警信息并執行報警聯動策略。
[0020]站端服務:
[0021]I)視頻質量診斷服務器:通過后端智能視頻分析管理，根據平臺配置的輪巡計劃、任務和方案，對前端視頻設備進行輪巡檢測分析，對視頻的清晰度、亮度、對比度、顏色、運動、噪聲、相似度等進行量化，并對出現的視頻模糊、視頻抖動運動、噪聲過大、條紋干擾、視頻丟失、視頻凍結、視頻遮擋和場景變化等異常現象進行報警統計。
[0022]2)視頻濃縮服務器:針對南網視頻架構開展基于內容摘要提取技術的歷史視頻精簡算法研究，實現針對濃縮錄像的解碼、檢索、標識，并實現濃縮錄像的分類編目。研究靈活的視頻錄像存儲/迀移策略，實現根據實際情況自定義文件存儲/迀移策略。
[0023]本發明的實施方式不限于此，在本發明上述基本技術思想前提下，按照本領域的普通技術知識和慣用手段對本
【發明內容】
所做出其它多種形式的修改、替換或變更，均落在本發明權利保護范圍之內。
【主權項】
1.一種基于網省地統一調度的多級負載均衡及服務器角色切換方法，其特征在于包括如下內容: 采用中心管理服務器來管理整個云存儲文件系統，所有元數據均保存在元數據服務器上，文件被按塊劃分存儲在不同的數據節點上;元數據維護了統一的命名空間，同時掌握整個系統內數據節點的使用情況；當客戶端向元數據服務器發送數據讀寫的請求時，元數據服務器根據數據節點的磁盤使用情況、網絡負擔情況，選擇負擔最輕的節點服務器對外提供服務，自動調節集群的負載狀態;數據節點內同時有提供磁盤級的負載均衡，根據磁盤的1負載、空間容量情況，自動選擇負載最輕的磁盤存儲新的數據文件；當有一個數據節點因為機器故障或者其他原因造成離線時，元數據服務器將此機器自動屏蔽掉，不再將此數據節點提供給客戶端使用，同時存儲在此數據節點上的數據自動恢復到其他可用的節點服務器上，自動屏蔽數據單節點故障對系統的影響;將數據節點上的硬盤拔出，插入到其他數據節點，從而對故障的數據節點上的數據快速恢復，這樣既減少集群對數據恢復的壓力又不對客戶端讀寫產生影響。2.根據權利要求1所述的方法，其特征在于:采用高速并發訪問技術，通過多進程、多線程并行執行，在大規模的數據處理中采用異步并發技術。3.根據權利要求1所述的方法，其特征在于:采用統一命名空間管理，整體對外提供一個訪問IP。
【文檔編號】H04L29/08GK105939387SQ201610478493
【公開日】2016年9月14日
【申請日】2016年6月23日
【發明人】樊騰飛, 李金 , 陶文偉, 張喜銘, 何錫祺, 趙旋宇, 胡榮
【申請人】中國南方電網有限責任公司