一種非集中式集群存儲系統的制作方法
【專利摘要】本發明公開一種非集中式集群存儲系統，該非集中式集群存儲系統包括M個控制器和N個磁盤組，其中M為大于2的正整數，N為大于1的正整數；M等于N+1，或者M等于N；任意相鄰的兩個控制器均與同一個磁盤組鏈接；M個控制器之間通過鏈接實現內部互聯。本發明的所述非集中式集群存儲系統具有開環或閉環結構，其中任意相鄰的兩個控制器均與同一個磁盤組鏈接，在不損失數據的可用性和可靠性的前提下能夠單個節點橫向擴展，同時降低控制器與磁盤組的比例。
【專利說明】
一種非集中式集群存儲系統
技術領域
[0001]本發明涉及云計算技術領域。更具體地，涉及一種非集中式集群存儲系統。
【背景技術】
[0002]隨著云計算和大數據的迅猛發展，為了提供高帶寬、低延遲數據存取訪問和使能存儲空間透明橫向擴展，誕生出了各種各樣的集群存儲。從架構上區分，可以大體上劃分為集中式集群存儲(centralized distributed storage)和非集中式集群存儲(decentrialized distributed storage)兩種。
[0003]其中，非集中式集群存儲，由于沒有集中的中央節點，獲得了較好的擴展性和可用性。
[0004]現有技術中，非集中式集群存儲系統基本上可以分為如下兩種:
[0005](— )完全非共享(share nothing)存儲系統。如圖1所示，完全非共享存儲系統中，所有的節點完全無共享，多個節點之間通過互聯技術，例如以太網絡和IB網絡分布數據，每個節點之間的數據或者為復本關系，或者通過糾刪碼技術保證各個節點之間的數據的可用性和可靠性。目前已經商業化的存儲系統，如EMC ISILON和Scale1就是這種完全非共享存儲系統的典型代表;開源存儲系統，如CEPH和GlusterFS也是這種完全非共享存儲系統的代表。這種完全非共享存儲系統的好處是，所有的存儲節點完全對稱，部署比較靈活。其缺點是，對于標準的工業訪問協議NFS/CIFS/iSCSI等，為了保證數據的可靠性和可用性，要通過內部互聯網絡存取非入口存儲節點來操作數據冗余，這樣會帶來較多的跨內部互聯的操作，從而帶來延遲上的較大損失。
[0006](二)雙控存儲系統。如圖2所示，這種雙控存儲系統包括多個雙控單元，每一個雙控單元包括兩個控制器，且每一個雙控單元的兩個控制器共享一個磁盤組。每一個雙控單元的兩個控制器通過SAS或者光纖共享后端的一個磁盤組，且每一個雙控單元的兩個控制器之間通過內部互聯技術例如以太網絡或IB(Infiniband)網絡分布數據到該雙控單元后端的磁盤組。數據的可靠性通過在后端的磁盤組上的各個硬盤之間編碼例如各種磁盤陣列(RAID-Redundant Arrays of Independent Disks)技術來容忍有限磁盤損毀，在有限磁盤損毀的情況下數據依舊可以恢復出來。數據的可用性通過雙控制器來保證，一旦一個雙控單元中的一個控制器發生故障，由該雙控單元的另一個控制器臨時接管發生故障的控制器向用戶所提供的數據服務。同時，通過控制器的內部互聯，根據策略將數據分布到多個雙控單元。目前已經商業化的存儲系統，如NetAPP ONTAP GX和Xtreme1都是這種雙控存儲系統的典型代表。與完全非共享存儲系統相比，這種雙控存儲系統可以盡可能的降低跨網絡的操作，數據可靠性通過RAID技術保證，可用性通過雙控制器來保證。因而，雙控存儲系統可以盡可能的不跨內部互聯來完成一次數據存取服務。這種雙控存儲系統的缺點是，為了保證數據的可用性，在橫向擴展的時候需要逐個雙控單元擴展，而無法像完全非共享存儲系統那樣逐個橫向擴展。此外，由于兩個控制器共享一個磁盤組，控制器與磁盤組的比例只能為2:1。
[0007]因此，需要提供一種新型的非集中式集群存儲系統，以克服上述兩種非集中式集群存儲系統的缺點。
【發明內容】
[0008]本發明的目的在于提供一種非集中式集群存儲系統。
[0009]為達到上述目的，本發明采用下述技術方案:
[0010]—種非集中式集群存儲系統，該非集中式集群存儲系統包括M個控制器和N個磁盤組，其中M為大于2的正整數，N為大于I的正整數；
[0011]M等于N+1，或者M等于N;
[0012]任意相鄰的兩個控制器均與同一個磁盤組鏈接；
[0013]M個控制器之間通過鏈接實現內部互聯。
[0014]優選地，M等于N+1，所述非集中式集群存儲系統具有開環結構。
[0015]進一步優選地，任意相鄰的兩個控制器向用戶提供的服務互為高可靠備份，當其中一個控制器出現故障時，按照開環向前或開環向后的策略由與之相鄰的另一個控制器接管其向用戶提供的服務。
[0016]優選地，M等于N，所述非集中式集群存儲系統具有閉環結構。
[0017]進一步優選地，所述非集中式集群存儲系統將所有的節點納入一個環，或者所述非集中式集群存儲系統包括多個子環，且任意兩個子環之間通過內部互聯分布數據。
[0018]進一步優選地，任意相鄰的兩個控制器向用戶提供的服務互為高可靠備份，當其中一個控制器出現故障時，按照閉環順時針方向或閉環逆時針方向的策略由與之相鄰的另一個控制器接管其向用戶提供的服務。
[0019]進一步優選地，當所述非集中式集群存儲系統處于工作狀態時，數據通過哈希策略、分布式哈希策略或一致性哈希策略分布在任意相鄰的兩個控制器共享的磁盤組中。
[0020]進一步優選地，所述控制器擴展的粒度為任意個數的控制器。
[0021 ]優選地，所述磁盤組來自于磁盤擴展模組或集聯的多個磁盤擴展模組。
[0022]優選地，實現所述M個控制器之間內部互聯的方式包括:將所述M個控制器鏈接至同一個交換機，或者將所述M個控制器鏈接至同一個節點，或者直接將所述M個控制器兩兩鏈接。
[0023]進一步優選地，利用以太網絡、IB網絡、PCIE網絡或FC網絡實現所述M個控制器之間的內部互聯。
[0024]—種非集中式集群存儲系統，該非集中式集群存儲系統為由上述的分布式集群存儲系統組成的組。
[0025]本發明的有益效果如下:
[0026]與現有技術的非集中式集群存儲系統相比，本發明的所述非集中式集群存儲系統具有開環或閉環結構，其中任意相鄰的兩個控制器均與同一個磁盤組鏈接，在不損失數據的可用性和可靠性的前提下能夠單個節點橫向擴展，同時降低控制器與磁盤組的比例。
【附圖說明】
[0027]下面結合附圖對本發明的【具體實施方式】作進一步詳細的說明。
[0028]圖1為現有技術的完全非共孚存儲系統的不意圖。
[0029]圖2為現有技術的雙控存儲系統的示意圖。
[0030]圖3為本發明實施例1提供的具有開環結構的非集中式集群存儲系統的示意圖，其中 M=3，且 N=2。
[0031]圖4為本發明實施例3提供的具有閉環結構的非集中式集群存儲系統的示意圖，其中 M=4，且 N=4。
[0032]圖5為本發明實施例4提供的具有閉環結構的非集中式集群存儲系統的示意圖。
【具體實施方式】
[0033]為了更清楚地說明本發明，下面結合優選實施例和附圖對本發明做進一步的說明。附圖中相似的部件以相同的附圖標記進行表示。本領域技術人員應當理解，下面所具體描述的內容是說明性的而非限制性的，不應以此限制本發明的保護范圍。
[0034]實施例1:
[0035]如圖3所示，本實施例提供的非集中式集群存儲系統為開環結構，其包括例如3個控制器和2個磁盤組，S卩M = 3，N = 2。其中，任意相鄰的兩個控制器均與同一個磁盤組鏈接，即任意相鄰的兩個控制器共享同一個磁盤組。
[0036]例如，1#控制器與2#控制器相鄰，1#控制器和2#控制器均與1#磁盤組鏈接，S卩1#控制器和2#控制器共享1#磁盤組;2#控制器與3#控制器相鄰，2#控制器和3#控制器均與2#磁盤組鏈接，即2#控制器和3#控制器共享2柿茲盤組。
[0037]3個控制器之間通過鏈接實現內部互聯。在本實施例的一種優選實施方式中，實現3個控制器之間內部互聯的方式包括:將3個控制器鏈接至同一個交換機，或者將3個控制器鏈接至同一個節點，或者直接將3個控制器兩兩鏈接。除此之外，本領域技術人員很容易理解，可以采用現有技術的任意方式來實現3個控制器之間內部互聯。在本實施例的一種優選實施方式中，利用以太網絡、IB網絡、PCIE網絡或FC網絡實現3個控制器之間內部互聯。
[0038]任意相鄰的兩個控制器向用戶提供的服務互為高可靠備份，當其中一個控制器出現故障時，按照開環向前或開環向后的策略由與之相鄰的另一個控制器接管其向用戶提供的服務。例如，1#控制器和2#控制器相鄰向用戶提供的服務互為高可靠備份，當1#控制器出現故障時，按照開環向前的策略由與1#控制器相鄰的2#控制器接管1#控制器向用戶提供的服務。
[0039]當所述非集中式集群存儲系統處于工作狀態時，數據通過哈希策略、分布式哈希策略或一致性哈希策略分布在任意相鄰的兩個控制器共享的磁盤組中。
[0040]在本實施例的一種優選實施方式中，磁盤組來自于磁盤擴展模組(JBOD)或集聯的多個磁盤擴展模組。當利用所述非集中式集群存儲系統進行數據冗余編碼時，參與數據冗余編碼的磁盤可以是與一個控制器鏈接的單一磁盤擴展模組，參與數據冗余編碼的磁盤也可以是與一個控制器鏈接的不同磁盤擴展模組。數據冗余策略為任意RAID級別或者糾刪碼編碼。
[0041]對于本實施例的所述非集中式集群存儲系統，控制器擴展的粒度為任意個數的控制器，即控制器擴展的粒度可以為奇數個控制器，也可以為偶數個控制器。這一點明顯優于現有技術的雙控存儲系統。
[0042]本實施例以3個控制器和2個磁盤組為例介紹具有開環結構的非集中式集群存儲系統，本領域技術人員可以理解，可以根據需要設置具有開環結構的非集中式集群存儲系統所包括的控制器和磁盤組的個數。
[0043]實施例2:
[0044]本實施例提供的非集中式集群存儲系統為由如實施例1所述的分布式集群存儲系統組成的組(圖中未示出)。
[0045]實施例3:
[0046]如圖4所示，本實施例提供的非集中式集群存儲系統為閉環結構，其包括例如4個控制器和4個磁盤組，S卩M=4，N=4。其中，4個控制器鏈接構成一個閉環，任意相鄰的兩個控制器均與同一個磁盤組鏈接，即任意相鄰的兩個控制器共享同一個磁盤組。
[0047]例如，1#控制器、2#控制器、3#控制器和4#控制器鏈接構成一個閉環，1#控制器與2#控制器相鄰，1#控制器和2#控制器均與1#磁盤組鏈接，即1#控制器和2#控制器共享1#磁盤組;2#控制器與3#控制器相鄰，2#控制器和3#控制器均與2柿茲盤組鏈接，S卩2#控制器和3#控制器共享2#磁盤組;3#控制器與4#控制器相鄰，3#控制器和4#控制器均與3柿茲盤組鏈接，即3#控制器和4#控制器共享3#磁盤組;4#控制器與1#控制器相鄰，4#控制器和1#控制器均與4#磁盤組鏈接，S卩4#控制器和1#控制器共享4柿茲盤組。
[0048]4個控制器之間通過鏈接實現內部互聯。在本實施例的一種優選實施方式中，實現4個控制器之間內部互聯的方式包括:將4個控制器鏈接至同一個交換機，或者將4個控制器鏈接至同一個節點，或者直接將4個控制器兩兩鏈接。除此之外，本領域技術人員很容易理解，可以采用現有技術的任意方式來實現4個控制器之間內部互聯。在本實施例的一種優選實施方式中，利用以太網絡、IB網絡、PCIE網絡或FC網絡實現4個控制器之間內部互聯。
[0049]任意相鄰的兩個控制器向用戶提供的服務互為高可靠備份，當其中一個控制器出現故障時，按照閉環順時針方向或閉環逆時針方向的策略由與之相鄰的另一個控制器接管其向用戶提供的服務。例如，1#控制器和2#控制器相鄰向用戶提供的服務互為高可靠備份，當1#控制器出現故障時，按照閉環順時針方向的策略由與1#控制器相鄰的2#控制器接管1#控制器向用戶提供的服務。
[0050]當所述非集中式集群存儲系統處于工作狀態時，數據通過哈希策略、分布式哈希策略或一致性哈希策略分布在任意相鄰的兩個控制器共享的磁盤組中。
[0051 ]在本實施例的一種優選實施方式中，磁盤組來自于磁盤擴展模組(JBOD)或集聯的多個磁盤擴展模組。當利用所述非集中式集群存儲系統進行數據冗余編碼時，參與數據冗余編碼的磁盤可以是與一個控制器鏈接的單一磁盤擴展模組，參與數據冗余編碼的磁盤也可以是與一個控制器鏈接的不同磁盤擴展模組。數據冗余策略為任意RAID級別或者糾刪碼編碼。
[0052]對于本實施例的所述非集中式集群存儲系統，控制器擴展的粒度為任意個數的控制器，即控制器擴展的粒度可以為奇數個控制器，也可以為偶數個控制器。這一點明顯優于現有技術的基于雙控的非集中式集群存儲系統。
[0053]本實施例以4個控制器和4個磁盤組為例介紹具有閉環結構的非集中式集群存儲系統，本領域技術人員可以理解，可以根據需要設置具有閉環結構的非集中式集群存儲系統所包括的控制器和磁盤組的個數。
[0054]實施例4:
[0055]如圖5所示，本實施例提供的非集中式集群存儲系統為由實施例3所述的非集中式集群存儲系統組成的組。換言之，本實施例提供的非集中式集群存儲系統為實施例3所述的非集中式集群存儲系統的橫向擴展(Scale-out)。
[0056]如圖5所示，本實施例提供的非集中式集群存儲系統為由4個如實施例3所述的非集中式集群存儲系統組成的組，其中每一個如實施例3所述的非集中式集群存儲系統構成一個子環。
[0057]本實施例的具有閉環結構的非集中式集群存儲系統包括4個子環，本領域技術人員可以理解，可以根據需要設置具有閉環結構的非集中式集群存儲系統所包括的子環的個數。
[0058]顯然，本發明的上述實施例僅僅是為清楚地說明本發明所作的舉例，而并非是對本發明的實施方式的限定，對于所屬領域的普通技術人員來說，在上述說明的基礎上還可以做出其它不同形式的變化或變動，這里無法對所有的實施方式予以窮舉，凡是屬于本發明的技術方案所引伸出的顯而易見的變化或變動仍處于本發明的保護范圍之列。
【主權項】
1.一種非集中式集群存儲系統，其特征在于，該非集中式集群存儲系統包括M個控制器和N個磁盤組，其中M為大于2的正整數，N為大于I的正整數； M等于N+1，或者M等于N; 任意相鄰的兩個控制器均與同一個磁盤組鏈接； M個控制器之間通過鏈接實現內部互聯。2.根據權利要求1所述的非集中式集群存儲系統，其特征在于，M等于N+1，所述非集中式集群存儲系統具有開環結構。3.根據權利要求2所述的非集中式集群存儲系統，其特征在于，任意相鄰的兩個控制器向用戶提供的服務互為高可靠備份，當其中一個控制器出現故障時，按照開環向前或開環向后的策略由與之相鄰的另一個控制器接管其向用戶提供的服務。4.根據權利要求1所述的非集中式集群存儲系統，其特征在于，M等于N，所述非集中式集群存儲系統具有閉環結構。5.根據權利要求3所述的非集中式集群存儲系統，其特征在于，所述非集中式集群存儲系統將所有的節點納入一個環，或者所述非集中式集群存儲系統包括多個子環，且任意兩個子環之間通過內部互聯分布數據。6.根據權利要求3所述的非集中式集群存儲系統，其特征在于，任意相鄰的兩個控制器向用戶提供的服務互為高可靠備份，當其中一個控制器出現故障時，按照閉環順時針方向或閉環逆時針方向的策略由與之相鄰的另一個控制器接管其向用戶提供的服務。7.根據權利要求2-6中任一項所述的非集中式集群存儲系統，其特征在于，當所述非集中式集群存儲系統處于工作狀態時，數據通過哈希策略、分布式哈希策略或一致性哈希策略分布在任意相鄰的兩個控制器共享的磁盤組中。8.根據權利要求2-6中任一項所述的非集中式集群存儲系統，其特征在于，所述控制器擴展的粒度為任意個數的控制器。9.根據權利要求1所述的非集中式集群存儲系統，其特征在于，所述磁盤組來自于磁盤擴展模組或集聯的多個磁盤擴展模組。10.根據權利要求1所述的非集中式集群存儲系統，其特征在于，實現所述M個控制器之間內部互聯的方式包括:將所述M個控制器鏈接至同一個交換機，或者將所述M個控制器鏈接至同一個節點，或者直接將所述M個控制器兩兩鏈接。11.根據權利要求10所述的非集中式集群存儲系統，其特征在于，利用以太網絡、IB網絡、PCIE網絡或FC網絡實現所述M個控制器之間的內部互聯。12.—種非集中式集群存儲系統，其特征在于，該非集中式集群存儲系統為由如權利要求1-11中任一項所述的分布式集群存儲系統組成的組。
【文檔編號】G06F3/06GK106055276SQ201610354120
【公開日】2016年10月26日
【申請日】2016年5月25日
【發明人】吳江, 李焱
【申請人】極道科技（北京）有限公司