基于局域網(wǎng)的分布式文件系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種解決計(jì)算機(jī)文件實(shí)現(xiàn)分布式存儲的文件系統(tǒng)，尤其是一種沒有Master節(jié)點(diǎn)、所有計(jì)算機(jī)處于平等地位的分布式文件系統(tǒng)，該系統(tǒng)基于局域網(wǎng)組播、TCP技術(shù)實(shí)現(xiàn)通信，基于虛擬磁盤技術(shù)實(shí)現(xiàn)對單一電腦跨分區(qū)文件存儲功能。
【背景技術(shù)】
[0002]目前，常見的分布式存儲技術(shù)均采用Master-Slaves結(jié)構(gòu)來解決分布式存儲的數(shù)據(jù)同步問題，由Master節(jié)點(diǎn)統(tǒng)一管理數(shù)據(jù)索引信息。但是，一旦Master節(jié)點(diǎn)出現(xiàn)問題，整個(gè)分布式系統(tǒng)就會癱瘓，造成重大損失。
[0003]再者，隨著計(jì)算機(jī)技術(shù)飛速發(fā)展，計(jì)算機(jī)面臨大數(shù)據(jù)存儲問題，直接的解決方法就是購買更大容量的磁盤，但這不能根本性解決大數(shù)據(jù)問題，存儲容量很快就會達(dá)到新的瓶頸。而在一個(gè)局域網(wǎng)范圍內(nèi)，絕大部分計(jì)算機(jī)仍余留存儲空間，雖然總的剩余空間足夠存儲某一大小的文件，但單一計(jì)算機(jī)無法實(shí)現(xiàn)，這就造成存儲資源的浪費(fèi)。
[0004]在單一計(jì)算機(jī)上，各分區(qū)剩余空間不盡相同，當(dāng)總剩余空間足以存放某一大小的文件，但單一分區(qū)無法實(shí)現(xiàn)，這也造成存儲資源的浪費(fèi)。
【發(fā)明內(nèi)容】
[0005]為了克服現(xiàn)有文件系統(tǒng)無法實(shí)現(xiàn)跨分區(qū)存儲數(shù)據(jù)，局域網(wǎng)內(nèi)計(jì)算機(jī)不能方便的共享磁盤空間，造成存儲資源浪費(fèi)的不足，本發(fā)明提供了一種文件系統(tǒng)，該文件系統(tǒng)不僅能將各分區(qū)剩余空間統(tǒng)一進(jìn)行管理，還能對局域網(wǎng)內(nèi)計(jì)算機(jī)剩余存儲空間進(jìn)行統(tǒng)一管理。
[0006]本發(fā)明解決其技術(shù)問題采用的技術(shù)方案是:在操作系統(tǒng)驅(qū)動層，通過虛擬出一個(gè)磁盤分區(qū)，用戶層程序發(fā)往虛擬磁盤分區(qū)的數(shù)據(jù)，被自動分流到各個(gè)真實(shí)物理磁盤分區(qū)，用戶層無需知道數(shù)據(jù)被存放的具體物理磁盤位置，從而實(shí)現(xiàn)對單一計(jì)算機(jī)剩余磁盤空間的統(tǒng)一管理。在一個(gè)局域網(wǎng)內(nèi)，在安裝有該文件系統(tǒng)的計(jì)算機(jī)之間，當(dāng)某一臺計(jì)算機(jī)上的程序往虛擬磁盤以數(shù)據(jù)流的方式寫入數(shù)據(jù)時(shí)，數(shù)據(jù)被自動分塊并隨機(jī)發(fā)往任一計(jì)算機(jī)進(jìn)行存儲。其中，采用了組播技術(shù)發(fā)起詢問各計(jì)算機(jī)剩余磁盤空間請求，其它計(jì)算機(jī)將會收到該請求，并分別檢索各自虛擬磁盤中是否有所請求的文件的分塊，并用TCP技術(shù)反饋消息，因此各臺計(jì)算機(jī)處于平等地位，而不是傳統(tǒng)的Master-Slaves結(jié)構(gòu)。同時(shí)，用戶可以自定義分塊的備份數(shù)，相同的分塊數(shù)據(jù)存放在不同計(jì)算機(jī)上，當(dāng)存放有某一分塊數(shù)據(jù)的計(jì)算機(jī)因故停止運(yùn)行，用戶仍然能從其它計(jì)算機(jī)獲取到同一分塊的數(shù)據(jù)備份，從而大大提高系統(tǒng)穩(wěn)定性。
[0007]本發(fā)明的效果是，用戶層程序?qū)μ摂M磁盤的數(shù)據(jù)操作可以被自動重定向到局域網(wǎng)內(nèi)任意可用磁盤空間中，而在用戶層程序看來，只是對某一磁盤分區(qū)的數(shù)據(jù)讀寫操作，從而給用戶層程序帶來極大便利，無需文件系統(tǒng)提供額外操作接口，即可實(shí)現(xiàn)對整個(gè)局域網(wǎng)內(nèi)剩余磁盤空間的充分利用，從而提高資源利用率，大大降低存儲成本，還能提高數(shù)據(jù)存儲安全穩(wěn)定性。
【附圖說明】
[0008]下面附圖對整個(gè)文件系統(tǒng)的架構(gòu)作進(jìn)一步說明。
[0009]圖1是本發(fā)明的單機(jī)架構(gòu)圖。
[0010]圖2是本發(fā)明的局域網(wǎng)架構(gòu)圖。
[0011]圖3是本發(fā)明的一個(gè)數(shù)據(jù)讀寫結(jié)構(gòu)圖。
[0012]圖4是本發(fā)明的一個(gè)數(shù)據(jù)流分塊模型。
【具體實(shí)施方式】
[0013]在圖1中，展示了本發(fā)明的單機(jī)架構(gòu)圖。操作系統(tǒng)上程序可以分為兩類，一類是內(nèi)核模式下運(yùn)行的程序，如:驅(qū)動程序，另一類是用戶模式下運(yùn)行的程序，如:瀏覽器。本發(fā)明的程序既有運(yùn)行在用戶模式下的程序，又有內(nèi)核模式下運(yùn)行的程序。內(nèi)核模式下的程序其一是虛擬磁盤，它負(fù)責(zé)統(tǒng)一管理各個(gè)分區(qū)的共享空間，大小可以由用戶設(shè)定。內(nèi)核模式下的程序其二是DFAT (Distributed File Allocat1n Table)文件系統(tǒng),它負(fù)責(zé)維護(hù)虛擬磁盤上的數(shù)據(jù)結(jié)構(gòu)，為用戶層程序提供訪問接口。用戶模式下的程序其一是配置器，負(fù)責(zé)配置虛擬磁盤的相關(guān)運(yùn)行參數(shù)，查看和控制系統(tǒng)的運(yùn)行狀態(tài)。用戶模式下的程序其二是后臺服務(wù)端程序，負(fù)責(zé)處理DFAT發(fā)來的數(shù)據(jù)請求，并將該請求發(fā)往局域網(wǎng)內(nèi)其它計(jì)算機(jī)，最后將處理結(jié)果反饋給DFAT文件系統(tǒng)。
[0014]當(dāng)用戶層某一應(yīng)用程序向虛擬磁盤發(fā)起數(shù)據(jù)讀寫請求，該請求先經(jīng)過DFAT進(jìn)行處理，DFAT再對虛擬磁盤進(jìn)行讀寫操作，虛擬磁盤將讀寫操作下發(fā)到真實(shí)的物理磁盤分區(qū)，然后把處理結(jié)果反饋給DFAT文件系統(tǒng)，若返回的處理結(jié)果需要在經(jīng)過其它計(jì)算機(jī)處理，則DFAT在將請求發(fā)往上層的后臺服務(wù)端程序處理，最后DFAT再把處理結(jié)果反饋給用戶層的程序，從而完成數(shù)據(jù)讀寫操作。
[0015]在圖2中，展示了本發(fā)明的局域網(wǎng)架構(gòu)。假設(shè)局域網(wǎng)內(nèi)有四臺計(jì)算機(jī)安裝了本發(fā)明的DFAT文件系統(tǒng)，各自共享了 80M的剩余磁盤空間，則整個(gè)局域網(wǎng)擁有80*4=320M的共享磁盤空間，則可以存放單文件大小為320M的文件，每臺計(jì)算機(jī)只存儲文件的一部分。
[0016]在圖3中，展示了一個(gè)用戶層程序讀數(shù)據(jù)的過程，該程序在計(jì)算機(jī)A上經(jīng)過DFAT對虛擬磁盤發(fā)起了讀請求，DFAT將該請求轉(zhuǎn)發(fā)給計(jì)算機(jī)A上的后臺服務(wù)端程序，臺服務(wù)端程序發(fā)起組播查詢，B、C、D三臺計(jì)算機(jī)都將收到查詢請求，并對本機(jī)的虛擬磁盤進(jìn)行查詢，其中計(jì)算機(jī)B發(fā)現(xiàn)本機(jī)存在所請求的讀寫數(shù)據(jù)分塊，則直接與計(jì)算機(jī)A建立TCP連接，并將數(shù)據(jù)發(fā)往A。計(jì)算機(jī)C、D查詢本機(jī)的虛擬磁盤文件信息后發(fā)現(xiàn)沒有所請求的分塊數(shù)據(jù)，則不予反饋消息。計(jì)算機(jī)A上的后臺服務(wù)端程序收到發(fā)自計(jì)算機(jī)B的數(shù)據(jù)后轉(zhuǎn)發(fā)給DFAT文件系統(tǒng)，最后轉(zhuǎn)發(fā)給用戶層程序，完成本次數(shù)據(jù)讀過程。
[0017]數(shù)據(jù)寫操作與數(shù)據(jù)讀操作類似，用戶層程序在計(jì)算機(jī)A上發(fā)起數(shù)據(jù)寫操作，DFAT文件系統(tǒng)收到該請求后，將其轉(zhuǎn)發(fā)給后臺服務(wù)端程序，后臺服務(wù)端程序先以組播方式詢問其它計(jì)算機(jī)是否有足夠大小空間存放指定大小的分塊數(shù)據(jù)，收到該請求的計(jì)算機(jī)經(jīng)過判斷，若剩余空間符合請求，則以TCP連接方式反饋一個(gè)消息給計(jì)算機(jī)A上的后臺服務(wù)端程序，隨后A上的后臺服務(wù)端程序根據(jù)反饋得到的計(jì)算機(jī)消息，隨機(jī)選擇預(yù)先設(shè)置的計(jì)算機(jī)臺數(shù)的計(jì)算機(jī)，并用TCP連接方式將數(shù)據(jù)發(fā)送出去。后臺服務(wù)端程序再將處理結(jié)果反饋給DFAT文件系統(tǒng)，DFAT文件系統(tǒng)在把結(jié)果反饋給用戶層程序，從而完成寫過程。
[0018]在圖4中，展示了一個(gè)用戶層程序往計(jì)算機(jī)A以數(shù)據(jù)流方式寫入數(shù)據(jù)的數(shù)據(jù)分塊過程。首先本發(fā)明對數(shù)據(jù)流進(jìn)行了人為的邊界指定，數(shù)據(jù)流是某一個(gè)文件的一部分，文件的起始位置定義為邊界1，此外分塊大小的整數(shù)倍數(shù)字偏移量皆是邊界。如當(dāng)設(shè)置分塊大小為2MB，則邊界2為2MB、邊界3為4MB、邊界4為6MB，以此類推。計(jì)算機(jī)A上的DFAT文件系統(tǒng)在處理數(shù)據(jù)流時(shí)，先判斷當(dāng)前數(shù)據(jù)小塊所屬的數(shù)據(jù)分塊，數(shù)據(jù)小塊定義為數(shù)據(jù)分塊的一部分，數(shù)據(jù)分塊由很多個(gè)數(shù)據(jù)小塊組成。數(shù)據(jù)小塊的大小定義為緩存塊大小，為固定值4096B。
[0019]計(jì)算機(jī)A上的DFAT文件系統(tǒng)收到數(shù)據(jù)流讀寫請求后，依數(shù)據(jù)發(fā)來的先后次序處理數(shù)據(jù)流，每獲取達(dá)到一個(gè)數(shù)據(jù)小塊大小的數(shù)據(jù)后，DFAT文件系統(tǒng)將該數(shù)據(jù)小塊數(shù)據(jù)轉(zhuǎn)發(fā)給后臺服務(wù)端程序處理，若數(shù)據(jù)流大小小于數(shù)據(jù)小塊大小，則DFAT文件系統(tǒng)自動補(bǔ)足剩余部分并記錄原始數(shù)據(jù)流大小。隨后，計(jì)算機(jī)A上的后臺服務(wù)端程序發(fā)起組播查詢請求并判斷當(dāng)前數(shù)據(jù)小塊所屬的數(shù)據(jù)分塊是否已經(jīng)在某一計(jì)算機(jī)上存在，其它計(jì)算機(jī)收到請求后檢索各自虛擬磁盤數(shù)據(jù)，并以TCP連接反饋檢索結(jié)果。若反饋的結(jié)果為存在，則計(jì)算機(jī)A直接將該數(shù)據(jù)小塊發(fā)往反饋結(jié)果為存在的計(jì)算機(jī)，若反饋結(jié)果為都不存在，則計(jì)算機(jī)A通過隨機(jī)算法，任意選擇一臺有足夠空間的計(jì)算機(jī)，并將該數(shù)據(jù)小塊發(fā)送到該計(jì)算機(jī)上。數(shù)據(jù)分塊的備份數(shù)由用戶設(shè)定，若有多個(gè)備份，則在隨機(jī)選擇主機(jī)時(shí)，多次重復(fù)隨機(jī)選擇算法并發(fā)送數(shù)據(jù)。
【主權(quán)項(xiàng)】
1.一種基于局域網(wǎng)的分布式文件系統(tǒng)，包括:虛擬磁盤、DFAT文件系統(tǒng)、后臺服務(wù)端程序，其特征是:系統(tǒng)無Master節(jié)點(diǎn)，存入系統(tǒng)的數(shù)據(jù)流被該系統(tǒng)自動分塊分散存儲到局域網(wǎng)內(nèi)可用空間內(nèi)。2.根據(jù)權(quán)利要求1所述的基于局域網(wǎng)的分布式文件系統(tǒng)，其特征是:虛擬磁盤是一個(gè)驅(qū)動層程序虛擬出來的磁盤，負(fù)責(zé)統(tǒng)一管理各個(gè)物理磁盤分區(qū)共享的磁盤空間，供應(yīng)用層程序直接或間接訪問，寫入虛擬磁盤的數(shù)據(jù)會被自動分發(fā)到各個(gè)分區(qū)內(nèi)，用戶層程序無需知道寫入的數(shù)據(jù)在物理磁盤上的具體位置。3.根據(jù)權(quán)利要求1所述的基于局域網(wǎng)的分布式文件系統(tǒng)，其特征是:DFAT文件系統(tǒng)負(fù)責(zé)維護(hù)虛擬磁盤上的數(shù)據(jù)結(jié)構(gòu)，能與用戶層后臺服務(wù)端程序通信和交換數(shù)據(jù)，為用戶層其它程序提供訪問虛擬磁盤的數(shù)據(jù)讀寫接口。4.根據(jù)權(quán)利要求1所述的基于局域網(wǎng)的分布式文件系統(tǒng)，其特征是:后臺服務(wù)端程序負(fù)責(zé)處理DFAT文件系統(tǒng)發(fā)來的數(shù)據(jù)讀寫請求，并將該請求發(fā)往局域網(wǎng)內(nèi)其它計(jì)算機(jī)上的后臺服務(wù)程序，并將處理結(jié)果反饋給DFAT文件系統(tǒng)。5.根據(jù)權(quán)利要求4所述的基于局域網(wǎng)的分布式文件系統(tǒng)，其特征是:計(jì)算機(jī)之間的通信由后臺服務(wù)端程序完成，采用組播技術(shù)、TCP技術(shù)進(jìn)行通信。6.根據(jù)權(quán)利要求5所述的基于局域網(wǎng)的分布式文件系統(tǒng)，其特征是:后臺服務(wù)端程序發(fā)出組播請求，其它計(jì)算機(jī)上的后臺服務(wù)端程序收到該請求后，自行決定是否反饋消息和是否采用組播技術(shù)或TCP技術(shù)反饋消息。7.根據(jù)權(quán)利要求1所述的基于局域網(wǎng)的分布式文件系統(tǒng)，其特征是:系統(tǒng)無Master節(jié)點(diǎn)，局域網(wǎng)內(nèi)計(jì)算機(jī)處于平等地位，各臺計(jì)算機(jī)通過組播技術(shù)實(shí)現(xiàn)信息的多播，保證了各臺計(jì)算機(jī)上信息的同步，當(dāng)傳輸具體數(shù)據(jù)時(shí)，采用TCP技術(shù)，保證了數(shù)據(jù)傳輸?shù)恼_性和穩(wěn)定性。8.根據(jù)權(quán)利要求1所述的基于局域網(wǎng)的分布式文件系統(tǒng)，其特征是:數(shù)據(jù)分塊的大小由用戶預(yù)先設(shè)置，先判斷發(fā)往系統(tǒng)的數(shù)據(jù)分塊在系統(tǒng)是否已存在，若存在則直接修改對應(yīng)計(jì)算機(jī)上的分塊數(shù)據(jù)，若不存在則根據(jù)規(guī)則隨機(jī)選擇計(jì)算機(jī)并向其發(fā)送分塊數(shù)據(jù)。9.根據(jù)權(quán)利要求8所述的基于局域網(wǎng)的分布式文件系統(tǒng)，其特征是:判斷數(shù)據(jù)分塊是否存在的方法為，后臺服務(wù)端程序發(fā)出組播請求，其它計(jì)算機(jī)上收到該組播請求后自行檢索各自計(jì)算機(jī)，并用TCP技術(shù)反饋檢索結(jié)果。10.根據(jù)權(quán)利要求1所述的基于局域網(wǎng)的分布式文件系統(tǒng)，其特征是:數(shù)據(jù)以數(shù)據(jù)流的方式寫入該系統(tǒng)，并被自動分塊，分塊文件在DFAT文件系統(tǒng)中以特殊文件的身份存在，只能被后臺服務(wù)端程序讀寫，其它應(yīng)用程序無權(quán)限訪問。
【專利摘要】一種基于局域網(wǎng)的分布式文件系統(tǒng)。由三大部分：虛擬磁盤、DFAT文件系統(tǒng)、后臺服務(wù)端程序組成。通過虛擬出一個(gè)磁盤分區(qū)，寫入該分區(qū)的數(shù)據(jù)會被系統(tǒng)自動分塊，并分散存儲到局域網(wǎng)內(nèi)任一共享空間中，不限所屬計(jì)算機(jī)、不限所屬磁盤分區(qū)，且從應(yīng)用程序角度出發(fā)，數(shù)據(jù)只是被存放到了某一個(gè)磁盤分區(qū)空間中，從而充分利用單一計(jì)算機(jī)剩余磁盤空間和充分利用局域網(wǎng)內(nèi)剩余磁盤空間，提高存儲資源利用率，大大降低存儲成本。
【IPC分類】G06F17/30
【公開號】CN105335441
【申請?zhí)枴緾N201410394194
【發(fā)明人】陽平
【申請人】陽平
【公開日】2016年2月17日
【申請日】2014年8月12日