一種分布式文件系統管理方法及裝置的制造方法
【技術領域】
[0001]本發明涉及分布式文件系統領域，尤其涉及一種分布式文件系統管理方法及裝置。
【背景技術】
[0002]FTP(File Transfer Protocol、文件傳輸協議)用于因特網上的控制文件的雙向傳輸。FTP服務作為文件傳輸服務在各行各業有著廣泛的應用。隨著近年來信息技術的發展，各行各業都先后跨入一個新的時代一一大數據時代。
[0003]傳統FTP文件傳輸服務的應用方式在大數據時代遇到了很多問題，例如:智能交通應用中，過車圖片與違法圖片需要通過FTP進行存取。隨著城市級過車圖片數據的爆炸式增長，最近兩年中等城市過車圖片與違法圖片的存儲規模已從總量的百TB級躍升至每三個月PB級，每年存儲文件數量超過百億級別。一般的解決方案是將存儲圖片的設備分區，每個區部署一套或多套FTP服務，并掛載基于SAN存儲服務。此方案一方面對于存儲單元劃分超過16TB時，會存在不穩定問題，對業務應用造成很大的隱患。另一方面，在每個區部署一套或多套FTP服務實施維護的成本也在不斷變高。
【發明內容】
[0004]本發明實施例提供一種分布式文件系統管理方法及裝置，用以提高FTP服務的存儲穩定性和降低FTP服務維護的成本。
[0005]本發明實施例提供的一種分布式文件系統管理方法，包括:
[0006]元數據管理器接收FTP服務器發送的文件存儲指令，所述文件存儲指令包括待存儲的文件和所述待存儲的文件在所述FTP服務器中的目錄路徑信息；
[0007]所述元數據管理器校驗所述待存儲的文件在所述FTP服務器中的目錄路徑信息是否已存儲；
[0008]若未存儲，則所述元數據管理器將所述待存儲的文件發送至FastDFS(FastDistributed File System，快速分布式文件系統)中進行持久化存儲；
[0009]所述元數據管理器接收所述FastDFS發送的文件存儲信息，所述文件存儲信息是所述FastDFS將所述待存儲的文件進行存儲之后生成的；
[0010]所述元數據管理器建立所述文件存儲信息與所述待存儲的文件在所述FTP服務器中的目錄路徑信息的對應關系，生成所述待存儲的文件的元數據，并將所述待存儲的文件的元數據進行緩存。
[0011]較佳地，所述元數據管理器校驗所述待存儲的文件在所述FTP服務器中的目錄路徑信息是否已存儲，包括:
[0012]所述元數據管理器包括熱數據緩存器和數據庫；
[0013]所述元數據管理器從所述熱數據緩存器中查找所述待存儲的文件在所述FTP服務器中的目錄路徑信息，若查找到，則所述元數據管理器校驗所述待存儲的文件已存儲；
[0014]若未查找到，則所述元數據管理器從所述數據庫中查找所述待存儲的文件在所述FTP服務器中的目錄路徑信息，若查找到，則所述元數據管理器校驗所述待存儲的文件已存儲，若未查找到，則所述元數據管理器校驗所述待存儲的文件未存儲。
[0015]較佳地，在將所述待存儲的文件的元數據進行緩存之后，還包括:
[0016]在第一設定時間段之后，所述元數據管理器將所述待存儲的文件的元數據進行持久化存儲;和/或
[0017]所述元數據管理器在緩存的元數據超過設定數量后，將所述待存儲的文件的元數據進行持久化存儲。
[0018]較佳地，還包括:
[0019]所述元數據管理器接收所述FTP服務器發送的文件訪問指令，所述文件訪問指令中包括所述待訪問的文件在所述FTP服務器中的目錄路徑信息；
[0020]所述元數據管理器查找所述待訪問的文件在所述FTP服務器中的目錄路徑信息所對應的所述待訪問的文件的文件存儲信息；
[0021]所述元數據管理器將所述待訪問的文件的文件存儲信息發送至所述FTP服務器，以使所述FTP服務器根據所述待訪問的文件的文件存儲信息從所述FastDFS中訪問所述待訪問的文件。
[0022]較佳地，所述元數據管理器將所述待存儲的文件發送至快速分布式文件系統FastDFS中進行持久化存儲，包括:
[0023]所述FastDFS根據所述待存儲的文件的存儲需要的存儲空間，將所述待存儲的文件劃分為N份，并分別存儲在所述FastDFS的N個服務節點上，所述N個服務節點組成一組虛擬存儲節點;所述待存儲的文件的元數據為針對一組虛擬存儲節點的元數據。
[0024]較佳地，在將所述待存儲的文件的元數據進行緩存之后，還包括:
[0025]在第二設定時間段之后，所述元數據管理器將所述待存儲的文件的元數據標記為待刪除的元數據；
[0026]所述元數據管理器向所述FastDFS發送文件刪除請求，所述文件刪除請求用于指示所述FastDFS刪除所述待刪除的元數據對應的文件；
[0027]所述元數據管理器在接收到所述FastDFS刪除完成通知之后，將所述待刪除的元數據刪除。
[0028]相應地，本發明實施例還提供了一種分布式文件系統管理方法，包括:
[0029]FTP服務器向元數據管理器發送文件訪問指令，所述文件訪問指令中包括待訪問的文件在所述FTP服務器中的目錄路徑信息；
[0030]所述FTP服務器接收所述元數據管理器發送的所述待訪問的文件的文件存儲信息，所述待訪問的文件的文件存儲信息是所述元數據管理器根據所述待訪問的文件在所述FTP服務器中的目錄路徑信息查找到的；
[0031 ]所述FTP服務器根據所述待訪問的文件的文件存儲信息，訪問FastDFS中存儲的所述待訪問的文件。
[0032]較佳地，還包括:
[0033]所述FTP服務器向所述元數據管理器發送文件存儲指令，所述文件存儲指令包括待存儲的文件和所述待存儲的文件在所述FTP服務器中的目錄路徑信息。
[0034]相應地，本發明實施例了一種分布式文件系統管理方法，包括:
[0035]FastDFS接收元數據管理器發送的待存儲的文件，所述待存儲的文件是文件傳輸協議FTP服務器向元數據管理器發送的文件存儲指令中包含的；
[0036]所述FastDFS根據所述待存儲的文件的存儲需要的存儲空間，將所述待存儲的文件劃分為N份，并分別存儲在所述FastDFS的N個服務節點上，所述N個服務節點組成一組虛擬存儲節點；
[0037]所述FastDFS向所述元數據管理器發送文件存儲信息，以使所述元數據管理器生成所述待存儲的文件的元數據，其中，所述文件存儲信息是所述FastDFS將所述待存儲的文件進行存儲之后生成的，所述待存儲的文件的元數據為針對一組虛擬存儲節點的元數據。
[0038]較佳地，還包括:
[0039]所述FastDFS接收所述元數據管理器發送文件刪除請求，所述文件刪除請求用于指示所述Fas tDFS刪除待刪除的元數據對應的文件；
[0040]所述FastDFS刪除所述待刪除的元數據對應的文件后，向所述元數據管理器發送刪除完成通知，以使所述元數據管理器刪除所述待刪除的元數據。
[0041]相應地，本發明實施例提供了一種分布式文件系統管理裝置，包括:
[0042]第一接收單元，用于接收FTP服務器發送的文件存儲指令，所述文件存儲指令包括待存儲的文件和所述待存儲的文件在所述FTP服務器中的目錄路徑信息；
[0043]校驗單元，用于校驗所述待存儲的文件在所述FTP服務器中的目錄路徑信息是否已存儲；
[0044]發送單元，用于若所述待存儲的文件在所述FTP服務器中的目錄路徑信息未存儲，則將所述待存儲的文件發送至FastDFS中進行持久化存儲；
[0045]第二接收單元，用于接收所述FastDFS發送的文件存儲信息，所述文件存儲信息是所述FastDFS將所述待存儲的文件進行存儲之后生成的；
[0046]存儲單元，用于建立所述文件存儲信息與所述待存儲的文件在所述FTP服務器中的目錄路徑信息的對應關系，生成所述待存儲的文件的元數據，并將所述待存儲的文件的元數據進行緩存。
[0047]較佳地，所述校驗單元具體用于:
[0048]元數據管理器包括熱數據緩存器和數據庫；
[0049]從所述熱數據緩存器中查找所述待存儲的文件在所述FTP服務器中的目錄路徑信息，若查找到，則校驗所述待存儲的文件已存儲；
[0050]若未查找到，則從所述數據庫中查找所述待存儲的文件在所述FTP服務器中的目錄路徑信息，若查找到，則校驗所述待存儲的文件已存儲，若未查找到，則校驗所述待存儲的文件未存儲。
[0051]較佳地，在將所述待存儲的文件的元數據進行緩存之后，所述存儲單元還用于:
[0052]在第一設定時間段之后，將所述待存儲的文件的元數據進行持久化存儲;和/或
[0053]在緩存的元數據超過設定數量后，將所述待存儲的文件的元數據進行持久化存儲。
[0054]較佳地，還包括:第三接收單元和查找單元；
[0055]所述第三接收單元具體用于接收所述FTP服務器發送的文件訪問指令，所述文件訪問指令中包括所述待訪問的文件的文件在所述FTP服務器中的目錄路徑信息；
[0056]所述查找單元具體用于查找所述待訪問的文件的文件在所述FTP服務器中的目錄路徑信息所對應的所述待訪問的文件的文件存儲信息