基于吞吐量的文件并行傳輸方法
【專利摘要】本發明公開了一種基于吞吐量的文件并行傳輸方法，包括提取文件大小、劃分文件塊的步驟，建立并行連接的步驟，比較文件塊數量與并行連接數量的步驟，進行文件塊并行傳輸的步驟，測量和計算吞吐量的步驟和根據吞吐量調整并行傳輸度的步驟。本發明的有益效果是：1.對于端到端的文件傳輸性能有顯著的提高；2.具有較好的普適性，不局限于特定的網絡環境、系統以及硬件環境，都能夠應用本發明的方案提高網絡的吞吐量；3.采用吞吐量來實時的調整并行度，以適應網絡環境的變化，能夠充分的利用網絡帶寬。
【專利說明】基于吞吐量的文件并行傳輸方法
【技術領域】
[0001]本發明涉及計算機網絡【技術領域】，具體來講是一種基于吞吐量的文件并行傳輸方法。
【背景技術】
[0002]隨著通信技術、計算機技術及互聯網絡技術的不斷發展，互聯網正朝著高帶寬、長時延、智能無線、空間通信等方向發展；智能手機等移動終端設備不斷更新，使得互聯網應用數據日益暴漲；高能物理、天文觀測、航空等海量科研數據將不斷產生以及分布式網絡、云計算等新應用模式的發展都對網絡傳輸提出更高的要求。現階段網絡結構已相對穩定，網絡協議已趨于完善，如何最大限度的利用現有網絡資源，提高文件的傳輸速度，具有重要的研究和廣闊的應用價值前景。并行數據傳輸技術屬于帶寬聚合技術，指在源主機和目的主機之間同時使用多條連接進行數據傳輸，能夠解決單連接效率低的傳輸問題，成倍提高端到端的網絡吞吐量和傳輸效率。
[0003]研究并行傳輸技術在理論上集中在三層:應用層、傳輸層和數據鏈路層。目前有不少應用層協議致力于研究利用并行TCP (Transmission Control Protocol)流，如網格數據傳輸協議 GridFTP (Grid File Transfer Protocol)。由于傳統 FTP(File TransferProtocol)單連接的傳輸方式不能適應網格中大規模數據的快速傳送存儲，GridFTP基于FTP進行全面擴展，通過對FTP命令和通道的擴展支持并行數據傳輸，多個TCP連接同時傳輸數據，數據傳輸的性能得到了明顯的提高。在傳輸層中實現端到端并行傳輸主要有基于傳輸控制協議(TCP)和基于流控制傳輸協議(SCTP(Stream Control TransmissionProtocol)).理論界曾提出一種在TCP層用N條虛擬流代替真實的并行流的MulTCP方法，把并行TCP思想在一個TCP流的傳輸中實現。Stochastic TCP也是基于MulTCP算法的，MulTCP將擁塞窗口當成N條虛擬的TCP的集合，并認為這N條TCP流是相同的，而Stochastic TCP則認為這N個TCP流不同，各條虛擬流的窗口的大小隨機的，應對各個獨立操作。SCTP具有多種特性，其中一個重要特性是支持多流，SCTP的數據可以在不同的數據流內發送，提高了數據吞吐量，并在主路徑失敗時可以使用其他路徑進行數據傳輸，保證業務傳輸的可靠性。在數據鏈路層為了聚合多個網絡接口的帶寬，Linux的bonding技術可以將多個網絡接口綁定成一個虛擬接口，用戶數據在各接口間按照一定的算法調度從而實現負載均衡和帶寬聚合。在Solaris中的IPMP(IP(Internet Protocol)networkmultipathing)實現了在SUN操作系統的多接口的帶寬聚合和并行數據傳輸。
[0004]以上三個層次的研究，應用層上的研究和應用需要特定的網絡環境中應用；傳輸層的研究需要對內核做相應的改動，目前只是停留在理論的研究中沒有大規模的推廣；數據鏈路層的并行研究需要額外的硬件的支持；以上一些研究不適合對普通用戶進行的端到端的并行傳輸。
【發明內容】
[0005]本發明的目的是提供一種在應用層實現基于吞吐量的文件并行傳輸方法，最大限度的利用現有網絡資源，提高文件的傳輸速度。
[0006]本發明的技術方案如下:一種基于吞吐量的文件并行傳輸方法，包括
[0007]步驟1:提取待傳輸文件的大小FileSize ;設置大小為SegmentSize的文件塊；將
待傳輸文件劃分為m個文件塊，
【權利要求】
1.一種基于吞吐量的文件并行傳輸方法，其特征在于，包括 步驟1:提取待傳輸文件的大小FileSize ;設置大小為SegmentSize的文件塊；將待傳輸文件劃分為m個文件塊
2.如權利要求1所述的并行傳輸方法，其特征在于，所述平滑因子α等于0.5，所述偏差變量的平滑因子β等于0.8。
3.如權利要求1或2所述的任意一種并行傳輸方法，其特征在于，所述連接基于FTP。
【文檔編號】H04L29/08GK103986744SQ201310578190
【公開日】2014年8月13日 申請日期:2013年11月18日 優先權日:2013年11月18日
【發明者】王俊峰, 牟璇, 黃一辛, 王敏 申請人:四川大學