中間處理約束下的異構網絡資源配置方法
【技術領域】
[0001] 本發明涉及網絡資源管理技術領域，特別涉及一種中間處理約束下的異構網絡資 源配置方法。
【背景技術】
[0002] 異構網絡中的實時大數據應用通常基于大量感知數據的分析和處理，根據系統反 饋做出相應決策。傳統的不加選擇地將初始感知數據上傳到服務器的方式，不僅導致低效， 而且極大地浪費網絡資源，甚至造成網絡擁塞和業務失效等后果。因此，一種可行的方式， 則是充分利用網絡節點的處理能力，將初始數據在節點上進行處理后，再將結果傳送到服 務器。然而，異構網絡中的節點之間的能力差異、分級處理模式、以及負載均衡等因素，催生 出一種新的需求，即越來越多的特殊工作流要求在其源到目的之間的路徑上的某個中間節 點上進行處理（例如尺寸裁剪、格式轉換、去噪處理等），即中間處理約束。中間處理節點 (簡稱中間節點）通常是專用的、高性能的、具有充足資源（例如CPU、GPU、內存等）的機 器。
[0003] 另一方面，一個軟實時的應用包括多個數據流。由于流之間具有相互依賴性一一 某些流必須在其它流完成之后才能進行處理，因此，流期望的完成時間也各有差異，即每個 流的截止時間不同。同時，對于軟實時應用，其包含的流即使在截止時間之后才完成，這個 流依然是有效的。在這個背景下，優化軟實時應用的延遲則意味著最小化所有流的總延遲。
[0004] 而傳統的解決方案要么只關注路由優化，尋找最短的傳輸路徑，以減少數據的傳 輸延遲；要么只關注流的調度次序，以減少流在處理節點上的排隊時間。由于流的完成時間 由路由延遲、排隊時間和處理時間三部分組成，任何單一角度的優化，都無法實現系統資源 的全局最優配置。因此，全局優化要求同時考慮路由與調度兩個角度。路由角度的問題是 如何將中間節點分配給流，而調度角度的問題則是哪些流應該被優先地處理。
【發明內容】
[0005] 本發明旨在至少在一定程度上解決上述相關技術中的技術問題之一。
[0006] 為此，本發明的目的在于提出一種中間處理約束下的異構網絡資源配置方法，該 方法從調度和路由兩個角度進行聯合優化，以最小化數據密集型應用的延遲，實現了數據 密集型應用在中間處理約束下的低延遲及高性能，達到資源最優配置和最佳網絡性能。
[0007] 為了實現上述目的，本發明的實施例提出了一種中間處理約束下的異構網絡資源 配置方法，包括以下步驟：S1 :分別獲取每個數據流的截止時間和資源需求量，并分別根據 每個數據流的截止時間和資源需求量為每個數據流設置對應的評價分數，并根據所述評價 分數對所述數據流進行排序，以為每個中間節點生成對應的偏好列表；S2 :獲取所述異構 網絡的網絡拓撲信息，并根據所述網絡拓撲信息計算所述數據流經過所述中間節點的傳輸 路徑長度；S3 :將每個所述中間節點的服務名額初始化為1，并在所述數據流與中間節點之 間進行雙向匹配，以得到每個所述中間節點的準服務名單；S4 :根據每個所述中間節點的 準服務名單得到所述中間節點和數據流的映射關系，根據所述映射關系和所述中間節點對 應的偏好列表對所述數據流進行順序調度。
[0008] 另外，根據本發明上述實施例的中間處理約束下的異構網絡資源配置方法還可以 具有如下附加的技術特征：
[0009] 在一些示例中，所述S2進一步包括：根據所述網絡拓撲信息計算所有數據流的源 節點到中間節點之間的最短路徑長度，以及所述中間節點到所有流的目的節點之間的最短 路徑長度；根據所述所有數據流的源節點到中間節點之間的最短路徑長度和所述中間節點 到所有流的目的節點之間的最短路徑長度得到所述數據流經過所述中間節點的傳輸路徑 長度。
[0010] 在一些示例中，其中，所述中間節點的傳輸路徑長度為所述所有數據流的源節點 到中間節點之間的最短路徑長度和所述中間節點到所有流的目的節點之間的最短路徑長 度之和。
[0011] 在一些示例中，所述步驟S3進一步包括：S31 :對所述中間節點進行排序，以為每 個數據流生成對應的偏好列表；S32 :每個數據流向其對應的偏好列表上的第一個中間節 點提出申請；S33 :每個所述中間節點判斷向其提出申請的數據流的數量是否超過該中間 節點的可服務名額，如果是，則根據該中間節點對應的偏好列表剔除可服務名額之外的數 據流，并將可服務名額之內的數據流加入其準服務名單中，并將所述中間節點的可服務名 額加1。
[0012] 在一些示例中，在所述步驟S33之后，還包括：S34 :如果所有數據流均集中在一個 中間節點的準服務名單內，則執行所述步驟S4,否則，執行所述步驟S31。
[0013] 在一些示例中，在所述步驟S33中，還包括：如果每個所述中間節點判斷向其提出 申請的數據流的數量未超過該中間節點的可服務名額，則直接將所述數據流加入所述中間 節點的準服務名單。
[0014] 在一些示例中，所述步驟S31，進一步包括：S311 :根據每個所述中間節點對應的 偏好列表和每個中間節點當前的準處理名單計算每個數據流在每個中間節點上期望的完 工時間；S312 :根據所述期望的完工時間和所述數據流經過所述中間節點的傳輸路徑長度 為每個所述中間節點設置一個評價分數，并根據所述評價分數對所述中間節點進行排序， 以為每個所述數據流生成對應的偏好列表。
[0015] 在一些示例中，所述步驟S311進一步包括：S3111 :判斷所述中間節點的準處理名 單上是否存在數據流；S3112 :如果所述中間節點的準處理名單上不存在所述數據流，則將 所述數據流添加至所述中間節點的準處理名單；S3113 :根據所述中間節點對應的偏好列 表得到所述數據流在所述中間節點上的調度次序，并計算所述數據流的處理時間和期望的 排隊時間，并根據所述數據流的處理時間和期望的排隊時間得到所述數據流期望的完工時 間。
[0016] 在一些示例中，其中，所述數據流期望的完工時間為所述數據流的處理時間和期 望的排隊時間之和。
[0017] 根據本發明實施例的中間處理約束下的異構網絡資源配置方法，基于經典的匹配 理論，采用逐步提升名額的循環迭代機制，根據流和中間節點之間的相互偏好性，提出了流 和中間節點之間的雙向匹配框架，以達到路由與調度的融合，即從調度和路由兩個角度進 行聯合優化，以最小化數據密集型應用的延遲，實現了數據密集型應用在中間處理約束下 的低延遲及高性能，從而達到資源最優配置和最佳網絡性能。另外，本發明可以適用于比較 廣泛的場景，如智慧城市、智能工廠和云數據中心等，因此適用范圍廣。
[0018] 本發明的附加方面和優點將在下面的描述中部分給出，部分將從下面的描述中變 得明顯，或通過本發明的實踐了解到。
【附圖說明】
[0019] 本發明的上述和/或附加的方面和優點從結合下面附圖對實施例的描述中將變 得明顯和容易理解，其中：
[0020] 圖1是本發明一個實施例的中間處理約束下的異構網絡資源配置方法的流程圖；
[0021] 圖2是本發明一個實施例的數據流完成時間組成部