本技術涉及算力網絡,尤其涉及一種基于算力設備的數據處理方法、裝置、設備、系統及介質。
背景技術:
1、當前,對gpu(graphics?processing?unit,圖形處理器)、npu(neural-networkprocessing?unit,網絡處理器)等算力設備的使用,不論是裸機使用,還是虛機使用或是容器方式的使用,都需要算力節點本身配置有gpu、npu等算力設備。
2、相關技術中,通過對算力設備進行虛擬化,例如將一個8核的gpu進行劃分得到4個雙核gpu,以提高算力設備的使用率。但,這種方式下業務應用依然只能在算力設備所在的節點上進行部署,才能對業務應用進行計算處理,業務應用部署的靈活性較差。
技術實現思路
1、有鑒于此,本技術實施例提供了一種基于算力設備的數據處理方法、裝置、設備、系統及介質,旨在提高算力設備的使用率的同時,能夠提高業務應用部署的靈活性。
2、本技術實施例提供了一種基于算力設備的數據處理方法,應用于第一節點設備,所述方法包括:
3、獲取業務請求,所述業務請求包括指示目標業務應用的第一標識、指示待調用的應用程序編程接口(api)的第二標識和待處理的業務參數;
4、所述第一節點設備的第一控制程序基于所述第一標識和預設的映射關系,生成api調用信息,所述映射關系包括指示業務應用的標識和指示第二節點設備的算力設備的標識之間的對應關系,且所述映射關系由所述第一控制程序維護,所述api調用信息包括所述第二標識、指示目標算力設備的第三標識、以及所述業務參數;
5、基于所述第一控制程序將所述api調用信息發送給目標第二節點設備的第二控制程序,所述目標第二節點設備是所述目標算力設備所在的第二節點設備。
6、上述方案中,所述映射關系包括預設的第一映射關系和預設的第二映射關系,所述基于所述第一控制程序對所述第一標識和預設的映射關系,生成api調用信息,包括:
7、所述第一控制程序基于所述第一標識和所述第一映射關系,確定指示目標模擬算力設備的第四標識,所述第一映射關系包括指示業務應用的標識和指示第一節點設備的模擬算力設備的標識之間的對應關系;
8、所述第一控制程序基于所述第四標識和所述第二映射關系,確定所述第三標識,所述第二映射關系包括指示第一節點設備的模擬算力設備的標識和指示第二節點設備的算力設備的標識之間的對應關系;
9、所述第一控制程序基于所述第二標識所述第三標識和所述業務參數,生成所述api調用信息。
10、上述方案中,所述獲取業務請求之前,所述方法還包括:
11、獲取多個所述第二節點設備的算力設備的信息,所述第二節點設備的算力設備的信息包括所在的第二節點設備的ip地址、指示所述第二節點設備的算力設備的標識以及設備類型;
12、基于各所述第二節點設備的算力設備的信息,生成所述第一節點設備的模擬算力設備的信息,所述第一節點設備的模擬算力設備的信息包括指示第一節點設備的模擬算力設備的標識以及設備類型;
13、根據各所述第二節點設備的算力設備的信息和所述第一節點設備的模擬算力設備的信息,確定所述第二映射關系。
14、上述方案中,所述獲取多個所述第二節點設備的算力設備的信息,包括:
15、所述第一控制程序向至少一個第二節點設備的第二控制程序發送數據獲取請求,獲取各所述第二節點設備中的算力設備的信息。
16、上述方案中,所述獲取多個所述第二節點設備的算力設備的信息,包括:
17、接收至少一個第二節點設備發送的算力設備信息,所述算力設備信息表征所述第二節點設備中的算力設備的信息。
18、上述方案中,若確定所述待調用的api包括多個子api,所述方法還包括:
19、基于設定的調用策略和各所述子api的標識,獲得第一子api的標識,所述第一子api是在所述目標第二節點設備的算力設備進行調用的子api;
20、基于所述第一子api的標識,確定所述api調用信息中的第二標識。
21、本技術實施例提供了一種基于算力設備的數據處理方法,應用于第二節點設備,所述方法包括:
22、基于所述第二節點設備的第二控制程序獲取第一節點設備發送的api調用信息,所述api調用信息包括指示待調用的api的第二標識、指示目標算力設備的第三標識、以及待處理的業務參數;
23、所述第二控制程序基于所述第三標識,確定目標算力設備;
24、所述第二控制程序基于所述第二標識和所述業務參數,確定所述待調用的api;
25、基于所述第二控制程序將所述待調用的api提交給所述目標算力設備,獲取處理結果,所述處理結果是在所述目標算力設備上調用所述待調用的api對所述業務參數進行計算處理后得到的;
26、基于所述第二控制程序將所述處理結果發送給所述第一節點設備的第一控制程序。
27、上述方案中,所述第二控制程序維護所述第一節點設備的ip地址和第一標識,所述基于所述第二控制程序將所述處理結果發送給所述第一節點設備的第一控制程序,包括:
28、所述第二控制程序為所述處理結果添加所述第一標識;
29、所述第二控制程序基于所述第一節點設備的ip地址將所述處理結果發送給所述第一節點設備的第一控制程序。
30、本技術實施例還提供了一種基于算力設備的數據處理裝置,應用于第一節點設備,所述裝置包括:
31、信息獲取模塊,用于獲取業務請求,所述業務請求包括指示目標業務應用的第一標識、指示待調用的應用程序編程接口api的第二標識和待處理的業務參數;
32、調用信息生成模塊,用于所述第一節點設備的第一控制程序基于所述第一標識和預設的映射關系,生成應用程序編程接口api調用信息,所述映射關系包括指示業務應用的標識和指示第二節點設備的算力設備的標識之間的對應關系,且所述映射關系由所述第一控制程序維護,所述api調用信息包括所述第二標識、指示目標算力設備的第三標識、以及所述業務參數;
33、調用信息發送模塊,用于基于所述第一控制程序將所述api調用信息發送給所述目標第二節點設備的第二控制程序,所述目標第二節點設備是所述目標算力設備所在的第二節點設備。
34、本技術實施例還提供了一種基于算力設備的數據處理裝置,應用于第二節點設備,所述裝置包括:
35、調用信息獲取模塊,用于基于所述第二節點設備的第二控制程序獲取第一節點設備發送的api調用信息,所述api調用信息包括指示待調用的api的第二標識、指示目標算力設備的第三標識、以及待處理的業務參數;
36、算力設備確定模塊,用于所述第二控制程序基于所述第三標識、所述第二標識和所述業務參數,確定所述目標算力設備和所述待調用的api;
37、處理結果獲取模塊,用于基于所述第二控制程序將所述待調用的api提交給所述目標算力設備,獲取處理結果,所述處理結果是在所述目標算力設備上調用所述待調用的api對所述業務參數進行計算處理后得到的;
38、處理結果發送模塊,用于基于所述第二控制程序將所述處理結果發送給所述第一節點設備的第一控制程序。
39、本技術實施例還提供了一種第一節點設備,包括:處理器和用于存儲能夠在處理器上運行的計算機程序的存儲器,其中,所述處理器,用于運行計算機程序時,執行如本技術實施例前述的應用于第一節點設備的方法的步驟。
40、本技術實施例還提供了一種第二節點設備,包括:處理器和用于存儲能夠在處理器上運行的計算機程序的存儲器,其中,所述處理器,用于運行計算機程序時,執行本技術實施例前述的應用于第二節點設備的方法的步驟。
41、本技術實施例還提供了一種基于算力設備的數據處理系統,包括本技術實施例前述的第一節點設備和前述的第二節點設備。
42、本技術實施例還提供了一種計算機存儲介質,所述計算機存儲介質上存儲有計算機程序,所述計算機程序被處理器執行時,實現本技術實施例前述任一方法的步驟。
43、本技術實施例提供的技術方案,第一節點設備獲取業務請求,第一節點設備的第一控制程序基于第一標識和預設的映射關系,生成api調用信息。基于第一控制程序將api調用信息發送給目標第二節點設備的第二控制程序。相關技術中,當第一節點設備不具備某種算力設備時,無法對需要該種算力設備對業務應用的api調用進行計算處理,因此第一節點設備通常不會部署需要該種算力設備進行api調用處理的業務應用。而本技術的第一節點設備即使沒有業務應用需要使用的算力設備,也可以部署業務應用。第一節點設備在獲取到目標業務應用的業務請求后,可以基于業務請求中的信息和預設的映射關系,生成api調用信息并發送給目標第二節點,以通過目標第二節點中的目標算力設備對該目標業務應用的api調用進行實際地計算處理。并且,本技術通過第一節點設備的第一控制程序和目標第二節點設備的第二控制程序之間的通信交互完成的跨節點使用算力設備,這是一種程序級的跨節點使用其他節點設備中的算力設備的方式,可以無感知地將原有只能部署在具有某種特定算力設備的節點設備上的業務應用,遷移部署到通用節點設備上,從而在一定程度上可以提高算業務應用的部署靈活性,同時還提高了算力設備的使用率。