本公開涉及計算機硬件,具體而言,涉及一種數據處理裝置、系統、數據處理方法及計算機設備。
背景技術:
1、人工智能作為新一輪科技革命和產業變革的核心驅動力,正快速催生新產品、新服務、新業態,重塑著經濟社會運行模式,改變人類生產和生活方式。大語言模型作為人工智能的一項重要成果,在很多領域得到廣泛應用。而大語言模型在執行處理任務時依賴于硬件;硬件的處理效率影響著大語言模型的任務處理效率。
技術實現思路
1、本公開實施例至少提供一種數據處理裝置、系統、數據處理方法及計算機設備。
2、第一方面,本公開實施例提供了一種數據處理裝置,包括:數據輸入單元、多個處理單元、以及合并單元;
3、所述數據輸入單元,用于獲取大語言模型的目標處理塊對應的待處理數據,并向多個數據處理單元傳輸所述待處理數據;所述大語言模型包括:多個由注意力網絡、以及前饋神經網絡構成的網絡層;所述目標處理塊包括下述至少一項:所述網絡層、所述注意力網絡、前饋神經網絡、由所述注意力網絡劃分成的第一子網絡、以及由前饋神經網絡劃分成的第二子網絡;
4、多個所述處理單元中的每個處理單元,用于對所述待處理數據執行與所述目標處理塊的數據處理功能對應的目標處理,得到每個所述處理單元對應的結果數據;其中,不同所述處理單元對所述待處理數據進行所述目標處理時使用的處理參數不同,處理方式相同;
5、所述合并單元,用于對多個所述處理單元分別輸出的結果數據進行合并處理,得到與所述目標處理塊對應的目標數據。
6、一種可能的實施方式中,還包括:廣播單元;
7、所述數據輸入單元,在向多個數據處理單元傳輸所述待處理數據時,用于:
8、向所述廣播單元發送所述待處理數據;
9、所述廣播單元,用于響應于接收到所述數據輸入單元傳輸的待處理數據,根據預先建立的所述廣播單元和多個所述處理單元之間的連接關系,向多個所述處理單元廣播所述待處理數據。
10、一種可能的實施方式中,所述數據輸入單元,在向多個數據處理單元傳輸所述待處理數據之前,還用于:
11、對所述待處理數據進行分割處理,得到多組待處理子數據;不同待處理數據對應不同的處理周期;
12、所述數據輸入單元,在將所述待處理數據傳輸至多個處理單元時,用于:
13、在多個所述處理周期中的每個處理周期,向多個所述處理單元傳輸所述每個處理周期對應的待處理子數據。
14、一種可能的實施方式中,所述處理單元包括:運算矩陣;所述運算矩陣包括多個由硬件電路構成的運算器;
15、所述數據輸入單元,在對所述待處理數據進行分割處理,得到多組待處理子數據時,用于:
16、確定所待處理數據所構成的矩陣寬度;
17、將所述矩陣寬度和所述運算矩陣中運算器的數量進行比對;
18、在所述矩陣寬度小于或等于所述運算器的數量的情況下,對所述待處理數據構成的矩陣進行按行分割,得到多組所述待處理子數據;
19、在所述矩陣寬度大于或者等于所述運算器的數量的情況下,對所述待處理數據構成的矩陣進行按列分割,得到多組所述待處理子數據。
20、一種可能的實施方式中,所述運算器包括下述至少一種:乘加器、比較器、累加器、以及除法器。
21、一種可能的實施方式中,所述合并單元,在對多個所述處理單元分別輸出的結果數據進行合并處理,得到對所述待處理數據對應的目標數據時,用于:
22、在多個所述處理周期中的每個處理周期,將所述每個處理周期對應的結果數據進行第一合并處理,得到每個所述處理周期對應的合并結果數據;
23、將多個所述處理周期分別對應的合并結果數據進行第二合并處理,得到所述目標數據。
24、一種可能的實施方式中,還包括:配置單元;
25、所述配置單元,用于對多個所述處理單元進行處理參數的配置,將每個所述處理單元對應的處理參數存儲到與該處理單元關聯的存儲空間中;
26、和/或,用于對所述合并單元進行合并方式的配置。
27、第二方面,本公開實施例還提供一種數據處理系統,包括:
28、多個第一方面、或第一方面任一項所述的數據處理裝置、以及控制器;
29、所述控制器,用于基于大語言模型的模型結構、以及數據處理系統中數據處理裝置的數量,將所述大語言模型劃分為多個處理塊,并為多個所述處理塊確定建立映射關系的數據處理裝置;以及,針對每個數據處理裝置,將與所述每個數據處理裝置關聯的處理塊的處理參數,部署至所述每個數據處理裝置;
30、多個所述數據處理裝置中的每個數據處理裝置,用于執行建立映射關系的處理塊的數據處理任務。
31、第三方面,本公開實施例還提供一種數據處理方法,包括:
32、利用數據輸入單元獲取大語言模型的目標處理塊對應的待處理數據;所述大語言模型進包括:多個由注意力網絡、以及前饋神經網絡構成的網絡層;所述目標處理塊包括下述至少一項:所述網絡層、所述注意力網絡、前饋神經網絡、由所述注意力網絡劃分成的第一子網絡、以及由前饋神經網絡劃分成的第二子網絡;
33、利用多個處理單元中的每個處理單元,對所述待處理數據執行與所述目標處理塊的數據處理功能對應的目標處理,得到每個所述處理單元對應的結果數據;其中,不同所述處理單元對所述待處理數據進行所述目標處理時使用的處理參數不同,處理方式相同;
34、利用合并單元對多個所述處理單元分別輸出的結果數據進行合并處理,得到與所述目標處理塊對應的目標數據。
35、第四方面,本公開實施例還提供一種計算機設備,包括:如第一方面或第一方面任一項所述的數據處理裝置、或如第二方面所述的數據處理系統。
36、應當理解的是,以上的一般描述和后文的細節描述僅是示例性和解釋性的,而非限制本公開的技術方案。
37、本公開實施例提供的數據處理裝置,利用了大語言模型在結構上面的一致性、以及構成大語言模型的不同結構之間數據傳輸量少所導致的不同模塊之間的弱耦合性,根據大語言模型的模型結構,將大語言模型的數據處理任務拆分為不同目標處理塊,而針對每一個目標處理塊,多個數據處理單元利用不同的可以實現利用不同的處理參數,對目標處理塊對應的待處理數據執行處理方式相同的目標處理,得到各個處理單元對應的結果數據,然后利用合并單元將多個處理單元分別對應的結果數據進行合并,從實現了將對相同數據的處理任務分配到多個不同的處理單元中完成,不同的處理單元在執行對相同待處理數據的處理任務時,調用不同的處理參數,進而可以在利用數據處理裝置處理數據處理任務之前,將各個處理單元所對應的特定參數傳入到各個處理單元中。而在任務處理過程中,讀入的參數無需再更換或者重新傳入,從而減少了參數讀入過程所需要消耗的時間和資源,提升任務處理的效率。
38、為使本公開的上述目的、特征和優點能更明顯易懂,下文特舉較佳實施例,并配合所附附圖,作詳細說明如下。