本申請屬于物聯網,具體涉及一種測試測試套件的方法、裝置、設備及計算機程序產品。
背景技術:
1、智能卡必須具備高安全性和高可靠性,因此智能卡測試是卡行業非常重要的一環。通常通過測試套件對智能卡進行測試,測試套件來源于第三方或者開源測試套件,測試套件的來源使得測試套件的質量參次不齊,因此驗證測試套件的質量,是保障智能卡質量的重要前提。
2、覆蓋分析是對測試套件進行測試的一個重要方面,相關技術中,對測試套件進行覆蓋分析的測試時,由測試人員逐一將測試指令和測試指令的測試響應構成的指令對翻譯成自然語言,然后將屬于同一測試用例的指令對所對應的自然語言總結為一句話測試意圖,然后將該測試意圖與測試用例描述的測試意圖進行對比,最終得出測試用例的覆蓋分析程度。
3、以上測試套件的覆蓋分析測試均由測試人員手動完成,因此對測試人員的行業經驗要求極高,而且由于測試套件中的測試用例的數量巨大,因此測試人員的手動測試還存在效率低的問題。
技術實現思路
1、本申請提出一種測試測試套件的方法、裝置、設備及計算機程序產品,能夠緩解相關技術中人工對測試套件進行覆蓋分析測試存在的效率低且準確率低的問題。
2、本申請第一方面實施例提出了一種測試測試套件的方法,包括:
3、獲取所述測試套件中測試用例的測試日志;
4、基于測試日志,獲得多個指令對,每個所述指令對包括測試指令和所述測試指令對應的測試響應;
5、檢索與各所述指令對對應的文檔片;
6、基于所述文檔片,生成各所述指令對的提示詞;
7、調用大語言模型識別各所述指令對的提示詞,獲得各所述指令對的自然語言描述;
8、匯總所述自然語言描述,獲得所述測試用例的測試意圖。
9、在一個或多個實施例中,基于測試日志,獲得多個指令對,包括:
10、將所述測試日志切分為多個目標指令對,每個目標指令對包括一條測試指令和與該條測試指令對應的測試響應;
11、從所述多個目標指令對包括的指令中,查找屬于同一過程指令的多個指令;
12、對所述多個指令對應的目標指令對進行合并,獲得合并指令對;
13、將所述合并指令對和剩余指令對作為所述多個指令對,所述剩余指令對為所述多個目標指令對中除所述多個指令對應的目標指令對外的指令對。
14、在一個或多個實施例中,檢索與各所述指令對對應的文檔片,包括:
15、獲得各所述指令對的目標向量索引;
16、從預設的數據庫中,檢索與各所述目標向量索引各自匹配的目標指令對;
17、將所述目標指令對對應的文檔片,作為各所述指令對中與所述目標指令對匹配的指令對的文檔片。
18、在一個或多個實施例中,從預設的數據庫中,檢索與各所述目標向量索引匹配的目標指令對,包括:
19、計算各所述目標向量索引與所述預設的數據庫中各指令對的向量索引的相似度;
20、基于所述相似度,從所述預設的數據庫中,選擇相似度大于相似度閾值的多個相似指令對;
21、將所述多個相似指令對,作為與各所述目標向量索引對應的指令對的目標指令對。
22、在一個或多個實施例中,基于所述文檔片,生成提示詞,包括:
23、獲取提示詞生成模版;
24、在所述文檔片的數量大于所述提示詞生成模版的輸入參數的預設數量的情況下,基于所述文檔片對應的向量索引與目標向量索引的相似度,從所述文檔片中篩選相似度最高的所述預設數量的多個目標文檔片;
25、將所述多個目標文檔片嵌入所述提示詞生成模版,獲得所述提示詞。
26、在一個或多個實施例中,獲取測試用例的測試日志之前,還包括:
27、獲取測試任務,所述測試任務包括所述測試用例的用例信息和模擬環境信息;
28、基于所述模擬環境信息創建智能卡模擬環境;
29、在所述智能卡模擬環境中運行與所述用例信息對應的測試用例,并在所述測試用例運行的過程中,采集所述測試用例產生的測試數據,所述測試數據包括測試命令和測試響應;
30、將所述測試數據與所述測試用例對應的日志進行比對,并基于所述比對的結果確定所述測試用例的日志真實性。
31、在一個或多個實施例中,匯總所述自然語言描述,獲得所述測試用例的測試意圖之后,還包括:
32、獲得所述測試意圖的人工檢查結果;
33、在所述人工檢查結果表明所述測試意圖的準確度不滿足準確度條件的情況下,更新所述預設的數據庫。
34、本申請第二方面實施例提出了一種測試測試套件的裝置,包括:
35、獲取模塊,用于獲取所述測試套件中測試用例的測試日志;
36、第一獲得模塊,用于基于測試日志,獲得多個指令對,每個所述指令對包括測試指令和所述測試指令對應的測試響應;
37、檢索模塊,用于檢索與各所述指令對對應的文檔片;
38、生成模塊,用于基于所述文檔片,生成各所述指令對的提示詞;
39、第二獲得模塊,用于調用大語言模型識別各所述指令對的提示詞,獲得各所述指令對的自然語言描述;
40、匯總模塊,用于匯總所述自然語言描述,獲得所述測試用例的測試意圖。
41、本申請第三方面實施例提出了一種計算機設備,包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序,所述處理器運行所述計算機程序以實現如第一方面所述的方法。
42、本申請第四方面實施例提出了一種計算機程序產品,包括計算機可讀代碼,或者承載有計算機可讀代碼的非易失性計算機可讀存儲介質,當所述計算機可讀代碼在電子設備的處理器中運行時,所述電子設備中的處理器執行如第一方面所述的方法。
43、本申請實施例中提供的技術方案,至少具有如下技術效果或優點:
44、在本申請實施例中,在獲取測試套件中測試用例的測試日志后,將測試日志切分為多個指令對,檢索各指令對所對應的文檔片,基于文檔片生成指令對的提示詞,獲得各指令對的自然語言描述,以及匯總自然語言描述最終獲得測試用例的測試意圖,均是自動完成,整個過程不需要測試人員手動介入,相對于相關技術,提高了測試效率和準確度。
45、本申請附加的方面和優點將在下面的描述中部分給出,部分將從下面的描述中變的明顯,或通過本申請的實踐了解到。
1.一種測試測試套件的方法,其特征在于,包括:
2.根據權利要求1所述的方法,其特征在于,基于測試日志,獲得多個指令對,包括:
3.根據權利要求1或2所述的方法,其特征在于,檢索與各所述指令對對應的文檔片,包括:
4.根據權利要求3所述的方法,其特征在于,從預設的數據庫中,檢索與各所述目標向量索引匹配的目標指令對,包括:
5.根據權利要求4所述的方法,其特征在于,基于所述文檔片,生成提示詞,包括:
6.根據權利要求1所述的方法,其特征在于,獲取測試用例的測試日志之前,還包括:
7.根據權利要求3所述的方法,其特征在于,匯總所述自然語言描述,獲得所述測試用例的測試意圖之后,還包括:
8.一種測試測試套件的裝置,其特征在于,包括:
9.一種計算機設備,包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序,其特征在于,所述處理器運行所述計算機程序以實現如權利要求1-7任一項所述的方法。
10.一種計算機程序產品,其特征在于,包括計算機可讀代碼,或者承載有計算機可讀代碼的非易失性計算機可讀存儲介質,當所述計算機可讀代碼在電子設備的處理器中運行時,所述電子設備中的處理器執行如權利要求1-7中任一項所述的方法。