本申請涉及人工智能,特別是涉及一種數字域紅外視覺圖案生成方法、裝置、設備和存儲器。
背景技術:
1、近年來,人工智能(ai)已經徹底改變了計算機視覺,展示了遠遠超出人類的能力,這激發了探索人工智能視覺系統脆弱性的興趣。為了實現這一目標,研究者在數字域提出了各種揭露ai脆弱性的算法。通常,在圖像中添加微妙的、高維的、物理上不可解釋的擾動可以改變視覺模型輸出,包括快速梯度符號法(fgsm)、carlini-wagner法和投影梯度下降法(pgd)。這些算法還結合了簡單的物理手段來實現真實世界視覺輸出錯誤,例如通過打印一些特定的圖像或補丁來干擾分類算法,通過特定的眼鏡框架、帽子或化妝來誤導人類面部識別系統,通過制造特定的3d物體、紋理或光學錯覺以逃避物體探測器。
2、但這些算法生成的擾動在黑盒場景下的效果有限,且很少考慮到真實世界中的制造難度。具體如下:(1)這些細微的擾動可能在不同視角、不同距離、不同分辨率和不同天氣條件下被傳感器捕捉到,而這些客觀物理因素可能會影響成像質量,從而影響這些擾動所應呈現的效果。(2)在數字空間中,這些細微擾動可以添加到圖像中的任何部分,包括背景。然而,對于物理空間中的目標,其通常沒有固定的背景,因此設計在背景中的擾動一般不具有魯棒性。(3)在制造理論上可行的擾動時,其每個像素都應該能用現有設備打印出來。但現代打印設備受色域限制和環境光線變化,理論上的顏色可能無法被準確還原,導致效果不佳。
技術實現思路
1、基于此,有必要針對上述技術問題,提供一種數字域紅外視覺圖案生成方法、裝置、設備和存儲器。
2、一種數字域紅外視覺圖案生成方法,該方法包括:
3、建立基于預定任務的圖像數據集。
4、選擇多個預訓練的視覺目標檢測模型,并采用圖像數據集對所有預訓練的視覺目標檢測模型進行微調。
5、對圖像樣本采用二維傅里葉變換、濾波、二維傅里葉逆變換進行處理后,并利用邊緣標簽去除物體邊緣標簽之外的特征,得到預處理結果。
6、根據預處理結果采用微調后的所有視覺目標檢測模型進行處理后得到的分割、識別輸出結果以及圖像樣本的信息熵值,對圖像樣本進行綜合評估,篩選出候選視覺樣本。
7、根據預設的最佳二值閾值對候選視覺樣本進行二值化處理,得到數字域紅外視覺圖案。
8、在其中一個實施例中,建立基于預定任務的圖像數據集,包括:
9、根據多種開源數據集采用目標關鍵詞搜索方法,收集大量目標的圖像;目標包括非顯著目標、紅外目標和衛星目標。
10、對每張圖像的邊界框、類別、對象實例和邊緣標簽進行精細標注,得到圖像數據集。
11、在其中一個實施例中,預訓練的代理視覺模型為基于深度學習的計算機視覺目標檢測模型。
12、在其中一個實施例中,對圖像樣本采用二維傅里葉變換、濾波、二維傅里葉逆變換進行處理后,并利用邊緣標簽去除物體邊緣標簽之外的特征,得到預處理結果,包括:
13、采用二維傅里葉變換將圖像樣本變換到頻域,得到頻域的圖像特征。
14、將頻域的圖像特征采用圓形巴特沃斯濾波器進行濾波,將濾波后的圖像頻譜特征進行二維傅里葉逆變換,得到空間域的圖像特征。
15、對空間域的圖像特征采用邊緣標簽去除物體邊緣標簽之外的特征,得到預處理結果。
16、在其中一個實施例中,根據預處理結果采用微調后的所有視覺目標檢測模型進行處理后得到的分割、識別輸出結果以及圖像樣本的信息熵值,對圖像樣本進行綜合評估,篩選出候選視覺樣本,包括:
17、將預處理結果輸入到微調后的所有視覺目標檢測模型中,得到視覺目標檢測模型的分割、識別輸出結果。
18、根據所有微調后的視覺目標檢測模型輸出的分割、識別輸出結果以及圖像樣本的信息熵值,對圖像樣本進行綜合評估,篩選出候選視覺樣本。
19、在其中一個實施例中,根據預設的最佳二值閾值對候選視覺樣本進行二值化處理,得到數字域紅外視覺圖案,步驟中預設的最佳二值閾值的確定步驟包括:
20、對圖像樣本進行直方圖分析,在圖像樣本的像素灰度值范圍內以預設數量為間隔探索,確定預選二值閾值。
21、根據所述預選二值閾值、經過微調后的所有所述視覺目標檢測模型進行處理后得到的分割、識別輸出結果以及圖像樣本的信息熵值,確定最佳二值閾值。
22、在其中一個實施例中,根據預設的最佳二值閾值對候選視覺樣本進行二值化處理,得到數字域紅外視覺圖案,包括:
23、將圖像樣本中大于或等于預設的最佳二值閾值的像素值設置為255,將圖像樣本中小于預設的最佳二值閾值的像素值設置為0,得到數字域紅外視覺圖案。
24、一種數字域紅外視覺圖案生成裝置,該裝置包括:
25、圖像數據集構建模塊,用于建立基于預定任務的圖像數據集。
26、視覺目標檢測模型微調模塊,用于選擇多個預訓練的視覺目標檢測模型,并采用圖像數據集對所有預訓練的視覺目標檢測模型進行微調。
27、圖像樣本預處理模塊,用于對圖像樣本采用二維傅里葉變換、濾波、二維傅里葉逆變換進行處理后,并利用邊緣標簽去除物體邊緣標簽之外的特征,得到預處理結果。
28、數字域紅外視覺圖案生成模塊,用于根據預處理結果采用微調后的所有視覺目標檢測模型進行處理后得到的分割、識別輸出結果以及圖像樣本的信息熵值,對圖像樣本進行綜合評估,篩選出候選視覺樣本;根據預設的最佳二值閾值對候選視覺樣本進行二值化處理,得到數字域紅外視覺圖案。
29、一種計算機設備,包括存儲器和處理器,所述存儲器存儲有計算機程序,所述處理器執行所述計算機程序時實現上述任一方法的步驟。
30、一種計算機可讀存器,其上存儲有計算機程序,所述計算機程序被處理器執行時實現上述任一方法的步驟。
31、上述數字域紅外視覺圖案生成方法、裝置、設備和存儲器,所述方法包括:建立基于預定任務的圖像數據集;選擇多個預訓練的視覺目標檢測模型,并采用圖像數據集對所有預訓練的視覺目標檢測模型進行微調;對圖像樣本進行二維傅里葉變換、濾波、二維傅里葉逆變換處理后,并利用邊緣標簽去除物體邊緣標簽之外的特征,得到預處理結果,根據預處理結果采用微調后的所有視覺目標檢測模型進行處理后得到的分割、識別輸出結果以及圖像樣本的信息熵值,對圖像樣本進行綜合評估,篩選出候選視覺樣本;根據預設二值閾值對候選視覺樣本進行二值化處理,篩選出更好的視覺圖案,得到數字域紅外視覺圖案。本方法利用物體關鍵特征生成的數字域視覺樣本在ai視覺模型中有較高檢出率,可提高視覺的魯棒性;由于相關特征被高度壓縮、簡化并增強,物體特征復雜程度顯著降低,使其更容易在物理域被復制和實現。
1.一種數字域紅外視覺圖案生成方法,其特征在于,所述方法包括:
2.根據權利要求1所述的方法,其特征在于,建立基于預定任務的圖像數據集,包括:
3.根據權利要求1所述的方法,其特征在于,預訓練的代理視覺模型為基于深度學習的計算機視覺目標檢測模型。
4.根據權利要求1所述的方法,其特征在于,對圖像樣本采用二維傅里葉變換、濾波、二維傅里葉逆變換進行處理后,并利用邊緣標簽去除物體邊緣標簽之外的特征,得到預處理結果,包括:
5.根據權利要求1所述的方法,其特征在于,根據所述預處理結果采用微調后的所有所述視覺目標檢測模型進行處理后得到的分割、識別輸出結果以及圖像樣本的信息熵值,對圖像樣本進行綜合評估,篩選出候選視覺樣本,包括:
6.根據權利要求1所述的方法,其特征在于,根據預設的最佳二值閾值對所述候選視覺樣本進行二值化處理,得到數字域紅外視覺圖案,步驟中預設的最佳二值閾值的確定步驟包括:
7.根據權利要求1所述的方法,其特征在于,根據預設的最佳二值閾值對所述候選視覺樣本進行二值化處理,得到數字域紅外視覺圖案,包括:
8.一種數字域紅外視覺圖案生成裝置,其特征在于,所述裝置包括:
9.一種計算機設備,包括存儲器和處理器,所述存儲器存儲有計算機程序,其特征在于,所述處理器執行所述計算機程序時實現權利要求1至7中任一項所述的方法。
10.一種計算機可讀存儲器,其上存儲有計算機程序,其特征在于,所述計算機程序被處理器執行時實現權利要求1至7中任一項所述的方法。