一種基于水印圖像差值的主動Deepfake檢測方法

本發明涉及圖像處理，具體地講，涉及一種基于水印圖像差值的主動deepfake檢測方法。

背景技術：

1、隨著虛假信息在媒體上的傳播愈加泛濫，如今，數字內容的可信度可能因制造虛假事實的簡便性而受到削弱。信息在傳達給潛在用戶之前，可能會經過多次修改。人工智能的最新進展，尤其是在圖像和視頻處理領域，使得更改信息內容的可能性越來越大，因為媒體內容可能會受到各種類型的操縱。隨著圖像合成技術的快速發展，如gan，diffusion，ai生成的圖像已經達到了很高的水平，使它們幾乎無法與人類觀察者的真實圖像區分開來。在各種可能的媒體操縱方法中，deepfake是一種最近出現的技術，能夠生成合成的人類圖像。

2、當前的deepfake檢測技術主要依賴于被動地捕捉偽造過程中留下的痕跡，這些痕跡針對不同的偽造方式位置會有所區別，因此在面對跨域檢測時效果會不盡人意。為了解決這一問題，從主動檢測的角度來充分發掘這些偽造痕跡，通過水印區域的變化來進行deepfake檢測。現有的deepfake檢測方法主要面臨的是泛化性不足與魯棒性問題，在面對未知的偽造方法或者說是跨域檢測時，這些方法的性能會顯著下降，其具體原因為模型對于偽造痕跡捕捉不夠準確從而進行了誤判。

技術實現思路

1、本發明要解決的技術問題是提供一種基于水印圖像差值的主動deepfake檢測方法，利用四元數極諧傅里葉矩（qpfhm）作為水印嵌入的工具，并且利用嵌入的水印圖像與原始圖像差值作為deepfake檢測的主要依據。

2、本發明采用如下技術方案實現發明目的：

3、一種基于水印圖像差值的主動deepfake檢測方法，其特征在于，包括以下步驟：

4、s1：構造兩階段的主動deepfake檢測框架，包括訓練水印攻擊網絡階段與deepfake檢測；

5、s2：訓練水印攻擊網絡階段；

6、s21：利用四元數極諧傅里葉矩作為水印嵌入的工具，來嵌入水印信息并且利用水印攻擊網絡來移除水印；

7、s22：為了保證水印攻擊網絡能準確的移除四元數極諧傅里葉矩水印，采用三個損失：mse損失、局部損失及感知損失進行優化；

8、s3：deepfake檢測階段；利用訓練水印攻擊網絡階段訓練的水印攻擊網絡進行水印攻擊，使輸入的含水印圖像能夠去除其中的水印信息，因此便得到含水印圖像與去除水印圖像的差值，再通過一個xception?分類器網絡進行差值的偽造痕跡的真偽分類。

9、作為本技術方案的進一步限定，所述s21的具體流程為：

10、s211：對于極坐標系下的彩色圖像，四元數極諧傅里葉矩表示為：

11、（1）

12、其中：為極坐標的徑向距離；

13、為極坐標角度；

14、為單位純四元數；

15、為階數；

16、為重復度；

17、表示徑向基函數：

18、（2）

19、s212：在由式（2）計算出彩色圖像的四元數極諧傅里葉矩后，利用有限個四元數極諧傅里葉矩來近似重構，在極坐標系下利用有限個四元數極諧傅里葉矩近似重構彩色圖像函數的表達式寫為：

20、（3）

21、s213：嵌入流程；

22、首先將原始彩色人臉圖像轉換到極坐標系上，并將其表示為；

23、然后根據正交矩定義及四元數理論，計算出的高階四元數正交矩，其中和分別表示階數和重復度；

24、從中篩選出魯棒的四元數正交矩集合；

25、選擇的水印為長度的二值隨機序列，根據密鑰和水印序列調整矩幅值得到含水印的矩集合；

26、分別將和通過式（3）進行重構得到圖像和，最后得到含水印的圖像；

27、s214：將含水印圖像與原始圖像輸入到水印攻擊網絡中，水印攻擊網絡采用的unet網絡，移除水印，輸出圖像。

28、作為本技術方案的進一步限定，unet網絡為對稱的u形結構，由編碼器和解碼器兩部分組成，編碼器逐步提取圖像特征，并通過下采樣減少空間維度；解碼器逐步恢復空間維度，并通過上采樣重建圖像，同時結合編碼器的特征信息通過殘差的方式相連接。

29、作為本技術方案的進一步限定，所述s22的具體流程為：

30、s221：mse損失；mse損失函數是圖像恢復任務中最常用的逐像素損失函數之一，從水印攻擊網絡中得到的輸出為圖像，將mse損失表示為：

31、（4）

32、s222：局部損失；根據四元數極諧傅里葉矩的原理，最終嵌入水印的位置總是在圖像的最大內切圓之內，設計一個新穎的局部損失函數：

33、（5）

34、其中：表示輸入張量在圖像坐標處的索引值；

35、表示輸入張量在圖像坐標處的索引值；

36、表示在輸入張量中定義的最大內嵌圓區域的索引集合；

37、具體來說，對于每個批次中的圖像，包含所有滿足以下條件的索引：

38、，是以圖像中心為原點的坐標， h和 w分別是圖像的高度和寬度；

39、 n m是掩碼區域內的像素總數，即中元素的數量；

40、s223：感知損失：因此，利用一個預訓練的?vgg16模型來提取關鍵的特征圖，感知損失網絡計算的是在選定的網絡層上，原始圖像與水印攻擊網絡輸出的圖像之間的歐氏距離，具體的損失函數定義如下：

41、（6）

42、其中：是?vgg16網絡中第層的特稱圖輸出；

43、、及分別為第層特征圖的通道、高度及寬度；

44、s224：水印攻擊網絡的總損失表示為：

45、?（7）

46、其中：與為控制損失函數權重的超參數。

47、作為本技術方案的進一步限定，所述s3的具體流程為：

48、固定好在訓練水印攻擊網絡階段訓練好的水印攻擊網絡，并且將含水印圖像作為第二階段的輸入；

49、s31：先對含水印圖像進行?deepfake?得到檢測圖像；

50、s32：將含水印圖像與檢測圖像輸入到水印攻擊網絡中，分別得到沒有偽造過的攻擊后圖像與偽造過的攻擊后圖像；

51、s33：由于差值信息無法輕易察覺，因此利用放大后的差值信息進行偽造檢測，表示為：

52、（8）

53、其中：表示利用?xception?網絡對差值圖像進行真偽分類；

54、表示對于差值圖像放大的倍數；

55、為?xception?網絡對于輸入的預測結果；

56、采用一個簡單的bce損失即能夠訓練?xception?網絡：

57、（9）

58、其中：表示人臉的標簽，0?代表為真，1?代表為假；

59、表示?xception?預測出的結果。

60、與現有技術相比，本發明的優點和積極效果是：本發明提出了一種新穎的主動deepfake?檢測方法。通過利用水印圖像偽造后的差值信息，可以實現?deepfake?高精度的檢測。本發明設計了一種兩階段的主動?deepfake?檢測框架。并且設計了一種新型的局部損失函數來輔助水印攻擊網絡進行水印的去除。現有的主動deepfake檢測方法主要集中在利用解碼器提取出的水印信息與嵌入信息進行比對，從而判斷該圖像是否偽造。本方法從另一個角度出發，設計了一種兩階段的主動?deepfake?檢測框架，通過嵌入水印后的差值信息進行偽造檢測。與此同時，針對于水印攻擊網絡，本發明提出了一種新型的局部損失函數來幫助網絡更好的攻擊嵌入水印的區域。鑒于?qphfm?對常規攻擊的魯棒性，本發明在面對壓縮時也會保持較高的檢測率；水印圖像無論是經過哪種?deepfake，其基本原理都是會生成高度逼真的肉眼無法區分是否偽造的圖像，但這總是會改變水印區域的特征，利用這一特性，本發明在面對不同的?deepfake?偽造方式時也可保持優秀的檢測率。