一種基于多尺度漸進重建網絡的高動態范圍成像方法

本發明屬于高動態范圍成像，尤其涉及一種基于多尺度漸進重建網絡的高動態范圍成像方法。

背景技術：

1、高動態范圍成像(hdr)旨在通過融合多個曝光不同的低動態范圍(ldr)圖像，生成同時具有更寬廣動態范圍和更多真實細節的圖像。hdr成像技術在計算攝影、計算機視覺和圖形學等領域有廣泛應用，如場景理解、照片渲染、圖像視頻編輯等。然而，實際拍攝中，由于相機抖動和運動物體的存在，造成ldr圖像往往不能完美對齊，進而導致重建的hdr結果中出現鬼影偽影，嚴重影響視覺呈現效果。因此，如何在動態場景下實現無鬼影的高質量hdr成像，成為一個亟待解決的問題。

2、現有的主流去鬼影hdr方法主要分為兩類：基于對齊的方法和基于學習的方法。

3、基于對齊的方法通過全局變換(如單應性)或局部變換(如光流)來對齊ldr圖像，再融合成hdr。然而，復雜動態場景下精準對齊本身就是一個難題，尤其是對于曝光飽和造成內容信息丟失的區域而言。此外，圖像空間域中的過度對齊亦可能造成細節紋理丟失。

4、基于學習的方法借助深度神經網絡以數據驅動的方式，獲取去除鬼影的特征表示和融合策略。它們在一定程度上緩解了對齊問題，取得了不錯的性能。但當遇到大尺度運動和過度曝光時，現有方法產生的hdr結果仍存在明顯的重影、模糊、失真等質量缺陷。分析其原因，主要有兩個方面：1)卷積操作的感受野有限，難以建模長距離依賴關系來應對大尺度運動；2)缺乏對極端曝光區域的特殊處理，導致過曝光無法恢復。

5、因此，怎樣才能解決大尺度運動和極端曝光場景下產生的鬼影、模糊、失真等問題，實現動態場景下的高質量hdr成像，成為目前亟待解決的問題。

技術實現思路

1、針對上述現有技術的不足，本發明提供了一種基于多尺度漸進重建網絡的高動態范圍成像方法，可以解決大尺度運動和極端曝光場景下產生的鬼影、模糊、失真等問題，實現動態場景下的高質量hdr成像。

2、為了解決上述技術問題，本發明采用了如下的技術方案：

3、一種基于多尺度漸進重建網絡的高動態范圍成像方法，包括以下步驟：

4、s1、構建多尺度漸進重構網絡mprnet，包括編碼器模塊、多尺度漸進重構模塊msprm和雙流曝光恢復模塊derm和解碼器模塊；

5、編碼器模塊用于分別對輸入的3個不同的曝光級別的ldr圖像進行特征提取，得到對應的特征圖e1,e2,e3；

6、多尺度漸進重構模塊msprm用于對特征圖e1,e2,e3進行多尺度漸進重構和全局上下文建模，得到融合特征

7、雙流曝光恢復模塊derm用于對融合特征進行過曝光區域的曝光恢復，得到曝光恢復特征fexpo；還用于對融合特征進行內容細節的補全修復，得到內容重建特征frec；還用于對對曝光恢復特征fexpo和內容重建特征frec進行自適應加權，得到優化恢復特征ffused；

8、解碼器用于對優化恢復特征ffused進行解碼，得到hdr圖像預測

9、s2、對構建的多尺度漸進重構網絡mprnet進行訓練；

10、s3、使用訓練后的多尺度漸進重構網絡mprnet進行實際的高動態范圍成像處理。

11、本發明與現有技術相比，具有如下有益效果：

12、本方法使用構建的多尺度漸進重構網絡mprnet進行高動態范圍成像。在進行高動態范圍成像的過程中，多尺度漸進重構模塊msprm會對特征圖e1,e2,e3進行多尺度漸進重構和全局上下文建模，得到融合特征這種跨尺度、跨曝光的漸進融合方式能夠有效抑制運動鬼影，為后續的精細化修復提供高質量的特征表示。雙流曝光恢復模塊derm則會進行曝光恢復和內容重建，并使用融合兩種特征。這種雙流結構和聯合監督能夠更好地恢復過曝光區域，同時重建豐富的紋理細節，提升hdr成像質量。通過這樣的設置，可以有效的保證動態場景下的高質量hdr成像。

13、綜上，本發明可以解決大尺度運動和極端曝光場景下產生的鬼影、模糊、失真等問題，實現動態場景下的高質量hdr成像。

14、優選地，多尺度漸進重構模塊msprm的工作流程包括：

15、首先，通過下采樣創建包含三個尺度的特征金字塔

16、接著，對于第t階段第s個尺度的第i個特征通過上下文嵌入ce模塊對進行全局上下文建模，輸出增強后的特征

17、

18、其中，nl(·)表示上下文建模，通過計算任意兩個位置之間的相關性，聚合全局上下文信息；

19、之后，通過尺度選擇模塊ssm，將同級和更高層的特征融合到當前尺度，得到跨尺度融合后的特征

20、然后，通過可分離大核注意力機制進行同一層級特征融合，得到下個階段特征表示

21、再然后，將依次通過一次ce模塊、ssm模塊、卷積注意力塊ca，得到精細對齊的輸出的特征

22、

23、最后，將原始尺度的輸出特征傳遞給雙流曝光恢復模塊derm。

24、這樣，輸出特征編碼了局部到全局的多尺度運動信息，為高質量hdr圖像重建提供了豐富的特征表示。msprm在特征金字塔的每個尺度引入上下文嵌入模塊建模全局依賴，通過尺度選擇機制將同級和更高層語義信息融合到當前尺度，再通過注意力實現同一尺度內不同曝光特征的自適應加權，最大限度地利用了多尺度和多幀曝光圖像之間的互補信息。這種跨尺度、跨曝光的漸進融合方式能夠有效抑制運動鬼影，為后續的精細化修復提供高質量的特征表示。

25、優選地，ssm的輸入包含一個上采樣分支和一個融合分支；上采樣分支將高層特征映射到第s尺度獲得特征融合分支將同級特征傳遞到輸出；兩個分支的輸出通過ssm模塊進行融合，得到跨尺度融合后的特征

26、

27、

28、優選地，ssm模塊對兩個分支的輸出進行融合時，通過全局平均池化獲得特征圖的全局響應并通過1×1卷積與softmax獲得不同兩個尺度的非線性映射權重圖

29、其中，代表元素級乘法。

30、這樣，通過這種縱向傳播能夠從更高層語義特征中提取運動先驗，指導特征篩選以自適應調節不同尺度特征的貢獻度。

31、優選地，derm包括用于曝光恢復的曝光恢復子網絡，以及用于內容重建的內容重建子網絡；曝光恢復子網絡與內容重建子網絡的結構相同且共享相同的特征編碼器。

32、這種對稱的設計能夠讓網絡將曝光恢復和內容重建視為同等重要的任務，并且分離的雙流設計有助于解耦單一學習任務的復雜性。

33、優選地，雙流曝光恢復模塊derm的工作過程包括：

34、首先，通過一個卷積塊對融合特征進行壓縮，將通道數從3nfeat降至nfeat，得到編碼特征fe:

35、

36、之后，將fe同時送入曝光恢復子網絡和內容重建子網絡中，分別用于曝光恢復和內容重建，得到曝光恢復特征fexpo和內容重建特征frec：其中，曝光恢復自網絡和內容重建自網絡均為rlfn網絡；

37、fexpo＝rlfn(fe)；

38、frec＝rlfn(fe)；

39、其中，rlfn(·)表示rlfn子網絡；

40、再然后，使用另一個卷積塊對曝光恢復特征fexpo和內容重建特征frec進行自適應加權，得到優化恢復特征ffused：

41、ffused＝conv(fexpo,frec)。

42、這樣的設置，雙流曝光恢復模塊derm通過兩個對稱的子網絡同時進行曝光恢復和內容重建，并使用卷積塊自適應融合兩個分支的特征。這種雙流結構能夠更好地恢復過曝光區域，同時重建豐富的紋理細節，提升hdr成像質量。

43、優選地，解碼器模塊包括解碼器1和解碼器2；

44、解碼器1用于通過一個3×3卷積層與sigmoid函數將ffused映射回原始的rgb空間，得到最終的hdr預測

45、

46、解碼器2用于對fexpo進行了一次1×1卷積與sigmoid激活，得到曝光恢復預測

47、

48、這樣，設置一個曝光恢復分支作為輔助監督，通過聯合監督能夠更好地恢復過曝光區域，同時重建豐富的紋理細節。

49、優選地，多尺度漸進重構網絡mprnet的損失函數為：

50、

51、其中，α和β分別控制曝光損失和感知損失的權重；重建損失曝光損失和感知損失分別對應多尺度漸進重構網絡的內容重建分支曝光恢復分支以及重建圖像的感知質量。

52、優選地，重建損失為：

53、

54、

55、其中，ih為ground?truth?hdr圖像；μ為預設的固定值；

56、曝光損失為：

57、

58、

59、其中，ε(x)為曝光特征圖計算函數；wy＝[0.299，0.587，0.114]，表示rgb到亮度(y)的轉換矩陣；為標準差為σ的二維高斯核，*表示卷積操作，σ*控制高斯加權的帶寬，‖a‖f表示矩陣a的frobenius范數；

60、感知損失為基于vgg16的損失函數：

61、

62、其中，φi(·)表示vgg16第i個特征塊的輸出；λi為各特征塊損失的權重。

63、這樣，通過聯合優化重建、曝光和感知質量，該損失函數能夠指導網絡生成無鬼影、曝光適當、細節豐富的高質量hdr圖像。