本技術涉及圖像生成領域,尤其涉及一種圖像超分辨率方法及裝置。
背景技術:
1、隨著數字圖像技術的飛速發展,圖像超分辨率(super-resolution,sr)技術已成為圖像處理領域的一個重要分支。圖像超分辨率是指從一系列低分辨率的圖像中重建出高分辨率圖像的過程,圖像超分辨率在影視制作、生成圖像上采樣、醫學成像等多個領域具有重要的應用價值。
2、然而,現有的圖像超分率算法無法提高超分辨率圖像(簡稱超分圖像)的圖像質量,且圖像細節的表現效果較差。
技術實現思路
1、本技術提供了一種圖像超分辨率方法及裝置,目的在于提高超分辨率圖像的圖像質量和圖像細節表現效果。
2、為了實現上述目的,本技術提供了以下技術方案:
3、一種圖像超分辨率方法,包括:
4、獲得待超分圖像;所述待超分圖像為待進行圖像超分辨的圖像;
5、通過將所述待超分圖像輸入至基于目標樣本訓練得到的圖像超分辨率模型,得到所述圖像超分辨率模型輸出對應的超分圖像;所述目標樣本包含作為模型輸出的高質量圖像以及作為模型輸入的低質量圖像;
6、其中,所述圖像超分辨率模型包括:
7、特征提取結構,用于對所述待超分圖像進行特征提取,以獲得第一特征信息;
8、降采樣結構,用于對所述第一特征信息進行降采樣,以獲得第二特征信息;
9、特征優化結構,用于對所述第二特征信息進行特征優化,以獲得第三特征信息;
10、上采樣結構,用于對所述第三特征信息進行上采樣,以獲得第四特征信息;
11、特征細化結構,用于對所述第四特征信息進行特征細化,以獲得第五特征信息;
12、圖像生成結構,用于基于所述第五特征信息,生成分辨率符合預設條件的超分圖像。
13、可選的,所述目標樣本的獲取方式,包括:
14、從本地資源庫所示的多個樣本視頻中,篩選視頻質量評分符合第一閾值的目標視頻;
15、從所述目標視頻所示的圖像幀中,篩選圖像質量評分符合第二閾值的參考圖像幀,確定為所述高質量圖像;
16、對所述目標視頻進行退化處理,以獲得對應的退化視頻;
17、基于所述退化視頻中符合預設要求的目標圖像幀,確定為所述低質量圖像;所述預設要求為:與所述參考圖像幀歸屬同一幀。
18、可選的,所述特征提取結構包括第一卷積模塊以及混合特征提取模塊,所述特征提取結構具體用于:
19、利用所述第一卷積模塊,對所述待超分圖像進行特征提取,以獲得對應的特征圖;
20、利用所述混合特征提取模塊,對所述特征圖進行特征提取,以獲得包含有多個感受野的第一特征信息。
21、可選的,所述降采樣結構包括降采樣模塊以及混合特征提取模塊,所述降采樣結構具體用于:
22、利用至少一個第一組合結構,對所述第一特征信息進行降采樣,以獲得所述第二特征信息;
23、其中,所述第一組合結構基于所述降采樣模塊作為輸入端,所述混合特征提取模塊作為輸出端。
24、可選的,所述特征優化結構包括多個混合特征提取模塊,所述特征優化結構具體用于:
25、利用多個所述混合特征提取模塊,對所述第二特征信息的部分信息進行特征優化,以獲得所述第三特征信息。
26、可選的,所述上采樣結構包括上采樣模塊、第一融合模塊以及混合特征提取模塊,所述上采樣結構具體用于:
27、利用至少一個第二組合結構,對所述第三特征信息進行上采樣,以獲得所述第四特征信息;
28、其中,所述第二組合結構基于所述上采樣模塊作為輸入端,所述第一融合模塊作為中間端,所述混合特征提取模塊作為輸出端;所述第一融合模塊用于將所述上采樣模塊的上采樣結果與目標特征信息進行特征融合,以及將特征融合結果傳送至所述混合特征提取模塊;所述目標特征信息包括所述第一特征信息,或者所述第二特征信息的部分信息。
29、可選的,所述特征細化結構包括多個混合特征提取模塊,所述特征細化結構具體用于:
30、利用多個所述混合特征提取模塊,對所述第四特征信息的部分信息進行特征細化,以獲得所述第五特征信息。
31、可選的,所述圖像生成結構包括第二卷積模塊、第三卷積模塊以及像素重排模塊,所述圖像生成結構具體用于:
32、利用所述第二卷積模塊,對所述第五特征信息以及所述待超分圖像的特征圖進行卷積,以獲得第一圖像;
33、利用所述像素重排模塊,對所述第一圖像進行像素重排,以獲得分辨率高于所述第一圖像的第二圖像;
34、利用所述第三卷積模塊,對所述第二圖像進行多倍上采樣,以獲得所述超分圖像。
35、可選的,所述混合特征提取模塊包括:
36、第四卷積模塊,用于對所述混合特征提取模塊的輸入信息進行特征提取,以獲得目標特征;
37、特征拆分模塊,用于對所述目標特征進行拆分,以獲得多個子特征;
38、特征學習模塊,用于利用與多個所述子特征對應的深度學習網絡,對多個所述子特征進行學習優化,以獲得多個優化子特征;
39、第二融合模塊,用于將多個所述優化子特征進行特征融合,以獲得包含有多個感受野的混合特征;
40、注意力機制模塊,用于對所述混合特征進行特征增強,以獲得增強混合特征;
41、第五卷積模塊,用于對所述增強混合特征進行特征提取,以獲得所述混合特征提取模塊的輸出信息。
42、一種圖像獲得裝置,包括:
43、圖像獲得單元,用于獲得待超分圖像;所述待超分圖像為待進行圖像超分辨的圖像;
44、圖像處理單元,用于通過將所述待超分圖像輸入至基于目標樣本訓練得到的圖像超分辨率模型,得到所述圖像超分辨率模型輸出對應的超分圖像;所述目標樣本包含作為模型輸出的高質量圖像以及作為模型輸入的低質量圖像;其中,所述圖像超分辨率模型包括:特征提取結構,用于對所述待超分圖像進行特征提取,以獲得第一特征信息;降采樣結構,用于對所述第一特征信息進行降采樣,以獲得第二特征信息;特征優化結構,用于對所述第二特征信息進行特征優化,以獲得第三特征信息;上采樣結構,用于對所述第三特征信息進行上采樣,以獲得第四特征信息;特征細化結構,用于對所述第四特征信息進行特征細化,以獲得第五特征信息;圖像生成結構,用于基于所述第五特征信息,生成分辨率符合預設條件的超分圖像。
45、可選的,所述圖像處理單元具體用于:
46、從本地資源庫所示的多個樣本視頻中,篩選視頻質量評分符合第一閾值的目標視頻;
47、從所述目標視頻所示的圖像幀中,篩選圖像質量評分符合第二閾值的參考圖像幀,確定為所述高質量圖像;
48、對所述目標視頻進行退化處理,以獲得對應的退化視頻;
49、基于所述退化視頻中符合預設要求的目標圖像幀,確定為所述低質量圖像;所述預設要求為:與所述參考圖像幀歸屬同一幀。
50、可選的,所述圖像處理單元具體用于:
51、利用所述第一卷積模塊,對所述待超分圖像進行特征提取,以獲得對應的特征圖;
52、利用所述混合特征提取模塊,對所述特征圖進行特征提取,以獲得包含有多個感受野的第一特征信息。
53、可選的,所述圖像處理單元具體用于:
54、利用至少一個第一組合結構,對所述第一特征信息進行降采樣,以獲得所述第二特征信息;
55、其中,所述第一組合結構基于所述降采樣模塊作為輸入端,所述混合特征提取模塊作為輸出端。
56、可選的,所述圖像處理單元具體用于:
57、利用多個所述混合特征提取模塊,對所述第二特征信息的部分信息進行特征優化,以獲得所述第三特征信息。
58、可選的,所述圖像處理單元具體用于:
59、利用至少一個第二組合結構,對所述第三特征信息進行上采樣,以獲得所述第四特征信息;
60、其中,所述第二組合結構基于所述上采樣模塊作為輸入端,所述第一融合模塊作為中間端,所述混合特征提取模塊作為輸出端;所述第一融合模塊用于將所述上采樣模塊的上采樣結果與目標特征信息進行特征融合,以及將特征融合結果傳送至所述混合特征提取模塊;所述目標特征信息包括所述第一特征信息,或者所述第二特征信息的部分信息。
61、可選的,所述圖像處理單元具體用于:
62、利用多個所述混合特征提取模塊,對所述第四特征信息的部分信息進行特征細化,以獲得所述第五特征信息。
63、可選的,所述圖像處理單元具體用于:
64、利用所述第二卷積模塊,對所述第五特征信息以及所述待超分圖像的特征圖進行卷積,以獲得第一圖像;
65、利用所述像素重排模塊,對所述第一圖像進行像素重排,以獲得分辨率高于所述第一圖像的第二圖像;
66、利用所述第三卷積模塊,對所述第二圖像進行多倍上采樣,以獲得所述超分圖像。
67、可選的,所述圖像處理單元所使用的混合特征提取模塊包括:
68、第四卷積模塊,用于對所述混合特征提取模塊的輸入信息進行特征提取,以獲得目標特征;
69、特征拆分模塊,用于對所述目標特征進行拆分,以獲得多個子特征;
70、特征學習模塊,用于利用與多個所述子特征對應的深度學習網絡,對多個所述子特征進行學習優化,以獲得多個優化子特征;
71、第二融合模塊,用于將多個所述優化子特征進行特征融合,以獲得包含有多個感受野的混合特征;
72、注意力機制模塊,用于對所述混合特征進行特征增強,以獲得增強混合特征;
73、第五卷積模塊,用于對所述增強混合特征進行特征提取,以獲得所述混合特征提取模塊的輸出信息。
74、本技術提供的技術方案,通過將待超分圖像輸入至基于目標樣本訓練得到的圖像超分辨率模型,得到圖像超分辨率模型輸出對應的超分圖像。本技術利用基于目標樣本訓練得到的圖像超分辨率模型,對待超分圖像進行超分辨率,能夠有效提高超分圖像的圖像質量和圖像細節表現效果。