本申請涉及圖像恢復,特別是涉及一種圖像恢復方法、裝置、計算機設備和存儲介質。
背景技術:
1、在圖像序列采集過程中,由于目標對象的快速運動或者采集設備的晃動,容易導致采集得到的畫面丟失細節、缺乏銳度等不良情況,從而導致觀看體驗受到影響,這種由于運動造成的圖像模糊現象稱為運動模糊。
2、目前,去運動模糊算法旨在修復拍攝過程中丟失的畫面細節以提升圖像清晰度。現有的去運動模糊算法一般通過設計一個復雜的對齊模塊來建模時序信息,例如動態卷積(deformable?convolution)、分組空間漂移模塊(grouped?spatial?shift)、光流引導的注意力模塊(flow-guided?sparse?transformer)、光流引導可變形注意力模塊(guideddeformable?attention)等,然而,實現這些模塊的算法通常具有較高復雜度從而需要耗費較多計算資源。
技術實現思路
1、基于此,有必要針對上述技術問題,提供一種能夠得到清晰度高于第一圖像幀的第二圖像幀的圖像恢復方法、裝置、計算機設備、計算機可讀存儲介質和計算機程序產品。
2、第一方面,本申請提供了一種圖像恢復方法。所述方法包括:
3、獲取第一圖像序列;所述第一圖像序列包括按照時序排列的多個第一圖像幀;
4、基于各所述第一圖像幀得到多個第一拼接圖像特征;所述第一圖像幀與所述第一拼接圖像特征之間一一對應;
5、基于注意力窗口,將各所述第一拼接圖像特征與各所述第一圖像幀進行融合,得到各所述第一圖像幀的融合圖像特征;
6、基于各所述第一圖像幀的融合圖像特征,得到多個所述第二圖像幀;所述第二圖像幀的清晰度高于所述第一圖像幀。
7、第二方面,本申請還提供了一種圖像恢復裝置。所述裝置包括:
8、獲取模塊,用于獲取第一圖像序列;所述第一圖像序列包括按照時序排列的多個第一圖像幀;
9、拼接模塊,用于基于各所述第一圖像幀得到多個第一拼接圖像特征;所述第一圖像幀與所述第一拼接圖像特征之間一一對應;
10、融合模塊,用于基于注意力窗口,將各所述第一拼接圖像特征與各所述第一圖像幀進行融合,得到各所述第一圖像幀的融合圖像特征;
11、恢復模塊,用于基于各所述第一圖像幀的融合圖像特征,得到多個所述第二圖像幀;所述第二圖像幀的清晰度高于所述第一圖像幀。
12、第三方面,本申請還提供了一種計算機設備。所述計算機設備包括存儲器和處理器,所述存儲器存儲有計算機程序,所述處理器執行所述計算機程序時實現本申請實施例第一方面任一方法中所描述的部分或全部步驟。
13、第四方面,本申請還提供了一種計算機可讀存儲介質。所述計算機可讀存儲介質,其上存儲有計算機程序,所述計算機程序被處理器執行時實現本申請實施例第一方面任一方法中所描述的部分或全部步驟。
14、第五方面,本申請還提供了一種計算機程序產品。所述計算機程序產品,包括計算機程序,該計算機程序被處理器執行時實現本申請實施例第一方面任一方法中所描述的部分或全部步驟。
15、上述圖像恢復方法、裝置、計算機設備、存儲介質和計算機程序產品,獲取第一圖像序列;第一圖像序列包括按照時序排列的多個第一圖像幀;基于各第一圖像幀得到多個第一拼接圖像特征;第一圖像幀與第一拼接圖像特征之間一一對應;基于注意力窗口,將各第一拼接圖像特征與各第一圖像幀進行融合,得到各第一圖像幀的融合圖像特征;基于各第一圖像幀的融合圖像特征,得到多個第二圖像幀;第二圖像幀的清晰度高于第一圖像幀。本申請提供的圖像恢復方法,在基于注意力窗口得到的各第一圖像幀的融合圖像特征的基礎上,實現對各第一圖像幀的清晰度恢復,從而得到清晰度更高的多個第二圖像幀,在圖像恢復過程中通過注意力窗口避免了使用需要耗費較多計算資源的復雜算法,實現了高效率地完成圖像恢復。
1.一種圖像恢復方法,其特征在于,所述方法包括:
2.根據權利要求1所述的方法,其特征在于,所述基于各所述第一圖像幀得到多個第一拼接圖像特征,包括:
3.根據權利要求1所述的方法,其特征在于,所述基于注意力窗口,將各所述第一拼接圖像特征與各所述第一圖像幀進行融合,得到各所述第一圖像幀的融合圖像特征,包括:
4.根據權利要求1所述的方法,其特征在于,所述第一拼接圖像特征、各所述第一圖像幀的融合圖像特征、所述所述第二圖像幀是基于目標模型得到的;所述方法還包括:
5.根據權利要求4所述的方法,其特征在于,所述將多個所述第二訓練圖像幀輸入所述訓練模型中,以得到多個第三訓練圖像幀,包括:
6.根據權利要求4所述的方法,其特征在于,所述對多個所述第一訓練圖像幀進行模糊處理,得到多個第二訓練圖像幀,包括:
7.根據權利要求4所述的方法,其特征在于,所述確定多個所述第一訓練圖像幀和多個所述第三訓練圖像幀之間的總損失函數,包括:
8.一種圖像恢復裝置,其特征在于,所述裝置包括:
9.一種計算機設備,包括存儲器和處理器,所述存儲器存儲有計算機程序,其特征在于,所述處理器執行所述計算機程序時實現權利要求1至7中任一項所述的方法的步驟。
10.一種計算機可讀存儲介質,其上存儲有計算機程序,其特征在于,所述計算機程序被處理器執行時實現權利要求1至7中任一項所述的方法的步驟。