全景圖像超分辨率方法、系統、電子設備及存儲介質

本發明屬于圖像處理，具體涉及一種全景圖像超分辨率方法、系統、電子設備及存儲介質。

背景技術：

1、隨著全景圖像技術的發展和應用的普及，人們對高分辨率全景圖像的需求日益增長。全景圖像能夠捕捉到一個場景的完整視野，這在虛擬現實、城市規劃、建筑設計和旅游業等領域具有廣泛的應用。高分辨率的全景圖像能提供360度的視角，這意味著圖像中的每一個細節都能被清晰地展現，且這對于增強用戶體驗和提高應用的實際效用至關重要。例如，在虛擬現實中，高分辨率的全景圖像能為用戶提供更加沉浸式的體驗，使他們仿佛置身于真實的環境中；在城市規劃中，高分辨率全景圖像能夠幫助規劃者更精確地分析地形和建筑物的分布；在旅游業中，高清的全景圖像能讓潛在游客更直觀地了解目的地的360度風景。然而，與高分辨率的普通圖片和視頻相比，高分辨率全景圖像的拍攝不但需要高精度的光學設備和圖像傳感器進行拍攝，還需要將不同角度的圖片進行組合、配準以構建最終的360度全景圖像，這導致了拍攝成本更加高昂。尤其是在戶外或復雜場景下，獲取高質量的全景圖像的難度和成本還會進一步的增加。

2、因此，在現有設備無法滿足高分辨率全景圖像需求的情況下，目前全景圖像的分辨率大多數比較低，而用戶對高清全景圖像的需求卻不斷攀升。這種需求的矛盾推動了全景圖像超分辨率技術的發展，通過該技術，可以在不更換硬件設備的前提下，將低分辨率全景圖像轉換為高分辨率的圖像，從而滿足各類應用的實際需求。

3、然而，全景圖像通常以等矩形投影?(equirectangular?projection,?erp)?格式存儲，存在著嚴重的幾何畸變和與緯度相關的特征分布差異。在erp?全景圖中，從赤道開始，隨著緯度向南極或者北極的不斷升高，全景圖中的紋理特征和細節信息顯著變少。從數學角度來說明，erp投影是一種從球面投影到平面的過程，存在著嚴重的空間畸變，由于這種拉伸（也可稱作過采樣）通常是由插值操作(如雙三次插值)進行的，這必然會導致高緯度地區的紋理和細節等高頻信息會變得更加平滑。因此，erp全景圖中呈現出明顯的紋理和細節的分布差異性。而現有的圖像超分辨率方法，絕大多數是面向普通2d圖像設計的，無法有效解決這一難題，難以獲得理想的超分性能，不能滿足用戶的視覺需求。

技術實現思路

1、本發明針對上述問題，提供了一種基于緯度分級強化的全景圖像超分辨率方法、系統及存儲介質，旨在恢復出更高分辨率、更高質量的全景圖像。

2、根據本公開實施例的第一方面，提供一種基于緯度分級強化的全景圖像超分辨率方法，所述方法包括以下步驟：

3、獲取含多種不同場景的全景圖像數據集，將所述全景圖像數據集預處理后將所述全景圖像數據集劃分為訓練數據集和測試數據集；

4、建立基于緯度分級強化的全景圖像超分辨率模型，所述全景圖像超分辨率模型包括特征提取子網、深度特征增強子網、上采樣子網和重建子網，其中，所述特征提取子網用于提取輸入全景圖片的淺層特征；所述深度特征增強子網通過級聯的緯度分級強化單元，對不同緯度區域的淺層特征進行分等級的深度增強，基于全景圖像中不同緯度區域特征分布的差異性，提煉不同緯度的高頻信息，得到增強特征；所述上采樣子網采用亞像素卷積層放大所述增強特征的空間分辨率尺寸；所述重建子網將所述的放大后的增強特征復原成高分辨率全景圖；

5、分別利用所述訓練數據集和所述測試數據集訓練和測試所述全景圖像超分辨率模型，

6、利用訓練以及測試通過的所述全景圖像超分辨率模型實現全景圖像超分辨率。

7、在一些實施例中，利用所述訓練數據集和所述測試數據集訓練和測試所述全景圖像超分辨率模型，具體包括：

8、將多種不同場景下的所述訓練數據集依次輸入所述全景圖像超分辨率模型；

9、迭代訓練時，計算所述全景圖像超分辨率模型生成的高分辨率全景圖與真實值之間的損失值；

10、以縮小損失值為優化目標訓練所述全景圖像超分辨率模型，并同步更新、優化網絡權重；

11、利用所述測試數據集評估所述全景圖像超分辨率模型的重建性能。

12、在一些實施例中，所述深度特征增強子網按照緯度高低，將所述淺層特征劃分為不同區域，對不同區域的特征進行分等級增強，即從高緯度區域到低緯度區域獲得的特征提煉的強度依次增加。

13、在一些實施例中，所述分級強化單元還將各區域增強特征合并成特征圖，運用級聯的卷積層對所述特征圖進行增強。

14、在一些實施例中，所述損失值由全局損失函數求得，所述全局損失函數的具體表達式為：

15、，

16、其中，為訓練集中的樣本數量，、分別表示全景圖像超分辨率模型對第 k個輸入的全景圖像的超分結果及其對應的真值，為全局損失函數。

17、根據本公開實施例的第二方面，提供一種基于緯度分級強化的全景圖像超分辨率系統，所述系統包括：

18、數據集獲取模塊，用于獲取含多種不同場景的全景圖像數據集，將所述全景圖像數據集預處理后將所述全景圖像數據集劃分為訓練數據集和測試數據集；

19、模型建立模塊，用于建立基于緯度分級強化的全景圖像超分辨率模型，所述全景圖像超分辨率模型包括特征提取子網、深度特征增強子網、上采樣子網和重建子網，其中，所述特征提取子網用于提取輸入全景圖片的淺層特征；所述深度特征增強子網通過級聯的緯度分級強化單元，對不同緯度區域的淺層特征進行分等級的深度增強，基于全景圖像中不同緯度區域特征分布的差異性，提煉不同緯度的高頻信息，得到增強特征；所述上采樣子網采用亞像素卷積層放大所述增強特征的空間分辨率尺寸；所述重建子網將放大后的增強特征復原成高分辨率全景圖；

20、模型訓練和測試模塊，用于分別利用所述訓練數據集和所述測試數據集訓練和測試所述全景圖像超分辨率模型，

21、全景圖像超分辨率實現模塊，用于利用訓練以及測試通過的所述全景圖像超分辨率模型實現全景圖像超分辨率。

22、在一些實施例中，所述模型訓練和測試模塊，實現過程具體包括：

23、將多種不同場景下的所述訓練數據集依次輸入所述全景圖像超分辨率模型；

24、迭代訓練時，計算所述全景圖像超分辨率模型生成的高分辨率全景圖與真實值之間的損失值；

25、以縮小損失值為優化目標訓練所述全景圖像超分辨率模型，并同步更新、優化網絡權重；

26、利用所述測試數據集評估所述全景圖像超分辨率模型的重建性能。

27、在一些實施例中，所述深度特征增強子網按照緯度高低，將所述淺層特征劃分為不同區域，對不同區域的特征進行分等級增強，即從高緯度區域到低緯度區域獲得的特征提煉的強度依次增加。

28、根據本公開實施例的第三方面，提供一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述程序時實現上述基于緯度分級強化的全景圖像超分辨率方法的步驟。

29、根據本公開實施例的第四方面，提供一種非臨時計算機可讀存儲介質，所述存儲介質上存儲有計算機指令，所述指令被處理器執行時實現上述基于緯度分級強化的全景圖像超分辨率方法的步驟。

30、本公開實施例提供的一種基于緯度分級強化的全景圖像超分辨率方法、系統及存儲介質，其有益效果包括：

31、充分考慮到全景圖像中不同緯度區域的特征分布的差異性，通過級聯的緯度分級強化單元，按照緯度高低，將全景圖像的特征劃分為不同區域，對這些不同區域的特征進行分等級的增強，確保不同緯度區域被強化的程度不同，即擁有更多紋理特征的較低緯度區域會獲得更強的提煉。通過這種對深層特征的獨特的差異化提煉，能充分提取不同緯度的高頻信息，從而恢復出更清晰的細節、紋理和物體邊緣。此外，為了解決這種空間劃分導致的不同區域的信息隔絕，在分級強化單元中將各區域特征合并成完整的特征圖后，再運用級聯的卷積層進一步地對完整的特征圖進行增強，促進不同區域之間的信息交互，避免了邊緣偽影的出現，進而提升了超分的重建性能。

32、綜上所述，本發明有效地解決了全景圖像中不同緯度特征分布的差異性難題，提高對不同場景環境下全景圖像的超分效果，增強了全景圖像的質量和視覺體驗。

33、應當理解的是，以上的一般描述和后文的細節描述僅是示例性和解釋性的，并不能限制本公開。