本公開涉及計算機視覺領域,具體涉及一種基于偏振圖像的零樣本學習超分辨率重建方法和系統。
背景技術:
1、隨著計算機視覺和圖像處理技術的飛速發展,超分辨率重建成為了一個備受關注的研究領域。在許多應用領域中,如虛擬現實、增強現實、工業測量、生物醫學成像等,對真實世界的信息進行準確、快速的獲取和重建已經成為了一項重要任務。基于深度學習的超分辨率重建作為一種常見的超分辨率重建方法,通過獨特的神經網絡結構和相應的損失函數,通過訓練就能夠得到相應圖像的超分辨率圖像。具有重建精度高、成像質量好的優點,已廣泛應用于各種場景環境。
2、傳統的超分辨率重建算法主要是依靠智能算法來對像素點的值進行補充。這類方法主要包括:基于數學原理對像素點擴充,利用插值算法對像素周圍進行填補和基于學習的超分辨率重建算法等技術。而基于深度學習的超分辨重建方法利用特殊的神經網絡算法結構來對圖像信息的特征進行學習,以此來達到超分辨重建并保留圖像信息的方法。基于深度學習的超分辨重建的基本原理為:準備大量的低分辨率和高分辨率圖像對,作為訓練數據集。這些圖像對用于訓練神經網絡,以便學習如何將低分辨率圖像轉換成高分辨率圖像;設計適合的深度神經網絡結構,如卷積神經網絡(cnn)。網絡設計可以包括多種結構,如線性網絡、殘差網絡、遞歸網絡和注意力網絡等,以更好地捕捉圖像的局部結構和全局信息;通過神經網絡的前向傳播過程,從低分辨率圖像中提取特征。這些特征旨在捕捉圖像的紋理、邊緣和其他關鍵信息;利用訓練數據集中的高分辨率圖像,指導網絡學習低分辨率到高分辨率的映射。這個過程通常通過最小化重建圖像和高分辨率圖像之間的差異來實現,這個差異通常通過損失函數來度量;通過反向傳播算法和梯度下降等優化技術,不斷調整網絡的權重,直到網絡的輸出接近高分辨率圖像;訓練完成后,使用測試集評估網絡性能。網絡的輸出是重建的高分辨率圖像,評估指標可以包括圖像質量、分辨率、視覺效果等。在偏振視覺的條件下,目前難以獲得網絡所需的大量偏振圖像。并且,大型神經網絡的運行速度非常慢,難以滿足工業需求。
技術實現思路
1、基于上述背景技術中提到的問題,本公開提供一種基于偏振圖像的零樣本學習超分辨率重建方法和系統,能夠解決在偏振視覺的條件下現有技術難以獲得網絡所需的大量偏振圖像、大型神經網絡的運行速度非常慢而難以滿足工業需求等問題。為解決上述技術問題,本公開提供如下技術方案:
2、作為本公開實施例的一個方面,提供基于偏振圖像的零樣本學習超分辨率重建方法,包括如下步驟:
3、獲取偏振相機的原始偏振圖像;所述原始偏振圖像為通過焦平面分割偏振成像原理設計出的面陣偏振相機獲取的,所述原始偏振圖像包括4個角度的偏振態圖像,分別為0°、45°、90°和135°的偏振態圖像,并集中在一幅圖像上且無需分割的原始偏振圖像;
4、對采集到的原始偏振圖像采用雙三次插值算法進行下采樣,使用退化表征學習,獲取不同退化形式的低分辨率圖像;
5、將退化過的低分辨率圖像與原始偏振圖像組成對,采用斯托克斯參量,基于保留偏振信息的損失函數對神經網絡進行訓練;
6、將原始偏振圖像作為訓練后的神經網絡的輸入以輸出重建的超分辨率圖像。
7、可選地,對采集到的原始偏振圖像采用雙三次插值算法進行下采樣,使用退化表征學習,獲取不同退化形式的低分辨率圖像,包括:
8、設置雙三次插值算法的下采樣倍數,其中,雙三次插值使用4×4的像素鄰域來計算目標像素的值;
9、使用退化表征學習,對下采樣得到的圖像加入噪聲、壓縮和加入高斯模糊以獲取不同退化形式的低分辨率圖像。
10、可選地,加入噪聲、壓縮和加入高斯模糊以獲取不同退化形式的低分辨率圖像,包括:
11、對下采樣得到的圖像加入噪聲n,如下式所示:
12、,
13、其中,r為尺度因子,k為模糊降解核,為原始偏振圖像,為處理后的低分辨率圖像,n為噪聲;
14、對加入噪聲的jepg格式的圖像進行壓縮,表示如下:
15、,
16、其中,為壓縮后的圖像;
17、再將壓縮后的jepg格式的圖像進行各向異性高斯模糊,表示為:
18、,
19、其中,是模糊后的圖像在位置處的像素值,是壓縮后的jepg格式的圖像在位置處的像素值,表示各向異性高斯核,其形狀和模糊程度依賴于輸入圖像的梯度信息,為表示模糊程度的高斯核的標準差;
20、其中,,
21、是一個與梯度信息相關的權重函數,,其中,表示圖像局部區域的梯度大小,通過將所述梯度大小歸一化為[0,?1]的范圍,再作用于所述權重函數,得到相應的權重值。
22、可選地,所述斯托克斯參量表示為:
23、,
24、,
25、,
26、其中,為對應偏振角度為的偏振圖像;、、以及分別代表4個偏振態圖像,所述偏振態圖像用數字圖像表示則是圖像的亮度值,其中,為包含全部偏振角度的圖像;為偏振角度為0°和90°的偏振差分圖像;為偏振角度為45°和135°的偏振差分圖像,為偏振度圖像,表示偏振的程度;為偏振角圖像,表示偏振的方向。
27、可選地,保留偏振信息的損失函數 l表示如下:
28、,
29、其中,表示超分辨部分的損失函數,通過退化圖像與原始偏振圖像相互匹配并作差求得;表示偏振的程度信息圖像dolp所包含偏振信息的損失,表示偏振的角度信息圖像aolp所包含偏振信息的損失,這二者聯合使用,最終還原完整的偏振信息;與為權重指標,通過不斷迭代網絡實現自適應調整;、以及所對應表達式分別為:
30、,
31、,
32、,
33、其中,表示原始圖像各點像素,在偏振圖像中,表示全強度圖像每個點的像素值;表示超分辨重建后的圖像每個點像素值;表示由原始偏振圖像計算得出的圖像各點像素值,表示由超分辨率重建后的偏振圖像計算得出的圖像各點像素值;表示超分辨率重建后的偏振圖像計算得出的圖像的結構相似度指標;表示超分辨率重建后的偏振圖像計算得出的圖像各點像素值,表示原始偏振圖像計算得出的圖像各點像素值。
34、可選地,零樣本訓練過程表示如下:
35、使用退化表征學習得到的退化圖像作為網絡輸入,原始偏振圖像作為輸出,對神經網絡進行初步迭代訓練,得到一個能夠還原圖像信息和偏振信息網絡參數;
36、使用初步訓練好的神經網絡,將原始偏振圖像作為輸入,輸出保留偏振信息的偏振圖像。
37、可選地,雙三次插值表示如下:
38、,
39、 f( m,n)表示目標像素的值, m和 n分別是目標像素在水平和垂直方向上的位置坐標, i和 j分別表示鄰域中像素點的位置偏移, p( i,?j)是鄰域中相應像素點的值,和分別為雙三次插值函數,分別在水平和垂直方向上計算,c是歸一化系數,、、、為與插值相關的參數。
40、作為本公開實施例的另一個方面,提供基于偏振圖像的零樣本學習超分辨率重建系統,包括:
41、原始偏振圖像獲取單元,獲取偏振相機的原始偏振圖像;所述原始偏振圖像為通過焦平面分割偏振成像原理設計出的面陣偏振相機獲取的,所述原始偏振圖像包括4個角度的偏振態圖像,分別為0°、45°、90°和135°的偏振態圖像,并集中在一幅圖像上的無需分割的原始偏振圖像;
42、退化表征單元,對采集到的原始偏振圖像采用雙三次插值算法進行下采樣,使用退化表征學習,獲取不同退化形式的低分辨率圖像;
43、零樣本學習單元,將退化過的低分辨率圖像與原始偏振圖像組成對,采用斯托克斯參量,基于保留偏振信息的損失函數對神經網絡進行訓練;
44、圖像重建單元,將原始偏振圖像作為訓練后的神經網絡的輸入以輸出重建的超分辨率圖像。
45、作為本公開實施例的另一個方面,提供一種電子設備,包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序,所述處理器執行所述計算機程序時實現所述的基于偏振圖像的零樣本學習超分辨率重建方法。
46、作為本公開實施例的另一個方面,提供一種計算機可讀存儲介質,其上存儲有計算機程序,所述程序被處理器執行時實現所述的基于偏振圖像的零樣本學習超分辨率重建方法的步驟。
47、相對于現有技術,本公開可以明顯的提升超分辨率重建精度和網絡運行速度;本公開還提出偏振損失函數的計算,能夠生成高精度的偏振超分辨率重建結果,有效地保留超分辨率圖像中的偏振信息。