一種圖像超分辨率重建方法
【專利摘要】本發明公開了一種圖像超分辨率重建方法，圖像處理技術領域；該方法包括以下步驟：提取訓練圖像庫中的低分辨率圖像Y；將獲得的低分辨率圖像進行雙立方插值放大，放大到所需尺寸；設計一個含有動態卷積層的卷積神經網絡；低分辨率圖像Y輸入預訓練好的卷積神經網絡B，得到濾波器SH1和SV1；將低分辨率圖像Y和濾波器SV1，SH1輸入預訓練好的含有動態卷積層的卷積神經網絡；重建高分辨率圖像X；實驗結果表明，本發明提出的算法，不僅在視覺效果上而且在客觀評價標準上都取得了比其他三種優秀的算法要顯著的效果，展現了優秀的超分辨率重建性能。
【專利說明】
一種圖像超分辨率重建方法
技術領域
[0001] 本發明涉及圖像處理技術領域，具體涉及一種圖像超分辨率重建方法。
【背景技術】
[0002] 圖像超分辨重建是指通過軟件算法的方式將已有的低分辨率圖像轉換成高分辨 率圖像。它在圖像打印，視頻監控，醫學圖像處理，衛星成像，刑偵分析等領域有廣泛的應用 并涌現了大量優秀的算法，這些算法大致分為三類:基于插值的圖像超分辨率算法，基于重 構的圖像超分辨重建算法，基于學習的圖像超分辨重建算法。
[0003] 近年來，深度學習理論迅速發展，與傳統依賴先驗知識的特征提取算法不同，深度 神經網絡可在訓練數據驅動下自適應地構建特征描述，具有更高的靈活性和普適性。作為 實現深度學習的一項重要技術，卷積神經網絡有幾十年的發展歷史，深度卷積神經網絡最 近由于其在圖像分類中的優秀表現成為一個爆炸性的研究熱點，已成功地應用于其他計算 機視覺領域。所以也可以利用卷積神經網絡對圖像進行超分辨率重建，直接以原始圖像為 輸入，在訓練數據的驅動下通過自主學習獲取特征描述，簡化特征模型的同時提高運算效 率。利用卷積神經網絡對圖像進行超分辨率重建，直接學習低分辨率和高分辨率圖像之間 端到端的映射。
【發明內容】
[0004] 本發明的目的在于提出一種圖像超分辨率重建方法，該方法包括以下步驟：
[0005] S1根據圖像退化模型，對高分辨率訓練圖像集中的圖像進行模糊和下采樣，得到 對應的低分辨率訓練圖像集，將低分辨率圖像記為Y;
[0006] S2將獲得的低分辨率圖像進行雙立方插值放大，放大到所需尺寸；
[0007] S3設計一個含有動態卷積層的卷積神經網絡；
[0008] S4低分辨率圖像Y輸入預訓練好的卷積神經網絡B，得到濾波器SH1和SV1;
[0009] S5將低分辨率圖像Y和濾波器SV1，SH1輸入預訓練好的含有動態卷積層的卷積神 經網絡；
[0010] S6重建高分辨率圖像X;
[0011] 所述S3,含有動態卷積層的卷積神經網絡包括三部分：
[0012] S3.1從低分辨率圖像Y提取圖像塊，每個圖像塊被表示成高維向量。這些向量包括 一組特征映射圖，其數目等于向量的維數：
[0013] Fl(Y)=max(0，Wl*Y+Bl)
[0014] W1是權重，B1是偏差，符號*是卷積，W1對應于nl個濾波器，即nl個卷積作用于圖 像，卷積核的大小為cl ΧΠ ΧΠ ，濾波器來自獨立的卷積網絡B。
[0015] S3.2每個高維向量非線性映射到另一個高維向量。概念上，每個映射向量是一個 高分辨率圖像塊的代表，這些向量包括另一組特征圖；
[0016] F2(Y)=max(0，W2*Fl(Y)+B2)
[0017] W2是權重，B2是偏差，符號*是卷積，W2對應于n2個濾波器，即n2個卷積作用于圖 像，每個卷積核的大小為nl X f 2 X f 2，濾波器來自獨立的卷積網絡B。
[0018] S3.3聚合上述高分辨率圖像塊，產生最終的高分辨率圖像；
[0019] F(Y)=W3*F2(Y)+B3
[0020] W3是權重，B3是偏差，符號*是卷積，W3對應于n3個濾波器，即n3個卷積作用于圖 像，卷積核的大小為n2 X f 3 X f3。
[0021] S5包括如下
[0022] S5.1前向傳播
[0023] 設1|為基于樣本t的第i次特征圖輸入，綍為基于樣本t的第j次特征圖輸出，_為 卷積核，其計算公式為
[0024]
[0025] 與傳統卷積層不同的是，含有動態卷積層的卷積神經網絡中每個卷積層的卷積核 不同。
[0026] S5.2后向傳播
[0027] 梯度損失函數L相對于垮：
[0028]
[0029] 符號土表示零填充卷積。
[0030]梯度損失函數L相對于
[0031]
[0032] 織為的轉置。
[0033] S4包括如下
[0034]與傳統的卷積層不同，動態卷積層接受兩個輸入。第一個輸入是上一層的特征圖， 第二個輸入是濾波器。特征圖來自卷積網絡A，濾波器來自獨立的卷積網絡B。
[0035] 卷積網絡B結構：
[0036] 1)卷積層C1，輸入與卷積網絡A相同的低分辨率訓練數據，通過nl個大小cl ΧΠΧ Π 的濾波器，輸出nl個特征圖
[0037] 2)最大值-下采樣層Ml，由C1層產生的nl個特征圖，通過步長為2,大小2X2的窗口
[0038] 3)卷積層C2,輸入nl個特征圖，通過n2個大小nl ΧΠ ΧΠ 濾波器，輸出n2個特征圖
[0039] 4)最大值-下采樣層M2,由C2層產生的n2個特征圖，通過步長為2,大小2X2的窗 P;
[0040] 5)卷積層C3,輸入n2個特征圖，通過n3個大η2ΧΠ ΧΠ 濾波器，輸出n3個特征圖；
[0041] 6)最大值-下采樣層M3,由C3層產生的n3個特征圖，通過步長為2,大小2X2的窗 P;
[0042] 7)M3的輸出通過一個全連接層轉換為一個一維行向量HI: 1 Xhl;
[0043] 8)M3的輸出通過一個全連接層轉換為一個一維列向量VI :vl X 1;
[0044] 9)對HI和VI運用Sof tmax函數，得到向量SH1和SV1;
[0045] 10)濾波器SV1應用于動態卷積層；
[0046] 11)濾波器SH1應用于動態卷積層。
【附圖說明】
[0047]圖1是本發明含有動態卷積層的卷積神經網絡圖像超分辨重建算法框架；
[0048]圖2是本發明獲取動態卷積層濾波器SV1和SH1的卷積神經網絡B框架；
[0049] 圖3是使用本發明用放大2倍的圖像經過含有動態卷積層的卷積神經網絡處理的 重建結果和其他三種算法比較;其中，a為原圖，b為雙三次插值，c為改進的錨點近鄰回歸算 法，d為基于卷積神經網絡的超分辨率重建算法，e為本發明。
[0050] 圖4是使用本發明用放大2倍的圖像經過含有動態卷積層的卷積神經網絡處理的 重建結果和其他三種算法比較;其中，a為原圖，b為雙三次插值，c為改進的錨點近鄰回歸算 法，d為基于卷積神經網絡的超分辨率重建算法，e為本發明
【具體實施方式】
[0051] 參照圖1，本發明的框架為
[0052] 步驟1，輸入低分辨率圖像Y;
[0053]步驟2,利用Matlab軟件中的imresize函數將該低分辨率的圖像進行2倍的雙立方 插值放大，得到低分辨率圖像Y;
[0054] 步驟3,低分辨率圖像Y輸入預訓練好的卷積網絡神經B，得到濾波器SH1和SV1;
[0055] 步驟4,將低分辨率圖像Y和濾波器SV1輸入預訓練好的含有動態卷積層的卷積神 經網絡的第一個動態卷積層；
[0056]步驟5,上一步驟中的輸出與濾波器SH1輸入含有動態卷積層的卷積神經網絡的第 二個動態卷積層；
[0057]步驟6,上一步驟中的輸出輸入含有動態卷積層的卷積神經網絡第三層，得到高分 辨率圖像；
[0058]步驟7,重建高分辨率圖像。
[0059]為了驗證算法的有效性，在測試庫set5和測試庫14上，分別與其他三種優秀算法 進行比較。圖3的四幅圖像分別是原圖，Bicubic雙三次插值算法，A+為改進的錨點近鄰回歸 算法，SRCNN為基于卷積神經網絡的超分辨率重建算法，本發明圖像超分辨率重建算法。圖4 的四幅圖像分別是原圖，Bicubic雙三次插值算法，A+為改進的錨點近鄰回歸算法，SRCNN為 基于卷積神經網絡的超分辨率重建算法，本發明圖像超分辨率重建算法。
[0060] 表1為圖3重建結果的結構相似性(SS頂)和峰值信噪比(PSNR)比較。
[0061] 表 1
[0062]
[0063]
[0064] 表2為圖4重建結果的結構相似性(SS頂)和峰值信噪比(PSNR)比較。
[0065] 表 2
[0066]
[0067]實驗結果表明，本發明提出的算法，不僅在視覺效果上而且在客觀評價標準上都 取得了比其他三種優秀的算法要顯著的效果，展現了優秀的超分辨率重建性能。
【主權項】
1. 一種圖像超分辨率重建方法，其特征在于:該方法包括W下步驟， S1提取訓練圖像庫中的低分辨率圖像Y; S2將獲得的低分辨率圖像進行雙立方插值放大，放大到所需尺寸； S3設計一個含有動態卷積層的卷積神經網絡； S4低分辨率圖像Y輸入預訓練好的卷積神經網絡B，得到濾波器甜1和SV1; S5將低分辨率圖像Y和濾波器SV1，SH1輸入預訓練好的含有動態卷積層的卷積神經網 絡； S6重建高分辨率圖像X。2. 根據權利要求1所述的一種圖像超分辨率重建方法，其特征在于:所述S3,含有動態 卷積層的卷積神經網絡包括Ξ部分： S3.1從低分辨率圖像Y提取圖像塊，每個圖像塊被表示成高維向量;運些向量包括一組 特征映射圖，其數目等于向量的維數： Fl(Y)=max(0，Wl^+Bl) W1是權重，B1是偏差，符號*是卷積，W1對應于nl個濾波器，即nl個卷積作用于圖像，每 個卷積核的大小為cixnxn，ni個濾波器來自獨立的卷積網絡B; S3.2每個高維向量非線性映射到另一個高維向量;概念上，每個映射向量是一個高分 辨率圖像塊的代表，運些向量包括另一組特征圖； F2(Y)=max(0，W2 沖 1(Y)+B2) W2是權重，B2是偏差，符號*是卷積，W2對應于n2個濾波器，即n2個卷積作用于圖像，每 個卷積核的大小為nl X f2 X f2，n2個濾波器來自獨立的卷積網絡B; S3.3聚合上述高分辨率圖像塊，產生最終的高分辨率圖像； F(Y)=W3 沖 2(Y)+B3 W3是權重，B3是偏差，符號*是卷積，W3對應于n3個濾波器即n3個卷積作用于圖像，每個 卷積核的大小為n2 X巧X巧。3. 根據權利要求1所述的一種圖像超分辨率重建方法，其特征在于:S5包括如下， S5.1前向傳播 設環為基于樣本t的第i次特征圖輸入，攘為基于樣本t的第j次特征圖輸出，1?為卷積 核，其計算公式為與傳統卷積層不同的是，含有動態卷積層的卷積神經網絡中每個卷積層的卷積核不 同； S5.2后向傳播 梯度損失函數L相對于彎;符號?表示零填充卷積； 梯度損失函數L相對于黎為野的轉置。4.根據權利要求1所述的一種圖像超分辨率重建方法，其特征在于：S4包括如下，與傳 統的卷積層不同，動態卷積層接受兩個輸入;第一個輸入是上一層的特征圖，第二個輸入是 濾波器;特征圖來自卷積網絡A，濾波器來自獨立的卷積網絡B; 卷積網絡B結構： 1) 卷積層C1，輸入與卷積網絡A相同的低分辨率訓練數據與卷積網絡A相同，通過nl個 大小cl xn xn的濾波器，輸出ni個特征圖 2) 最大值-下采樣層Ml，由C1層產生的nl特征圖，通過步長為2,大小2X2的窗口 3) 卷積層C2，輸入nl特征圖，通過n2個大小c2 X f 2 X f 2的濾波器，輸出n2個特征圖 4) 最大值-下采樣層M2,由C2層產生的n2特征圖，通過步長為2,大小2X2的窗口； 5) 卷積層C3，輸入n2特征圖，通過n3個大小c3 X巧X巧的濾波器，輸出n3個特征圖； 6) 最大值-下采樣層M3，由C3層產生的n3特征圖，通過步長為2，大小2 X 2的窗口； 7. M3的輸出通過一個全連接層轉換為一個一維行向量H1:1 Xhl; 8. M3的輸出通過一個全連接層轉換為一個一維列向量VI: vl X 1; 9) 對Η1和V1運用Sof tmax函數，得到向量甜1和SV1; 10) 濾波器SV1應用于動態卷積層； 11) 濾波器甜1應用于動態卷積層。
【文檔編號】G06T3/40GK105976318SQ201610280837
【公開日】2016年9月28日
【申請日】2016年4月28日
【發明人】曹雪, 王宇桐, 禹晶, 肖創柏
【申請人】北京工業大學