基于總變差分和卷積神經(jīng)網(wǎng)絡(luò)的超分辨率重建方法與流程

技術(shù)特征：

1.一種基于總變差分和卷積神經(jīng)網(wǎng)絡(luò)的超分辨率重建方法，其特征在于，對低分辨率的圖像進(jìn)行超分辨率重建，包括如下步驟：

圖像分解步驟，采取基于總變差分的方法將原始低分辨率的圖像分解成結(jié)構(gòu)部分和紋理部分；

結(jié)構(gòu)部分圖像放大步驟，先用線性插值對所述結(jié)構(gòu)部分進(jìn)行放大得到初始放大圖像，然后用銳化濾波器對邊緣進(jìn)行銳化，最后進(jìn)行結(jié)果修正；

紋理部分圖像重建步驟，用線性插值針對所述紋理部分進(jìn)行放大，將放大后的圖像輸入卷積神經(jīng)網(wǎng)絡(luò)，經(jīng)運(yùn)算后得到重建后的紋理圖像；以及

圖像結(jié)合步驟，將所述放大后的結(jié)構(gòu)部分圖像和所述重建后的紋理圖像組合，生成最終的超分辨率圖像。

2.根據(jù)權(quán)利要求1所述的一種基于總變差分和卷積神經(jīng)網(wǎng)絡(luò)的超分辨率重建方法，其特征在于：所述圖像分解步驟中所述基于總變差分的方法是解以下最小化方程，

${\min }_u\∫\[\▿u\]+\mathrm{\λ}\∫|f-u|,$

其中，f代表所述圖像分解步驟中所述原始低分辨率的圖像，u代表所述圖像分解步驟中所述結(jié)構(gòu)部分，是結(jié)構(gòu)部分的梯度，λ是拉格朗日乘子，f為原始低分辨率的圖像。

3.根據(jù)權(quán)利要求2所述的一種基于總變差分和卷積神經(jīng)網(wǎng)絡(luò)的超分辨率重建方法，其特征在于：所述λ取值為0.85。

4.根據(jù)權(quán)利要求1所述的一種基于總變差分和卷積神經(jīng)網(wǎng)絡(luò)的超分辨率重建方法，其特征在于：所述結(jié)構(gòu)部分圖像放大步驟中所述線性插值放大采用雙三次線性插值技術(shù)。

5.根據(jù)權(quán)利要求1所述的一種基于總變差分和卷積神經(jīng)網(wǎng)絡(luò)的超分辨率重建方法，其特征在于：所述結(jié)構(gòu)部分圖像放大步驟中所述用銳化濾波器對邊緣進(jìn)行銳化，通過對像素進(jìn)行迭代操作實(shí)現(xiàn)，迭代操作依據(jù)以下方程，

${\mathrm{Iu}}^{n+1}={\mathrm{Iu}}^n-sign\left({\mathrm{\ΔIu}}^n\right)\left|\right|\▿{\mathrm{Iu}}^n\left|\right|t,$

其中，n為迭代總次數(shù)，Iuⁿ表示第n次迭代操作得到的圖像，t是迭代步長，ΔIuⁿ和通過以下方式進(jìn)行計(jì)算，

$\mathrm{\Δ}Iu={\mathrm{Iu}}_{xx}\·{\mathrm{Iu}}_x^2+2\·{\mathrm{Iu}}_{xx}{\mathrm{Iu}}_x{\mathrm{Iu}}_y+{\mathrm{Iu}}_{yy}\·{\mathrm{Iu}}_y^2,$

$\▿Iu=\sqrt{{\mathrm{Iu}}_x^2+{\mathrm{Iu}}_y^2},$

其中，Iu_x和Iu_y分別是圖像I_u水平和垂直方向的一階導(dǎo)數(shù)。

6.根據(jù)權(quán)利要求5所述的一種基于總變差分和卷積神經(jīng)網(wǎng)絡(luò)的超分辨率重建方法，其特征在于：所述迭代總次數(shù)n為50，所述迭代步長t為0.1。

7.根據(jù)權(quán)利要求1所述的一種基于總變差分和卷積神經(jīng)網(wǎng)絡(luò)的超分辨率重建方法，其特征在于，所述結(jié)構(gòu)部分圖像放大步驟中所述結(jié)果修正的方法是對每個(gè)像素點(diǎn)使用其周邊SxS窗口內(nèi)像素點(diǎn)進(jìn)行加權(quán)平均來得到修正后的灰度值；

其中，權(quán)值使用基于灰度強(qiáng)度和灰度分布的像素點(diǎn)的相似性進(jìn)行估計(jì)，所述基于灰度強(qiáng)度和灰度分布的像素點(diǎn)的相似性度量通過像素點(diǎn)周邊N×N相應(yīng)圖像塊的灰度強(qiáng)度和灰度分布的相似性來估計(jì)，依據(jù)如下方程：

$\mathrm{\ω}(m,n)=\frac{1}{Z(i,j)}{e}^{-\frac{d(m,n)}{{\mathrm{\σ}}_1}}{e}^{-\frac{h(m,n)}{{\mathrm{\σ}}_2}},$

其中，ω(m,n)表示賦予SxS窗口內(nèi)像素點(diǎn)y(m,n)的權(quán)值，Z(i,j)是歸一化常量，代表所有權(quán)值的總和，參數(shù)σ₁和σ₂控制指數(shù)方程的衰減速度，d(m,n)為像素點(diǎn)y(i,j)周邊N×N的像素點(diǎn)組成的圖像塊N(i,j)和像素點(diǎn)y(m,n)周邊N×N的像素點(diǎn)組成的圖像塊N(m,n)之間的灰度強(qiáng)度差異，h(m,n)為圖像塊N(i,j)和N(m,n)之間的灰度分布差異。

8.根據(jù)權(quán)利要求1所述的一種基于總變差分和卷積神經(jīng)網(wǎng)絡(luò)的超分辨率重建方法，其特征在于，所述紋理部分圖像重建步驟中所述線性插值放大采用雙三次線性插值技術(shù)。

9.根據(jù)權(quán)利要求1所述的一種基于總變差分和卷積神經(jīng)網(wǎng)絡(luò)的超分辨率重建方法，其特征在于，所述紋理部分圖像重建步驟中所述卷積神經(jīng)網(wǎng)絡(luò)包括輸入層、隱含層和輸出層。

10.根據(jù)權(quán)利要求1所述的一種基于總變差分和卷積神經(jīng)網(wǎng)絡(luò)的超分辨率重建方法，其特征在于，所述紋理部分圖像重建步驟中所述運(yùn)算是依據(jù)卷積神經(jīng)網(wǎng)絡(luò)模型對所述放大后的圖像進(jìn)行重建，

卷積神經(jīng)網(wǎng)絡(luò)模型通過訓(xùn)練建立，訓(xùn)練方法如下：

選取若干幅紋理圖像作為訓(xùn)練集，對每一幅圖像，將原圖按一定的比例采用雙三次插值的方法進(jìn)行降采樣，將降采樣之后的圖像作為低分辨率圖像，將原圖作為目標(biāo)圖像，將低分辨率圖像通過雙三次插值，放大到和原圖一致大小，將放大后的圖像劃分成多個(gè)固定大小的圖像塊，相應(yīng)的原圖也按相同方式劃分，從而構(gòu)成輸入和輸出圖像對，最后進(jìn)行配對訓(xùn)練。