欠采樣降質(zhì)圖像的超分辨率重建優(yōu)化恢復(fù)方法與流程

本發(fā)明涉及一種欠采樣降質(zhì)圖像的超分辨率重建優(yōu)化恢復(fù)方法，屬于圖像處理領(lǐng)域。
背景技術(shù)：
：超分辨率圖像重建技術(shù)致力于恢復(fù)圖像的高頻信息，提高圖像分辨率，增加圖像信息量。進(jìn)行高分辨率圖像重建研究主要包含以下幾個，首先是對圖像的退化過程進(jìn)行數(shù)學(xué)建模，甄別其主要影響因素和影響過程；然后是圖像運動估計算法研究，需要精確到亞像素級；最后是圖像重建算法研究，(保留圖像的細(xì)節(jié)和紋理，抑制噪聲的影響，建立圖像重建優(yōu)化決策模型)也是超分辨率圖像重建的主要研究方面。20世紀(jì)60年代，Harris和Goodman最早提出單幅圖像超分辨重建，效果不佳，沒有得到實際性的應(yīng)用。20世紀(jì)80年代，Tsai和Huang提出頻域圖像超分辨率重建方法，采用傅里葉變換的一些性質(zhì)，對高分辨率圖像的Fourier變換系數(shù)進(jìn)行估計。該方法理論上簡單，計算量小，但是對圖像要求是全局平移運動和線性不變空間降質(zhì)模型，無法有效地應(yīng)用。1989年，Stark和Oskoui提出了基于集合投影論的凸集投影法POCS超分辨率重建算法。該方法的優(yōu)點是簡單直觀，算法靈活，容易加入不同的約束條件，能夠同時解決例如抑制噪聲和邊緣保持等問題，但是最終解依賴于初值的選取，并且迭代次數(shù)較多。1995年，Tom和Katsaggelos提出在基于數(shù)學(xué)統(tǒng)計的最大似然估計ML方法，假設(shè)高分辨率圖像經(jīng)過下采樣、降質(zhì)過程獲得多幅低分辨率圖像，結(jié)算過程中首先通過對圖像進(jìn)行運動估計，將運動估計、圖像重建和上采樣過程同時處理最終恢復(fù)高分辨率圖像。1996年Schultz和Stevenson提出了基于最大后驗概率MAP的圖像超分辨率重建方法，在空域內(nèi)利用多幅圖像重建超分辨率重建，算法能夠有效的引入圖像的先驗經(jīng)驗約束，但是對于重建后的圖像邊緣模糊。1998年由Ford和Etter提出，隨后2000年Nguyen和Milanfa將該方法拓展到二維圖像情形，在多分辨率框架下，通過選擇適當(dāng)?shù)男〔ǔ叨群瘮?shù)和小波尺度函數(shù)，對已經(jīng)配準(zhǔn)好的低分辨率圖像進(jìn)行小波域展開，然后從低頻和高頻分別內(nèi)插超分辨率圖像的小波系數(shù)，最后通過小波域系數(shù)重建超分辨率圖像，實驗證明基于小波的超分辨率重建算法具有良好的效果。技術(shù)實現(xiàn)要素：在本發(fā)明的實施例中，提供了一種欠采樣降質(zhì)圖像的超分辨率重建恢復(fù)方法，所述方法包括：讀取多幀欠采樣降質(zhì)圖像序列，建立所述多幀欠采樣降質(zhì)圖像序列的圖像降質(zhì)模型；對所述多幀欠采樣降質(zhì)圖像序列進(jìn)行運動估計，得到多幀欠采樣降質(zhì)圖像序列之間的相對運動信息；根據(jù)所述圖像降質(zhì)模型及所述相對運動信息，采用最大后驗概率(MAP)方法將多幀欠采樣降質(zhì)圖像序列進(jìn)行超分辨率重建，得到超分辨率重建圖像；對所述超分辨率重建圖像，采用Lucy-Richardson(RL)濾波去卷積恢復(fù)方法進(jìn)行圖像恢復(fù)，得到恢復(fù)后的圖像?？蛇x地，在上述的欠采樣降質(zhì)圖像的超分辨率重建及恢復(fù)方法的實施例中，所述對所述多幀欠采樣降質(zhì)圖像序列進(jìn)行運動估計，得到多幀欠采樣降質(zhì)圖像序列之間的相對運動信息包括:對所述多幀欠采樣降質(zhì)圖像序列用泰勒級數(shù)法展開進(jìn)行運動估計，得到多幀欠采樣降質(zhì)圖像序列之間的相對運動信息。可選地，在上述的欠采樣降質(zhì)圖像的超分辨率重建及恢復(fù)方法的實施例中，所述對所述多幀欠采樣降質(zhì)圖像序列用泰勒級數(shù)法展開進(jìn)行運動估計，得到多幀欠采樣降質(zhì)圖像序列之間的相對運動信息，包括：在所述多幀欠采樣降質(zhì)圖像序列中，任意選取一幀欠采樣降質(zhì)圖像作為運動估計的參考圖像，其余的欠采樣降質(zhì)圖像作為待配準(zhǔn)圖像；預(yù)設(shè)每一幀待配準(zhǔn)圖像與所述參考圖像之間的水平位移、垂直位移和旋轉(zhuǎn)角度，運用泰勒級數(shù)法估算出所述每一幀待配準(zhǔn)圖像與所述參考圖像之間的水平位移、垂直位移和旋轉(zhuǎn)角度的最小能量泛函；將所述最小能量泛函對所述水平位移、垂直位移和旋轉(zhuǎn)角度求偏導(dǎo)數(shù)并置零，求解方程組，分別解出所述水平位移、垂直位移和旋轉(zhuǎn)角度；根據(jù)所述每一幀待配準(zhǔn)圖像與所述參考圖像之間的水平位移和垂直位移，得到多幀欠采樣降質(zhì)圖像序列之間的運動參數(shù)矩陣?？蛇x地，在上述的欠采樣降質(zhì)圖像的超分辨率重建及恢復(fù)方法的實施例中，所述根據(jù)所述圖像降質(zhì)模型及所述相對運動信息，采用最大后驗概率(MAP)方法將多幀欠采樣降質(zhì)圖像序列進(jìn)行超分辨率重建，得到超分辨率重建圖像，包括：根據(jù)所述圖像降質(zhì)模型得到圖像先驗?zāi)Ｐ?；根?jù)所述圖像先驗?zāi)Ｐ图八鲞\動參數(shù)矩陣，構(gòu)建超分辨率重建目標(biāo)函數(shù)；設(shè)定所述超分辨率重建目標(biāo)函數(shù)的初始參數(shù)，所述初始參數(shù)包括迭代次數(shù)、正則化參數(shù)及迭代步長；依據(jù)所述初始參數(shù)，優(yōu)化所述目標(biāo)函數(shù)；當(dāng)優(yōu)化所述目標(biāo)函數(shù)的次數(shù)等于所述迭代次數(shù)時，得到所述超分辨率重建圖像。可選地，在上述的欠采樣降質(zhì)圖像的超分辨率重建及恢復(fù)方法的實施例中，所述對所述超分辨率重建圖像，采用Lucy-Richardson(RL)濾波去卷積恢復(fù)方法進(jìn)行圖像恢復(fù)，得到恢復(fù)后的圖像，包括:對所述超分辨率重建圖像，初始化模糊核，設(shè)定恢復(fù)迭代次數(shù)；根據(jù)所述重建圖像、初始化模糊核、恢復(fù)迭代次數(shù)，采用Lucy-Richardson濾波去卷積恢復(fù)方法，對所述重建圖像進(jìn)行濾波去卷積恢復(fù)迭代；當(dāng)進(jìn)行所述濾波去卷積恢復(fù)迭代的次數(shù)等于設(shè)定的所述恢復(fù)迭代次數(shù)時，得到恢復(fù)后的圖像。本發(fā)明與現(xiàn)有技術(shù)相比的優(yōu)點在于：(1)本發(fā)明不同于一般的超分辨率重建方法，采用了泰勒級數(shù)法進(jìn)行運動估計，精度可以達(dá)到亞像素級。采用了基于最大后驗概率(MAP)和Lucy-Richardson(RL)濾波去卷積恢復(fù)組合優(yōu)化方法，大大提高了運算速度，同時還使得圖像的清晰度大大提高。(2)本發(fā)明采用了泰勒級數(shù)法進(jìn)行運動估計具有估計準(zhǔn)確，精度能夠達(dá)到亞像素級特點，特別適合圖像運動變化幅度較小的情形。在實際中，超分辨率中處理的是連續(xù)拍攝的圖像序列，圖像序列的幀采樣周期通常較短，因此相鄰幀之間運動的尺度較小。另外，超分辨率中要求運動估計達(dá)到亞像素級，許多其他的運動估計方法對亞像素級的運動不再適用。因此，采用的泰勒級數(shù)法進(jìn)行運動估計，具有很強的實用性。(3)本發(fā)明采用了最大后驗概率(MAP)方法。這種方法不但能保留圖像細(xì)節(jié)和紋理，而且能抑制噪聲的影響，而一般的超分辨率重建方法受噪聲的影響大，同時這些方法會使復(fù)原后的圖像變得平滑，不能保留圖像的細(xì)節(jié)和紋理。(4)本發(fā)明采用了Lucy-Richardson(RL)濾波去卷積恢復(fù)方法。因為在超分辨率重建過程中，低分辨率圖像的數(shù)量不少，并且它們的模糊類型可以視為同一種，這樣就沒有必要對每一幅低分辨率圖像進(jìn)行去模糊處理。因此，采用這種盲反卷積恢復(fù)優(yōu)化組合的方法來直接處理重建后高分辨率圖像，既可以提高速度，又可以有效地提高圖像質(zhì)量?？傊摲椒ú坏芑謴?fù)出高分辨率的圖像，同時還能保持圖像邊緣以及圖像細(xì)節(jié)信息，并且抑制了振鈴現(xiàn)象的產(chǎn)生，具有較好的自適應(yīng)強能力，抗噪能力，和魯棒性，而且仿真圖片和實拍圖片的處理效果實際證明了本方法具有強的實用性。附圖說明圖1為本發(fā)明方法的流程圖；圖2為圖像降質(zhì)模型；具體實施方式下面結(jié)合具體實施方式及附圖對本發(fā)明進(jìn)一步詳細(xì)說明。在圖像應(yīng)用領(lǐng)域，圖像由于在成像過程中會受到諸多內(nèi)在因素以及外在因素的影響，如大氣的擾動、成像系統(tǒng)運動造成的模糊和畸變、系統(tǒng)內(nèi)外的各種噪聲、欠采樣等等因素，導(dǎo)致圖像的分辨率不高、模糊不清晰和信息量丟失等特點。另外再加上一些特殊場合因數(shù)據(jù)傳輸或者保存的需要而對圖像進(jìn)行壓縮，導(dǎo)致圖像的質(zhì)量進(jìn)一步惡化，使人類獲取的有價值的圖像細(xì)節(jié)信息大大減少。若從改善硬件成像光學(xué)系統(tǒng)方面來提高分辨率，不僅設(shè)備制造技術(shù)復(fù)雜艱難，成本昂貴，而且收效甚微，給應(yīng)用帶來許多麻煩。因此，為了保持在現(xiàn)有硬件條件不變的前提下提高圖像的分辨率，我們提出一種有效的欠采樣降質(zhì)圖像的超分辨率重建及恢復(fù)方法，可廣泛應(yīng)用于各個領(lǐng)域，在生物領(lǐng)域，可以提高細(xì)胞、DNA組織的顯微圖像清晰度；在衛(wèi)星遙感圖像以及軍事領(lǐng)域，通過超分辨率重建提高目標(biāo)的分辨率，準(zhǔn)確的識別目標(biāo)；在視頻監(jiān)控領(lǐng)域，可以有效地提高監(jiān)控視頻的畫面質(zhì)量，如在協(xié)助公安破案等方面發(fā)揮了重要作用。如圖1所示，本發(fā)明欠采樣降質(zhì)圖像的超分辨率重建及恢復(fù)方法的實施例包括：S101：讀取多幀欠采樣降質(zhì)圖像序列，建立所述多幀欠采樣降質(zhì)圖像序列的圖像降質(zhì)模型；S102：對所述多幀欠采樣降質(zhì)圖像序列進(jìn)行運動估計，得到多幀欠采樣降質(zhì)圖像序列之間的相對運動信息；S103：根據(jù)所述圖像降質(zhì)模型及所述相對運動信息，采用最大后驗概率(MAP)方法將多幀欠采樣降質(zhì)圖像序列進(jìn)行超分辨率重建，得到超分辨率重建圖像；S104：對所述超分辨率重建圖像，采用Lucy-Richardson(RL)濾波去卷積恢復(fù)方法進(jìn)行圖像恢復(fù)，得到恢復(fù)后的圖像。本發(fā)明的實施例中采用泰勒級數(shù)法對多幀欠采樣降質(zhì)圖像序列進(jìn)行運動估計，得到與參考幀之間的相對運動信息；采用最大后驗概率(MAP)算法進(jìn)行超分辨率重建以及采用Lucy-Richardson(RL)濾波去卷積恢復(fù)方法對圖像進(jìn)行組合優(yōu)化。下面是本發(fā)明的一個具體實施例：1、讀取多幀欠采樣降質(zhì)圖像序列，建立所述多幀欠采樣降質(zhì)圖像序列的圖像降質(zhì)模型；本發(fā)明采用的圖像降質(zhì)模型如圖2所示，其公式如下所示：Yi＝DiHiFiX+Vii＝1,…,N其中，X表示原始高分辨率清晰圖像，Yi表示第i幅低分辨率退化圖像，Vi表示向量化的加性隨機(jī)噪聲，F(xiàn)i從表示圖像Yi相對圖像X運動矩陣，Hi表示模糊矩陣，Di表示采樣矩陣。降質(zhì)模型也可以寫成：Y1Y2..YN=D1H1F1D2H2F2..DNHNFNX+V1V2..VN]]>若令DiHiFi＝M，則模型可以簡化為：Yi＝MX+Vii＝1,…,N2、對所述多幀欠采樣降質(zhì)圖像序列進(jìn)行運動估計，得到多幀欠采樣降質(zhì)圖像序列之間的相對運動信息；泰勒級數(shù)法運動估計能夠進(jìn)行亞像素級的圖像運動估計。假設(shè)參考圖像I和待配準(zhǔn)圖像Yi的剛體變換三參數(shù)模型為：(hi,vi,θi)，其中hi,vi,θi分別代表第i幀圖像Yi相對于參考圖像幀I的水平位移、垂直位移和旋轉(zhuǎn)角度。則第i幀圖像Yi相對于參考圖像幀I之間存在如下關(guān)系：Yi(x,y)＝I(xcosθi-ysinθi+hi,ycosθi+xsinθi+vi)當(dāng)θi數(shù)值較小時，sinθi≈θi，那么上述公式可以表示為：Yi(x,y)=I(x-xθi22-yθi+hi,y-yθi22+xθi+vi)]]>將上述等式的右邊用泰勒級數(shù)展開，則有：Yi(x,y)=I(x,y)+∂I∂x(k-xθi22-yθi)+∂I∂y(vi-yθi22+xθi)]]>這樣可以得到第i幀與參考幀之間的最小能量泛函誤差函數(shù)，可以表示為：J(hi,vi,θi)=argminhi,vi,θiΣ(x,y)∈Ω[I(x,y)+(hi-xθi22-yθi)∂I∂x+(vi-yθi22+xθi)∂I∂y-Yi(x,y)]2]]>為了求上式的最小值，分別求關(guān)于hi，vi，θi的偏導(dǎo)數(shù)，并令全都置為0，可得如下公式：CRi＝Zi其中，式中，Si-0＝Y(jié)i(x,y)-I(x,y)，如此可以通過求解線性方程求解運動估計向量Ri3、根據(jù)所述圖像降質(zhì)模型及所述相對運動信息，采用最大后驗概率(MAP)方法將多幀欠采樣降質(zhì)圖像序列進(jìn)行超分辨率重建，得到超分辨率重建圖像；根據(jù)1所述的降質(zhì)模型，可以知道：Yi＝MX+Vii＝1,…,N其中，M＝DiHiFi，因為在模糊降質(zhì)過程中，模糊類型都是同一種類型，因此，在重建過程中，為了提高速度，可以令Z＝HiX，則可以將降質(zhì)模型簡化為：Yi＝M0Z+Vii＝1,…,N其中，M0＝DiFi。首先依照上述表達(dá)式，待求圖像為Z，低分辨率圖像序列為{Yi},i＝1,…,N，那么在已知低分辨率圖像的條件下求Z出現(xiàn)的最大概率，則有：對上面公式利用貝葉斯法則，進(jìn)行變換可得：分母部分代表圖像的先驗概率，因序列已知，則可視為概率已知，故有：如果我們假設(shè)圖像中的噪聲為加性并且均值為零的高斯噪聲，那么有：Pr(Y1,Y2,...,YN|Z)∝exp{-12σ2Σi=1N||Yi-M0X||2}]]>又Pr(Z)通常用吉布斯分布的指數(shù)形式來定義：Pr(Z)=1Wexp{-αA(Z)}]]>綜合上述，則有基于L1范數(shù)的目標(biāo)函數(shù)：上式由兩部分組成，其中，第一部分是保真項，第二部分為正則化項，λ為正則化參數(shù)。選取雙邊全變分正則化項，采用梯度下降法，對目標(biāo)函數(shù)進(jìn)行梯度運算可得超分辨率重建圖像：Z^n+1=Z^n-β{Σi=1NM0Tsign(M0Z^n-Yi)+λΣk=-ppΣl=0pαk+l(I-Sv-lSh-k)sign(Z^n-SnkSvlZ^n)}]]>其中，β迭代步長，sign為符號函數(shù)，λ為可調(diào)控制參數(shù)，I為單位陣，和分別代表與和向相反的方向運動。4、對所述超分辨率重建圖像，采用Lucy-Richardson(RL)濾波去卷積恢復(fù)方法進(jìn)行圖像恢復(fù)，得到恢復(fù)后的圖像。Lucy-Richardson(RL)濾波去卷積恢復(fù)方法如下：根據(jù)3所得的Z，而Z＝HiX，因此，采用RL濾波去卷積恢復(fù)方法對Z進(jìn)行去卷積，恢復(fù)出X。通過RL迭代式：f(n+1)(x,y)=[gh(n)⊗f(n)⊗h(n)*]f(n)(x,y)---(5.22)]]>其中，f(n)(x,y)表示第n次迭代的結(jié)果，得到恢復(fù)后的圖像。5、實驗結(jié)果及結(jié)論(1)本發(fā)明不同于一般的超分辨率重建方法，采用了泰勒級數(shù)法進(jìn)行運動估計，精度可以達(dá)到亞像素級。采用了基于最大后驗概率(MAP)和Lucy-Richardson(RL)濾波去卷積恢復(fù)組合優(yōu)化方法，大大提高了運算速度，同時還使得圖像的清晰度大大提高。(2)本發(fā)明采用了泰勒級數(shù)法進(jìn)行運動估計具有估計準(zhǔn)確，精度能夠達(dá)到亞像素級特點，特別適合圖像運動變化幅度較小的情形。在實際中，超分辨率中處理的是連續(xù)拍攝的圖像序列，圖像序列的幀采樣周期通常較短，因此相鄰幀之間運動的尺度較小。另外，超分辨率中要求運動估計達(dá)到亞像素級，許多其他的運動估計方法對亞像素級的運動不再適用。因此，采用的泰勒級數(shù)法進(jìn)行運動估計，具有很強的實用性。(3)本發(fā)明采用了最大后驗概率(MAP)方法。這種方法不但能保留圖像細(xì)節(jié)和紋理，而且能抑制噪聲的影響，而一般的超分辨率重建方法受噪聲的影響大，同時這些方法會使復(fù)原后的圖像變得平滑，不能保留圖像的細(xì)節(jié)和紋理。(4)本發(fā)明采用了Lucy-Richardson(RL)濾波去卷積恢復(fù)方法。因為在超分辨率重建過程中，低分辨率圖像的數(shù)量不少，并且它們的模糊類型可以視為同一種，這樣就沒有必要對每一幅低分辨率圖像進(jìn)行去模糊處理。因此，采用這種盲反卷積恢復(fù)優(yōu)化組合的方法來直接處理重建后高分辨率圖像，既可以提高速度，又可以有效地提高圖像質(zhì)量?？傊摲椒ú坏芑謴?fù)出高分辨率的圖像，同時還能保持圖像邊緣以及圖像細(xì)節(jié)信息，并且抑制了振鈴現(xiàn)象的產(chǎn)生，具有較好的自適應(yīng)強能力，抗噪能力，和魯棒性，而且仿真圖片和實拍圖片的處理效果實際證明了本方法具有強的實用性。當(dāng)前第1頁1 2 3