基于稀疏表示的圖像超分辨率重建方法及系統的制作方法
【專利摘要】本發明公開了一種本發明基于稀疏表示的圖像超分辨率重建方法及系統，其中方法包括步驟：利用圖像訓練庫得到完備的高低分辨率字典對；將待重建的低分辨圖像進行雙三次放大，獲得超分辨率算法的初始圖像，提取該初始圖像的一階、二階梯度特征，對提取的特征進行重疊分塊，利用低分辨率字典獲得低分辨率圖像塊的稀疏表示；將獲得的低分辨率圖像塊的稀疏表示系數近似地等于待求的高分辨率圖像塊在高分辨率字典中的稀疏表示系數，并利用其估計出相應的高分辨率圖像的初始估計值；利用后向投影濾波器來減小高分辨率圖像的重建誤差。
【專利說明】
基于稀疏表示的圖像超分辨率重建方法及系統
技術領域
[0001] 本發明涉及圖像處理，尤其涉及一種基于稀疏表示的圖像超分辨率重建方法及系 統。
【背景技術】
[0002] 在圖像超分辨率重建算法中，首先要建立高分辨率圖像之間的關系。一般來說，在 單幀圖像超分辨圖像重建算法中，幾何扭曲可以忽略不計，因此可以將圖像獲取過程中的 退化現象模擬為原始高分辨率圖像經過光學模糊、下采樣和噪聲干擾等一系列過程，現有 的單幀圖像超分辨率算法主要包括基于學習的圖像超分辨率算法和基于插值重建的圖像 超分辨率算法。
[0003] 基于學習的超分辨率重建技術首先利用高分辨圖像訓練庫和圖像退化模型獲得 一個高低分辨率的圖像訓練集，然后通過一定的學習算法獲得高低分辨率圖像之間的映射 關系，最后利用優化算法對待重建的低分辨率圖像進行優化，估計出相應的高分辨率圖像。
[0004] 經典的插值方法包括最近鄰插值、雙線性插值和雙三次插值方法。三種插值方法 中，最近鄰域和雙線性插值計算復雜度相對較低，在多數場合能滿足實時運算的需求，因此 它們被廣泛應用。但是，不如人意的是，這兩種方法對分辨率的提高貢獻很小，尤其是無法 得到足夠的高頻信息，而使得恢復出來的圖像仍然存在較大的失真。這三種方法中，雙立方 插值最適合增強高頻部分的細節信息，它的不足就是其計算復雜度比較大。
[0005] 盡管雙立方插值的能提供更多的細節信息，不過，它仍然存在與前兩種方法相同 的問題，尤其是需要高分辨率的場合，它無法給出足夠多的細節信息。插值方法或者出現鋸 齒效應或者出現邊緣模糊現象。最近鄰插值邊緣階梯鋸齒圖像失真非常明顯，雙線性插值 邊緣階梯鋸齒圖像失真較為明顯，有一定的邊緣模糊，雙立方插值邊緣階梯失真較弱，邊緣 模糊非常明顯。
[0006] 傳統的插值重建方法計算簡單容易實現，應用也較為廣泛。但是在高放大倍數的 情況下，由于圖像原始信息的大量丟失，會使得重建出來的高分辨率圖像在邊緣處常常過 于平滑，而且缺少足夠的細節信息。
[0007] 基于學習的超分辨率算法，在進行高分辨圖像重建之前，利用訓練庫，對圖像的先 驗信息進行了學習，所以能獲得更多的圖像細節信息，獲得更好的圖像重建質量。然而在基 于學習一類的超分辨率算法中，近鄰數目選擇不當，會使重建出來的高分辨率圖像細節和 邊緣模糊，從而影響圖像的重建質量。
【發明內容】
[0008] 本發明針對上述問題，提供一種基于稀疏表示的圖像超分辨率重建方法及系統。
[0009] 本發明解決其技術問題所采用的技術方案是：
[0010] 提供一種基于稀疏表示的圖像超分辨率重建方法，包括以下步驟：
[0011] Sl、利用圖像訓練庫得到完備的高低分辨率字典對，包括低分辨率字典Dl和高分 辨率字典Dh;
[0012] S2、將待重建的低分辨圖像進行雙三次放大，獲得超分辨率算法的初始圖像，提取 該初始圖像的一階、二階梯度特征，對提取的特征進行重疊分塊，得到低分辨率圖像塊，將 每一個低分辨率圖像塊對應的特征組合成一個向量，設為y，然后利用低分辨率字典Dl獲得 y的稀疏表示a'
[0013]
[0014] 像素值， β是一個常數，用來調整已重建出來的像素值對待重建塊重建的影響；
[0015] S3、將獲得的低分辨率圖像塊的稀疏表示系數近似地等于待求的高分辨率圖像塊 在高分辨率字典Dh中的稀疏表示系數，并利用其估計出相應的高分辨率圖像塊.？ = DAi ;
[0016] S4、利用后向投影濾波器來減小高分辨率圖像的重建誤差，得到濾波后的高分辨 率圖像塊，后向投影濾波器用數學式表達為
，其中，S表 示采樣因子，H表示模糊算子，c為常數，Xo為高分辨率圖像的初始估計值;采用梯度下降法
來求解：
[0017]
[0018] 其中，Xt表示t次迭代后對高分辨率圖像的估計，V表示梯度下降法中的步長。
[0019] 本發明所述的方法中，步驟Sl具體為:提取圖像訓練庫中的高低分辨率圖像塊信 息，并利用K-奇異值分解算法對獲得的高低分辨率圖像塊進行訓練得到稀疏表示的高低分 辨率字典對。
[0020] 本發明所述的方法中，所提取的一階、二階梯度特征為HOG方向梯度直方圖特征。 [0021 ]本發明還提供一種基于稀疏表示的圖像超分辨率重建系統包括：
[0022]訓練模塊，用于利用圖像訓練庫得到完備的高低分辨率字典對，包括低分辨率字 典Dl和高分辨率字典Dh;
[0023]稀疏表示模塊，用于將待重建的低分辨圖像進行雙三次放大，獲得超分辨率算法 的初始圖像，提取該初始圖像的一階、二階梯度特征，對提取的特征進行重疊分塊，將每一 個圖像塊對應的特征組合成一個向量，設為y，然后利用低分辨率字典Dl獲得y的稀疏表示 α*：
[0024]
[0025] I勺像素值， β是一個常數，用來調整已重建出來的像素值對待重建塊重建的影響；
[0026]高分辨率圖像重建模塊，用于將獲得的低分辨率字典Dl的稀疏表示系數近似地等 于待求的高分辨率圖像塊在高分辨率字典Dh中的稀疏表示系數，并利用其估計出相應的高 分辨率圖像塊7 ;
[0027]誤差消除模塊，用于利用后向投影濾波器來減小高分辨率圖像的重建誤差，得到濾 波后的高分辨率圖像塊，后向投影濾波器用數學式表達為r =argmh|Si/7-XfI， 其中，S表示采樣因子，H表示模糊算子，，Xo為高分辨率圖像的初始估計值，c為常數，采用梯 度下降法來求解：
[0028] Xim+i = Xt+v [ HtSt (Y-SHXt) +c (Xt-X)]
[0029] 其中，Xt表示t次迭代后對高分辨率圖像的估計，v表示梯度下降法中的步長。
[0030] 本發明所述的系統中，訓練模塊具體用于:提取圖像訓練庫中的高低分辨率圖像 塊信息，并利用K-奇異值分解算法對獲得的高低分辨率圖像塊進行訓練得到稀疏表示的高 低分辨率字典對。
[0031 ]本發明所述的系統中，所提取的一階、二階梯度特征為HOG方向梯度直方圖特征。 [0032]本發明產生的有益效果是:本發明在進行超分辨率重建的估計過程中引入了參數 β，用來調整已重建出來的像素值對待重建塊重建的影響，參數β的引入也就是引入了不確 定性，可阻止不同變量間估計誤差的擴大;將高分辨率圖像和算法中的未知參數在一個框 架下建模，對未知變量進行聯合估計，計算出解析出超參數Xo的值，提高了對噪聲的穩定 性，不需要進行參數調整。
【附圖說明】
[0033]下面將結合附圖及實施例對本發明作進一步說明，附圖中：
[0034] 圖1是本發明實施例基于稀疏表示的圖像超分辨率重建方法的流程圖；
[0035] 圖2是本發明實施例基于稀疏表示的圖像超分辨率重建算法的字典訓練過程圖；
[0036] 圖3是本發明實施例圖像重建簡圖。
【具體實施方式】
[0037] 為了使本發明的目的、技術方案及優點更加清楚明白，以下結合附圖及實施例，對 本發明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅用以解釋本發明，并不 用于限定本發明。
[0038] 本發明基于稀疏表示的圖像超分辨率重建算法包括過完備字典構建和高分辨率 圖像重建兩個階段。如圖1所示，具體包括以下步驟：
[0039] Sl、利用圖像訓練庫得到完備的高低分辨率字典對，包括低分辨率字典Dl和高分 辨率字典Dh;
[0040] S2、將待重建的低分辨圖像進行雙三次放大，獲得超分辨率算法的初始圖像，提取 該初始圖像的一階、二階梯度特征，對提取的特征進行重疊分塊，得到低分辨率圖像塊，將 每一個低分辨率圖像塊對應的特征組合成一個向量，利用低分辨率字典Dl獲得y的稀疏表 示；
[0041] S3、將獲得的低分辨率圖像塊的稀疏表示系數近似地等于待求的高分辨率圖像塊 在高分辨率字典中的稀疏表示系數，并利用其估計出相應的高分辨率圖像的初始估計值；
[0042] S4、利用后向投影濾波器來減小高分辨率圖像的重建誤差。
[0043] 在字典構建和圖像重建過程中均涉及到稀疏表示系數的求解，因此，下文將對圖 像的稀疏表示理論模型、過完備字典構建和高分辨率圖像重建方法進行詳細說明。
[0044] (1)圖像的稀疏表示理論模型
[0045] 圖像的稀疏表示指的是，圖像或圖像信號可以利用過完備原子庫中一系列合適的 原子進行線性組合來近似逼近。由于該線性組合用到的原子數目遠遠小于原子庫中原子的 總數目，因此，這個原子庫是過完備的。圖像的稀疏表示原理如下：
[0046] 給定圖像信號Y和過完備字典D，可以利用D中一系列合適的基線性組合來表示Y。 其中的數學關系可表示為：
[0047]
[0048]其中，α是稀疏表示系數，I I · I |〇表示0范數，由于利用表達式求解I I · I |〇是一個 NP難的問題，實際計算中采用11 · I |:的求解過程轉化為凸優化問題：
[0049]
[0050] 其中，λ是正則化參數(即a*與a的線性參數值）。
[00511 (2)過完備字典構建
[0052] 基于稀疏表示的圖像超分辨率重建算法的第一步是利用圖像訓練庫來獲得過完 備的稀疏表示字典。過完備字典的訓練是通過提取圖像訓練庫中的高低分辨率圖像塊信 息，并利用K-奇異值分解算法對獲得的高低分辨率圖像塊進行訓練得到稀疏表示的高低分 辨率字典對。
[0053] 圖2給出了基于稀疏表示的圖像超分辨率重建算法中字典訓練的具體過程。具體 為：
[0054]①將低分辨率圖像集中的圖像劃分為NXN大小的圖像塊，并提取特征。具體方法 是采用4個一維濾波器：
[0055]
[0056]
[0057] 其中，T表示轉置。將低分辨圖像與這四個濾波器算子的卷積結果作為低分辨圖像 的特征。將分塊得到的四個特征塊與其對應的高分辨率圖像塊聯合起來作為字典訓練算法 的輸入，這種方法考慮了低分辨率圖像的鄰域信息，因此有利于提高重建的高分辨率圖像 塊間的兼容性。
[0058]②訓練低分辨率字典。根據①的結果，利用稀疏K-SVD算法求解，得到低分辨率字 典D1。
[0059]③將低分辨率字典Dl通過插值得到與其上一級的高分辨率圖像集的尺寸相同的 插值圖像集Dh。
[0060] 基于稀疏表示的圖像超分辨率重建算法進行字典訓練所用的技術包括訓練樣本 的提取方法和進行字典訓練的K-SVD算法。
[0061] a.訓練樣本的提取
[0062] 在基于稀疏表示的圖像超分辨率重建算法中，對圖像的處理是分塊進行的，訓練 樣本由圖像訓練庫中的高分辨圖像隨機抽取而來，通常訓練樣本數要遠遠大于字典中的原 子個數。為了獲得一個具有廣泛適用性的字典，應盡可能選擇較多的自然高分辨率圖像作 為圖像訓練庫，且圖像訓練庫中的圖像信息種類要盡可能多。在具體的字典訓練過程中，低 分辨率圖像是由高分辨圖像退化而來，常常需要提取低分辨率圖像的多種特征，并將其特 征進行分塊與對應的高分辨圖像塊組成一個向量進行字典的訓練。由于圖像的一階、二階 梯度能有效地表達圖像的特征，且提取算法簡單，因此常用它們來表示圖像的特征。圖像的 一階、二階梯度為方向梯度直方圖（Histogram of Oriented Gradient,HOG)特征，HOG特征 是一種在計算機視覺和圖像處理中用來進行物體檢測的特征描述子。圖像的一階、二階梯 度濾波器算子可以表示為：
[0063] fi=[-l,0,l],f2 = fiT
[0064] f3=[l,0,-2,0,l],f4 = f3T
[0065] 其中，T表示轉置。將低分辨圖像與這四個濾波器算子的卷積結果作為低分辨圖像 的特征。然后將分塊得到的四個特征塊與其對應的高分辨率圖像塊聯合起來作為字典訓練 算法的輸入。這種方法考慮了低分辨率圖像的鄰域信息，因此有利于提高重建的高分辨率 圖像塊間的兼容性。
[0066] b .K-SVD字典訓練法
[0067] K-SVD算法是基于稀疏表示的圖像超分辨率重建算法中字典訓練過程的核心算 法。K-SVD算法又被稱為廣義K一均值聚類算法，它與K-均值聚類算法有很大的聯系，當K-SVD算法中的每個信號只用一個原子來近似表示時，K-SVD算法就退化為K 一均值聚類算法。 它的主要思想是:求解輸入樣例在當前字典中的稀疏表示以及字典更新這兩個過程的不斷 交替，根據稀疏表示結果對字典的每一列進行更新。假設有N個訓練樣本輸出，用061^ 4表 示過完備詞典，Y = {yiERn，i = l，2,........，N}表示訓練樣本集合，A = (CXiERk, i = l， 2,......，N}表示訓練樣本的稀疏表示系數集合，則K-SVD字典訓練算法可以等價為求解式
[0068]
[0069] 其中，T為稀疏表示系數中非零數目的上限值。
[0070] (3)圖像重建過程
[0071] 詳見圖3。基于稀疏表示的圖像超分辨率重建算法在經過字典訓練之后，通過將己 知的低分辨率圖像在訓練得到的高低分辨率字典中進行稀疏表示和重建，從而估計出期望 的高分辨率圖像。基于稀疏表示的圖像超分辨率重建算法的高分辨率圖像重建過程。
[0072] 首先將待重建的低分辨圖像進行雙三次放大，獲得超分辨率算法的初始圖像，接 著提取該初始圖像的一階、二階梯度特征，對特征進行重疊分塊，將每一個圖像塊對應的特 征組合成一個向量，設為y，然后利用在低分辨率字典Dl中獲得y得稀疏表示系α*。
[0076] P為重疊區域，w為重疊區域中已重建出來的像素值，β是一個常數，用來調整已重 建出來的像素值對待重建塊重建的影響。β的值可根據利用圖片自身的特征來確定
[0073]
[0074]
[0075]
。|1|表示2范數的平方，I I · I I1表示1范數。λ為a*與a的線性參數值。 L0077」然后根據高低分辨率圖像塊在局部具有相似的幾何流形這一特性，可認為高低分 辨率圖像塊對在訓練集中的稀疏表示系數是一致的，因此將獲得的低分辨圖像塊的稀疏表 示系數近似地等于待求的高分辨率圖像塊在高分辨率字典中的稀疏表示系數，并利用其估 計出相應的高分辨率圖像塊1。：
[0078]
[0079]利用上述方法，可以獲得高分辨率圖像的初始估計值Xo。但是，得到的高分辨率圖 像并不能精確地代表實際的高分辨率圖像，且不能很好地體現高分辨率圖像退化成低分辨 率圖像的過程，同時低分辨率圖像中可能存在干擾(如噪聲等）。因此在算法的最后，基于稀 疏表示的圖像超分辨率重建算法運用后向投影濾波器來減小高分辨率圖像的重建誤差。后 向投影濾波器用數學式表達為
[0080]
[0081] 其中，S表示采樣因子，H表示模糊算子，c為常數。在實際計算中，常采用梯度下降 法來求解：
[0082] Xim+i = Xt+v [ HtSt (Y-SHXt) +c (Xt-Xo)]
[0083] 其中，Xt表示t次迭代后對高分辨率圖像的估計，T表示轉置，v表示梯度下降法中 的步長，lm+1表示低分辨率字典Dl中的第m+1個參數，Y表示高分辨率字典Dh中對應的參數。
[0084] 基于稀疏表示的圖像超分辨率重建方法可以獲得更好的圖像重建結果，但缺點是 相對于雙二次插值來說，該算法的運行時間比較長，同時與雙二次插值和鄰域嵌入的方法 相比，該算法在邊緣處圖像重建得不夠平滑。但是基于稀疏表示的圖像超分辨率重建算法 能更好的保留原始高分辨率圖像的信息。
[0085] 應當理解的是，對本領域普通技術人員來說，可以根據上述說明加以改進或變換， 而所有這些改進和變換都應屬于本發明所附權利要求的保護范圍。
【主權項】
1. 一種基于稀疏表示的圖像超分辨率重建方法，其特征在于，包括W下步驟： 51、 利用圖像訓練庫得到完備的高低分辨率字典對，包括低分辨率字典D1和高分辨率 字典化； 52、 將待重建的低分辨圖像進行雙Ξ次放大，獲得超分辨率算法的初始圖像，提取該初 始圖像的一階、二階梯度特征，對提取的特征進行重疊分塊，得到低分辨率圖像塊，將每一 個低分辨率圖像塊對應的特征組合成一個向量，設為y，然后利用低分辨率字典D1獲得y的 稀疏表不曰其中，，P為重疊區域，W為重疊區域中已重建出來的像素值，β是一 個常數，用來調整已重建出來的像素值對待重建塊重建的影響，λ為a^與a的線性參數值； 53、 將獲得的低分辨率圖像特征塊的稀疏表示系數近似地等于待求的高分辨率圖像塊 在高分辨率字典化中的稀疏表示系數，并利用其估計出相應的高分辨率圖像塊了 = D/W'; 54、 利用后向投影濾波器來減小高分辨率圖像的重建誤差，得到濾波后的高分辨率圖 像塊，后向投影濾波器用數學式表達夫，其中，S表示采 樣因子，Η表示模糊算子，C為常數，Χο為高分辨率圖像的初始估計值;采用梯度下降法來求 解： Xim+i = Xt+V [阿(Y-SHXt)+C (Xt-X)] 其中，Τ表示轉置，Xt表示t次迭代后對高分辨率圖像的估計，V表示梯度下降法中的步 長，lm+1表示低分辨率字典D1中的第m+1個參數，m為整數。2. 根據權利要求1所述的方法，其特征在于，步驟S1具體為:提取圖像訓練庫中的高低 分辨率圖像塊信息，并利用K-奇異值分解算法對獲得的高低分辨率圖像塊進行訓練得到稀 疏表示的高低分辨率字典對。3. 根據權利要求1所述的方法，其特征在于，所提取的一階、二階梯度特征為冊G方向梯 度直方圖特征。4. 一種基于稀疏表示的圖像超分辨率重建系統，其特征在于，包括： 訓練模塊，用于利用圖像訓練庫得到完備的高低分辨率字典對，包括低分辨率字典D1 和高分辨率字典化； 稀疏表示模塊，用于將待重建的低分辨圖像進行雙Ξ次放大，獲得超分辨率算法的初 始圖像，提取該初始圖像的一階、二階梯度特征，對提取的特征進行重疊分塊，將每一個圖 像塊對應的特征組合成一個向量，設為y，然后利用低分辨率字典D1獲得y的稀疏表示(/:其中，平為重疊區域，W為重疊區域中已重建出來的像素值，β是一 個常數，用來調整已重建出來的像素值對待重建塊重建的影響； 高分辨率圖像重建模塊，用于將獲得的低分辨率字典D1的稀疏表示系數近似地等于待 求的高分辨率圖像塊在高分辨率字典化中的稀疏表示系數，并利用其估計出相應的高分辨 率圖像塊礦二D/W''; 誤差消除模塊，用于利用后向投影濾波器來減小高分辨率圖像的重建誤差，得到濾波后 的高分辨率圖像塊，后向投影濾波器用數學式表達為其中，S表示采樣因子，Η表示模糊算子，，Xo為高分辨率圖像的初始估計值，C為常數，采用梯 度下降法來求解： Xim+i = Xt+V [阿(Y-SHXt)+C (Xt-X)] 其中，Xt表示t次迭代后對高分辨率圖像的估計，V表示梯度下降法中的步長。5. 根據權利要求4所述的系統，其特征在于，訓練模塊具體用于：提取圖像訓練庫中的 高低分辨率圖像塊信息，并利用K-奇異值分解算法對獲得的高低分辨率圖像塊進行訓練得 到稀疏表示的高低分辨率字典對。6. 根據權利要求4所述的系統，其特征在于，所提取的一階、二階梯度特征為冊G方向梯 度直方圖特征。
【文檔編號】G06T3/40GK105844590SQ201610167515
【公開日】2016年8月10日
【申請日】2016年3月23日
【發明人】熊盛武, 鄭文博, 曹旺, 許開弦, 瞿毅力, 韓恩浩
【申請人】武漢理工大學