基于外部塊自編碼學習和內部塊聚類的去噪方法
【專利摘要】本發明涉及一種基于外部塊自編碼學習和內部塊聚類的去噪方法，其具體做法是：首先利深度學習中的自動編碼模型從外部干凈自然圖像塊中學習塊結構特征，并利用這些特征對帶噪聲圖像塊進行降維，然后采用由粗至細的策略實現整個圖像范圍內的塊聚類，在每一個類別中構建低秩正則約束，在所有類別中構建全局約束，并建立總的能量函數，最后通過能量極小化完成目標圖像的去噪。本發明利用外部自然圖像塊結構信息輔助待測圖像內部塊聚類去噪，解決了現有去噪方法中對被高斯白噪聲腐蝕的自然圖像去噪效果不佳的問題。
【專利說明】
基于外部塊自編碼學習和內部塊聚類的去噪方法
技術領域
[0001] 本發明涉及計算機視覺技術領域，特別是一種基于外部塊自編碼學習和內部塊聚 類的去噪方法。
【背景技術】
[0002] 圖像去噪的目的是從噪聲圖中恢復出潛在的干凈圖像，其本質是圖像退化的逆過 程。作為一個重要的底層視覺問題，圖像去噪技術有著悠久的歷史。早期的圖像去噪方法通 常采用線性或者非線性局部光滑濾波，例如：高斯濾波、異性擴散。然而這些保持邊緣結構 的算法大都忽略了圖像的全局信息，很難達到圖像去噪的最高水平。近年來，一種基于圖像 內部自相似性的非局部平均(NLM)方法受到了廣泛的關注。在此基礎上，產生了很多成功的 基于圖像塊的去噪算法，例如BM3D，KSVD，EPLL，LSSC。最近，低秩(LowRank)逼近方法因其出 色的去噪效果，成為當前一種新興而又非常有效的圖像去噪方法，例如SAIST，WNNM。然而這 些基于圖像塊的去噪方法在尋找相似塊的時候大都基于塊匹配。由于全搜索計算量很大， 因而塊匹配通常被限制在圖像中的一個小范圍窗口內。另外，自然圖像中有些重要的紋理 邊緣和角點在局部范圍內并不存在重復結構，所以過份強迫局部自相似性會導致產生虛假 邊緣，影響圖像視覺質量。
【發明內容】
[0003] 本發明的目的在于提供一種基于外部塊自編碼學習和內部塊聚類的去噪方法，以 克服現有技術中的不足。
[0004] 為實現上述目的，本發明的技術方案是：一種基于外部塊自編碼學習和內部塊聚 類的去噪方法，按照如下步驟實現：
[0005] 步驟S1:通過深度學習中的自編碼模型學習無噪聲自然圖像塊的特征；
[0006] 步驟S2:通過經所述步驟S1中獲取的特征信息以及K-均值算法對待測圖像塊進行 聚類，并采用低秩逼近算法對每一類別進行相似圖像塊之間的協同濾波；
[0007] 步驟S3:結合待測圖像的全局約束、塊聚類以及低秩正則約束，獲取待測圖像去噪 的總目標函數；
[0008] 步驟S4:通過交替迭代方法求解總目標函數，完成對待測圖像的最優去噪。
[0009] 在本發明一實施例中，在所述S1中，還包括如下步驟：
[0010] 步驟S11:根據待測圖像中噪聲方差的大小，確定自然圖像塊的大小，并建立一個 包含數目很多自然圖像塊的訓練樣本；
[0011] 步驟S12:確定隱含層的結點個數，輸入數據以及輸出數據均為訓練樣本塊，構建 自編碼模型，并經學習后得到編解碼的權值以及偏值；
[0012] 步驟S13:設置訓練樣本塊的類別個數，并對訓練樣本塊降維后的低維特征進行聚 類，得到類別中心。
[0013] 在本發明一實施例中，在所述S2中，還包括如下步驟：
[0014] 步驟S21:根據所述待測圖像塊的大小，將待測圖像劃分為若干重疊塊；
[0015] 步驟S22:利用經所述自編碼模型學習得到的編碼的權值以及偏值對待測圖像塊 進行降維；
[0016] 步驟S23:通過所述類別中心對待測圖像塊的低維特征聚類;若經聚類后的類別的 塊數量超過預設塊數量閾值，則根據每個塊在待測圖像中的橫、縱坐標位置，采用K均值進 行細分類。
[0017] 在本發明一實施例中，在所述S3中，所述總目標函數滿足:求估計目標圖像以及帶 噪聲圖像的L2范數最小，最相似的塊聚為一類，每一類要求F范數最小且低秩，且具體形式 如下：
[0019] 其中，y為帶噪聲圖像，〇為噪聲方差，x為所求的去噪后的圖像，Ri為對圖像劃分為 塊的矩陣，W和b分別為編碼的權值和偏值，C為類別，y為類別中心，&為相同類別塊的合并 矩陣，Z為相似塊低秩近似后的矩陣，A是一個正則參數，i為序列號，t為奇異值收縮閾值。
[0020] 相較于現有技術，本發明具有以下有益效果：
[0021] 1)相似塊的選擇是基于全局范圍的塊聚類，而不是基于局部范圍的塊匹配，這種 方法在恢復圖像邊緣，角點等區域可以避免產生虛假邊緣。
[0022] 2)引入自動編碼模型可以有效捕捉先驗圖像塊的結構特征，在尋找相似結構的圖 像塊中對噪聲更加魯棒。
[0023] 3)建立一個總的優化模型。結合圖像的全局約束，塊聚類和和低秩正則約束，提出 了圖像去噪的總的目標函數。
【附圖說明】
[0024]圖1為本發明中基于外部塊自編碼學習和內部塊聚類的去噪方法的流程圖。
[0025]圖2為本發明實施例中待測圖像去噪的效果圖。
[0026]圖3為本發明實施例中采用的去噪方法與BM3D去噪方法、EPLL去噪方法、LSSC去噪 方法、SAIST去噪方法以及WNNM去噪方法的效果比較圖。
【具體實施方式】
[0027]下面結合附圖，對本發明的技術方案進行具體說明。
[0028]本發明通過深度學習中自動編碼模型學習外部自然圖像塊的特征，并采用由粗至 細的策略實現全局塊聚類，對每一細類采用低秩逼近算法實現相似圖像塊之間的協同濾 波。該方法結合了外部自然圖像的先驗信息和圖像內部自相似性，可以實現全局和局部間 信息的互補，從而克服塊匹配算法中強迫局部自相似性所導致的虛假邊緣現象，使得恢復 后的圖像更加自然，逼真。
[0029] 為了讓本領域技術人員進一步了解本發明所提出的技術方案，下面對技術特征進 行具體說明。
[0030] 首先引入深度學習中的自動編碼(Autoencoder)模型學習外部干凈自然圖像塊的 結構特征。假設有S個無噪聲的自然圖像塊作為訓練樣本，xi表示第i個樣本塊，夫表示該樣 本的重建塊，學習模型可以表示為：
[0032] 其中，、=以^1 + 13)，之=/(^11,_+1^)。這里\>〇是一個正則參數，以.）為 Sigmoid函數。U ? | |F表示F范數。W與礦分別為編碼和解碼的權值。lu為隱含單元向量。匕的 維數比^低，可以有效捕捉自然圖像塊的結構特征。為了實現塊的聚類，假設自然圖像塊可 以分為K類，那么對每個圖像塊建立類別標簽C=( C1，…，cs)，其中ClG{l，…，K}表示圖像塊 Xl屬于第(^類。由于lu可以看作^的降維表示，因而采用K-means，也即K均值，對降維后的lu 聚類，得到聚類的中心點m，叱，…，W(。
[0033] 進一步的，定義圖像x中所有相同大小的重疊塊構成一個塊集合，…X)， 其中，RlX表示圖像X中第i個圖像塊且m為塊的總數。由于學習了外部的干凈塊降維和聚類信息， 可以對所有圖像塊Rx分類，對于每個圖像塊可以計算出類別，= argmsin||/(W(i?;x) + b) -從而所有重疊圖像塊Rx被分為K類。
[0034] 進一步的，定義矩陣瓦表示向量化第k類的圖像塊所構成的 矩陣。通常由于這些塊具有相似的結構，因而所構成的矩陣是具有低秩性質。最小化秩的模 型可以表示成：
[0036]給定一個待去噪圖像y，在本實施例中，希望恢復圖像X。基于塊聚類和低秩正則約 束的圖像去噪方法表示為如下的模型：
[0038]其中，A是一個正的常數。方程右邊第一項是全局約束項，第二項是降維聚類項，第 三項是關于相似塊的低秩正則約束項。以上模型包含三類未知參數，可以采用交替迭代的 方法求解。
[0039]進一步的，在本實施例中，如圖1所示，上述內容具體按照如下步驟實現：
[0040] 1.建立一個包含大量訓練樣本的自然圖像塊數據集，運用自動編碼模型對訓練圖 像塊&進行降維，得到參數W和b;
[0041] 2.設置圖像塊的類別個數K，對降維后的向量匕進行聚類，得到類別中心yi，ii 2,…， 此;進一步的，在本實施例中，K = 350;
[0042] 3.輸入待去噪圖像y，噪聲標準方差〇;
[0043] 4.初始化 x = y;
[0044] 5.將圖像x轉換為圖像塊Rx;
[0045] 6.圖像塊聚類
[0046] 1).粗分類：
[0047] 對于所有的塊，i G {1，…，m}，按照如下方式計算每個塊所屬類別：
[0048] c. = arg min ||/( W(i?,.x) + b) - ^i/f ||2 ?
[0049] 2).細分類：
[0050]對于每個類kG{l，…，K}，計算所在類別的塊數，記為Nk，確定細分類別數Lk=[N k/ S]，根據每個塊在圖像中的位置，也即橫、縱坐標，通過K-means，也即K均值，實現細分類，得 到類別個數K2;
[0051 ] 7.對于每個細類別，解決低秩矩陣近似問題：
[0053] 采用賦權單值閾值算法。假設(Zk)是Zk的第j個單值，且UE VT是萬x的5乂0分解。 則最優的解可以表示為：
[0054] Zk=U(l.-T^(a))v\ i
[0055] 其中，a」= l/(〇j(Zk) + e)且（x)+=max{x,0};
[0056] 8.塊聚集，合并成圖像。
[0057]假設已知所有的{Zk}，可以合并成圖像X. K - ^
[0058] f = argm、inZ -;+/l|y -x||; k=\ ?
[0059] 這是一個二次優化問題，存在最優解：
[0061 ] 9 ?更新方差〇，7士^ -||y-X!其中，y為常數；
[0062] 10.重復步驟5) -9 )，直至滿足迭代次數要求。
[0063] 11.所得到的x即為輸出的去噪后圖像。
[0064]為了進一步，結合具體實施例對本發明所提出的技術方案的有益效果進行說明， 并與現有的去噪方法的效果進行比較。
[0065]在本實施例中，以Peppers為例，按照圖1的步驟進行計算，外部塊先驗輔助內部塊 聚類的圖像去噪方法，包括如下步驟：
[0066] 1)從Berkeley分割數據集200張訓練圖像中抽選1 X 107個圖像塊，每個塊的大小 為8 X 8，根據自動編碼模型降維至20;
[0067] 2)設置K的大小為300,對降維后的向量聚類，得到類別中心講此，
[0068] 3)輸入待去噪Peppers圖像y，噪聲均值為0方差〇 = 50的高斯隨機噪聲；
[0069] 4)初始化x = y，設置迭代次數為8;
[0070] 5)將圖像x轉換為圖像塊Rx;
[0071] 6)對于所有的塊，計算每個塊所屬類別；
[0072] 7)對于每個類別的圖像塊，采用低秩矩陣近似的方法實現協同去噪；
[0073] 8)塊聚集，合并成圖像；
[0074] 9)更新方差〇;
[0075] 10)重復步驟 8 次 5)_9);
[0076] ll)x為去噪后的圖像。
[0077]圖2是上述圖像去噪實例的效果圖，實驗圖像的分辨率為256X256,圖2(a)為原始 圖像，圖2(c)至圖2(h)分別對應為該算法1次迭代至8次迭代得到的結果，且PSNR分別為： 20.01(18、23.73(18、26.19(18、26.74(18、26.93(18以及26.97(18。從圖2可以看到，本實施例中算 法得到的去噪圖像與真實圖像的吻合程度較高，結合了外部干凈塊的先驗信息可以很好地 輔助內部塊聚集，從而提高了低秩去噪的精度確。
[0078]圖3是本實施例中所提出的算法與主流算法 效果比較圖。圖3(a)與圖3(b)分別為干凈的圖像和該圖像加了均值為0方差為50后的噪聲 圖像。圖3(c)至圖3(h)分別為：BM3D(PSNR:26.68dB)、LSSC(PSNR:26.79dB)、EPLL(PSNR: 26.63dB)、SAIST(PSNR:26.73dB)、WNNM(PSNR:26.91dB)、本發明提出的算法（PSNR: 26.97dB)。從圖3(c)至圖3(h)可以看出，與其他五種方法相比，本發明的方法明顯提高了去 噪的視覺效果，同時PSNR也是這些算法中最高的。如前所述，本發明的方法考慮了外部塊的 多層結構特征，以及在整個圖像中搜索相似塊，所以在低秩去噪中能夠更好的保證去噪效 果。
[0079]以上是本發明的較佳實施例，凡依本發明技術方案所作的改變，所產生的功能作 用未超出本發明技術方案的范圍時，均屬于本發明的保護范圍。
【主權項】
1. 一種基于外部塊自編碼學習和內部塊聚類的去噪方法，其特征在于，按照如下步驟 實現： 步驟Sl:通過深度學習中的自編碼模型學習無噪聲自然圖像塊的特征； 步驟S2:通過經所述步驟Sl中獲取的特征信息以及K-均值算法對待測圖像塊進行聚 類，并采用低秩逼近算法對每一類別進行相似圖像塊之間的協同濾波； 步驟S3:結合待測圖像的全局約束、塊聚類以及低秩正則約束，獲取待測圖像去噪的總 目標函數； 步驟S4:通過交替迭代方法求解總目標函數，完成對待測圖像的最優去噪。2. 根據權利要求1所述的基于外部塊自編碼學習和內部塊聚類的去噪方法，其特征在 于，在所述Sl中，還包括如下步驟： 步驟Sll:根據待測圖像中噪聲方差的大小，確定自然圖像塊的大小，并建立一個包含 若干個自然圖像塊的訓練樣本； 步驟S12:確定隱含層的結點個數，輸入數據以及輸出數據均為訓練樣本塊，構建自編 碼模型，并經學習后得到編解碼的權值以及偏值； 步驟S13:設置訓練樣本塊的類別個數，并對訓練樣本塊降維后的低維特征進行聚類， 得到類別中心。3. 根據權利要求2所述的基于外部塊自編碼學習和內部塊聚類的去噪方法，其特征在 于，在所述S2中，還包括如下步驟： 步驟S21:根據所述待測圖像塊的大小，將待測圖像劃分為若干重疊塊； 步驟S22:利用經所述自編碼模型學習得到的編碼的權值以及偏值對待測圖像塊進行 降維； 步驟S23:通過所述類別中心對待測圖像塊的低維特征聚類;若經聚類后的類別的塊數 量超過預設塊數量閾值，則根據每個塊在待測圖像中的橫、縱坐標位置，采用K均值進行細 分類。4. 根據權利要求1所述的基于外部塊自編碼學習和內部塊聚類的去噪方法，其特征在 于，在所述S3中，所述總目標函數滿足:求估計目標圖像以及帶噪聲圖像的L2范數最小，最 相似的塊聚為一類，每一類要求F范數最小且低秩，且具體形式如下：其中，y為帶噪聲圖像，〇為噪聲方差，X為所求的去噪后的圖像，Ri為對圖像劃分為塊的 矩陣，W和b分別為編碼的權值和偏值，C為類別，μ為類別中心，瓦為相同類別塊的合并矩陣， Z為相似塊低秩近似后的矩陣，λ是一個正則參數，i為序列號，τ為奇異值收縮閾值。
【文檔編號】G06T5/00GK105894469SQ201610194833
【公開日】2016年8月24日
【申請日】2016年3月31日
【發明人】曾勛勛, 陳飛, 王燦輝
【申請人】福州大學