一種基于雙字典學習的單幀圖像超分辨率復原方法
【技術領域】
[0001]本發明涉及圖像處理領域,尤其涉及一種基于雙字典學習的單幀圖像超分辨率復 原方法。
【背景技術】
[0002]超分辨率復原是指利用一幅或多幅低分辨率(Low Resolution,LR)圖像,基于一 定的假設恢復出一幅具有豐富細節的高分辨率(High Resolution,HR)圖像的過程。近年 來,超分辨率復原技術以其高效的重構效果和低廉的運行成本在特征提取、信息識別、生物 醫學工程、公共安全監控等多個領域擁有廣泛的應用前景,成為圖像和視頻處理領域最活 躍的研究方向之一。
[0003] 根據重構源圖像的不同,超分辨率復原方法可以被分成兩類:一類是基于視頻的 超分辨率復原方法,這種方法利用亞像素配準技術對多幅低分辨率圖像進行運動估計和圖 像融合,得到高分辨率圖像;另一類是單幀圖像的超分辨率重建方法,這種方法利用一定的 先驗知識對圖像進行復原。在實際應用中,很難得到同一場景的多幅圖像序列,因此對于單 幀圖像的超分辨率復原技術依然具有研究意義。同時,由于圖像的退化過程伴隨著大量高 頻信息的丟失,這使得單幀圖像的超分辨率復原問題通常具有病態特性(ill-posed),因此 目前單幀圖像的超分辨率研究依然面臨著極大的挑戰。
[0004] 現有的圖像超分辨率復原方法包括:基于插值的復原方法和基于樣例的復原方 法。基于插值的方法可以增加圖像的視覺感官效果,但是卻沒有恢復在圖像退化過程中丟 失的高頻成分;基于樣例的復原方法通過學習高、低分辨率圖像塊之間的對應關系,實現超 分辨率復原,這種方法相較于基于插值的復原方法來說,能夠恢復出大部分高頻細節,并且 起到邊緣銳化的效果,成為目前超分辨率復原算法的研究熱點。2002年,Fr eeman[1]提出利 用馬爾科夫隨機場學習低分辨率圖像塊和高分辨率圖像塊之間的關系,為基于樣例的超分 辨率復原方法奠定了基石;隨著壓縮感知技術和稀疏編碼模型的提出,YangW等人提出了 基于稀疏表示的超分辨率復原方法,首先對高、低分辨率圖像塊進行聯合訓練,得到高、低 分辨率字典對,然后找到低分辨率圖像在低分辨率字典中的稀疏表示系數,利用高分辨率 圖像塊與低分辨率圖像塊具有相同的稀疏表示系數這一性質,對高分辨率字典和稀疏表示 系數進行重構,從而復原出高分辨率圖像;Dong [3]等人提出一種主成分分析(PCA)字典訓練 方法,提出圖像塊的主成分信息進行字典訓練,在去噪、去模糊、超分辨率復原中均取得了 顯著的效果。在上述基于樣例的方法中,圖像復原質量容易受到訓練圖像庫的約束,因此, 基于圖像金字塔的超分辨率復原方案應運而生。Glanser [4]等提出一種僅利用輸入低分辨 率圖像進行超分辨率復原的方法,充分利用圖像的多尺度相似性,得到了較好的重建效果; D〇ng[5]等采用K-means算法對不同尺度的圖像塊進行圖像聚類,訓練出聚類子字典并利用 稀疏表示理論進行超分辨率復原,使復原效果得到進一步提高。
[0005] 然而在上述方法中,基于外部訓練集的方法容易引入與圖像本身不相關的冗余信 息,使重建結果受到一定程度的影響;而基于內部字典的方法利用多層低分辨率圖像的下 采樣信息,這將導致訓練集中的圖像塊包含不準確的邊緣信息。
【發明內容】
[0006] 本發明提供了一種基于雙字典學習的單幀圖像超分辨率復原方法,本發明將基于 外部字典和內部字典的超分辨率復原方法有機結合,在充分利用圖像的多尺度相似性的基 礎上,引入外部字典進行邊緣修正,并融入圖像的局部鄰域加權信息和非局部相似性信息, 詳見下文描述:
[0007] -種基于雙字典學習的單幀圖像超分辨率復原方法,所述單幀圖像超分辨率復原 方法包括以下步驟:
[0008] 建立基于雙字典的圖像超分辨率復原模型;
[0009] 通過非局部相似性加權對雙字典的圖像超分辨率復原模型進行優化,獲取優化復 原模型;
[0010] 對所述優化復原模型進行求解,實現對單幀圖像超分辨率的復原。
[0011] 其中,所述建立基于雙字典的圖像超分辨率復原模型具體為:
[0012] 建立包括內部訓練子字典、外部訓練子字典的所述雙字典圖像超分辨率復原模 型。
[0013] 其中,所述雙字典圖像超分辨率復原模型具體為:
[0015] Y = DX
[0016] 其中,ΦΗΦ,.….Φ,.Γ為每一圖像塊所對應的內部訓練子字典,ai為第i個圖 像塊在內部字典下的稀疏表示系數,ψ=「ψ/. 為每一圖像塊所對應的外部訓 練子字典,隊為第i個圖像塊在外部字典下的稀疏表示系數,λ、δ和γ分別為三個正則系數, Ri表示將Xl從圖像X中提取出來的窗函數,X為待估計的超分辨率圖像,D代表圖像下采樣算 子,Y為低分辨率圖像,a為稀疏表示系數,S為圖像的非局部自相似矩陣。
[0017] 其中,所述優化復原模型具體為:
[0018] 在所述雙字典的圖像超分辨率復原模型的基礎上,增加了正則化項。
[0019] 本發明提供的技術方案的有益效果是:引入外部字典進行邊緣修正,并利用非局 部相似性正則項有效提高稀疏分解的穩定性,建立基于雙字典的超分辨率復原模型。實驗 結果表明,本方法能夠有效提高重建精度,保持良好的邊緣信息,無論在主觀視覺效果還是 在客觀評價指標上,較前人工作有一定程度的提高。
【附圖說明】
[0020] 圖1為一種基于雙字典學習的單幀圖像超分辨率復原方法的流程圖;
[00211圖2為Starfish超分辨率重建結果的示意圖;
[0022] (a)為Original image;(b)為Bicubic image;(c)為ScSR image;(d)為NARM-SRM image;(e)Proposed method image。
[0023] 圖3為House超分辨率重建結果的示意圖;
[0024] (a)為Original image;(b)為Bicubic image;(c)為ScSR image;(d)為NARM-SRM image;(e)為Proposed method image。
[0025] 圖4為Girl四種超分辨率復原算法的比較示意圖;
[0026] (a)為Original image;(b)為Bicubic image;(c)為ScSR image;(d)為NARM-SRM image;(e)Proposed method image。
[0027] 圖5為Leaves四種超分辨率復原算法的比較示意圖。
[0028] (a)為Original image;(b)為Bicubic image;(c)為ScSR image;(d)為NARM-SRM image;(e)為Proposed method image。
【具體實施方式】
[0029] 為使本發明的目的、技術方案和優點更加清楚,下面對本發明實施方式作進一步 地詳細描述。
[0030] 考慮到圖像退化過程中受到下采樣、模糊、噪聲等因素的影響,圖像復原問題可以 表示為如下數學模型:
[0031] y = DHx+〇 (1)
[0032] 其中,x表示原始的高分辨率圖像;D代表圖像下采樣算子;Η代表圖像的模糊算子; σ代表加性噪聲;y表不低分辨率圖像。
[0033] 則圖像復原問題可以認為是由去噪、去模糊和分辨率增強這三個子問題組成,其 中圖像超分辨率復原問題可以形式化表示為:
[0034] y = Dx (2)
[0035] 由于自然界中的圖像包含很多重復的部分,即同一個圖像塊在同一尺度和不同尺 度都可以找到相同或相似的圖像塊,因此超分辨率復原大多是基于圖像塊進行的。以這種 思想為基礎,提出了一種基于圖像自相似性與稀疏表示模型的超分辨率復原算法,在這種 方法中,利用輸入低分辨率圖像Y的s多級下采樣圖像.. .Y-s作為訓練集,訓練出復 原字典φ,再結合稀疏表示理論,將超分辨率復原模型表示為:
[0037] X ? Φα (3)
[0038] 其中,D為圖像下采樣算子;α為稀疏表示系數;λ為正則化參數;X為待估計的超分 辨率圖像。
[0039]考慮到圖像的結構自相似性,利用非局部均值濾波的思想,認為圖像X中的所有圖 像塊都可以由鄰域內非局部自相似塊的加權平均近似表示,即:
[0040] X = SX (4)
[0041] 其中,S為圖像的非局部自相似矩陣。將(4)代入(3),得到基于圖像自相似性與稀 疏表示的超分辨率復原模型:
[0043] X? φα Y = DX (5)
[0044] 對X和α進行迭代求解可以得到最終的復原圖像。但是以上算法在對低分辨率圖像 進行初始估計的基礎上,只利用單一的內部字典對圖像進行復原,而初始估計圖像的邊緣 已經存在嚴重的鋸齒效應,這為圖像重建帶來了極大的不利影響。本方法在其基礎上提出 采用雙字典的方式進行圖像復原,更好地恢復圖像邊緣細節,進一步提高圖像復原質量。
[0045] 實施例1
[0046] 101:建立基于雙字典的圖像超分辨率復原模型;
[0047]由于外部字典能夠提供平滑的邊緣信息,本方法引入訓練庫中的高分辨率圖像進 行訓練。為了提高對不同子塊進行重建的適應性,將訓練庫中的圖像分塊,得到訓練樣本, 再利用字典訓練方法,將樣本分成K類, yi,y2,.. .μκ為每一類的中心,對于每個類中的圖像 樣本,訓練得到Κ個子字典Ψι,Ψ2,. . .Ψκ。
[0048]假設^是從圖像X中提取的圖像塊,那么Χι = ιω(,其中&表示將Xl從圖像X中提取出 來的窗函數。對于每一個待復原的低分辨率圖像Y,首先對其進行bicubic插值[6]得到初始 高分辨率圖像X〇,將初始高分辨率圖像X〇分成η塊后,為每一個 Xl通過下式自適應的選擇一 個子字典
[0050]通過求解(6)式選擇與從圖像中提取出的塊^最接近的樣本中的塊yk,來選擇相應 的子字典Wki。在進行圖像復原時,希望圖像塊Χι在其對應字典Wki下的稀疏表示、與圖像塊 自身足夠接近,即使得Ih-足夠小,將其作為正則項加入(5)式,將Xl替換為RlX得到 基于雙字典的超分辨率復原模型:
[0052] Y = DX (7)
[0053] 其中,Φ =「Φ,,Φ,.….…叭V為每一圖像塊所對應的內部訓練子字典,ai為第i個 圖像塊在內部字典下的稀疏表示系數,Ψ = [%,'...為每一圖像塊所對應的外部 訓練子字典,隊為第i個圖像塊在外部字典下的稀疏表示系數,λ、δ和γ分別為三個正則系 數,其中系數為常數。
[0054] 102:通過非局部相似性加權對雙字典的圖像超分辨率復原模型進行優化,獲取優 化復原模型;
[0055] 為了更好地處理因稀疏分解產