基于盲模糊估計與錨定空間映射的圖像超分辨處理方法
【技術領域】：
[0001] 本發明涉及圖像/視頻處理技術，具體來講，本發明涉及一種盲模糊估計與錨定 空間映射的單幅圖像超分辨處理算法。 技術背景：
[0002] 圖像超分辨是從同一場景的一幅或多幅低分辨率圖像生成一幅同一場景的高分 辨率圖像的技術。從本質上來說，超分辨問題是一個嚴重的病態問題，必須要有某些先驗信 息才能求解。從該領域的歷史發展角度來看，超分辨技術大致可以分為三類：基于插值的方 法、基于重建的方法和基于機器學習的方法。基于插值的方法目前已經發展得非常成熟，主 流的插值算法有最鄰近插值、雙線性插值、雙立方插值、立方卷積插值與拉格朗日插值等。 插值算法一般假設圖像信號是連續的、帶寬受限的光滑信號，然而這一假設在自然圖像中 通常是不成立的，因為自然圖像中包含了大量的不連續特征，如邊緣、角點等。所以基于插 值算法圖像超分辨處理往往導致振鈴與鋸齒等現象，在對圖像質量要求較高的場合往往不 能滿足應用要求；基于重建的方法將超分辨問題看成圖像采集過程的逆問題，這類方法一 般要求大量的輸入樣本來固定解的方向。這類技術一般可以取得比插值算法更好的處理效 果，但當上采樣因子較大或有效輸入圖像的數量不足時這類方法的效果會急劇下降。
[0003] 基于機器學習的方法是一種比較有前景的技術，目前已經成為超分辨領域的主流 研宄方向。基于學習的方法最早體現在Freeman等人的樣本學習方法中，該方法通過置信 傳播求解馬爾科夫隨機域（MarkovRandomField)來進行低分辨率到高分辨率樣本的預 測。Sun等人利擴展了這一方法，他們用原始草圖先驗來加強邊緣、角點等非連續性特征。 然而，這類方法通常要求大量的外部數據庫，該數據庫由數以萬計的高分辨率/低分辨率 圖像塊對組成，這極大地降低了算法執行效率。為了解決這一問題，Chang等人采用局部線 性嵌入（LocallyLinearEmbedding)的思想，假設高分辨率圖像塊與低分辨率圖像塊之間 具有相似的空間結構，利用最小二乘法求解低分辨率圖像塊固定數量的鄰域，并將得到的 線性組合系數直接映射到高分辨率空間來恢復高分辨率圖像塊。這種方法能夠以較少的 訓練樣本表達一個低分辨率圖像塊，有效地降提高了算法執行效率。這類方法后來被其他 人擴展，但是固定數量的鄰域很容易引起過擬合或欠擬合現象，超分辨效果仍然有待提升。 Yang等人提出了圖像超分辨的稀疏表達方法，該方法將觀察特征空間和隱藏特征空間串接 在一起，然后根據壓縮感知理論利用二次規劃求得一個外部詞典，最后利用該詞典自適應 地表達低分辨率圖像塊。該方法也依賴于外部數據庫來構建詞典，若訓練數據與輸入圖像 不兼容，算法也會引入明顯的人工痕跡。Glasner等人于2009年發現了單幅圖像的跨尺度 非局部自相似性，結合基于樣本學習和傳統的重建方法實現了超分辨處理效果的大幅度提 升。Glasner等人的方法沒有考慮輸入圖像本身也存在模糊現象，而且在金字塔分層過程 中假設模糊核函數是已知的，但這與事實是不符的。最近，Michaeli等人利用圖像塊冗余 先驗進行單幅圖像的盲超分辨處理，通過最大化圖像跨尺度自相似性來估計圖像的真實模 糊核函數。隨后，他又將這一性質用到了單幅圖像的去模糊中，并取得良好的處理效果。然 而，Michaeli等人的方法是基于自然圖像的連續性假設的，而且模糊核估計過程中利用了 所有圖像塊，這造成最終估計的模糊核函數出現過擬合或欠擬合現象。
[0004] 在單幅圖像的超分辨處理領域，訓練數據與測試數量之間的兼容性和訓練數據的 精度、時效性要求是當前面臨的兩個主要挑戰。一方面，在單幅輸入圖像的條件下，當前的 超分辨算法通常假設圖像的模糊核函數是已知的，比如雙線性插值核、高斯模糊核等低通 濾波器。然而，Michaeli等人的研宄成果表明，在假設的模糊核函數與圖像真實模糊核函 數相差較大時，超分辨算法的處理效果會急劇下降。為了確保訓練樣本的精度及其與測試 樣本之間的兼容性，有必要從輸入圖像自身估計圖像的真實模糊核函數，以保證算法中所 用到的圖像模糊參數自適應于輸入圖像；另一方面，基于機器學習的超分辨算法往往是十 分耗時的。這主要是由于超分辨重建階段要求解一個U/^范式約束的最優化問題，而求解 該最優化問題一般要求很大的計算量。因此，如何在保證超分辨處理效果的同時提高算法 執行效率是單幅圖像超分辨領域亟待解決的重要科學問題。
【發明內容】
：
[0005] 本發明的目的在于解決現有基于機器學習的圖像超分辨算法所用到的訓練數據 精度不高、與測試樣本不兼容、以及時耗太大難以滿足實際應用的問題。基于單幅圖像的模 糊核函數盲估計過程與錨定空間映射提出了一種單幅圖像的超分辨處理算法。所述模糊核 估計方法能夠相對精確地估計輸入圖像的模糊核函數、提高訓練樣本精度與兼容性；錨定 空間映射處理能在不降低超分辨處理效果的同時極大地減少算法的時間消耗。
[0006] 本發明提供了一種提高訓練樣本精度與兼容性和提高算法效率的超分辨處理算 法，該方法主要包括兩個階段的處理：基于最小化圖像跨尺度非局部相異性的模糊核估計 階段和基于對偶詞典學習與錨定空間映射的超分辨重建階段。
[0007] 模糊核函數盲估計階段：
[0008] 步驟1. 1數據準備：從輸入圖像Y中以稠密采樣的方式提取樣本索引圖像塊集 合和樣本塊集合對于2X超分辨問題，可以取索引塊和樣本塊的大小分別為 5X5和9X9 ;對于3X超分辨問題，可以取索引塊樣本塊的大小分別為5X5和13X13,樣 本塊的大小對應了將要估計的模糊核的大小；
[0009] 步驟1. 2篩選待處理的圖像塊：設定圖像塊的平均梯度幅度閾值|gard|s，舍棄索 引塊中的平滑塊；
[0010] 步驟1. 3設定初始模糊核函數k為delta函數；
[0011] 步驟1. 4利用模糊核函數對樣本圖像塊{免丨匕進行下采樣操作：首先將模糊核與圖 像塊卷積，再進行下采樣，由此得到樣本塊的下采樣版本&;
[0012] 步驟1. 5對每一個索引塊？1，根據歐氏距離度量標準在kg中找到一定數量的鄰 域塊，根據下列公式計算每一個鄰域塊的權重：
[0014] 其中吣是每一個索引塊口i的鄰域個數，〇是p沖附加噪音的標準差；
[0015] 步驟1. 6更新模糊核核函數k:
[0017]其中&表示與qu對應的卷積矩陣。這里的qu表示索引塊pi對應的鄰域塊在原 始大圖像中的"父塊"，其中〇 <j<MpC是對應"父塊"在x和.y方向的偏導數矩陣。該 公式的出發點是最小化輸入圖像跨尺度相異性（dissimilarity)，與MAPk方法類似但有本 質不同；
[0018] 步驟1. 7將所得模糊核函數歸一化為單位向量；
[0019] 步驟1. 8若圖像塊之間的平均跨尺度相異性（APD，AveragePatch Dissimilarity)持續下降，則返回到步驟1. 4重復執行模糊核更新過程；否則，即AH)不再 保持下降，輸出估計的模糊核函數k;
[0020] 基于對偶詞典的稀疏重建階段：
[0021] 步驟2. 1根據所估計的模糊核函數對輸入圖像進行下采樣。采用迭代投影殘差 (BPR，BackProjectionResiduals)策略分別從原始圖像及其下采樣版本中提取特征，并 用對偶詞典學習算法⑶L訓練對偶詞典隊和DH