基于非局部回歸和總差分的多視點rgb-d圖像超分辨率方法

基于非局部回歸和總差分的多視點rgb-d圖像超分辨率方法
【技術領域】
[0001] 本發明涉及圖像超分辨率技術領域，具體涉及一種基于非局部回歸和總差分的多 視點RGB-D圖像超分辨率方法。
【背景技術】
[0002] 隨著4K時代的到來，高清圖像的應用和需求日益增多，圖像超分辨率技術的成 為不可或缺的圖像恢復手段，也被視為第二代圖像恢復技術，為后續圖像處理和可視化提 供了良好的細節信息和顯著的特征，同時也便利于后續的基于幾何的計算機圖形應用（例 如：三維重構和3D打印等）。不同于傳統的圖像恢復技術，圖像超分辨率的目的是通過最 大化的利用輸入單張圖像或圖像序列中的固有信息來生成一個高質量的放大圖像，其中由 于輸入圖像為超分辨率圖像的模糊、下采樣以及噪聲等一系列操作的結果，因此，圖像超分 辨率技術被視為一個病態的圖像逆問題。
[0003] 常用的圖像超分辨率方法可分為三種，分別為：基于插值的方法、基于重構的方 法、基于學習的方法。基于插值的方法通常應用線性或非線性插值技術實現圖像的超分辨 率，該類方法簡單快速易實現，被廣泛的應用于現存的商業軟件中。但是由于基于插值的方 法僅使用了插值位置周邊的有限信息做為插值依據，通常會造成插值效果中包含鋸齒、邊 界過模糊以及細節信息丟失。對于基于重構的方法而言，輸入圖像序列的多幅圖像需要使 用圖像配準技術來獲得圖像間的相關性，由于輸入低分辨率圖像通常比較模糊，且包含了 有限的特征信息，造成了現有的圖像配準技術并適用于該類低分辨率的圖像，也不能得到 準確的圖間相關性，因此后續的基于重構的方法不能得到滿意的超分辨率效果。同時現存 的基于重構的技術為了能夠得到好的重構效果，均采用了約束項從大量的重構效果中獲得 一個滿意的結果，但目前的約束項并不能保證所獲得重構效果和真實高清圖像的有效一致 性。第三類基于學習的方法利用了外部高低分辨率數據集，通過學習高低分辨率圖像對間 的相關性，在算法獲得最小重構誤差時，建立了高分辨率圖像對間的映射關系，并將該映射 關系應用于測試數據中。該類方法最大的問題是外部圖像集的選擇問題，過小的圖像集不 能達到有效的訓練效果，過大的圖像集造成訓練時間過長且存在重構數據過擬合的現象， 同時該類方法過度依賴于測試圖像和訓練圖像間的相似性。以上三類圖像超分辨率技術也 被應用于深度圖的超分辨率應用中，被針對深度圖的特殊應用需求，在以上三類方法的基 礎上，將彩色圖像做為先驗信息來實現深度圖的放大，該類方法需要一個額外的高分辨率 RGB圖像的輔助設備來獲取高清圖像。針對通常使用的MicrosoftKinect，所獲得RGB圖 像及深度圖的默認分辨率俊文640X480,因此針對此類應用，深度圖的超分辨率將及其困 難。
[0004] 目前RGB-D圖像超分辨率的關鍵技術在于如何利用深度圖和RGB圖像間的固有相 關性構建圖像序列間的映射關系，如何設計一個有效的先驗信息使得重構超分辨率圖像能 最大限度的與真實的高清圖像保持一致，如何利用RGB圖像與深度圖間的相關性實現深度 圖的超分辨率等。
[0005] 為了解決上述問題，本發明非局部回歸和總差分的多視點RGB-D圖像超分辨率 方法，該方法通過初始化的超分辨率深度圖構建參考圖像的點云，并利用小孔成像原理構 建輸入圖像序列與超分辨率重構圖像間的映射矩陣，提高了低分辨率輸入圖像間的配準精 度；利用所提出的歸一化的雙邊總差分約束項，并使用主對偶求解方法快速實現RGB圖像 的超分辨率，該約束項有效的保持了重構的RGB圖像與真實高清圖像的一致性，使得所獲 得的重構高分辨率圖像較好的保持了細節和邊界的清晰性；基于所重構的RGB圖像，利用 所提出的基于像素點的非局部回歸方法實現深度圖的重構，該重構方法提高了算法的求解 速度，同時RGB信息的使用有效的防止了深度彩色信息的不一致問題。

【發明內容】

[0006] 本發明要解決的技術問題是：克服了現有算法對圖像配準技術的依賴性，提供了 一種基于深度圖的圖間映射矩陣構建方法，通過小孔成像技術，提高了所發明的算法的理 論可行性。克服了總差分方法重構效果存在的鋸齒和過模糊的現象，提出了歸一化的雙邊 總差分先驗的RGB圖像超分辨重構方法；克服了基于RGB圖像構建超分辨率深度圖穩定性 第、邊界模糊以及細節丟失的問題，提出了基于非局部回歸和RGB圖像誘導的深度圖超分 辨率方法。
[0007] 本發明采用的技術方案為：一種基于非局部回歸和總差分的多視點RGB-D圖像超 分辨率方法，包括以下步驟：
[0008] 步驟（1)、基于深度圖的圖間映射矩陣構建：將參考視點的深度圖利用Bicubic 算法插值到目的超分辨率維數，并利用反向投影技術獲得參考視點的點云重構，并使用 MonoSLAM算法獲取圖像序列相對于參考圖像的偏移量，利用重構的點云數據、深度信息、偏 移量以及小孔成像原理，分別構建相同視點下超分辨率圖像和低分辨率圖像間的映射矩陣 和不同視點下的低分辨率輸入圖像和超分辨率圖像間的映射矩陣，實現了映射矩陣Μ的初 始化；
[0009] 步驟（2)、基于歸一化的雙邊總差分的RGB圖像超分辨率：通過步驟（1)所獲得的 映射矩陣，并利用所提出的歸一化的雙邊總差分先驗知識，構建RGB圖像重構能量函數，利 用主對偶算法實現重構圖像的快速求解，該步驟所使用的改進的總差分先驗能夠有效的保 證重構的超分辨率圖像與真實的高清圖像的一致性，并且所使用的主對偶求解方法可以保 證求解過程的快速性；
[0010] 步驟（3)、基于非局部回歸和RGB圖像誘導的深度圖超分辨率：通過步驟（2)中重 構的超分辨率RGB圖像，使用了基于方差的RGB圖像通道選擇方法獲得結構特征最強的通 道，利用深度圖和所選擇通道的RGB圖像的雙邊核信息構建圖像的重構系數，并使用非局 部約束構建深度圖的重構優化函數，該步驟有效的防止了深度彩色信息的不一致問題。
[0011] 進一步的，步驟（1)中所述的深度圖的圖間映射矩陣構建方法，有效的解決了低 分辨率圖像間的配準不準確性問題，降低了對圖像配準算法的依賴性提高了算法映射矩陣 構建的準確性。
[0012] 進一步的，步驟（2)中所述的基于歸一化的雙邊總差分的RGB圖像超分辨率，提出 了一個歸一化的雙邊總差分的先驗知識，并將其做為約束項來構建RGB圖像的優化函數， 并利用主對偶算法實現圖像的快速重構，該方法提出了一個全新的先驗知識，該先驗知識 能有效的保證重構的超分辨率圖像和真實的高清圖像間的一致性，同時所使用的主對偶方 法能有效的加快算法的求解速度，減少的求解時間，提高了算法實時性。
[0013] 進一步的，步驟（3)中所述的基于非局部回歸和RGB圖像誘導的深度圖超分辨率 方法，首先將步驟（2)所構建的RGB超分辨率圖像做為先驗信息，并通過使用基于像素點的 重構方法，提出了基于局部方差的RGB圖像通道選擇方法，利用了所選擇通道的圖像結構 信息和輸入的深度信息來構建重構系數，采用了非局部的構建方法來獲取最相似的重構約 束項，使用預條件共輒梯度算法來實現二次函數的快速求解；該方法利用了通道選擇方法 和RGB圖像的局部結構信息，有效的防止了深度彩色信息的不一致問題，有效的提高了算 法的邊界和細節信息的重構準確性；同時使用了非局部的重構約束項增加了約束像素點的 候選項，提高了算法的求解穩定性。
[0014] 本發明的原理在于：
[0015] (1)本發明所提出的基于深度圖的圖間映射矩陣構建方法，該發明基于小孔成像 原理，利用了深度圖和RGB圖像間的固有關系構建圖像序列與重構圖像的映射矩陣，有效 的減少了對配準算法的強依賴性，提高了算法的準確性。
[0016] (2)本發明所提出的基于歸一化的雙邊總差分的RGB圖像超分辨率方法，通過使 用歸一化的雙邊總差分先驗知識做為重構約束項，有效的保留了細節信息和提高了重構結 果中邊界的清晰性，提高了重構的超分辨率圖像和真實的高清圖像間的一致性。
[0017] (3)本發明所提出的基于非局部回歸和RGB圖像誘導的深度圖超分辨率方法，利 用了RBG三通道的不同結構表示能力構建局部結構核，并使用深度信息構建非局部重構系 數，有效的防止了深度彩色信息的不一致問題，提高了算法的邊界和細