基于總廣義變分的紅外圖像多傳感器超分辨率重建方法
【專利摘要】本發明公開了一種基于總廣義變分的紅外圖像多傳感器超分辨率重建的方法，主要包括：將低分辨率紅外圖像投射到高分辨率可見光圖像的坐標空間，得到稀疏紅外圖像，由此稀疏紅外圖像求出數據項加權系數；歸一化處理稀疏紅外圖像，得到歸一化紅外圖像；由相位一致性算法求得高分辨率可見光圖像的邊緣信息；由數據項加權系數和歸一化紅外圖像構造數據項；由可見光圖像邊緣信息對一階梯度算子改進的TGV正則項加權，構造正則約束項；將數據項和正則約束項相加構造目標函數，以歸一化紅外圖像為初始值，采用主-對偶優化算法迭代求解目標函數，得到重建的高分辨率紅外圖像。實驗表明，采用本發明方法重建的圖像質量更高，接近原始高分辨率紅外圖像。
【專利說明】基于總廣義變分的紅外圖像多傳感器超分辨率重建方法
【技術領域】
[0001] 本發明涉及一種紅外圖像處理技術，具體涉及一種利用高分辨率可見光圖像引導 低分辨率紅外圖像進行超分辨率重建的方法，屬于紅外圖像超分辨【技術領域】。
【背景技術】
[0002] 紅外圖像反映場景的輻射特性，這種特性能為多個應用領域提供有價值的信息， 如軍事偵察和遠程控制等，但與可見光圖像相比，紅外圖像邊緣模糊并且缺少紋理信息，直 接由紅外傳感器獲取的紅外圖像空間分辨率有限，因而從紅外圖像中直接提取足夠的信息 比較困難。提高紅外圖像的空間分辨率是一個亟待解決的問題。
[0003] 為了解決紅外圖像存在的上述問題，人們首先是從硬件方面進行研究，試圖通過 研制高密度小像元尺寸的紅外焦平面器件來解決上述問題，但在現有技術條件下，研制高 密度小像元尺寸的紅外焦平面器件還有一定困難，且研制成本較高、研制效率低。鑒于此， 科研人員從算法理論方面進行探索，通過軟件提高紅外圖像的分辨率。軟件研究方面，一種 具有前景的方法是利用信號處理技術由低分辨率圖像獲得高分辨率圖像，稱這種方法為超 分辨率技術。目前的超分辨率技術主要分為三大類：1)基于插值的超分辨率技術，即利用己 知鄰近像素的灰度值來產生待插值像素的灰度值，以此獲得高分辨率圖像。該技術重建的 高分辨率圖像在邊緣等不連續處質量較差。2)基于重構的超分辨率技術，該技術對圖像的 退化過程建模，利用低分辨率圖像和特定的圖像退化模型對高分辨率圖像的重建過程進行 約束，得到高分辨率圖像。該技術存在先驗知識少、重建圖像的效果改進潛力不大等問題。 3)基于學習的超分辨率技術，該技術構造低分辨率和高分辨率圖像樣本庫，通過學習樣本 庫得到低分辨率圖像和高分辨率圖像的內在聯系，從而指導圖像的超分辨率重建過程，獲 得高分辨率圖像。該技術中樣本庫的訓練過程計算復雜度較大。以上傳統的圖像超分辨率 重建方法本身存在缺點，并且多是利用同一種傳感器獲得的圖像進行重建，然而同一種傳 感器獲得的圖像信息有限，不能提供更加全面的可利用的圖像信息，因此基于傳統方法所 重建的高分辨率紅外圖像的質量欠佳。
【發明內容】
[0004] 針對軟件方面由低分辨率紅外圖像重建高分辨率紅外圖像技術的現狀與不足，本 發明的目的旨在提供一種基于多傳感器技術的紅外圖像超分辨率新方法，以此改善傳統圖 像超分辨率技術的缺點，并且使得重建獲取的高分辨率紅外圖像的邊緣細節清晰，從一定 程度上彌補紅外圖像自身固有的缺陷。
[0005] 同場景可見光圖像與紅外圖像之間存在很強的相關性和互補性，可見光圖像邊緣 細節清晰，并且可見光成像系統獲得的圖像分辨率較高，這些正是紅外圖像很難具備重要 特征。超分辨率技術方面，正則化方法因其解決由低分辨率圖像重建高分辨率圖像時有效 求得優化解而得到廣泛關注。本發明的基本思想是利用高分辨率可見光圖像引導低分辨率 紅外圖像進行超分辨重建，并且結合正則化方法獲取優化的高分辨率紅外圖像。基于此基 本思想，本發明提出一種基于多傳感器技術和圖像正則化超分辨率技術來獲取高分辨率紅 外圖像的新方法。
[0006] 本發明結合相同場景的兩種不同傳感器獲得的圖像，利用正則化方法獲取高分辨 率紅外圖像的技術方案為：首先利用紅外圖像來構造數據項；其次由相位一致性算法提取 可見光圖像邊緣信息，利用一階梯度算子改進總廣義變分（TGV)正則化模型，得到改進的 TGV正則項；然后利用可見光圖像的邊緣信息對改進的TGV正則項加權，得到最終的正則約 束項；最后采用一階主-對偶優化算法求得最優解，最優解即為優化重建的高分辨率紅外 圖像。
[0007] 本發明提供的基于多傳感器技術的紅外圖像超分辨率方法，具體內容主要包括以 下步驟： (1) 將低分辨率紅外圖像的像素點均勻擴散到高分辨率可見光圖像的坐標空間，得到 稀疏的紅外圖像，并由此稀疏的紅外圖像求出數據項的加權系數； (2) 對步驟（1)得到的稀疏紅外圖像進行歸一化處理，得到歸一化的紅外圖像； (3) 依據相位一致性算法提取高分辨率可見光圖像的邊緣，獲得高分辨率可見光圖像 的高頻邊緣信息； (4) 由步驟（1)得到的數據項加權系數和步驟（2)得到的歸一化紅外圖像構造數據項； (5) 將步驟（3)得到的邊緣信息對一階梯度算子改進的TGV正則項加權，得到正則約束 項； (6) 將步驟（4)得到的數據項和步驟（5)得到的正則約束項相加作為本發明獲取高分 辨率紅外圖像的目標函數，利用步驟（2)得到的歸一化紅外圖像作為初始值，采用主-對偶 優化算法迭代求解目標函數，獲得高分辨率紅外圖像。
[0008] 本發明的上述技術方案中，步驟（1)由稀疏的紅外圖像求出數據項加權系數的具 體規則為：在稀疏的紅外圖像沒有像素點覆蓋的坐標點處系數值為〇,否則為1。
[0009] 本發明的上述技術方案中，步驟（2)采取下述方法計算出歸一化的紅外圖像： 1) 求出步驟（1)得到的稀疏紅外圖像像素灰度值大于0的集合，然后求出此集合中像 素灰度值的最小值和最大值； 2) 依據上述像素灰度值的最小值、最大值和稀疏紅外圖像求得歸一化紅外圖像。
[0010] 本發明的上述技術方案中，步驟（3)利用相位一致性算法求可見光圖像邊緣信息 P的計算公式如下：
【權利要求】
1. 一種基于總廣義變分的紅外圖像多傳感器超分辨率重建的方法，其特征主要包括以 下步驟： (1) 將低分辨率紅外圖像的像素點均勻擴散到高分辨率可見光圖像的坐標空間，得到 稀疏的紅外圖像，并由此稀疏的紅外圖像求出數據項的加權系數； (2) 對步驟（1)得到的稀疏紅外圖像進行歸一化處理，得到歸一化的紅外圖像； (3) 依據相位一致性算法提取高分辨率可見光圖像的邊緣，獲得高分辨率可見光圖像 的高頻邊緣信息； (4) 由步驟（1)得到的數據項加權系數和步驟（2)得到的歸一化紅外圖像構造數據 項； (5) 將步驟（3)得到的邊緣信息對一階梯度算子改進的總廣義變分（TGV)正則項加權， 得到正則約束項； (6) 將步驟（4)得到的數據項和步驟（5)得到的正則約束項相加作為獲取高分辨率紅 外圖像的目標函數，利用步驟（2)得到的歸一化紅外圖像作為初始值，采用主-對偶優化算 法迭代求解目標函數，獲得高分辨率紅外圖像。
2. 根據權利要求1所述的基于總廣義變分的紅外圖像多傳感器超分辨率重建方法，其 特征在于，步驟（1)由稀疏的紅外圖像求出數據項加權系數的具體規則為：在稀疏的紅外 圖像沒有像素點覆蓋的坐標點處系數值為〇,否則為1。
3. 根據權利要求1所述的基于總廣義變分的紅外圖像多傳感器超分辨率重建方法，其 特征在于，步驟（2)采取下述方法計算出歸一化的紅外圖像： 1) 求出步驟（1)得到的稀疏紅外圖像像素灰度值大于0的集合，然后求出此集合中像 素灰度值的最小值和最大值； 2) 依據上述像素灰度值的最小值、最大值和稀疏紅外圖像求得歸一化紅外圖像。
4. 根據權利要求1所述的基于總廣義變分的紅外圖像多傳感器超分辨率重建方法，其 特征在于，步驟（3)依據相位一致性算法提取可見光圖像邊緣的計算公式如下：
上式中Θ e [〇, π]，表示角度；φη(χ，Θ)表示信號在x處第n個傅里葉分量的相位 值；
是使得上式在X處取最大值時其傅里葉各分量局部相角的加權平均；Ρ表示 信號在X處的相位一致性的值；W(x，Θ )為頻率傳播加權量；Αη(χ，Θ )為信號在χ處第η個 傅里葉分量的幅度值；ε是一個避免分母為〇的很小的常量；Τ為噪聲閾值；I」是一個數 學運算，當所求值為正時最終結果取自身，否則為0。
5. 根據權利要求1所述的基于總廣義變分的紅外圖像多傳感器超分辨率重建方法，其 特征在于，步驟（4)所構造數據項的表達式為：
上式中U為每次迭代計算后的高分辨率紅外圖像運算結果，In為步驟（2)得到的歸一 化紅外圖像，ω為步驟（1)得到的數據項加權系數，C為高分辨率可見光圖像的坐標空間。
6. 根據權利要求1所述的基于總廣義變分的紅外圖像多傳感器超分辨率重建方法，其 特征在于，步驟（5)構造正則約束項的方法如下： 1) 利用一階梯度算子改進TGV正則項，所得表達式如下：
上式中常數α 2、a i和α ^為權重參數，ν為TGV正則化算法中的對稱矩陣； 2) 利用步驟（3)求得的邊緣信息Ρ對改進的TGV正則項進行加權，所得表達式為：
上式即為最終的正則約束項。
7. 根據權利要求1所述的基于總廣義變分的紅外圖像多傳感器超分辨率重建方法，其 特征在于，步驟（6)所述獲取高分辨率紅外圖像Ι Η的目標函數的表達式為：
上式由數據項和正則約束項相加構成。
8. 根據權利要求7所述的基于總廣義變分的紅外圖像多傳感器超分辨率重建方法，其 特征在于，對目標函數采用一階主-對偶優化算法迭代計算，將目標函數轉化為下述表達 式：
其中P，q為主-對偶優化算法中的雙變量，其所在集合分別如下：
9. 根據權利要求8所述的基于總廣義變分的紅外圖像多傳感器超分辨率重建方法，其 特征在于，采用一階主-對偶優化算法結合梯度下降法具體迭代計算時將主變量選為u和 V，步長0p和Θ q為大于〇的常數，第一次迭代時，u取為In，取V，p, q, IV να均為0,包括 以下步驟： 1)對偶變量通過梯度上升迭代更新：
上式中1?和V(l為迭代計算的中間結果； 2) 主變量通過梯度下降迭代更新：
上式中ku、kv為步長，其取值隨輸入圖像的不同而變化； 3) 主變量進一步優化，計算公式如下：
上式中μ的值在每次迭代時都進行特定的更新； 4) 本發明設定迭代次數上限，當前后兩次迭代運算的結果滿足以下條件時輸出計算結 果：
上式中e為誤差閾值，所求高分辨率紅外圖像的分辨率為ΜΧΝ，若不滿足上述條件，則 循環如上迭代優化算法的1)?3)步驟直到上限次數，然后輸出高分辨率紅外圖像的計算 結果。
【文檔編號】G06T5/50GK104252704SQ201410477298
【公開日】2014年12月31日 申請日期:2014年9月18日 優先權日:2014年9月18日
【發明者】吳煒, 蘇冰山, 楊曉敏, 劉凱, 陳雨 申請人:四川大學