復雜環境下退化圖像綜合質量提升方法
【專利摘要】本發明提出了一種復雜環境下退化圖像綜合質量提升方法，用于解決現有復雜環境下退化圖像處理過程中因退化因素解決不夠全面導致的圖像質量差的問題。步驟如下：根據暗通道先驗理論，計算待處理多幀退化圖像中各幀退化圖像的暗通道，得到多幀暗通道圖像；利用得到的多幀暗通道圖像，對每一幀待處理退化圖像進行去霧，得到多幀去霧后圖像；對多幀去霧后圖像進行去噪聲，得到多幀去噪后圖像；利用盲復原方法對多幀去噪后圖像進行去模糊，得到多幀清晰圖像；對得到的多幀清晰圖像進行多幀結合單幀的超分辨率重建，最終得到高分辨率清晰圖像。本發明獲取的圖像細節信息豐富，可用于安全監控、交通檢測、安全驗證系統等領域中。
【專利說明】
復雜環境下退化圖像綜合質量提升方法
技術領域
[0001] 本發明屬于綜合圖像處理技術領域，涉及一種復雜環境下退化圖像的質量提升方 法，具體涉及一種通過去霧、去噪、盲復原以及超分辨率重建，對復雜環境下退化圖像進行 綜合處理的質量提升方法，可以用于安全監控、交通檢測、安全驗證系統等領域。
【背景技術】
[0002] 在現今信息化時代中，圖像在各領域中的應用越來越廣，對其進行畫質改善和分 辨率提升的要求也愈加重視。在復雜環境下采集圖像過程中，由于客觀因素的影響，不可避 免的引入了噪聲;受到惡劣天氣如雨天、霧天等影響，圖像對比度降低、解譯性變差；由于拍 攝環境惡劣，拍攝時要求增加曝光時間，易引起設備抖動，造成圖像模糊，引起畫質下降；而 傳感器本身性能尺寸的限制，導致圖像本身分辨率不足，不能滿足辨認圖像細節信息的要 求。因此，復雜環境下拍攝到的圖像，存在能見度低、噪聲大、圖像模糊、分辨率低等問題，利 用綜合質量提升方法來改善圖像質量，獲取高分辨率、高質量的清晰圖像變得極其重要。
[0003] 現有的圖像質量提升方法中，通常只是解決某一具體問題，而復雜環境下拍攝的 圖像，存在多種退化因素，若只是利用一種具體算法如去噪、去霧或者去模糊對退化圖像進 行處理，只能解決算法針對的具體退化因素，不能解決圖片中所有的退化問題，最終處理結 果的清晰度和分辨率不能滿足要求。
【發明內容】
[0004] 本發明的目的在于克服上述現有技術存在的缺陷，提出了一種復雜環境下退化圖 像綜合質量提升方法，用于解決現有復雜環境下退化圖像處理過程中存在的因退化因素解 決不夠全面導致的圖像質量差的技術問題。
[0005] 為了實現上述目的，本發明采取的技術方案，包括如下步驟：
[0006] 步驟1:根據暗通道先驗理論，計算待處理多幀退化圖像中各幀退化圖像的暗通 道，得到多幀暗通道圖像；
[0007] 步驟2:利用得到的多幀暗通道圖像，對所述待處理多幀退化圖像的每一幀進行去 霧，得到多幀去霧后圖像；
[0008] 步驟3:對所述多幀去霧后圖像進行去噪聲，得到多幀去噪后圖像；
[0009] 步驟4:利用盲復原方法對所述多幀去噪后圖像進行去模糊，得到多幀清晰圖像；
[0010] 步驟5:對得到的多幀清晰圖像進行超分辨率重建，具體實施步驟如下：
[0011] 步驟5a:利用多幀超分辨率重建算法，對所述的多幀清晰圖像進行重建，得到一幀 中分辨率清晰圖像；
[0012] 步驟5b:利用單幀超分辨率重建算法，對所述一幀中分辨率清晰圖像進行二次重 建，得到最終的高分辨率清晰圖像。
[0013] 本發明與現有技術相比，具有如下優點：
[0014] 1、本發明中通過暗通道先驗去霧算法解決圖像能見度低的問題，恢復出有霧圖片 中淹沒的信息;采用基于Context模型系數分類和貝葉斯自適應閾值估計相結合的非下采 樣輪廓波變換NSCT圖像噪聲處理方法進行去噪聲和基于稀疏約束的圖像復原方法進行去 模糊處理，解決了拍攝過程中引入的噪聲污染和抖動造成的圖像退化，增強了圖像對比度 和清晰度，改善了圖像的畫面質量;采用基于貝葉斯的多幀圖像超分辨率重建算法與基于 字典學習和稀疏表示單幀圖像超分辨率重建算法相結合的方法對圖像進行二次超分辨率 重建，有效提高圖像分辨率，最終獲取高分辨率的清晰圖像，以便獲取更多細節信息。
[0015] 2、本發明中在去模糊處理之前進行了去噪處理，有效的解決了盲復原算法對噪聲 敏感的問題，提高了圖像復原的精確度，增加了復原圖像的清晰度。
[0016] 3、本發明中的圖像盲復原方法中，加入了自動選擇模糊核大小的操作，與人工手 動去定義模糊核的大小相比，穩定性更高，而且避免模糊核過大引起的復原時間過長，復原 圖像的振鈴效應嚴重的現象，提高了運算速度，同時減少了計算機內存的消耗，并且對模糊 核的準確計也不會產生影響。
【附圖說明】
[0017] 圖1是本發明的系統流程框圖。
【具體實施方式】
[0018] 以下結合附圖，對本發明的技術方案作進一步描述。
[0019] 參照圖1，
[0020] 步驟1:根據暗通道先驗理論，計算待處理多幀退化圖像中各幀退化圖像的暗通 道，
[0021] 步驟la):對于給定的霧天拍攝圖像J(x)，像素點處的暗原色可以表示為：
[0022] JJ"!l'(x)= min ( min {./'(y))) L J ce (R,G,B) ve\Q(x)
[0023] Q(x)表示以點^為中心的小正方形區域，cG(R，G，B)代表該圖像的顏色通道，y 是Q (x)中的點，Jly)表示y點的像素值，ni&,代表最小濾波器；
[0024]步驟lb):對簡化的大氣模型1(1)=】(1)1:(1) + (1-1:(1)4)進行最小值濾波，并求得 三個顏色通道之間的最小值，即圖像的暗通道：
[0026] 步驟2:利用步驟1求出的暗通道對退化圖像進行去霧，
[0027] 步驟2a):利用步驟1已經求出的暗通道粗略估算透射率F(x)，
[0028] 由于無霧條件下圖像的暗通道JdaA值應該趨近于0，并且由于大氣光強Ae通常是一 個比較大的值，因此
[0030] 求出圖像的透射率?(x):
[0032] 步驟2b):由霧天圖像的光學模型以及參數和估計得出的透射率，復原出原圖本身 的亮度。
[0033] 根據大氣散射模型反解清晰場景圖像：
[0035]步驟3:針對圖像中的各類噪聲，對去霧后多幀圖像的每一幀采用非下采樣輪廓波 變換NSCT的綜合噪聲抑制技術進行去噪，
[0036]步驟3a):通過非下采樣輪廓波變換將圖像進行多尺度分解，獲得各尺度、各方向 上的子帶圖像；
[0037]步驟3b):利用Context模型統計非下采樣輪廓波變換系數的局部相關性并進行系 數分類，利用貝葉斯自適應法對不同尺度空間和不同方向上分類后的系數進行閾值估計， 按照閾值對圖像進行降噪處理；
[0038] 步驟3c):對處理后的所有子帶圖像分別進行非下采樣輪廓波逆變換，得到噪聲抑 制后圖像。
[0039] 步驟4:針對特殊環境成像時抖動造成的運動模糊，利用盲復原方法對步驟3得到 的多幀去噪后圖像的每一幀進行去模糊，
[0040] 步驟4a):根據去噪后圖像的模糊程度確定分層級數，利用降采樣對去噪后圖像進 行分層，得到尺度由粗到細的多層模糊圖像；
[0041 ]步驟4b):由于進行模糊核估計時用到的是高頻信息，利用雙邊濾波器和沖擊濾波 器，對多層模糊圖像的每一層進行預處理，得到邊緣突出的模糊圖像；
[0042] 步驟4c):利用得到強邊緣圖像對去噪后圖像的模糊核k進行盲估計，
[0043] 步驟4cl):利用離散濾波算子=[1-1]，▽,. =[:1，-If對得到預處理后圖像進行 濾波，得到圖像的高頻部分g，并利用g對模糊核進行盲估計，空間不變模糊核的能量函數 為：
[0045] 滿足約束條件:k>0,5!>/ = 1 '其中*表示二維的卷積操作，x是未知清晰圖像的高 i 頻部分，k是未知的模糊核，g是預處理后圖像的高頻部分，A為權重項，0為正則化系數；
[0046] 步驟4c2):多層模糊圖像從粗尺度向細尺度，逐層交替迭代更新清晰圖像x和模糊 核k，將上一尺度估計的圖像和模糊核上采樣后作為下一尺度的輸入，直至估計出精確的模 糊核k;
[0047]更新清晰圖像x時，目標方程
[0049] 采用的是快速迭代收縮閾值算法求解；
[0050] 更新模糊核k時，將前一次更新的圖像X作為已知量，則可以得到化簡后的能量函 數，表達式如下：
[0051 ] min凡ll/c*x-容f+州IML .x，k.
[0052]采用無約束迭代重加權最小二乘法求解；
[0053]判斷模糊核是否收斂時采用判斷準則，公式如下：
[0057]矩陣A與B為模糊核估計的相鄰尺度層，Bdim(A)xdim(A)為矩陣B中的虛線區域，m表示 當前分解的層數，當C低于設定的閾值時，認為模糊核已經收斂，自動選擇模糊核大小； [0058]步驟4d):利用超拉普拉斯先驗的快速去卷積算法，對去噪后圖像和估計出的精確 模糊核k進行解卷積，恢復出清晰圖像。
[0059] 步驟5:為了獲取更多圖像細節信息，采取多幀超分辨率重建技術與單幀超分辨率 重建技術相結合的方式對去模糊后得到的多幀圖像進行超分辨率重建，
[0060] 步驟5a):針對多幀低分辨率圖像，利用貝葉斯公式，將高分辨率圖像、圖像的獲取 過程、運動參數以及其它參數建立數學模型，并通過變分貝葉斯的分析，對所有參數進行聯 合估計，不需要參數調整，實現對輸入的序列低分辨率圖像進行超分辨率圖像重建，獲得一 幀中分辨率的圖像；
[0061] 步驟5b):對多幀圖像超分辨率重建獲取的圖像繼續進行單幀超分辨率重建，采用 基于雙稀疏字典的單幀圖像超分辨率重建方法，利用K-SVD算法與主元分析法降維方法相 結合進行雙字典學習，同時得到高分辨率字典和低分辨率字典，并通過正交匹配追蹤算法 對得到的字典進行稀疏編碼，通過計算低分辨率字典所對應的稀疏系數得出其所對應的高 分辨率圖像塊，從而實現圖像的超分辨率重建。
[0062] 以上描述和實施例，僅為本發明的優選實例，不構成對本發明的任何限制，顯然對 于本領域的專業人員來說，在了解了本
【發明內容】
和設計原理后，都可能在基于本發明的原 理和結構的情況下，進行形式上和細節上的各種修正和改變，但是這些基于本發明思想的 修正和改變仍在本發明的權利要求的保護范圍之內。
【主權項】
1. 一種復雜環境下退化圖像綜合質量提升方法，其特征在于，包括如下步驟： 1) 根據暗通道先驗理論，計算待處理多帖退化圖像中各帖退化圖像的暗通道，得到多 帖暗通道圖像； 2) 利用得到的多帖暗通道圖像，對所述待處理多帖退化圖像的每一帖進行去霧，得到 多帖去霧后圖像； 3) 對所述多帖去霧后圖像進行去噪聲，得到多帖去噪后圖像； 4) 利用盲復原方法對所述多帖去噪后圖像進行去模糊，得到多帖清晰圖像； 5) 對得到的多帖清晰圖像進行超分辨率重建，具體實施步驟如下： 5a)利用多帖超分辨率重建算法，對所述的多帖清晰圖像進行重建，得到一帖中分辨率 清晰圖像； 5b)利用單帖超分辨率重建算法，對所述一帖中分辨率清晰圖像進行二次重建，得到最 終的高分辨率清晰圖像。2. 根據權利要求1所述的復雜環境下退化圖像綜合質量提升方法，其特征在于，步驟2) 中所述的去霧，采用基于暗通道先驗的圖像去霧算法。3. 根據權利要求1所述的復雜環境下退化圖像綜合質量提升方法，其特征在于，步驟3) 中所述的去噪聲，采用基于Context模型系數分類和貝葉斯自適應闊值估計相結合的非下 采樣輪廓波變換NSCT圖像噪聲處理方法。4. 根據權利要求1所述的復雜環境下退化圖像綜合質量提升方法，其特征在于，步驟4) 中所述的去模糊，采用基于稀疏約束的圖像復原方法，對所述多帖去噪后圖像中各帖圖像 去模糊，具體實現步驟如下： 4a)根據去噪后圖像的模糊程度確定分層級數，利用降采樣對去噪后圖像進行分層，得 到尺度由粗到細的多層模糊圖像； 4b)利用雙邊濾波器和沖擊濾波器，對多層模糊圖像的每一層進行預處理，得到強邊緣 圖像； 4c)利用得到強邊緣圖像對去噪后圖像的模糊核k進行盲估計， 4cl)利用離散濾波算子V,=[l，-I]，V,. = [i，-^f對得到預處理后圖像進行濾波，得到圖 像的高頻部分g，并利用g對橫魁日*材化^;官化^巧I巧擊*首魁日巧的能量函數為：滿足約束條件:4>0，：2><:=1'其中*表示二維的卷積操作，^是未知清晰圖像的高頻部 i 分，k是未知的模糊核，g是預處理后圖像的高頻部分，A為權重項，0為正則化系數； 4c2)多層模糊圖像從粗尺度向細尺度，逐層交替迭代更新清晰圖像X和模糊核k，將上 一尺度估計的圖像和模糊核上采樣后作為下一尺度的輸入，直至估計出精確的模糊核k; 4d)利用超拉普拉斯先驗的快速去卷積算法，對去噪后圖像和估計出的精確模糊核k進 行解卷積，恢復出清晰圖像。5. 根據權利要求4所述的基于稀疏約束的圖像復原方法，其特征在于，所述步驟4c2)更 新清晰圖像X時，目標方程利用快速迭代收縮闊值算法FISTA求解。6. 根據權利要求4所述的基于稀疏約束的圖像復原方法，其特征在于，所述步驟4c)對 去噪后圖像的模糊核k進行盲估計時，利用一個判斷準則來判斷模糊核是否收斂，判斷準則 公式如下： 其牛矩陣A與B為模糊核估計的相鄰尺度居，Bdim(A)Xdim(A)為矩陣B中的虛線區域，m表示當前 分解的層數，當C低于設定的闊值時，認為模糊核已經收斂，自動選擇模糊核大小。7. 根據權利要求1所述的復雜環境下退化圖像綜合質量提升方法，其特征在于，步驟 5a)所述的多帖超分辨率重建，采用基于貝葉斯的多帖圖像超分辨率重建算法，步驟5b)所 述的單帖超分辨率重建，采用基于字典學習和稀疏表示單帖圖像超分辨率重建算法。
【文檔編號】G06T3/40GK105913392SQ201610216832
【公開日】2016年8月31日
【申請日】2016年4月8日
【發明人】宮睿, 張雁云, 王怡, 邵曉鵬
【申請人】西安電子科技大學昆山創新研究院, 西安電子科技大學