專利名稱：基于fpga的紅外圖像細節(jié)增強系統(tǒng)及其方法
技術領域：
本發(fā)明屬于紅外熱成像技術領域，特別是一種基于FPGA的紅外圖像細節(jié)增強系統(tǒng)及其方法。
背景技術：
現代高性能紅外熱像儀能夠輸出動態(tài)范圍很大的紅外原始圖像，原始的探測器數據范圍一般在12-14位數據，這顯然超出了顯示設備的動態(tài)范圍。一般典型的顯示設備，如監(jiān)視器，其只能夠接收8位圖像信號。此外一般人眼只能夠分辨128個灰度級。因此，當獲得高動態(tài)范圍的原始圖像后，一個必須的過程就是將該高動態(tài)范圍的原始圖像進行重新映射，將其動態(tài)范圍壓縮。這個過程通常需要達到兩個目的:第一:使輸出圖像的動態(tài)范圍能夠與顯示的動態(tài)范圍相匹配。第二:在完成第一點的同時，盡可能保留原始圖像中存在的細節(jié)，使觀測者能夠觀察到較好視覺效果的圖像，且能夠盡早區(qū)分隱藏在背景中的微弱目標。對于紅外圖像的對比度增強問題，國內外學者已經做了廣泛的研究，許多使用的算法也在文獻中廣泛可見(1.K.Zuiderveld, “Contrast limited adaptivehistogram equalizaiton,，，in Graphics Gems IV, pp.474-485, Academic PressProfessional, Inc., San Diegol994.2.S.M.Pizer, E.P.Amburm, J.D.Austin, R.Cromartie, A.Geselowitz, T.Greer, B.T.H.Romeny, and J.B.Zimmerman, “Adaptivehistogram equalization and its variations, ^Comput.Vis.Graph.1mageProcess.39 (3)，355-3681987.)。然而這些對比度增強方法大部分是針對低動態(tài)范圍紅外圖像的，也就是8位的紅外圖像，并且，大部分算法僅僅考慮了靜止圖像的增強問題，沒有考慮到實時系統(tǒng)中的應用。顯然，對比度改善與細節(jié)增強這個工序應該針對原始的高動態(tài)范圍圖像才更有意義，因為通過AD采樣得到的原始圖像信號中包含了場景中最完整的信息，且存在許多微弱的細節(jié)信息。但是`，不得不承認，將對比度增強轉移到原始圖像上將會是一個更具挑戰(zhàn)性的工作。必須采用一些復雜的技術才能將原始信號映射到適合顯示的動態(tài)范圍，并且保持，甚至提升微弱細節(jié)的可見性與圖像的整體對比度。自動增益控制與正方圖均衡是紅外成像系統(tǒng)中使用最廣泛的圖像顯示技術。自動增益控制首先剔除場景中的極端值，然后將整體的動態(tài)范圍線性映射到8位。直方圖均衡圖像的灰度映射函數采用原始圖像的累積分布函數，通過直方圖均衡后圖像的像素分布近似滿足均勻分布。所以直方圖均衡更加強調出現頻率較大的灰度級，所以經過直方圖均衡的圖像不可避免的出現過增強，均勻區(qū)域噪聲放大，漂白效應等問題?？紤]到自動增益控制與直方圖均衡方法的不足，許多更加復雜的方法被提出:如 Retinex，BF&DRP 方法(3.WANG Yan-chen,LI Shu-jie, HUANGLian-qing, “Enhancement of radiography based multiscale Retinex，，，Optics andPrecisio Engineering, Vol.14, N0.1, 2005.4..F.Branchitta, M.Diani, G.Corsini, andA.Porta, “New technique for the visualization of high dynamic range infraredimages, ”0pt.Eng.48(9)，0964012009.)等,但這些方法主要是針對可見光圖像而已，即對于可見光圖像具有良好的效果，但是對紅外圖像效果不佳，特別是噪聲放大的問題。此外算法的普適性與實時性不佳，難以真正應用到實際系統(tǒng)中。目前效果好的細節(jié)增強算法大多相對復雜，多用于計算機視覺或嵌入式DSP處理。使用FPGA實現復雜的紅外圖像細節(jié)增強算法相當空白，處理效果也無法達到人們的期望。
發(fā)明內容
本發(fā)明的目的在于提供一種基于FPGA的紅外圖像細節(jié)增強系統(tǒng)及其方法，提高圖像的對比度，增強細節(jié)信息，抑制背景噪聲，解決了目前紅外熱像儀成像系統(tǒng)中圖像普遍邊緣模糊，對比度和細節(jié)區(qū)分區(qū)低，視覺效果差的技術問題。實現本發(fā)明目的的技術解決方案為:一種基于FPGA的紅外圖像細節(jié)增強系統(tǒng)及其方法，包括雙邊濾波模塊、高斯濾波模塊、投影直方圖模塊和自動增益控制模塊，雙邊濾波模塊與高斯濾波模塊連接，高斯濾波模塊分別與投影直方圖模塊和自動增益控制模塊連接，原始輸入數據先經過雙邊濾波模塊，得到圖像圖形基頻信息；基頻信息再經過高斯濾波模塊，將基頻信息平滑處理，并將結果與原始輸入數據做差，得到圖像細節(jié)信息；細節(jié)信息經過自動增益控制模塊放大處理，同時，基頻信息經過投影直方圖模塊進行壓縮處理，最后將兩者的輸出求和，即得到輸出圖像。本發(fā)明與現有技術相比，其顯著優(yōu)點:(1)本發(fā)明能將輸入的大動態(tài)范圍圖像數據壓縮到適合顯示的動態(tài)范圍，在這個壓縮過程中，提高圖像的對比度，增強細節(jié)信息，抑制背景噪聲，解決了目前紅外熱像儀成像系統(tǒng)中圖像普遍邊緣模糊，對比度和細節(jié)區(qū)分區(qū)低，視覺效果差的技術問題，實現了現有細節(jié)增強手段達不到的場景目標區(qū)分能力。(2)本發(fā)明提供了多個可調節(jié)參數，可移植性強，且對于不同的場景信息均能有相當好的處理，并能廣泛應用于紅外檢測、化學成像、夜視駕駛輔助、安全監(jiān)控以及目標跟蹤等對紅外圖像質量要求較高的紅外熱像儀成像系統(tǒng)中。下面結合附圖對本發(fā)明作進一步詳細描述。
圖1是本發(fā)明基于FPGA的紅外圖像細節(jié)增強系統(tǒng)架構圖。圖2是雙邊濾波模塊實現流水線架構圖。圖3是投影直方圖模塊實現示意圖。圖4 Ca)是在室外場景情況下通過普通平臺直方圖處理得到的效果圖像。圖4 (b)是在室外場景情況下通過本發(fā)明直方圖處理得到的效果圖像。圖5 Ca)是在大面積、高溫物體場景情況下通過普通平臺直方圖處理得到的效果圖像。圖5 (b)是在大面積、高溫物體場景情況下通過本發(fā)明直方圖處理得到的效果圖像。
具體實施例方式結合圖1，本發(fā)明基于FPGA的紅外圖像細節(jié)增強系統(tǒng)及其方法，包括雙邊濾波模塊、高斯濾波模塊、投影直方圖模塊和自動增益控制模塊，雙邊濾波模塊與高斯濾波模塊連接，高斯濾波模塊分別與投影直方圖模塊和自動增益控制模塊連接，輸入的原始圖像數據一方面經過雙邊濾波模塊和高斯濾波模塊得到圖像的基頻信息，一方面緩存上述處理的延遲時間并與基頻信息做差，得到圖像的細節(jié)層數據。圖像細節(jié)層數據和基頻數據單獨處理:細節(jié)層經過自適應增益控制增強處理；基頻信息經過投影直方圖壓縮至顯示范圍。兩者求和，并做適當的防溢出操作即得到輸出圖像數據。在上述處理中，最重要的是要設計好復雜計算過程中的關鍵時序以及數據位寬。在設計過程中要盡量優(yōu)化FPGA內部在綜合過程中的關鍵時序，如建立保持時間等，避免出現時序警告而導致圖像異常。所有模塊均由一片FPGA實現，整個系統(tǒng)呈流水線，包括4個子模塊，分別是雙邊濾波模塊、高斯濾波模塊、投影直方圖模塊和自動增益控制模塊。輸入數據先經過雙邊濾波模塊，得到圖像圖形基頻信息；再經過高斯濾波模塊，將基頻信息適度平滑處理，并將結果與原始圖像做差，得到圖像細節(jié)信息；細節(jié)信息經過自動增益控制模塊放大處理，同時，基頻信息經過投影直方圖模塊進行壓縮處理，最后將兩者的輸出求和，即得到輸出圖像。各個模塊提供多個可調參數，可適應不同熱像儀參數要求以及不同場景內容。圖2是雙邊濾波模塊實現的詳細流程圖。雙邊濾波模塊接收輸入的14位(或16位)原始圖像數據(即高動態(tài)范圍圖像)，在7X7的處理窗口中，對其中的49個數據進行空間域和強度域的聯合濾波處理，窗口中心像素值最終由窗口中各個像素的加權均值替代，并作為雙邊濾波模塊的輸出圖像數據，后接高斯濾波模塊處理。由空間域與強度域想乘求得的加權系數將作為自動增益控制模塊中的自適應系數。雙邊濾波模塊工作原理與具體硬件實現描述如下:非線性濾波器中，最具有代表性的是雙邊濾波，對輸入的高動態(tài)范圍圖像進行雙邊濾波處理公式如下:
權利要求
1.一種基于FPGA的紅外圖像細節(jié)增強系統(tǒng)，其特征在于包括雙邊濾波模塊、高斯濾波模塊、投影直方圖模塊和自動增益控制模塊，雙邊濾波模塊與高斯濾波模塊連接，高斯濾波模塊分別與投影直方圖模塊和自動增益控制模塊連接，原始輸入數據先經過雙邊濾波模塊，得到圖像圖形基頻信息；基頻信息再經過高斯濾波模塊，將基頻信息平滑處理，并將結果與原始輸入數據做差，得到圖像細節(jié)信息；細節(jié)信息經過自動增益控制模塊放大處理，同時，基頻信息經過投影直方圖模塊進行壓縮處理，最后將兩者的輸出求和，即得到輸出圖像。
2.根據權利要求1所述的基于FPGA的紅外圖像細節(jié)增強系統(tǒng)，其特征在于在雙邊濾波模塊中，輸入原始圖像數據，在7X7的處理窗口中，對其中的窗口數據進行空間域和強度域的雙邊濾波處理，窗口中心像素值最終由窗口中各個像素的加權均值替代，并作為雙邊濾波模塊的輸出圖像數據，后接高斯濾波模塊處理；由空間域與強度域想乘求得的加權系數作為自動增益控制模塊中的自適應系數，具體如下:在雙邊濾波模塊中，首先對輸入的高動態(tài)范圍圖像進行雙邊濾波處理:
3.根據權利要求1所述的基于FPGA的紅外圖像細節(jié)增強系統(tǒng)，其特征在于高斯濾波模塊使用濾波器窗口為固定模板，如下所示:
4.根據權利要求1所述的基于FPGA的紅外圖像細節(jié)增強系統(tǒng)，其特征在于投影直方圖模塊包含一個控制模塊連接兩片片內RAM，在圖像幀信號為高時，RAMl以像素時鐘頻率統(tǒng)計當前幀圖像的直方圖信息，RAM2存儲的是上一幀圖像投影均衡處理完的直方圖，為減少緩存一幀圖像數據帶來的存儲器資源壓力，當前幀圖像在做直方圖處理時，采用上一幀圖像的直方圖輸出；在圖像幀信號為低時，RAMl中的直方圖信息先二值化，即當某個灰度級的數據高于設定閾值時，該灰度標記為1，否則為O ;二值化的直方圖進行累加，結果存儲在RAM2中，用于下一幀輸出，同時RAMl清零，以便下一幀開始統(tǒng)計新的直方圖信息。
5.根據權利要求4所述的基于FPGA的紅外圖像細節(jié)增強系統(tǒng)，其特征在于存儲在RAMl的投影直方圖H(X)表示為
6.根據權利要求4所述的基于FPGA的紅外圖像細節(jié)增強系統(tǒng)，其特征在于自動增益控制模塊從雙邊濾波模塊處理后緩存過來的自適應系數，作為細節(jié)層的增益控制因子，對細節(jié)層進行自適應的增強，即該系數先歸一化處理，然后以一固定的增益和偏置因子，將該系數調整至人眼感知范圍得到相應像素的增強因子； 細節(jié)圖像的增益取值范圍在Gmin到Gmax,通過線性映射的方式獲得細節(jié)圖像的增益表達式:
7.根據權利要求6所述的基于FPGA的紅外圖像細節(jié)增強系統(tǒng)，其特征在于在自適應的增強處理中，將歸一化的自適應系數放大512*512/256倍，16位，其中由兩個左移9位的雙邊濾波器系數產生18位放大，然后舍棄系數低2位保存，獲得16位的放大，處理的公式如下:
8.一種基于FPGA的紅外圖像細節(jié)增強方法，其特征在于原始輸入數據先經過雙邊濾波，得到圖像圖形基頻信息；基頻信息再經過高斯濾波，將基頻信息平滑處理，并將結果與原始輸入數據做差，得到圖像細節(jié)信息；細節(jié)信息經過自動增益控制放大處理，同時，基頻信息經過投影直方圖進行壓縮處理，最后將兩者的輸出求和，即得到輸出圖像； 在雙邊濾波中，輸入原始圖像數據，在7X7的處理窗口中，對其中的窗口數據進行空間域和強度域的雙邊濾波處理，窗口中心像素值最終由窗口中各個像素的加權均值替代，并作為雙邊濾波的輸出圖像數據，由空間域與強度域想乘求得的加權系數作為自動增益控制中的自適應系數，具體如下: 首先對輸入的高動態(tài)范圍圖像進行雙邊濾波處理:
9.根據權利要求8所述的基于FPGA的紅外圖像細節(jié)增強方法，其特征在于投影直方圖在一個控制模塊連接的兩片片內RAM中進行實現，在圖像幀信號為高時，RAMl以像素時鐘頻率統(tǒng)計當前幀圖像的直方圖信息，RAM2存儲的是上一幀圖像投影均衡處理完的直方圖，為減少緩存一幀圖像數據帶來的存儲器資源壓力，當前幀圖像在做直方圖處理時，采用上一幀圖像的直方圖輸出；在圖像幀信號為低時，RAMl中的直方圖信息先二值化，即當某個灰度級的數據高于設定閾值時，該灰度標記為1，否則為O ;二值化的直方圖進行累加，結果存儲在RAM2中，用于下一幀輸出，同時RAMl清零，以便下一幀開始統(tǒng)計新的直方圖信息； 所述的存儲在RAMl的投影直方圖H(X)表示為
10.根據權利要求8所述的基于FPGA的紅外圖像細節(jié)增強方法，其特征在于自動增益控制從雙邊濾波處理后緩存過來的自適應系數，作為細節(jié)層的增益控制因子，對細節(jié)層進行自適應的增強，即該系數先歸一化處理，然后以一固定的增益和偏置因子，將該系數調整至人眼感知范圍得到相應像素的增強因子； 細節(jié)圖像的增益取值范圍在Gmin到Gmax,通過線性映射的方式獲得細節(jié)圖像的增益表達式:G(i，j) = Gmin+(l-f(i，j)) (Gmax-Gmin)=Gmin+d_k(i, j)) (Gmax-Gmin) Gmin設為1，Gmax=2.5-3獲得較好的人眼視覺效果。
全文摘要
本發(fā)明公開了一種基于FPGA的紅外圖像細節(jié)增強系統(tǒng)及其方法，包括雙邊濾波模塊、高斯濾波模塊、投影直方圖模塊和自動增益控制模塊，雙邊濾波模塊與高斯濾波模塊連接，高斯濾波模塊分別與投影直方圖模塊和自動增益控制模塊連接，原始輸入數據先經過雙邊濾波模塊，得到圖像圖形基頻信息；基頻信息再經過高斯濾波模塊，將基頻信息平滑處理，并將結果與原始輸入數據做差，得到圖像細節(jié)信息；細節(jié)信息經過自動增益控制模塊放大處理，同時，基頻信息經過投影直方圖模塊進行壓縮處理，最后將兩者的輸出求和，即得到輸出圖像。本發(fā)明提高圖像的對比度，增強細節(jié)信息，抑制背景噪聲，解決了目前紅外熱像儀成像系統(tǒng)中圖像普遍邊緣模糊，視覺效果差的問題。
文檔編號G06T5/00GK103177429SQ201310133168
公開日2013年6月26日 申請日期2013年4月16日 優(yōu)先權日2013年4月16日
發(fā)明者隋修寶, 趙耀, 陳錢, 顧國華, 黃熙燕, 陶遠榮, 匡小東, 沈雪薇, 季天慈 申請人:南京理工大學