一種高分辨率圖像融合處理電路的制作方法
本發明涉及一種高分辨率圖像融合處理電路，屬于圖像處理技術領域。
背景技術：
可見光圖像是反射圖像，高頻成分多，在一定照度下能反映場景的細節；紅外圖像是輻射圖像，灰度由目標與背景的溫差決定，不能反映真實的場景。單獨使用可見光圖像或紅外圖像均存在不足之處，對于這兩種具有互補性的圖像，圖像融合技術能夠有效地綜合和發掘它們的特征信息，增強場景理解，突出目標，有利于在隱藏、偽裝和迷惑的情況下更快、更精確地探測目標。隨著可見光圖像與紅外圖像的融合技術的發展，融合技術已經達到了實用化水平，但目前市面上已知的圖像融合實時處理平臺主要基于pal制式模擬視頻的處理。
近年來，高分辨率ccd及紅外機芯的成功研制，市場對高分辨率的實時數字融合處理系統的需求增加。現有圖像融合處理電路主要有dsp+fpga與fpga兩種架構。主要對pal制式模擬視頻信號進行處理。采用dsp+fpga架構的圖像融合處理電路，圖像處理延時較大，通常要超過40ms，使用fpga芯片的處理電路圖像處理延時較小。但目前的融合處理電路主要是處理模擬視頻信號，模擬視頻圖像幀頻低、圖像分辨率低、數據量小、電路處理速度慢。為此，本發明設計了一種實時高分辨率圖像融合處理電路。
技術實現要素：
本發明的目的是克服現有技術中存在的不足，提供一種高分辨率圖像融合處理電路，實現對實時高分辨微光圖像與紅外圖像的融合處理，以實現高分辨率ccd與高分辨率紅外機芯在圖像融合上的應用。
按照本發明提供的技術方案，所述的高分辨率圖像融合處理電路包括：核心處理器以及與其連接的視頻輸入模塊、視頻輸出模塊、電源模塊、時鐘模塊、存儲器模塊；
所述視頻輸入模塊，包括兩路camralink接口芯片，用于對camralink數據進行解碼，并將解碼后數據傳送到核心處理器；
所述核心處理器，用于實現對實時視頻圖像數據的接收、圖像縮放、字符疊加、圖像平移、圖像存儲、圖像融合算法、實時視頻圖像數據輸出；
所述視頻輸出模塊，對核心處理器產生的實時視頻圖像數據進行vga輸出；
所述時鐘模塊，用于產生各個模塊所需的時鐘；
所述存儲器模塊包括ddr3、sram、flash存儲器，用于對視頻圖像數據及系統數據進行存儲；
電路上電啟動后，核心處理器輸出同步信號給電路外的探測器，探測器根據核心處理器同步信號通過camralink接口輸出數字視頻圖像數據，通過視頻輸入模塊的camlink接口芯片對數據進行解碼，并傳給核心處理器；核心處理器接收到數據后，通過ddr3對視頻圖像數據進行緩存，對兩個通道的數據進行圖像的縮放處理，使得兩個通道的圖像的像素及圖像的放大率一致，并對兩個通道的數據進行十字分劃疊加，通過圖像平移進行圖像的空間配準，配準后的圖像同時進入核心處理器中的圖像融合模塊進行處理，對兩個通道的圖像數據進行圖像融合處理，融合成一幅偽彩色圖像，再轉換為rgb彩色圖像；視頻輸出模塊可以選擇實時輸出通道一視頻圖像、通道二視頻圖像以及融合后視頻圖像，并在輸出圖像上疊加所需字符。
進一步的，所述圖像融合模塊的圖像融合處理方法為：
第一步：將兩路cameralink輸入圖像的每個像素亮度值(v1，v2)轉換成(ys，cbs，crs)，其中，v1為一路輸入圖像每個像素的亮度值，v2為另一路輸入圖像每個像素的亮度值；ys為像素亮度值，cbs為藍色差分量，crs為紅色差分量，公式如下：
ys＝v1；
cbs＝v1-v2；
crs＝v2-v1；
其中，ys，cbs，crs均為有符號數據，取值范圍為-255～255；
第二步：將(ys，cbs，crs)轉換成(yc，cbc，crc)，公式如下：
其中，yc，cbc，crc均為無符號8bit數據，取值范圍為0～255，當計算結果大于255時取值為255，當結算結果小于0時取值為0；
ay，by，ab，bb，ar，br這6個系數預存6組，通過設置寄存器在六組系數中進行切換；6個系數的數據類型與精度如下：
ay，ab，ar：有符號定點數，整數位與方差整數位相同16bit，小數位與方差小數位相同8bit；
by，bb，br：有符號定點數，整數位與均值整數位相同8bit，小數位與均值小數位相同8bit；
第三步：將(yc，cbc，crc)轉換為rgb彩色圖像輸出到xga顯示，(yc，cbc，crc)轉換為rgb數據的公式如下：
r＝1.164(yc-16)+1.596(crc-128)
g＝1.164(yc-16)-0.813(crc-128)-0.391(cbc-128)
b＝1.164(yc-16)+1.596(cbc-128)
r，g，b為無符號8bit數據，取值范圍為0～255，當計算結果大于255時取值為255，當結算結果小于0時取值為0。
進一步的，本發明所使用的核心處理器為fpga處理器。
本發明的優點是：本發明實現了高分辨率實時數字圖像的融合，比模擬視頻圖像融合處理電路處理速度快、數據處理量大，融合后圖像分辨率高。
附圖說明
圖1是本發明的硬件組成框圖。
圖2是本發明的原理框圖。
具體實施方式
本發明是一種圖像處理電路，主要用于兩路實時高分辨率視頻(圖像)數據的融合處理。可用于高分辨率微光與紅外、白光與紅外實時圖像的融合處理。
下面結合附圖和實施例對本發明作進一步說明。
如圖1所示，本發明主要包括核心處理器、視頻輸入模塊、視頻輸出模塊、電源模塊、時鐘模塊、存儲器模塊等。
1.核心處理器：用于實現對實時圖像數據的接收、圖像縮放、字符疊加、圖像平移、圖像存儲、圖像融合算法、實時圖像數據輸出。
2.視頻輸入模塊：對camralink數據進行解碼，并將解碼后數據傳送到fpga。
3.視頻輸出模塊：對核心處理器產生的實時視頻圖像數據進行vga輸出。
4.電源模塊：為各個模塊或芯片提供所需的電源。
5.時鐘模塊：用于產生各個模塊所需的時鐘。
6.存儲器模塊：包括ddr3、sram、flash，用于對圖像數據及系統數據進行存儲。
本實施例主要元器件型號見表1。
表1器件型號表
本發明的工作原理如圖2所示。本處理電路的核心處理器為fpga，所有圖像處理算法均在fpga中實現。fpga不僅要進行兩個通道視頻圖像數據的輸入處理、傳輸控制，還要負責camralink外同步信號輸出、ddr3控制、sram讀寫控制、flash控制、rs422控制，最重要的，還要執行融合處理算法以及進行vga輸出控制。
電路上電啟動，fpga輸出同步信號給電路外的探測器，探測器根據fpga同步信號通過camralink接口輸出數字視頻數據，電路通過視頻接收模塊通過camlink接口芯片對數據進行解碼，并傳給fpga，fpga接收到數據后，通過ddr3對圖像數據進行緩存，對兩個通道的數據進行圖像的縮放處理，使得兩個通道的圖像的像素及圖像的放大率一致。并對兩個通道的數據進行十字分劃疊加，通過圖像平移進行圖像的空間配準，配準后的圖像同時進入圖像融合模塊進行處理。圖像輸出模塊可以選擇輸出通道一視頻圖像、通道二視頻圖像、融合后視頻圖像，并在輸出圖像上疊加所需字符。圖中rs422實現與外界的數據交互；flash用于存儲電路運行中的數據，以及某些系統設置。
電路工作流程：
1.開機上電，電路工作，通過rs422輸出電路的自檢數據，自檢通過后，電路正常工作。
2.同時接收兩個通道的圖像數據，先對幀圖像數據進行緩存，再進行圖像的縮放、十字分劃疊加、圖像平移等圖像處理，處理后的圖像分辨率為1024×768。
3.對兩個通道的圖像數據進行圖像融合處理，融合成一幅分辨率為1024×768的偽彩色圖像，再轉換為rgb彩色圖像。
4.通過圖像輸出模塊進行輸出，實時輸出兩路xga圖像。
以下結合實施例詳細說明本發明的圖像融合算法流程。
第一步：將兩路cameralink輸入圖像的每個像素亮度值(v1，v2)轉換成(ys，cbs，crs)，其中，v1為一路輸入圖像每個像素的亮度值，v2為另一路輸入圖像每個像素的亮度值；ys為像素亮度值，cbs為藍色差分量，crs為紅色差分量，公式如下：
ys＝v1；
cbs＝v1-v2；
crs＝v2-v1；
ys，cbs，crs均為有符號數據，取值范圍為-255～255。
第二步：再將(ys，cbs，crs)轉換成(yc，cbc，crc)，(ys，cbs，crs)到(yc，cbc，crc)的算法公式如下：
yc，cbc，crc均為無符號8bit數據，取值范圍為0～255，當計算結果大于255時取值為255，當結算結果小于0時取值為0。
ay，by，ab，bb，ar，br6個系數預存6組，可通過設置寄存器在六組系數中進行切換。6個系數的數據類型與精度如下：
ay，ab，ar：有符號定點數(補碼)，整數位與方差整數位相同16bit，小數位與方差小數位相同8bit(十進制小數點后兩位有效數字)。
by，bb，br：有符號定點數(補碼)，整數位與均值整數位相同8bit，小數位與均值小數位相同8bit(十進制小數點后兩位有效數字)。
均值和均方差的計算公式如下：
均值和均方差的數據類型與精度如下：
均方差：無符號數據，整數位16bit，小數位8bit(十進制小數點后兩位有效數字)。
均值：無符號數據，整數位8bit，小數位8bit(十進制小數點后兩位有效數字)。
第三步：將(yc，cbc，crc)轉換為rgb彩色圖像輸出到xga顯示。(yc，cbc，crc)轉換為rgb數據算法公式如下：
r＝1.164(yc-16)+1.596(crc-128)
g＝1.164(yc-16)-0.813(crc-128)-0.391(cbc-128)
b＝1.164(yc-16)+1.596(cbc-128)
r，g，b為無符號8bit數據，取值范圍為0～255，當計算結果大于255時取值為255，當結算結果小于0時取值為0。
- 還沒有人留言評論。精彩留言會獲得點贊！