一種基于fpga的圖像處理系統及方法

一種基于fpga的圖像處理系統及方法
【專利摘要】本發明公開了一種基于FPGA的圖像處理方法，其處理步驟為：(1)圖像采集：1)FPGA控制器的第一輸出口在8個采集周期內依次發送8個次級模擬開關選通信號；FPGA控制器的第二輸出口在8個采集周期內只發送1個主級模擬開關選通信號；2)將步驟1)得到的待處理的模擬圖像信號進行放大、濾波和模數轉換得到數字圖像信號；3)將所述數字圖像信號進行存儲；(2)圖像壓縮。同時本發明還公開了一種基于FPGA的圖像處理系統。本發明具有能夠對數十路CCD攝像頭的輸出進行同時采集與快速處理，并且不過多占用控制器端口資源；同時能對大數據量圖像信號進行高速的采集與存儲的有益效果。
【專利說明】
一種基于FPGA的圖像處理系統及方法
技術領域
[0001]本發明涉及一種圖像處理方法與系統，特別是涉及一種基于FPGA的圖像處理方法與系統。
【背景技術】
[0002]數據量龐大是圖像處理領域的一個突出問題;特別是在圖像幀率及分辨率要求高的場合，以常見的圖像壓縮芯片或DSP芯片為基礎采用常規硬件結構所設計的圖像處理系統均無法獲得令人滿意圖像采集、壓縮效果。
[0003]同時由于數據量龐大，這對存儲器的容量要求也隨之增大，通常采用的解決辦法是采用大容量存儲器或者雙端口存儲器，因而核心控制器(通常采用DSP處理器)對存儲器的控制難度增大，核心控制器內部邏輯設計復雜度也隨之進一步增大。
[0004]同時，值得注意的是，在硬件設計領域中，FPGA是常用的中央控制器，FPGA最大的特點是結構靈活，內部邏輯功能可以根據需要進行配置，修改和維護方便，適于模塊化設計，從而能夠提高算法效率等優點。
[0005]現有技術中還缺少一種能對大數據量圖像信號進行高速的采集與存儲的基于FPGA的圖像處理方法與系統。同時現有技術中也缺少一種能夠對數十路CCD攝像頭的輸出進行同時采集與快速處理，并且不過多占用控制器端口資源的圖像處理系統。

【發明內容】

[0006]針對現有技術存在的上述不足，本發明的目的是提供一種能夠對數十路CCD攝像頭的輸出進行同時采集與快速處理，并且不過多占用控制器端口資源；同時能對大數據量圖像信號進行高速的采集與存儲的基于FPGA的圖像處理方法。
[0007]本發明還同時設計了一套基于FPGA的圖像處理系統。
[0008]為實現上述目的，本發明采用如下技術手段:
[0009]—種基于FPGA的圖像處理方法，其特征在于:其處理步驟為:
[0010](I)圖像采集:
[0011]1)FPGA控制器的第一輸出口在第一模擬圖像信號采集周期至第八模擬圖像信號采集周期內依次發送8個次級模擬開關選通信號;FPGA控制器的第二輸出口在第一模擬圖像信號采集周期至第八模擬圖像信號采集周期內發送I個主級模擬開關選通信號；
[0012]2)將步驟I)得到的待處理的模擬圖像信號進行放大、濾波和模數轉換得到數字圖像?目號;
[0013]3)將所述數字圖像信號進行存儲:S1、在第一采集周期Tl內將數字圖像信號存入第一存儲器;S2、在第二采集周期Τ2內將數字圖像信號存入第二存儲器，同時將存儲在第一存儲器內的圖像信號送入核心數據處理單元;S3、在第三采集周期Τ3內將數字圖像信號存入第一存儲器，同時將存儲在第二存儲器內的圖像信號送入核心數據處理單元;不斷重復步驟S1、步驟S2和步驟S3;
[0014](2)圖像壓縮:核心數據處理單元對存儲在第一存儲器和第二存儲器中的數字圖像信號進行壓縮處理；I)子采樣，根據人眼對亮度的敏感程度比對色度高，按4:1:1格式抽取Y，Cr，Cb圖像數據，為DCT變換準備數據;2)DCT變換，采用DA算法進行二維DCT變換;3)量化;4)熵編碼。
[0015]一種基于FPGA的圖像處理系統，其特征在于:包括FPGA控制器、第一存儲器、第二存儲器、主級模擬開關、N個次級模擬開關、圖像解碼器和數字信號處理器;所述N的數量小于8;
[0016]所述主級模擬開關和次級模擬開關均分別具有8個輸入輸出口、一個公共口和一個數控選通端；
[0017]第1、2、3...N次級模擬開關的8個輸入輸出口均與CXD攝像頭的輸出端相連接；
[0018]第1、2、3...N次級模擬開關的公共口與主級模擬開關的第1、2、3...N輸入輸出口對應連接；
[0019]第1、2、3...N次級模擬開關的數控選通端均與FPGA控制器的第一輸出口相連接；所述主級模擬開關的數控選通端與FPGA控制器的第二輸出口相連接；
[0020]所述主級模擬開關的公共口與圖像解碼器的輸入端相連接；
[0021]所述FPGA控制器內部設置有數字圖像信號分配單元、中間信號選擇單元和核心數據處理單元;所述數字圖像信號分配單元具有一路輸入和兩路輸出；中間信號選擇單元具有兩路輸入和一路輸出；
[0022]圖像解碼器的輸出端與數字圖像信號分配單元的信號輸入端相連接，數字圖像信號分配單元的第一輸入端與第一存儲器的數據輸入端相連接，數字圖像信號分配單元的第二輸入端與第二存儲器的數據輸入端相連接;第一存儲器的數據輸出端與中間信號選擇單元的第一輸入端相連接，第二存儲器的數據輸出端與中間信號選擇單元的第二輸入端相連接，中間信號選擇單元的輸出端與核心數據處理單元的輸入端相連接；
[0023]所述第一存儲器的地址端與地址計數器的輸出端相連接、所述第二存儲器的地址端與地址計數器的輸出端相連接；
[0024]所述核心數據處理單元的輸出端與圖像壓縮器的輸入端相連接。
[0025]相比現有技術，本發明具有如下有益效果:本發明的數據存儲由兩個數據存儲器實現，具體采集存儲方法是:將在第一采集周期T I內將數字圖像信號存入第一存儲器;在第二采集周期T2內將數字圖像信號存入第二存儲器，同時將存儲在第一存儲器內的圖像信號送入核心數據處理單元;在第三采集周期T3內將數字圖像信號存入第一存儲器，同時將存儲在第二存儲器內的圖像信號送入核心數據處理單元；重復上述步驟不斷采集存儲數據。這與現有技術中廣泛的單存儲器相比具有如下技術差異以及有益效果:本發明由兩個獨立的存儲器芯片組成，兩個存儲器被交替存儲數據，并且兩個存儲器使用同一地址信號，因此相對單個存儲器存儲容量更大，并且在數據被存儲的同事也被讀出送往核心數據處理單元處理，也即是數據的寫入和讀出可以同時完成，因此數據的存儲與處理速度相對于單片存儲器讀寫不能同時進行的狀況相比，具有更快的處理速度;此外即使與具有兩套數據端、地址端和控制端的雙端口存儲器相比，本發明只需要產生一個地址信號，而雙端口存儲器則需要兩個地址信號才可以實現數據的存儲，因此本發明還具有存儲方式靈活，有利于簡化中央控制器電路設計的有益效果。
[0026]本發明中，被采集的信號經過兩級模擬開關輪流選通，所有的N個次級模擬開關的數控選通端均與FPGA控制器的第一輸出口相連接，FPGA控制器從第一輸出口發送一個數控選通信號即可從N個次級模擬開關選出N個被采集信號(每個次級模擬開關的公共口輸出一個信號)，這N個被采集的信號再在FPGA控制器的第二輸出口發送的數控選通信號的控制下便輪流通過主級模擬開關進入放大模塊和AD模塊后最終進入FPGA控制器，從而完成信號的同時輸入;FPGA控制器的第一輸出口再次發送新的數控選通信號便可選出另一組N個被采集信號，這一組N個被采集信號又可以輪流通過主級模擬開關入進入放大模塊和AD模塊后最終進入進入FPGA控制器，因此本發明事實上可以完成SN個信號的采集工作，但是耗費FPGA控制器的端口資源只有兩個三位信號，也即6個引腳，這大大節約了FPGA控制器端口資源，并且簡化了電路結構。
【附圖說明】
[0027]圖1為本發明一種基于FPGA的圖像處理系統結構示意圖。
[0028]圖2為模擬開關陣列示意圖
[0029]圖3為JPEG壓縮流程圖
[0030]圖4為行列分解的二維DCT結構圖
[0031]圖5為直流系數Huffman編碼圖
【具體實施方式】
[0032]下面結合附圖和實施例，對本發明做進一步詳細說明。
[0033]一種基于FPGA的圖像處理方法，其處理步驟為:
[0034]一、圖像采集:
[0035](I)FPGA控制器的第一輸出口在第一模擬圖像信號采集周期至第八模擬圖像信號采集周期內依次發送8個次級模擬開關選通信號;FPGA控制器的第二輸出口在第一模擬圖像信號采集周期至第八模擬圖像信號采集周期內發送I個主級模擬開關選通信號；以上操作對多路模擬圖像信號的輪流選通，實現了本發明可以同時采集多路圖像信號的功能；
[0036](2)將步驟(I)得到的待處理的模擬圖像信號進行放大、濾波和模數轉換得到數字圖像信號;該步驟可以使用常規的圖像處理用AD轉換芯片實現。
[0037](3)將所述數字圖像信號進行存儲:S1、將在第一采集周期Tl內將數字圖像信號存入第一存儲器;S2、在第二采集周期T2內將數字圖像信號存入第二存儲器，同時將存儲在第一存儲器內的圖像信號送入核心數據處理單元;S3、在第三采集周期T3內將數字圖像信號存入第一存儲器，同時將存儲在第二存儲器內的圖像信號送入核心數據處理單元;不斷重復步驟S 1、步驟S2和步驟S3;
[0038]為了實現更大的數據存儲容量也可以采用更多的存儲器，
[0039]二、圖像壓縮:
[0040]圖像解碼器SAA7113H輸出的一幀圖像共720*625個像素，兩片SRAM能夠分別存儲一幀圖像的數據，可以使用靜態圖像壓縮算法進行壓縮。本設計采用基于DCT的順序的JPEG壓縮，壓縮過程如圖3所示。順序編碼可以使得編解碼設備的緩沖群降低到最小，從而節省設備資金。[0041 ] 計算步驟如下:
[0042](I)DCT 變換；
[0043](2)量化及z字形編碼(Zigzagsean)；
[0044]( 3 )編碼:包括直流系數(DC )編碼、交流系數(AC )編碼、Huf f man編碼(entropyeoding)；
[0045]JPEG算法與彩色空間無關，首先將RGB圖像轉換到YUV顏色空間，由于SAA7113H輸出的是YUV數據，所以不需要轉換。實現過程是從SRAM中讀取數據，然后進行子采樣、DCT變換、量化、熵編碼。
[0046]子米樣
[0047]為了提高壓縮效果，首先要進行子采樣，這是一種簡單的壓縮技術。根據人眼對亮度的敏感程度比對色度高，可以按4:1:1格式抽取Y，Cr，Cb圖像數據，即色差分量在水平方向和垂直方向的采樣頻率都為2:1，子采樣后的數據存儲到片內RAM中，為DCT變換準備數據。
[0048]DCT 變換
[0049 ] 采用DA算法進行二維DCT變換，利用VHDL實現的FPGA結構見圖4:每個8X8的圖像塊構成一個MCU，每個MCU包含三個8 X 8的矩陣，按照Y，Cr，Cb的順序依次送入DCT變換器。Y，Cr，Cb的值進入模塊后，首先進行第一次DCT變換，變換后的值送到一個8 X8大小的RAM中，轉置后依次讀出，進行第二次的DCT變換。第一次DCT變換和第二次DCT變換有相同的特性，可共用同一個DCT變換模塊，從而節省FPGA的內部資源。
[0050]DCT變換后的輸出仍是一個8X8的矩陣，稱為DCT系數，即離散余弦變換的變換系數。每個系數值由64個輸入信號唯一確定的，其中，Y(0，0)稱為DC(直流)系數，剩下的63個Y(U，V)稱為AC(交流)系數。
[0051 ] 量化
[0052]量化是對DCT系數進行壓縮的關鍵一步，通過降低DCT系數精度的方法，去除掉相對不重要的表示圖像細節的AC系數，從而減少圖像數據量，達到壓縮目的。
[0053]量化過程就是每個DCT系數除以各自的量化步長并按四舍五入取整得到量化系數。JPEG壓縮采用線性均勻量化得到量化系數。均勻量化定義為，對64個DCT變換系數，除以對應的量化步長，四舍五入取整，量化公式如式(I):
[0054]Q(u,v)=IntegerRound(Y(u,v)/S(u,ν)) (I)
[0055]式中S(u，v)是量化步長。通過JPEG參考標準量化表對DCT系數進行求模運算，Q(u，V)的值是量化后的系數。將量化后的系數存于RAM中，其中含有大量的零值系數，為了增加連續零值的個數，使得后面游程長度編碼最優，需要對量化后的系數按照Z字形編排。就是把一個8*8的系數矩陣變成一個1*64的矢量，頻率較低的系數放在矢量的頂部。
[0056]熵編碼
[0057]為了進一步壓縮數據，需要對量化后的DC系數和AC系數再進行基于統計特性的熵編碼。JPEG使用的熵編碼有兩種方法:自適應二進制算術編碼和哈夫曼編碼。算術編碼與哈夫曼編碼相比，壓縮比率稍微高一些，但是處理復雜，一般的設備都不支持。本設計采用VHDL實現直流系數和交流系數的哈夫曼編碼，直流系數占用資源少，直流系數的編碼過程圖5。
[0058]其實現的主要VHDL代碼如下:
[0059]funct1n CompressDC(Cat:in integer；LumaBlock:in std_logic)return std_logic—vector is
[0060]variable result: std_logic_vector( 14downto 0): = (others =〉7 O7 );
[0061]begin
[0062]if LumaBlock= =/ Y then —壓縮DC亮度表
[0063]case Cat is
[0064]when 0 = >result:-"OOO10000000000";
[0065]..........
[0066]when others =〉一llresult: =〃 100000111111110"；
[0067]end case ；
[0068]else
[0069]case Cat is
[0070]......
[0071]when others =〉一llresult: =〃 101011111111110"；
[0072]end case ；
[0073]end if;
[0074]return result；
[0075]end CompressDC；
[0076]funct1n CompressDC(Cat:in integer；LumaBlock:in std_logic)return std_logic—vector is
[0077]variable result: std_logic_vector( 14downto 0): = (others =〉7 O7 );
[0078]begin
[0079]if LumaBlock = 7 Y then —壓縮DC亮度表
[0080]case Cat is
[0081]when 0 = >result:-"OOO10000000000";
[0082]..........
[0083]when others = >1 lresult: =〃 100000111111110"；
[0084]end case ；
[0085]else—壓縮DC亮度表
[0086]case Cat is
[0087]......
[0088]when others =〉一llresult: =〃 101011111111110"；
[0089]end case ；
[0090]end if;
[0091]return result；
[0092]end CompressDC；
[0093]交流編碼首先是對AC系數的零值判斷，AC為零值，則進入零值計算，得到零游程值;AC為非零值，計算AC的尺寸大小，并得到AC實際值的二進制表示。計算地址尋址ROM表，得到相應的編碼。DC和AC系數編碼后的結果，進一步采用HufTmna編碼對其作進一步的壓縮，目的是使用Huffmna編碼來減少熵。Huffmna編碼過程不再介紹。
[0094]JPEG編碼的最后一個步驟是把各種標記代碼和編碼后的圖像數據組成一幀一幀的數據，這樣做的目的是為了便于傳輸、存儲和譯碼器進行譯碼。
[0095]一種基于FPGA的圖像處理系統，如如圖1，圖2所示，包括FPGA控制器、第一存儲器、第二存儲器、圖像解碼器和數字信號處理器；
[0096]此外還包括用于輪選多路模擬圖像信號的模擬開關陣列。模擬開關陣列包括主級模擬開關和N個次級模擬開關，N的數量小于8;
[0097]主級模擬開關和次級模擬開關均分別具有8個輸入輸出口、一個公共口和一個數控選通端；
[0098]第1、2、3...N次級模擬開關的8個輸入輸出口均與C⑶攝像頭的輸出端相連接；
[0099]第1、2、3...N次級模擬開關的公共口與主級模擬開關的第1、2、3...N輸入輸出口對應連接；
[0100]第1、2、3...N次級模擬開關的數控選通端均與FPGA控制器的第一輸出口相連接；所述主級模擬開關的數控選通端與FPGA控制器的第二輸出口相連接；
[0101]所述主級模擬開關的公共口與圖像解碼器的輸入端相連接；
[0102]所述FPGA控制器內部設置有數字圖像信號分配單元、中間信號選擇單元和核心數據處理單元;所述數字圖像信號分配單元具有一路輸入和兩路輸出；中間信號選擇單元具有兩路輸入和一路輸出；
[0103]圖像解碼器的輸出端與數字圖像信號分配單元的信號輸入端相連接，數字圖像信號分配單元的第一輸入端與第一存儲器的數據輸入端相連接，數字圖像信號分配單元的第二輸入端與第二存儲器的數據輸入端相連接;第一存儲器的數據輸出端與中間信號選擇單元的第一輸入端相連接，第二存儲器的數據輸出端與中間信號選擇單元的第二輸入端相連接，中間信號選擇單元的輸出端與核心數據處理單元的輸入端相連接；
[0104]所述第一存儲器的地址端與地址計數器的輸出端相連接、所述第二存儲器的地址端與地址計數器的輸出端相連接；
[0105]所述核心數據處理單元的輸出端與圖像壓縮器的輸入端相連接。
[0106]系統整體工作原理如下:本設計主要由視頻采集和視頻壓縮兩部分組成。視頻采集部分負責對視頻信號進行解碼和緩存;視頻壓縮部分負責對采集到的數據進行壓縮。數據處理過程是:由CCD攝像頭將光信號轉化為模擬視頻信號，解碼器將模擬信號轉換為PAL制的數字信號，通過存儲控制器將數字信號暫存到片外SRAM中，圖像壓縮將暫存的視頻數據讀出并進行壓縮處理。具體數據處理過程也即是圖像處理方法的具體步驟，這在上文中已經詳細闡述，這里不再贅述。總之，本發明在高速的FPGA上基本實現了視頻采集與壓縮，采集輸入為PAL制或NTSC制式的標準視頻信號，既能實現靜態圖像的采集和壓縮也可實現動態圖像的采集和壓縮，體現了 FPGA的優勢。該方案具有速度快，體積小等優點。
[0107]模擬開關陣列的工作原理如下:FPGA通過其第一輸出口向所有次級模擬開關的數控選通端(A、B和C三個二進制數控選通端)發送同樣的選通信號可以分別選中第一輸入輸出口、第二輸入輸出口直至第八輸入輸出口，被選中的輸入輸出口被連接到公共端，例如當A、B和C信號為000時，第一輸入輸出口被選中，連接到公共口，當A、B和C信號為001時，第二輸入輸出口被選中，連接到公共口。那么所有的從模擬開關的同一編號的輸入輸出口的信號便被選出，并且送往主級模擬開關接收下一級的選通，FPGA通過其第二輸出口向主級模擬開關發送三位二進制的選通信號，便可以從上述所有的從模擬開關的同一編號的輸入輸出口的信號選出一個信號送往圖像解碼器，最終進入FPGA(FPGA將其送入存儲器中)，而強大的FPGA可以將該被選出的唯一信號用于必要傳輸或者用于運算處理。再上述過程中通過靈活發送兩級模擬開關的選通信號便可以從多大64路的信號從選取出所需要信號，因為FPGA的工作速度很快，因此在短時間內便可以對多路信號進行采集處理。同時顯而易見的是，FPGA通過發送不同的第一輸出口數據和第二輸出口數據可以靈活的選中數十路CCD輸出的任何一路，這也給原始數據的采集增加了靈活性。
[0108]最后說明的是，以上實施例僅用以說明本發明的技術方案而非限制，盡管參照較佳實施例對本發明進行了詳細說明，本領域的普通技術人員應當理解，可以對本發明的技術方案進行修改或者等同替換，而不脫離本發明技術方案的宗旨和范圍，其均應涵蓋在本發明的權利要求范圍當中。
【主權項】
1.一種基于FPGA的圖像處理方法，其特征在于:其處理步驟為: (1)圖像采集: 1)FPGA控制器的第一輸出口在第一模擬圖像信號采集周期至第八模擬圖像信號采集周期內依次發送8個次級模擬開關選通信號;FPGA控制器的第二輸出口在第一模擬圖像信號采集周期至第八模擬圖像信號采集周期內發送I個主級模擬開關選通信號； 2)將步驟I)得到的待處理的模擬圖像信號進行放大、濾波和模數轉換得到數字圖像信號； 3)將所述數字圖像信號進行存儲:S1、在第一采集周期Tl內將數字圖像信號存入第一存儲器;S2、在第二采集周期T2內將數字圖像信號存入第二存儲器，同時將存儲在第一存儲器內的圖像信號送入核心數據處理單元;S3、在第三采集周期T3內將數字圖像信號存入第一存儲器，同時將存儲在第二存儲器內的圖像信號送入核心數據處理單元;不斷重復步驟S1、步驟S2和步驟S3; (2)圖像壓縮:核心數據處理單元對存儲在第一存儲器和第二存儲器中的數字圖像信號進行壓縮處理；I)子采樣，根據人眼對亮度的敏感程度比對色度高，按4:1:1格式抽取Y，Cr，Cb圖像數據，為DCT變換準備數據;2) DCT變換，采用DA算法進行二維DCT變換;3)量化;4)火尚編碼。2.—種基于FPGA的圖像處理系統，其特征在于:包括FPGA控制器、第一存儲器、第二存儲器、主級模擬開關、N個次級模擬開關、圖像解碼器和數字信號處理器;所述N的數量小于8； 所述主級模擬開關和次級模擬開關均分別具有8個輸入輸出口、一個公共口和一個數控選通端； 第1、2、3...N次級模擬開關的8個輸入輸出口均與C⑶攝像頭的輸出端相連接； 第1、2、3...N次級模擬開關的公共口與主級模擬開關的第1、2、3...N輸入輸出口對應連接； 第1、2、3...N次級模擬開關的數控選通端均與FPGA控制器的第一輸出口相連接;所述主級模擬開關的數控選通端與FPGA控制器的第二輸出口相連接； 所述主級模擬開關的公共口與圖像解碼器的輸入端相連接； 所述FPGA控制器內部設置有數字圖像信號分配單元、中間信號選擇單元和核心數據處理單元;所述數字圖像信號分配單元具有一路輸入和兩路輸出；中間信號選擇單元具有兩路輸入和一路輸出； 圖像解碼器的輸出端與數字圖像信號分配單元的信號輸入端相連接，數字圖像信號分配單元的第一輸入端與第一存儲器的數據輸入端相連接，數字圖像信號分配單元的第二輸入端與第二存儲器的數據輸入端相連接;第一存儲器的數據輸出端與中間信號選擇單元的第一輸入端相連接，第二存儲器的數據輸出端與中間信號選擇單元的第二輸入端相連接，中間信號選擇單元的輸出端與核心數據處理單元的輸入端相連接； 所述第一存儲器的地址端與地址計數器的輸出端相連接、所述第二存儲器的地址端與地址計數器的輸出端相連接； 所述核心數據處理單元的輸出端與圖像壓縮器的輸入端相連接。
【文檔編號】H04N5/232GK106060400SQ201610522882
【公開日】2016年10月26日
【申請日】2016年6月27日
【發明人】張仕海, 陳寧寧, 胡燏
【申請人】樂山職業技術學院