一種視頻壓縮采集系統及其采集方法
【專利摘要】本發明涉及一種視頻壓縮采集系統及其采集方法。視頻壓縮采集系統將景物通過物鏡成像于無源光信號調制器件的調制面，高精度位移裝置使無源光信號調制器件產生精密位移及連續變換的調制效應，景物的視頻信號經無源光信號調制器件的變換調制，再由面陣探測器完成積分和采集，經面陣探測器采集的壓縮圖像信號可重建并獲得景物的原始視頻信號。本發明提供的視頻壓縮采集方法，通過光學壓縮手段直接實現視頻數據的并行壓縮和采集，繼而高保真的重建原始視頻數據。該方法能大比率壓縮視頻數據采集量，減輕視頻采集的數據管理負擔，尤其適用于高分辨率高幀頻視頻信號的采集。
【專利說明】一種視頻壓縮采集系統及其采集方法
【技術領域】
[0001]本發明涉及一種視頻壓縮成像裝置及其視頻壓縮采集方法，特別涉及一種視頻壓縮采集系統及其視頻壓縮采集的方法。
【背景技術】
[0002]遙感成像、機器視覺、生物成像等諸多領域的應用發展對高幀頻高分辨率圖像連續采集技術提出了新的要求。在過往十年中，隨著探測器性能和圖像采集技術的不斷提升，數字相機單幅圖像的像素數由“兆”(百萬)量級邁入“吉”(十億)量級，圖像幀頻由每秒百幀突破每秒千幀達到每秒萬幀，這使大陣列圖像的高頻采集所獲視頻的數據率達到每秒“艾”(百億)像素的量級。如此高的數據率給系統帶寬和存儲容量等數據管理資源帶來極大負擔，高帶寬的數據輸出和存儲又增大了成像系統所需耗費的電功率，這使高分辨率高幀率的視頻采集技術難以被應用于資源受限的平臺，其實際應用能力受到了限制。
[0003]為克服大數據率成像的數據管理問題，先前技術在數據傳輸和存儲兩端對其進行壓縮和解壓縮，這在一定程度上減輕了數據管理資源面臨的巨大負擔。然而，額外的數據壓縮和數據解壓過程需通過特定的數據處理模塊予以實現，后者提高了系統設計和構成的復雜度，增加了硬件開銷，此外，數據的壓縮和解壓進一步增加了成像數據的處理耗時和功率開銷。
[0004]壓縮感知技術在過去十年得到了持續研究和廣泛關注。在本發明作出之 前， 文 獻“Single-Pixel Imaging via Compressive Sampling，，(IEEE SIGNALPROCESSING MAGAZINE, MARCH 2008,83-91, 2008)和“ Development of a DMD-basedCompressive Sampling Hyperspectral Imaging (CS-HSI) System，， (Proc.0f SPIE,7932，793201，2013)報道了將成像技術與壓縮感知技術融合，成功研制了種類繁多的壓縮成像系統。壓縮成像系統首先對景物的光學信息進行一定的預處理，再將目標信息投射至面陣、線陣直至點探測器上，成像信息經空間維的壓縮后，探測器采集到的是關于景物原始信息的壓縮圖像，基于壓縮圖像利用最優化算法可對目標原始信息進行重建。近年來，壓縮成像從最初的灰度成像拓展至彩色成像、光譜成像等方向，并已被成功應用于偏振成像、層析成像等應用領域。
[0005]中國發明專利“基于分離式二維壓縮感知理論的壓縮成像系統”(CN102821236A)，該成像系統采用順序結構，將圖像通過聚焦透鏡成像于數字微鏡器件DMD，由構造的隨機行測量矩陣控制DMD的微鏡角度對圖像的行信息進行處理；將獲取的行信息通過微透鏡陣列聚焦于線陣CMOS圖像傳感器上，由構造的隨機列測量矩陣控制CMOS傳感器像素讀取對圖像的列信息進行處理，至此實現一次成像過程，通過一定次數的成像過程獲取圖像的壓縮信息，完成整個壓縮成像。所述方法的不足主要有兩點:一是其與現有眾多基于壓縮感知的壓縮成像方法一樣，實現了圖像信息在空間維的壓縮，但無法實現連續視頻圖像數據在時間維的壓縮，二是其選取了數字微鏡器件(DMD)實現圖像信息的預處理，這需要額外耗費巨大的電功率和信號帶寬。中國發明專利“基于壓縮感知的高光譜成像儀及成像方法”(CN101893552A)，成像儀包括透鏡組、色散元件、空間光調制器、線列探測器和外圍電路；被采集的線光源經過色散元件在空間上分開形成由空間維和光譜維組成的面光源，該面光源通過空間光調制器調制后在空間維的方向上重新匯聚，形成由光譜維組成的線光源，由線列探測器完成采樣和量化；其成像方法是利用得到的高光譜壓縮觀測向量，通過分組及重構，得到高光譜圖像。所述的方法實現了光譜數據立方體中一維空間信號和一維光譜信號的壓縮，使三維光譜數據立方體得以降維至一維采集，但僅實現了采集目標的光譜圖像，無法對連續視頻信號在時間域的壓縮及采集。
[0006]現有的壓縮成像技術在成像過程中實現了數據的并行壓縮，大幅減小了成像數據量，在機器視覺、生物成像等領域展現出一定的應用能力。然而，現有壓縮成像技術具有如下幾處缺陷:1.當前的壓縮成像技術主要被用以實現成像信息在空間域或頻域的壓縮，但尚未實現信息在時間維的壓縮，這使現有壓縮成像技術僅能用以采集離散圖像，無法實現連續視頻的獲取，難以滿足現有應用亟需的高幀頻特別是超高幀頻的視頻采集需要；2.現有壓縮成像裝置借助于空間光調制器、數字微鏡器件等光電器件實現對景物光學信息的預處理，對上述面陣器件進行的選址和顯示控制需要耗費大量控制信息，上述新增的控制數據開銷折損了壓縮成像技術本身對數據采集量的降低效用，當器件面陣大、像素個數多時，上述折損效應愈加明顯；3.現有壓縮裝置光電器件的驅動和顯示在較大程度上增加了系統的功率開銷，這使得現有壓縮成像技術的使用受限于功率有限的應用平臺(如遙感平臺、野外工程車輛等)；4.當采用現有壓縮成像技術對運動目標進行成像時，難以依據目標的運動狀態開展有效的運動補償，所獲圖像具有運動模糊，這不利于空間目標探測、產品流水在線監測、生物瞬態現象等運動目標的場景拍攝。
【發明內容】
[0007]本發明所要解決的問題是針對現有壓縮成像技術存在的不足，提供一種視頻的壓縮米集系統。
[0008]實現本發明發明目的的技術方案是提供一種視頻壓縮采集系統，它包括物鏡、無源光信號調制器件、高精度位移裝置、位移裝置驅動器、聚焦鏡頭和面陣探測器；景物經物鏡成像于無源光信號調制器件，無源光信號調制器件對景物的光信號進行空間調制；面陣探測器的焦平面與無源光信號調制器件的調制平面，通過聚焦透鏡呈共軛成像關系，在面陣探測器的焦平面上采集得到經調制的視頻圖像的壓縮積分圖像；所述的高精度位移裝置為微米級位移步長的直流步進電機，所述的無源光信號調制器件為透射式或反射式的編碼掩摸板；所述的面陣探測器為灰度探測器。
[0009]本發明技術方案的一個優選方案是:所述的面陣探測器為面陣CCD探測器或面陣CMOS探測器。所述的編碼掩摸板，其調制圖案為二元化的編碼矩陣或隨機矩陣。所述的高精度位移裝置其位移精度高于或等于探測器像元尺寸；高精度位移裝置的位移總長度大于或等于調制器件的調制單元尺寸與視頻采集壓縮率的乘積；高精度位移裝置完成單次位移的時間大于或等于采集視頻的幀間間隔與視頻采集壓縮率的乘積。
[0010]本發明技術方案還包括一種視頻壓縮采集方法，包括如下步驟:
(I)成像配準步驟
將景物通過物鏡成像于無源光信號調制器件的調制單元陣列上，經調制單元陣列調制的出射光由聚焦鏡頭聚焦至面陣探測器焦平面；
(2)一個數據采集周期內的視頻壓縮采集步驟
無源光信號調制器件與位移裝置連接，驅動器控制位移裝置在小于或等于面陣探測器單次曝光采集幀數對應的總時間間隔內移動預設的距離，位移裝置每完成一次位移，無源光信號調制器件的調制圖案得以改變；
面陣探測器在預設的數據采集周期內完成一次或若干次的曝光，在面陣探測器的曝光間隔內，面陣探測器的焦平面上采集經調制圖案調制的景物的視頻信號；每次曝光采集得到曝光時間內相應的調制圖像的積分壓縮圖像；
(3)一個數據采集周期內的視頻重建步驟
基于一個數據采集周期內得到的所有累積壓縮圖像，采用圖像識別算法，得到景物在對應的這個數據采集周期內具有的運動矢量；
采用最優化算法，重建一個對應數據采集周期內景物的原始視頻圖像；
(4)數據采集周期內步驟的重復
重復步驟(2 )和(3 )，直至完成所需視頻的壓縮采集與重建。
[0011]在步驟(2)的視頻壓縮采集步驟中，經偶數個數據采集周期后位移裝置回到位移初始位置。在步驟(3)的視頻重建步驟中，采用運動補償算法，消除重建視頻圖像的運動模糊現象。
[0012]本發明提供的視頻壓縮采集方法，通過光學壓縮手段直接實現視頻數據的并行壓縮和采集，繼而高保真的重建原始視頻數據。該方法能大比率壓縮視頻數據采集量，減輕視頻采集的數據管理負擔，特別適用于高分辨率及高幀頻參數下的視頻采集要求。基于此方法的視頻采集系統硬件開銷低，無需消耗額外的光電信號處理功率和帶寬，能依據視頻采集要求實現可變化的數據壓縮率，并能有效消除運動目標引起的視頻圖像運動模糊。
[0013]本發明提供的視頻壓縮采集系統，將景物通過物鏡成像于無源光信號調制器件的調制單元陣列上，經調制單元陣列調制的出射光由聚焦鏡頭聚焦至面陣探測器焦平面；驅動器控制位移裝置在滿足幀頻要求的時間間隔內移動預設的距離，完成一次位移后，用以實現空間調制的調制圖案發生變換，其對景物實施調制后的光信號被持續積分至焦平面。探測器在預設的曝光積分時間內逐次完成曝光，每次曝光獲得的是積分時間內若干調制圖像的累積信號。計算機采集該信號后，經數據解算可重建特定幀數的視頻圖像，在數據重建過程中加以修復算法還可消除視頻圖像中可能存在的運動模糊。
[0014]本發明提供的視頻壓縮采集系統中，無源光信號調制器件的作用是實現入射光信號的空間調制，經特定工藝制備的編碼掩摸板即可滿足要求，調制單元的尺寸可經視頻采集壓縮率和視頻圖像分辨率的綜合考慮后設計并確定，其上調制圖案一般選自二元化的特定編碼圖案或隨機圖案，選用無源器件消除了信號調制所需的功率及帶寬損耗。高精度位移裝置的作用是保證與其連接的無源光信號調制器件在視頻采集期間能實現連續的精密位移，高精度位移裝置的位移步長需比調制器件的調制單元尺寸低一至二個數量級，其單次位移所需時間應滿足視頻幀頻要求，高精度直流步進電機可滿足要求。位移裝置驅動器的作用是為高精度位移裝置提供位移驅動和控制信號。聚焦鏡頭的作用是將調制信號聚焦至面陣探測器的焦平面上。面陣探測器為灰度探測器，一般選自面陣CCD探測器或面陣CMOS探測器，其積分時間和采樣間隔應能滿足視頻壓縮采集的壓縮率要求。[0015]與現有技術相比，本發明具有如下的有益效果:
1、能實現高分辨率高幀頻視頻的連續壓縮采集，在視頻采集過程中大比率的壓縮采集數據量，經壓縮數據重建的視頻數據具有良好的分辨率和數據保真度。
[0016]2、使用無源光學器件實現視頻光學信息的預處理，并加以位移裝置實現無源光學器件預處理變換，消除了光電信息預處理器件所需的控制信息流，降低了信息預處理所需的功率消耗。
[0017]3、基于連續視頻壓縮采集結果，在視頻數據重建過程中，可通過后續算法消減運動拖影，減輕圖像的運動模糊，實現視頻圖像的自修復。
[0018]4、依據應用需求，通過對無源光電器件位移方式和探測器積分間隔的控制，可以靈活有效的調節視頻采集的實際壓縮率。
[0019]5、具有良好的功能拓展性，將本技術與偏振成像、光譜成像等技術融合，可實現兼顧偏振成像、光譜成像等功能的視頻壓縮采集。
【專利附圖】
【附圖說明】
[0020]圖1是本發明實施例提供的一種視頻壓縮采集系統的結構示意圖。
[0021]圖2是本發明實施例利用所提供的視頻壓縮采集系統，在一個數據采集周期內的視頻壓縮采樣和視頻圖像重建流程示意圖。
[0022]其中:1、景物；2、物鏡；3、無源光信號調制器件(passive light modulator)；
4、聚焦鏡頭；5、面陣探測器；6、高精度位移裝置；7、位移裝置驅動器；8、場景視頻第I至第6幀圖像數據；9、場景視頻第7至第12幀圖像數據；10、場景視頻第13至第18幀圖像數據；11、探測器第I次曝光時無源調制器件的調制圖案；12、探測器第2次曝光時無源調制器件的調制圖案；13、探測器第3次曝光時無源調制器件的調制圖案；14、探測器第I次曝光采集的視頻壓縮圖像；15、探測器第2次曝光采集的視頻壓縮圖像；16、探測器第3次曝光采集的視頻壓縮圖像；17、基于一個數據采集周期內采集的視頻壓縮圖像重建獲得的景物原始視頻圖像。
【具體實施方式】
[0023]下面結合附圖及實施例對本發明技術方案作進一步描述。
[0024]實施例1
參見附圖1，它是本實施例提供的一種視頻壓縮采集成像系統的結構示意圖。將視頻壓縮采集系統置于景物I正前方的適當位置，并完成成像所需的對準和調焦；景物I經由物鏡2成像在無源光信號調制器件3的調制面上；調制器件的調制單元陣列(在本實施例中選用隨機二值化陣列)對入射光信號實施振幅調制(本實施例選用透射式的調制)，經振幅調制的光信號再由成像透鏡4聚焦至面陣探測器5的焦平面上。視頻壓縮采集系統的視頻圖像采樣壓縮率的理論最大值，為無源光信號調制器件3調制單元尺寸與面陣探測器5像元尺寸的比值，在系統設計時，這一比率應被設為一個幾至幾十量級的整數(本實施例中將這一比率設為18)。無源光信號調制器件3被可靠的固定于高精度位移裝置6上，高精度位移裝置的位移精度應不低于面陣探測器5的像元尺寸，高精度位移裝置的位移總長應不小于調制器件的調制單元尺寸與視頻采集壓縮率的乘積。在數據采樣的一個周期內，高精度位移裝置6在位移裝置控制器7的驅動下，完成距離為無源光信號調制器件調制單元尺寸的位移，該位移使在任意數據采樣周期內，無源光信號調制器件3實際用以調制的調制圖案保持持續有效的變化。由于高精度位移裝置6的行程是有限的，在相鄰兩個數據采樣周期內，高精度位移裝置6的位移方向應被依次設定為相反的方向，這使經過偶數次數據采樣周期后，高精度位移裝置6均可回到位移坐標的初始原點。在每個數據采樣周期內，面陣探測器5執行一次或若干次相同時間間隔的曝光(為便于說明，本實施例中將曝光次數設為3)。在相鄰曝光間隔內，高精度位移裝置6在位移裝置控制器7的驅動下完成特定距離的位移，該距離應同時滿足如下條件:一是不應大于無源光信號調制器件調制單元尺寸，二是該值應為面陣探測器5像元尺寸的整數倍(依照先前設定，本實施例將該值定為6)。綜上，在一個數據采樣周期內，面陣探測器6采集到經一次或若干次曝光(本實施例中為3次)得到的一幅或若干幅(本實施例中為3幅)視頻壓縮積分圖像，計算機以其作為輸入，經由最優化算法重建，可獲得一個數據采樣周期內特定數量(即視頻圖像采樣壓縮率的理論最大值，本實施例中為18 )的景物視頻圖像。
[0025]參見附圖2，它是本實施例利用圖1所示的視頻壓縮采集成像系統，提供的在一個數據采集周期內的視頻壓縮采樣和視頻圖像重建的流程示意圖。由圖1和2可以看到，在一個數據采集周期內，面陣探測器5分三次曝光采集景物的18幀視頻數據。探測器第一次曝光采集場景視頻的第I至第6幀得到圖像數據8，上述圖像數據經無源調制器件的調制圖案11調制，探測器采集的是6幀調制圖像的積分壓縮圖像14。完成第一次曝光后，高精度位移裝置6在位移裝置控制器7的驅動下完成特定距離的位移，無源光信號調制器件3的調制圖案11相應的變為調制圖案12，調制圖案12對場景視頻的第7至第12幀圖像數據9實施調制，探測器第2次曝光采集這些調制圖像的積分壓縮圖像15。完成第2次曝光后，高精度位移裝置6繼續完成特定距離的位移，無源光信號調制器件3的調制圖案12相應的變為調制圖案13，調制圖案13對場景視頻的第13至第18幀圖像數據10實施調制，探測器第3次曝光采集這些調制圖像的積分壓縮圖像16。依據積分圖像，采用特定最優化算法(如閾值迭代法、梯度投射法等)可以實現景物原始視頻圖像的重建，即可由積分圖像14、積分圖像15、積分圖像16聯合重建景物的第I至第18幀原始視頻圖像17。在之后的數據采集周期內，重復上述流程，可不間斷的實現景物原始視頻的壓縮采樣與重建。基于一定數量數據采集周期內采集的視頻壓縮圖像，采用最優化法算法(如差分法等)對景物目標運動矢量進行估計和判定，再以運動補償算法(如盲反卷積法等)進行處理，可有效降低重建視頻圖像的運動模糊。
【權利要求】
1.一種視頻壓縮采集系統，其特征在于:它包括物鏡(2)、無源光信號調制器件(3)、高精度位移裝置(6)、位移裝置驅動器(7)、聚焦鏡頭(4)和面陣探測器(5);景物經物鏡(2)成像于無源光信號調制器件，無源光信號調制器件對景物的光信號進行空間調制；面陣探測器(5)的焦平面與無源光信號調制器件(3)的調制平面，通過聚焦透鏡(4)呈共軛成像關系，在面陣探測器(5)的焦平面上采集得到經調制的視頻圖像的壓縮積分圖像；所述的高精度位移裝置(6)為微米級位移步長的直流步進電機，所述的無源光信號調制器件(3)為透射式或反射式的編碼掩摸板；所述的面陣探測器(5)為灰度探測器。
2.根據權利要求1所述的一種視頻壓縮采集系統，其特征在于:所述的面陣探測器為面陣CCD探測器或面陣CMOS探測器。
3.根據權利要求1所述的一種視頻壓縮采集系統，其特征在于:所述的編碼掩摸板，其調制圖案為二元化的編碼矩陣或隨機矩陣。
4.根據權利要求1所述的一種視頻壓縮采集系統，其特征在于:所述的高精度位移裝置其位移精度高于或等于探測器像元尺寸；高精度位移裝置的位移總長度大于或等于調制器件的調制單元尺寸與視頻采集壓縮率的乘積；高精度位移裝置完成單次位移的時間大于或等于采集視頻的幀間間隔與視頻采集壓縮率的乘積。
5.一種視頻壓縮采集方法，其特征在于包括如下步驟: (1)成像配準步驟 將景物通過物鏡成像于無源光信號調制器件的調制單元陣列上，經調制單元陣列調制的出射光由聚焦鏡頭聚焦至面陣探測器焦平面； (2)一個數據采集周期內的視頻壓縮采集步驟 無源光信號調制器件與位移裝置連接，驅動器控制位移裝置在小于或等于面陣探測器單次曝光采集幀數對應的總時間間隔內移動預設的距離，位移裝置每完成一次位移，無源光信號調制器件的調制圖案得以改變； 面陣探測器在預設的數據采集周期內完成一次或若干次的曝光，在面陣探測器的曝光間隔內，面陣探測器的焦平面上采集經調制圖案調制的景物的視頻信號；每次曝光采集得到曝光時間內相應的調制圖像的積分壓縮圖像； (3)一個數據采集周期內的視頻重建步驟 基于一個數據采集周期內得到的所有累積壓縮圖像，采用圖像識別算法，得到景物在對應的這個數據采集周期內具有的運動矢量； 采用最優化算法，重建一個對應數據采集周期內景物的原始視頻圖像； (4)數據采集周期內步驟的重復 重復步驟(2 )和(3 )，直至完成所需視頻的壓縮采集與重建。
6.根據權利要求5所述的一種視頻壓縮采集方法，其特征在于:在步驟(2)的視頻壓縮采集步驟中，經偶數個數據采集周期后位移裝置回到位移初始位置。
7.根據權利要5所述的一種視頻壓縮采集方法，其特征在于:在步驟(3)的視頻重建步驟中，采用運動補償算法，消除重建視頻圖像的運動模糊現象。
【文檔編號】H04N19/48GK103986936SQ201410237330
【公開日】2014年8月13日 申請日期:2014年5月30日 優先權日:2014年5月30日
【發明者】陳宇恒, 沈為民 申請人:蘇州大學