一種利用雙快門進行監控的裝置制造方法
【專利摘要】本發明公開了一種利用雙快門進行監控的裝置。該裝置包括：圖像傳感單元、圖像采集及時序控制單元和主控單元；其中，圖像傳感單元，用于啟動視頻快門和圖片快門，獲得視頻幀和圖片幀，傳送至圖像采集及時序控制單元；圖像采集及時序控制單元，用于將來自圖像傳感單元的圖像數據發送至主控單元；主控單元，用于對接收到的圖像數據進行分類，并根據分類結果對不同圖像數據進行獨立的自動白平衡處理。本發明實施例對不同的圖像數據獨立作不同的自動白平衡處理，可以同時兼顧保證夜間監控視頻以及抓拍圖片的效果。
【專利說明】—種利用雙快門進行監控的裝置
【技術領域】
[0001]本發明涉及圖像及視頻監控領域，特別涉及一種利用雙快門進行監控的裝置。
【背景技術】
[0002]隨著國際國內安防監控以及平安城市、智能交通等專項領域需求的景氣度急劇提升，代表平安城市的安防監控系統以及代表智能交通的卡口及電子警察違法抓拍系統，具備了日益融合的整體趨勢，但兩種系統在技術上所關注的領域有所不同:安防監控系統關注畫面整體細節的呈現，要求監控視頻的逼真效果，常常運用在場景大、被監控物體運動速度相對較慢的場合，在低照度場合，利用攝像機的長快門獲取對監控場景的現場記錄；而智能交通卡口及電子警察違法抓拍系統，主要關注的對象是車輛(車輛本身或車牌、車燈等與車輛相關的特征)，監控場景相對較小，被關注對象往往具備一定的運動速度，如果在夜晚往往需要配合曝閃補光系統以及較短的快門速度，獲取有效的違法取證圖片。
[0003]簡單雙快門控制方法能夠實現上述兩種系統的融合。該控制方法的幀時序圖如圖1 所不，VD Clock 信號為 CCD (Charge-coupled Device) /CMOS (ComplementaryMetal-Oxide-Semiconductor)圖像傳感器的每巾貞的同步時鐘信號。在無外部觸發信號時，該控制方法采用的快門是視頻快門，當外部觸發信號到來時，將在外部觸發信號(具體時刻滿足隨機分布，因此只能同步到下一幀)到來時的下一個VD Clock信號下降沿之后的那一幀定位為所要的抓拍幀，同時也將視頻快門轉變為圖片快門，即限定抓拍幀的快門值(如不大于2ms)。
[0004]在簡單雙快門控制方法下，攝像機自動白平衡效果比較難以兼顧:物體在不同的光源照射下，所呈現的顏色是不同的，這是由于光源的不同色溫決定，它使得物體的反射光譜(CCD/CM0S等圖像傳感器主要靠檢測物體的反射光譜來拍攝物體)與物體的真實色彩有一定的偏差。其中，白色物體最為明顯，在室內鎢絲燈這樣的低色溫照射下，白色物體看起來呈現橘黃色色調，這樣光照條件下拍攝條件下就會偏黃，但如果在蔚藍天空或雪天這樣的高色溫照射條件下，白色物體則會看起來有點藍色色調。這就需要對不同色溫場景進行色溫估計及白平衡校正。簡單雙快門控制方法采用兩個快門:在采用視頻快門(曝光時間較長)時，由于圖像中比較亮的部分由于來自于反射路燈或夜晚自然光等低色溫光源；而采用圖片快門(曝光時間較短)時，會伴隨曝閃補光(疝氣燈，色溫值較高)。由于白平衡的調節是一種滯后的、逐步的調節過程，調節的依據就是前一幀或前幾幀的色溫平均統計值，在進行圖片快門與視頻快門的切換時，不同的色溫值用于指導調節下一幀白平衡控制，白平衡調節就會不準確，導致圖片或監控視頻偏色。
【發明內容】
[0005]本發明實施例提供一種利用雙快門進行監控的裝置，用以解決現有技術中存在的夜間時監控視頻效果較暗以及攝像機自動白平衡效果難以兼顧的問題。
[0006]本發明實施例提供的一種利用雙快門進行監控的裝置包括:[0007]圖像傳感單元、圖像采集及時序控制單元和主控單元；其中
[0008]圖像傳感單元，用于啟動視頻快門和圖片快門，獲得視頻幀和圖片幀，傳送至圖像采集及時序控制單元；
[0009]圖像采集及時序控制單元，用于在未接收到主控單元發送的同步觸發信號時，控制圖像傳感單元輪流啟動視頻快門和圖片快門，獲得視頻幀和圖片幀，并將視頻幀的圖像數據和圖片幀的圖像數據發送至主控單元；還用于在接收到主控單元發送的同步觸發信號時，控制圖像傳感單元啟動圖片快門，立即獲得抓拍幀，將抓拍幀的圖像數據發送至主控單元；并針對視頻幀、圖片幀和抓拍幀分別產生對應的標記一并傳送給所述主控單元；
[0010]主控單元，用于接受外部觸發信號后，發送同步觸發信號給所述圖像采集及時序控制單元；以及同步接收所述圖像采集及時序控制單元發送的圖像數據和標記，并根據所述標記對接收到的圖像數據進行分類；對視頻幀的圖像數據獨立進行自動白平衡處理，對圖片幀的圖像數據和抓拍幀的圖像數據獨立進行自動白平衡處理。
[0011]較佳地，所述標記具體包括τ/s標記信號和抓拍標記信號，當所述主控單元當前接收到的τ/s標記信號和抓拍標記信號均為高電平信號時，所述主控單元確定當前同步接收到的圖像數據為抓拍幀的圖像數據；
[0012]當所述主控單元當前接收到的抓拍標記信號為低電平信號且接收到的Τ/S標記信號為高電平信號時，所述主控單元確定當前同步接收到的圖像數據為圖片幀的圖像數據；
[0013]當所述主控單元當前接收到的Τ/S標記信號和抓拍標記信號均為低電平信號時，所述主控單元確定當前同步接收到的圖像數據為視頻幀的圖像數據。
[0014]較佳地，所述標記具體為標記信息；所述圖像采集及時序控制單元，具體用于將標記信息寫入對應圖片幀的圖像數據中、對應視頻幀的圖像數據中和對應抓拍幀的圖像數據中；
[0015]所述主控單元，用于根據圖像數據中的標記信息來對圖像數據進行分類。
[0016]較佳地，所述標記具體為標記信息；所述圖像采集及時序控制單元，具體用于將發送標記信息采用與發送圖片幀的圖像數據、視頻幀的圖像數據和抓拍幀的圖像數據同步的方式發送至主控單元，從而使主控單元同步接收到圖像數據和標記信息。
[0017]較佳地，所述圖像傳感單元，用于將視頻幀和圖片幀按照1: 1、2:1或3:1的時間間隔比例輸出。
[0018]較佳地，所述圖像傳感單元包括CXD圖像傳感器和A/D轉換單元，所述A/D轉換單元用于將來自CCD圖像傳感器的模擬信號轉換為數字信號，所述圖像采集及時序控制單元用于同步控制視頻快門/圖片快門的曝光時間和A/D轉換單元的增益。
[0019]較佳地，所述圖像傳感單元包括CMOS圖像傳感器，所述圖像采集及時序控制單元用于同步控制視頻快門/圖片快門的快門值和CMOS圖像傳感器的增益。
[0020]具體地，所述主控單元包括通訊與控制模塊和圖像預處理模塊，其中:
[0021]通訊與控制模塊，用于接受外部觸發信號后，發送同步觸發信號給所述圖像采集及時序控制單元；用于同步接收所述圖像采集及時序控制單元發送的圖像數據和標記，并根據所述標記對接收到的圖像數據進行分類；
[0022]圖像預處理模塊，用于根據通訊與控制模塊的分類結果，對視頻幀的圖像數據獨立進行自動白平衡處理，對圖片幀的圖像數據和抓拍幀的圖像數據獨立進行自動白平衡處理。
[0023]較佳地，所述圖像預處理模塊還用于在對接收到的圖像數據進行自動白平衡處理之前，對其進行降噪處理；還用于在對接收到的圖像數據進行自動白平衡處理之后，對其進行自動Gamma處理；還用于在對接收到的圖像數據進行自動Gamma處理之后，對其進行邊緣增強處理。
[0024]本發明實施例根據標記信號對不同的圖像數據作不同的處理，可以同時兼顧保證夜間監控視頻以及抓拍圖片的效果；同時由于對圖像數據進行了精確分類，還可以有效兼顧解決車輛、行人及非機動車等綜合目標的智能檢測、跟蹤與識別難題。
【專利附圖】
【附圖說明】
[0025]圖1為現有技術中簡單雙快門控制方法下的幀時序圖；
[0026]圖2為本發明實施例利用雙快門進行監控的裝置的總體結構示意圖；
[0027]圖3為本發明實施例標記信號與時鐘信號的幀時序圖；
[0028]圖4為本發明實施例的幀時序圖；
[0029]圖5為本發明實施例主控單元的結構示意圖。
【具體實施方式】
[0030]為了解決夜間時監控視頻效果較暗以及攝像機自動白平衡效果難以兼顧的問題，本發明實施例提供了一種利用雙快門進行監控的裝置。本發明實施例通過對圖像數據進行精確的分類，并根據分類結果對圖像數據作出對應的處理和分析。從而，使得視頻監控和抓拍圖像的效果得以兼顧，攝像機的白平衡處理效果也得到兼顧。
[0031 ] 下面結合附圖對本發明實施例作進一步說明。
[0032]如圖2所示，本發明實施例提供的一種利用雙快門進行監控的裝置包括:
[0033]圖像傳感單元，用于啟動視頻快門和圖片快門，獲得視頻幀和圖片幀，傳送至圖像采集及時序控制單元；
[0034]圖像采集及時序控制單元，用于在未接收到主控單元發送的同步觸發信號時，控制圖像傳感單元輪流啟動視頻快門和圖片快門，獲得視頻幀和圖片幀，并將視頻幀的圖像數據和圖片幀的圖像數據發送至主控單元；還用于在接收到主控單元發送的同步觸發信號時，控制圖像傳感單元啟動圖片快門，立即獲得抓拍幀，將抓拍幀的圖像數據發送至主控單元；并針對視頻幀、圖片幀和抓拍幀分別產生對應的標記一并傳送給所述主控單元；
[0035]主控單元，用于接受外部觸發信號后，發送同步觸發信號給所述圖像采集及時序控制單元；以及同步接收所述圖像采集及時序控制單元發送的圖像數據和標記，并根據所述標記對接收到的圖像數據進行分類；對視頻幀的圖像數據獨立進行自動白平衡處理，對圖片幀的圖像數據和抓拍幀的圖像數據獨立進行自動白平衡處理。
[0036]視頻快門的快門值要長于圖片快門。視頻快門的曝光時間設定為全自動調節(O到最大快門閾值內調節)，所述圖片快門的曝光時間設定為Olms區間內自動調節。
[0037]圖片幀的圖像數據用于車輛檢測、車牌識別和跟蹤分析，通過對圖片幀和抓拍幀的分析，提高了對車牌和車輛的識別率。通過使用兩種不同的快門分別對視頻和要抓拍的圖像進行曝光，既可以保證夜間的視頻監控有足夠的亮度，也可以保證抓拍圖像的細節清
λ.Μ
/E.ο
[0038]由于每種快門(圖片快門或視頻快門)與特定的色溫場景相對應，且自動白平衡算法對單獨場景單獨進行色溫估計并校準，從而使得顯示的色彩更為準確；
[0039]具體地，如圖3所示，外部觸發信號是同步觸發信號(Trigger)的原始信號源，其特點是無周期性，無規律性，具有統計學上隨機性。同一個VD Clock周期內可能會有多個外部觸發(例如圖3中的外部觸發信號1/2/3).[0040]同步觸發信號的產生過程如下:當主控單元受到外部觸發信號的觸發時，接收來自圖像采集及時序控制單元的觸發同步時鐘信號(觸發同步時鐘信號為周期性信號，其周期與VD Clock周期相同，它的起始時刻比圖片快門的開啟時刻快2ms，預留主控單元足夠的中斷響應時間即可，采用邊沿觸發/檢測機制)，主控單元根據外部觸發信號和來自圖像采集及時序控制單元的觸發同步時鐘信號生成同步觸發信號，即在收到外部觸發信號后的下一個觸發同步時鐘信號下降沿產生同步觸發信號(同步觸發信號的起始時刻比圖片快門的開啟時刻快2ms，也采用邊沿觸發/檢測機制)，然后將同步觸發信號發送至圖像采集及時序控制單元。
[0041]較佳地，所述標記具體包括Τ/S標記信號和抓拍標記信號，Τ/S標記信號和抓拍標記信號均采用電平檢測機制；
[0042]當圖像采集及時序控制單元未收到同步觸發信號時，抓拍標記信號始終為低電平信號；當圖像采集及時序控制單元收到同步觸發信號時，抓拍標記信號變為高電平信號；
[0043]當圖像采集及時序控制單元未收到同步觸發信號且控制開啟圖片快門時，Τ/S標記信號變為高電平信號；當圖像采集及時序控制單元未收到同步觸發信號且控制開啟視頻快門時，Τ/s標記信號變為低電平信號；當圖像采集及時序控制單元收到同步觸發信號時，τ/s標記信號變為高電平信號；
[0044]當Τ/S標記信號或抓拍標記信號為高電平信號時，Τ/S標記信號或抓拍標記信號在VD Clock信號的上升沿終止(開始變為低電平信號)。
[0045]因此，當所述主控單元當前接收到的Τ/S標記信號和抓拍標記信號均為高電平信號時，所述主控單元確定當前同步接收到的圖像數據為抓拍幀的圖像數據；
[0046]當所述主控單元當前接收到的抓拍標記信號為低電平信號且接收到的Τ/S標記信號為高電平信號時，所述主控單元確定當前同步接收到的圖像數據為圖片幀的圖像數據；
[0047]當所述主控單元當前接收到的Τ/S標記信號和抓拍標記信號均為低電平信號時，所述主控單元確定當前同步接收到的圖像數據為視頻幀的圖像數據。
[0048]較佳地，所述標記具體為標記信息；所述圖像采集及時序控制單元，具體用于將標記信息寫入對應圖片幀的圖像數據中、對應視頻幀的圖像數據中和對應抓拍幀的圖像數據中，例如將標記信息寫入對應圖片幀的圖像數據的缺省字段中、對應視頻幀的圖像數據缺省字段中和對應抓拍幀的圖像數據缺省字段中。
[0049]所述主控單元，用于根據圖像數據中的標記信息來對圖像數據進行分類。
[0050]較佳地，所述標記具體為標記信息；所述圖像采集及時序控制單元，具體用于將發送標記信息采用與發送圖片幀的圖像數據、視頻幀的圖像數據和抓拍幀的圖像數據同步的方式發送至主控單元，從而使主控單元同步接收到圖像數據和標記信息(例如采用I2C通訊方式)。
[0051 ] 較佳地，所述圖像傳感單元包括CXD圖像傳感器和A/D轉換單元，所述A/D轉換單元用于將來自CCD圖像傳感器的模擬信號轉換為數字信號，所述圖像采集及時序控制單元用于同步控制視頻快門/圖片快門的曝光時間和A/D轉換單元的增益，提高了圖像或視頻的顯示效果。
[0052]較佳地，所述圖像傳感單元包括CMOS圖像傳感器，所述圖像采集及時序控制單元用于同步控制視頻快門/圖片快門的快門值和CMOS圖像傳感器的增益，提高了圖像或視頻的顯示效果。
[0053]較佳地，在未受到外部觸發信號的觸發時，視頻幀和圖片幀按照1:1時間間隔比例輸出，即圖片幀的持續輸出時間與視頻幀相等；此處時間間隔比例可以根據后續硬件的實際處理能力情況做自行設計調整。當同步觸發信號(同步觸發信號是通過同步觸發機制生成的，同步機制保證每個VD Clock周期內只能有I次同步觸發信號，同步觸發信號相對外部觸發信號而言，最長延遲了 I個VDClock周期)到來時，圖像采集及時序控制單元快速重新開啟圖片快門、設置A/D轉換單元的增益或CCD/CM0S圖像傳感器的增益；圖像采集及時序控制單元獲取來自圖像傳感單元的圖像數據，并將該圖像數據、Τ/S標記信號和抓拍標記信號發送至主控單元，參見圖4中的第二個VD clock時序圖；如遇到連續2個同步觸發信號到來，則當前幀(即與同步觸發信號同步的視頻幀或圖片幀)開始的連續2幀強制轉變為抓拍幀，參見圖4中的第三個VD clock時序圖；同時，為保證后續視頻數據流與圖片數據流總體上的維持1:1，抓拍幀之后的一幀(連續抓拍時，則為最后一個抓拍幀的下一幀)必強制為視頻幀(參見圖4中的第二 /三VD clock時序圖)，后續視頻數據流與圖片數據流總體上維持在1:1，保證視頻流和圖片流流暢；主控單元持續接收的圖片幀的圖像數據呈現相等的間隔，有利于把握車輛的抓拍時機。
[0054]具體地，如圖5所示為主控單元的內部結構示意圖；通訊與控制模塊對接收到的圖像數據用于接受外部觸發信號后，發送同步觸發信號給所述圖像采集及時序控制單元；用于同步接收所述圖像采集及時序控制單元發送的圖像數據和標記，并根據所述標記對接收到的圖像數據進行分類；圖像預處理模塊，用于根據通訊與控制模塊的分類結果，對視頻幀的圖像數據獨立進行自動白平衡處理，對圖片幀的圖像數據和抓拍幀的圖像數據獨立進行自動白平衡處理。從而，同時兼顧了視頻監控和圖像抓拍的需求。
[0055]通信與控制模塊還用于設置A/D轉換單元和CXD圖像傳感器的初始化配置信息；
[0056]較佳地，所述圖像預處理模塊還用于在對接收到的圖像數據進行自動白平衡處理之前，對其進行降噪處理；還用于在對接收到的圖像數據進行自動白平衡處理之后，對其進行自動Gamma處理；還用于在對接收到的圖像數據進行自動Gamma處理之后，對其進行邊緣增強處理。自動Gamma處理、邊緣增強處理、自動降噪處理等過程相對于自動增益控制獨立運行，以便根據特定色溫場景、特定目標物體做更多個性化算法控制，展現更為逼真的監控視頻及抓拍圖片效果。
[0057]綜上所述，本發明實施例不僅可以保證監控視頻本身的效果，同時也可以確保違法取證所用圖片中車輛在運動中也不會模糊，車燈的光暈也能得到較好的抑制；此外，對兩種需求場景下的快門控制以及與快門相關的其他圖像信號處理參數控制(自動白平衡、自動增益控制、自動Ga_a、邊緣增強、自動降噪)也相對獨立，不僅監控視頻以及圖片效果得到必要的保證，同時，也對車輛以及行人和非機動車的檢測、行為分析與識別技術的應用提供了優良的客觀條件，推動智能化技術向更為綜合目標的智能檢測、行為分析與識別技術方向繼續發展。
[0058]顯然，本領域的技術人員可以對本發明進行各種改動和變型而不脫離本發明的精神和范圍。這樣，倘若本發明的這些修改和變型屬于本發明權利要求及其等同技術的范圍之內，則本發明也意圖包含這些改動和變型在內。
【權利要求】
1.一種利用雙快門進行監控的裝置，其特征在于，包括:圖像傳感單元、圖像采集及時序控制單元和主控單元；其中， 圖像傳感單元，用于啟動視頻快門和圖片快門，獲得視頻幀和圖片幀，傳送至圖像采集及時序控制單元； 圖像采集及時序控制單元，用于在未接收到主控單元發送的同步觸發信號時，控制圖像傳感單元輪流啟動視頻快門和圖片快門，獲得視頻幀和圖片幀，并將視頻幀的圖像數據和圖片幀的圖像數據發送至主控單元；還用于在接收到主控單元發送的同步觸發信號時，控制圖像傳感單元啟動圖片快門，立即獲得抓拍幀，將抓拍幀的圖像數據發送至主控單元；并針對視頻幀、圖片幀和抓拍幀分別產生對應的標記一并傳送給所述主控單元； 主控單元，用于接受外部觸發信號后，發送同步觸發信號給所述圖像采集及時序控制單元；以及同步接收所述圖像采集及時序控制單元發送的圖像數據和標記，并根據所述標記對接收到的圖像數據進行分類；對視頻幀的圖像數據獨立進行自動白平衡處理，對圖片幀的圖像數據和抓拍幀的圖像數據獨立進行自動白平衡處理。
2.如權利要求1所述的裝置，其特征在于，所述標記具體包括T/S標記信號和抓拍標記信號，當所述主控單元當前接收到的T/S標記信號和抓拍標記信號均為高電平信號時，所述主控單元確定當前同步接收到的圖像數據為抓拍幀的圖像數據； 當所述主控單元當前接收到的抓拍標記信號為低電平信號且接收到的T/S標記信號為高電平信號時，所述主控單元確定當前同步接收到的圖像數據為圖片幀的圖像數據； 當所述主控單元當前接收到的τ/s標記信號和抓拍標記信號均為低電平信號時，所述主控單元確定當前同步接收到的圖像數據為視頻幀的圖像數據。
3.如權利要求1所述的裝置，其特征在于，所述標記具體為標記信息；所述圖像采集及時序控制單元，具體用于將標記信息寫入對應圖片幀的圖像數據中、對應視頻幀的圖像數據中和對應抓拍幀的圖像數據·中； 所述主控單元，用于根據圖像數據中的標記信息來對圖像數據進行分類。
4.如權利要求1所述的裝置，其特征在于，所述標記具體為標記信息；所述圖像采集及時序控制單元，具體用于將發送標記信息采用與發送圖片幀的圖像數據、視頻幀的圖像數據和抓拍幀的圖像數據同步的方式發送至主控單元，從而使主控單元同步接收到圖像數據和標記信息。
5.如權利要求1-4任一項所述的裝置，其特征在于，所述圖像傳感單元，用于將視頻幀和圖片幀按照1:1、2:1或3:1的時間間隔比例輸出。
6.如權利要求1-4任一項所述的裝置，其特征在于，所述圖像傳感單元包括CXD圖像傳感器和A/D轉換單元，所述A/D轉換單元用于將來自CCD圖像傳感器的模擬信號轉換為數字信號，所述圖像采集及時序控制單元用于同步控制視頻快門/圖片快門的曝光時間和A/D轉換單元的增益。
7.如權利要求1-4任一項所述的裝置，其特征在于，所述圖像傳感單元包括CMOS圖像傳感器，所述圖像采集及時序控制單元用于同步控制視頻快門/圖片快門的快門值和CMOS圖像傳感器的增益。
8.如權利要求1-4任一項所述的裝置，其特征在于，所述主控單元包括通訊與控制模塊和圖像預處理模塊，其中:通訊與控制模塊，用于接受外部觸發信號后，發送同步觸發信號給所述圖像采集及時序控制單元；用于同步接收所述圖像采集及時序控制單元發送的圖像數據和標記，并根據所述標記對接收到的圖像數據進行分類； 圖像預處理模塊，用于根據通訊與控制模塊的分類結果，對視頻幀的圖像數據獨立進行自動白平衡處理，對圖片幀的圖像數據和抓拍幀的圖像數據獨立進行自動白平衡處理。
9.如權利要求8所述的裝置，其特征在于，所述圖像預處理模塊還用于在對接收到的圖像數據進行自動白平衡處理之前，對其進行降噪處理；還用于在對接收到的圖像數據進行自動白平衡處理之后，對其進行自動Gamma處理；還用于在對接收到的圖像數據進行自動Gamma處理之后，對其進 行邊緣增強處理。
【文檔編號】H04N5/232GK103856764SQ201210510110
【公開日】2014年6月11日 申請日期:2012年11月30日 優先權日:2012年11月30日
【發明者】汪雄軍, 高松全, 許煒, 梁文豪, 劉方建, 張興明, 傅利泉, 朱江明, 吳軍, 吳堅 申請人:浙江大華技術股份有限公司