一種存儲控制系統的制作方法
【專利摘要】本發明提供了一種存儲控制系統，對于包含視頻監控系統以及音頻監控系統的安全監控系統，其視頻監控在正常情況下處于關閉狀態，音頻監控始終進行以保證監控持續性，音頻監控系統當探測到異常聲音變化時，記錄下異常事件發生的時間并寫入音頻監控碼流，同時分析聲音的方位，從而調整視頻監控攝像頭以取得最佳監控角度，打開視頻監控，記錄下異常事件發和的時間以便和音頻監控碼流同步，進行視頻編碼存儲。
【專利說明】
一種存儲控制系統
技術領域
[0001]本發明涉及安全監控領域，具體是一種存儲系統。
【背景技術】
[0002]隨著社會發展，科技的進步，監控早已成為社會不可或缺的一部分。監控在社會安全，交通管理，智能城市等各方各面扮演著越來越重要的角色。
[0003]時至今日，視頻監控仍是監控領域的絕對主角，比如公路上隨處可見的交通探頭，小區的閉路監控系統等等。
[0004]在視頻監控系統中，對于攝像頭攝錄的視頻，需要進行存儲以備后期檢索查詢，由于視頻原始碼流數據量巨大，這就需要對原始碼流進行視頻編碼處理。
[0005]普通的視頻編碼標準針對消費娛樂目的的高清晰度視頻編解碼，在這種情況下，由于原始視頻圖像巨大的數據量(一幀圖像原始數據往往需幾兆甚至幾十兆)，為了達到實時編碼，往往需要專用的編碼芯片進行處理，既便如此，編碼后產生的壓縮碼流仍將占據相當大的存儲空間。專用視頻編碼芯片功能復雜、開發周期長、后期無法進行功能擴展、運行功耗高，并且需要巨大的存儲空間以及高吞吐的數據總線。而監控系統實時性很高，并且需要長時間不停頓監控記錄。所以普通的視頻高清編碼并不適合于監控系統。所以在實際的監控系統中，其編碼標準也與普通的視頻編碼標準有不同，攝像質量往往較低。然而低像素的監控質量有時候會對后期的檢索查詢產生一定的不良影響，比如很多時候公路監控探頭監控視頻中根本看不清車牌號碼。
[0006]同時，視頻監控也有其固有的缺點，如在黑夜或者霧靄天氣中效果會大大折扣，其監控范圍存在很大的盲區。
[0007]越來越多的現象表明，單純的視頻監控已經越來越無法滿足持續增長的監控需求了。
【發明內容】
[0008]為了克服上述技術問題，本發明提供了一種存儲控制系統，其特征在于:
[0009]對于包含視頻監控系統以及音頻監控系統的安全監控系統，其視頻監控在正常情況下處于關閉狀態，音頻監控始終進行以保證監控持續性，音頻監控系統當探測到這種聲音變化時，記錄下異常事件發生的時間并寫入音頻監控碼流，同時分析聲音的方位，從而調整視頻監控攝像頭以取得最佳監控角度，打開視頻監控，記錄下異常事件發和的時間以便和音頻監控碼流同步，進行視頻編碼存儲。
【附圖說明】
[0010]圖1示出了基于音頻檢測的音視頻協同監控方法流程圖；
[0011 ]圖2示出了音頻控制下的視頻監控方法流程圖；
[0012]圖3示出了基于音視檢測的音視頻協同監控裝置；
【具體實施方式】
[0013]音頻監控的發展由于各種各樣的原因一直落后于視頻監控，但是音頻監控卻有著許多視頻監控所無法比擬的優點，所以音頻監控也越來越受到重視。
[0014]相比起視頻圖像，音頻監控需要處理的數據量要小很多，所以音頻編碼處理速度較快，甚至可以直接使用ARM等嵌入式CPU進行編碼處理，開發周期相對較短。由于是軟件，后期功能擴展性強。并且，音頻監控不存在盲區，即使黑夜或者嚴重霧靄天氣照樣正常工作。
[0015]可見音頻監控完全彌補了視頻監控的缺點。正是由于音頻監控的這些特點，使得音頻監控在監控領域顯得越來越重要。
[0016]音頻在很多情況下能夠獨擋一面，但是更多的情況下，單獨音頻監控或者視頻監控都無法很好的發揮監控效果，這時候就需要音頻和視頻監控協同進行。
[0017]對于監控而言，每種監控都有其固定的監控目標事件，比如說某段易肇事交通路段的監控目標事件是交通事故。但是對于任何監控，我們無法預先知道所有可能的異常事件類型并且根據異常事件類型來設定監控目標事件，也即我們無法保證在監控范圍內發生的所有異常事件都是監控目標事件，比方說雖然交通事故是監控目標事件，但是還有會監控到許多其它異常事件，比方說車輛經過、行人跑過、以及某些犯罪活動。而這些異常事件雖然不是監控目標事件，但是在諸如警方破案時又都會起很大的作用，也就是說，在這些場合，除了監控目標事件外，其它很多異常事件都需要進行記錄，到了夜深人靜，公路上沒車沒人，這時候顯然不需要進行監控記錄。
[0018]正是由于監控的這種特點，本專利提出了一種由音頻監控控制的音視頻協同監控方法，使用音頻監控探測周邊環境的變化，如果周邊情況風平浪靜，只采用簡單的音頻監控，關閉視頻監控，以節省運行功耗和數據存儲空間；當音頻監控探測到周邊聲音的顯著變化，計算出異常聲音來源的大致方向，調整視頻監控探頭取得最佳的視頻監控方向，打開視頻監控器并記錄當前時間的視頻監控信息，同時還會根據異常事件發生前的圖像及異常事件發生中的圖像、異常事件發生后的圖像變化找到異常事件，根據監控事件的特點分析異常事件的類型是否為監控目標事件，如果是，則執行設定的操作，如報警，否則，記錄一個異常信號。
[0019]音頻控制下的音視頻監控過程如附圖1所示。
[0020]其中音頻監控始終進行以保證監控持續性(在某些應用場合，也可只在檢測到異常聲音時才進行音頻監控編碼記錄)，雙聲道(在某些應用場合，也可以增加更多的聲道提高監控性能，但會提高監控成本)音頻采樣PCM值后一路送至音頻編碼器進行編碼，另一路進行聲音變化探測。視頻監控在正常情況下處于關閉狀態，如果發生異常事件，必定伴隨著聲音的顯著變化，當探測到這種聲音變化時，記錄下異常事件發生的時間并寫入音頻監控碼流。同時分析聲音的方位，從而調整視頻監控攝像頭以取得最佳監控角度，打開視頻監控，記錄下異常事件發和的時間以便和音頻監控碼流同步，進行視頻編碼存儲；同時，對比前后圖像的不同來確定異常事件所對應的圖像塊并試圖進行分析，如果能夠成功分析出異常事件類型為監控目標事件，則根據設定的處理方式處理，如報警;如果未能檢測到為監控目標事件，則記錄異常事件以備監控人員后期檢索查詢。
[0021]對于音頻控制下的視頻監控部分更詳細的描述流程圖如附圖2所示:
[0022]上圖流程圖中，音頻監控為立體聲雙聲道，實際應用中，可以根據實際情況增加選擇更多聲道。
[0023]首先定義幾個名詞:
[0024]1.音頻幀:音頻編碼的處理單元，包含若干聲道若干PCM值(例如AAC音頻標準雙聲道編碼，其每個音頻幀包含兩個聲道，每個聲道各1024個PCM值。聲道數根據不同情況可以不同，但是對于同一種音頻標準，每幀中每聲道的PCM值個數為固定值，AAC標準固定為1024點)。在這里，音頻幀可進一步分為正常聲音幀及異常聲音幀。
[0025]2.正常聲音幀:指未檢測到異常聲音的音頻幀。這種音頻幀表示沒有異常事件發生時的背景聲音。
[0026]3.異常聲音幀:指檢測到音頻變化的音頻幀，意味著出現了異常事件(異常事件分為監控目標事件和非監控目標事件，每種監控應用都有監控目的，比如說，無人值守機房防盜監控系統，機房正常運行無人進入為正常事件，有人非法侵入為監控目標事件，輕微地震引起物品摔落為非監控目標事件)，這種情況下需要開啟視頻監控并進行異常事件分析。
[0027]4.E_curr_l:當前幀左聲道PCM能量值。
[0028]5.E_curr_r:當前幀右聲道PCM能量值。
[0029]6.E_curr:當前幀PCM能量值，即左右聲道PCM能量平均值，E_curr= (E_curr_l+E_curr_r)/20
[0030]7.E_back:背景聲音能量平均值，即正常聲音幀的能量平均值。可以采用前M個正常聲音幀的平均值用于計算背景聲音能量平均值E_back，M值可根據實際情況監控目標事件的快慢設定以達到最佳效果，比如說100。
[0031 ] 8.Threshold:異常聲音幀門限值，如果當前幀E_curr對比E_back超過門限值，則意味著檢測到了明顯聲音變化，也即意味著異常事件的發生。由于不同使用場合背景聲音能量平均值不同、監控目標事件不同，其值會有所變化，需要根據實際情況而定。
[0032]9.T:異常事件發生時刻。音頻監控和視頻監控共用一個時鐘，一旦檢測到異常事件發生，需要記錄下發生時刻信息，并同時記錄到音頻監控碼流和視頻監控碼流以保證音視頻同步，以便在未來查詢時能迅速知道異常時刻發生時刻。
[0033]10.L_max: —般來說，異常事件一旦發生，往往需要持續一段時間，所以一旦檢測到異常事件，打開視頻監控后，可以直接連續監控L_max幀，L_max幀之后，停止視頻監控，并且重新進行異常事件檢測。L_max的長度選擇需要根據監控應用場合及監控目標事件的長度而選擇，比如說監控公路車禍的監控系統，車禍的發生往往是一瞬間，可以設定一點較短的L_max值。
[0034]11.L:視頻編碼計數器，保證一旦檢測到異常事件，需要持續視頻監控記錄L_max幀。
[0035]如附圖2所示的整個視頻監控過程如以下步驟表示:
[0036]1.E_curr初始化為O或已知當前背景聲音能量平均值。
[0037]2.雙聲道音頻PCM采樣輸入，
[0038]3.計算左聲道音頻幀能量值E_curr_l，計算右聲道音頻幀能量值E_curr_r。
[0039 ] 4.計算當前幀雙聲道音頻能量值E_curr = (E_curr_l+E_curr_r) /2。
[0040]5.判斷E_curr/E_back是否超過門限值Thresho Id，如果超過門限值，則檢測到異常事件，進入下一步進行異常事件處理，否則更新E_Curr，回到步驟2重新檢測。
[0041]6.記錄下異常事件的發生時間T，并將視頻幀監控計數器L清零，準備進行異常事件檢測和視頻監控。
[0042]7.能過雙聲道能量差和時間差，相位差等信息分析異常聲音方位。
[0043]8.調整攝像頭以取得最佳的監控角度，并開啟視頻監控探頭開始進行視頻監控圖像攝取和編碼。
[0044]9.如果當前視頻監控記錄幀數達到L_max幀，則退出視頻監控，進入監控后處理步驟13 ο
[0045]10.攝像頭攝取視頻圖像進行編碼。
[0046]11.通過對比異常事件前、中、后的視頻圖像幀的差別來找到異常事件物體相關的圖像塊。
[0047]12.根據預設的監控目標事件特征，對異常事件物體相關圖像塊進行分析以確定是否為監控目標事件，同時，更新計數器L，回到步驟9。
[0048]13.如果在異常事件分析過程中，成功檢測到該異常事件為監控目標事件，則按預設的方式進行處理，比如報警;否則僅僅記錄為一個異常事件發生。
[0049]14.將異常事件發生時間T和視頻編碼碼流存儲到存儲器，重新回到步驟2，進行全新的一次音頻監控。
[0050]如附圖3所示，監控系統包括音視頻監控同步模塊，音頻監控模塊和視頻監控模塊。
[0051]考慮到音頻和視頻監控的同步以及異常事件發生時刻的確定，兩者需要共用一個時鐘信號源，即圖中的音視頻監控同步模塊。音頻視監控同步模塊會送出相同的時鐘信息進入音頻監控模塊和視頻監控模塊。
[0052]左右聲道PCM值一路送至音頻監控模塊進行連續性的音頻監控(在某些不需要音頻連續性監控的情況下，也可以只在探測到異常事件時才進行音頻監控編碼記錄)，并將音頻監控編碼碼流連同時間信息一同記錄到存儲模塊A;另一路則送入視頻監控模塊進行異常聲音檢測。
[0053]在視頻監控模塊中，視頻監控控制模塊控制整個視頻監控過程。在視頻監控模塊中，首先在能量計算模塊中對輸入的音頻幀直接計算當前幀的能量值E_CUrr，并且在未檢測到異常聲音的情況下，更新背景聲音能量值E_baCk，在接下來的異常聲音檢測模塊中進SE_CUrr&E_baCk數值的對比處理。一旦檢測到異常聲音，則代表異常事件發生，則在異常事件方向檢測模塊中，根據E_curr_l，E_curr_r，并結合左右聲道時間差，相位差等額外信息，判斷異常事件發生的方向，并通知視頻監控控制模塊，調整視頻監控探頭的方向，開始進行異常事件分析和視頻編碼記錄。在視頻異常事件分析模塊中，會根據異常事件前、中、后視頻圖像幀的差別來找到異常事件所對應的圖像塊，結合監控目標事件特征庫中設定的記錄監控目標特點，對異常事件所對應的圖像塊進行分析處理對比以確認是否為監控目標事件，如果是監控目標事件，則根據設定的處理方式進行報警或者其它相應處理;如果未能檢測到是監控目標事件，則僅僅報告異常事件發生。不管是否監控目標事件，在異常事件發生后，視頻編碼模塊都會對L_max幀視頻圖像進行編碼并存儲入存儲模塊B。其中存儲模塊A和存儲模塊B可以是同一模塊，以可以為不同模塊。
【主權項】
1.一種存儲控制系統，其特征在于: 對于包含視頻監控系統以及音頻監控系統的安全監控系統，其視頻監控在正常情況下處于關閉狀態，音頻監控始終進行以保證監控持續性，音頻監控系統當探測到異常聲音變化時，記錄下異常事件發生的時間并寫入音頻監控碼流，同時分析聲音的方位，從而調整視頻監控攝像頭以取得最佳監控角度，打開視頻監控，記錄下異常事件發和的時間以便和音頻監控碼流同步，進行視頻編碼存儲。
【文檔編號】H04N7/18GK106027981SQ201610459252
【公開日】2016年10月12日
【申請日】2016年6月22日
【發明人】易飛, 繆達瑞, 錢志
【申請人】成都嘉澤興業科技有限責任公司