儲。
[0033]根據示例性實施例,音頻摘要產生器121可執行基于時間的音頻/視頻壓縮、基于特定詞語的音頻/視頻壓縮、基于聲音的音頻/視頻壓縮或者作為這些壓縮的組合的混合音頻/視頻壓縮。
[0034]在基于時間的音頻/視頻壓縮中,在包括音頻數據的特定時間段的范圍內執行采樣,并且提取所述特定時間段中的視頻幀。
[0035]在此情況下,對包括特定詞語、特定句子或者特定聲音的特定時間段進行采樣。即使在不存在音頻數據的時間段中的視頻數據中檢測到了事件,包括事件的視頻幀也被采樣。當大部分時間段中沒有發生事件時,選擇與任意時間段相應的視頻幀以產生壓縮的音頻和視頻。
[0036]在基于特定詞語的音頻/視頻壓縮中,在包括特定詞語或句子的特定時間段內提取視頻幀。在此情況下,可基于轉換為文字的數據確定是否包括特定詞語。當語音(voice)數據只包括一個特定的詞語時,語音數據的上下文不能夠被理解。因此,不僅在包括所述詞語的時間范圍內提取視頻,而且在所述時間范圍之前的時間段和之后的時間段提取視頻。
[0037]在基于聲音的音頻/視頻壓縮中,根據通過從音頻數據提取的特定聲音的模式獲取的數據來獲取時間范圍,并且以執行基于特定詞語的音頻/視頻壓縮的方式在此時間范圍內提取視頻幀。
[0038]在圖3中,視頻再現設備100 (圖1)的視頻摘要控制接口 142和音頻摘要控制接口 145被示出為組合摘要搜索屏幕300。
[0039]參照圖3,組合摘要搜索屏幕300包括原始數據搜索通道輸入單元305、原始數據搜索范圍顯示單元310、語音識別搜索詞輸入單元315、原始數據開始時間輸入單元320、原始數據結束時間輸入單元325、聲音識別搜索條件選擇單元330、視頻搜索條件設置單元335、視頻事件搜索類型選擇單元340、視頻事件區域設置單元345、視頻摘要搜索開始按鈕350、視頻摘要搜索結束按鈕355以及初始的原始數據輸出屏幕360。
[0040]原始數據搜索通道輸入單元305是這樣的區域:通過該區域,用戶(例如,監控系統管理者)輸入將產生視頻摘要的原始數據的通道。這里,所述原始數據可為在視頻再現設備的視頻接收器110接收到的原始音頻/視頻數據。原始數據搜索范圍顯示單元310是這樣的區域:通過該區域,用戶顯示將產生視頻摘要的原始數據的范圍。當使用原始數據搜索通道輸入單元305確定獲取原始數據的相機的通道時,在原始數據搜索范圍顯示單元310上,以時間為單位呈現原始數據的量。
[0041]顯示在原始數據搜索范圍顯示單元310上的原始數據的量幫助用戶將合適的時間輸入到原始數據開始時間輸入單元320和原始數據結束時間輸入單元325中。
[0042]語音識別搜索詞輸入單元315是這樣的區域:通過該區域,用戶可輸入將從原始數據的音頻數據被搜索的詞語或句子。
[0043]原始數據開始時間輸入單元320和原始數據結束時間輸入單元325是這樣的區域:通過該區域,用戶可輸入時間信息,例如,提取原始數據的視頻摘要所需的原始數據的開始時間點和結束時間點。
[0044]聲音識別搜索條件選擇單元330是這樣的區域:通過該區域,用戶可選擇將從原始數據的音頻數據被搜索的聲音的類型。用戶可選擇的聲音的示例可為槍聲、玻璃窗破碎的聲音、尖叫聲等。用戶可任意的添加或刪除聲音的類型。
[0045]視頻搜索條件設置單元335是這樣的區域:通過該區域,視頻搜索條件可被設置為以時間為單位或以特定事件為單位來對視頻幀進行采樣。
[0046]視頻事件搜索類型選擇單元340是這樣的屏幕:當通過使用視頻搜索條件設置單元335將視頻搜索條件設置為以特定事件為單位對視頻幀進行采樣時,該屏幕被激活。通過視頻事件搜索類型選擇單元340,用戶可選擇將從原始數據被提取的視頻事件的類型。
[0047]視頻事件區域設置單元345是這樣的屏幕:當通過使用視頻搜索條件設置單元335將視頻搜索條件設置為以特定事件為單位對視頻幀進行采樣時,該屏幕被激活。通過視頻事件區域設置單元345,用戶可設置將從原始數據被提取的視頻事件的區域。用戶可使用視頻事件區域設置單元345搜索捕獲到事件的源視頻的部分片段,從而,可更有效地提取包含視頻事件的視頻幀。
[0048]根據一個示例性實施例,音頻摘要控制接口 145(圖1)可包括語音識別搜索詞輸入單元315,聲音識別搜索條件選擇單元330以及其他用于控制、存儲和再現音頻摘要的各種接口。
[0049]根據一個示例性實施例,視頻摘要控制接口 142可包括視頻搜索條件設置單元335、視頻事件搜索類型選擇單元340、視頻事件區域設置單元345以及其他用于控制、存儲和再現視頻摘要的各種接口。
[0050]圖7示出根據示例性實施例的組合摘要再現屏幕。
[0051]參照圖7,當用戶同時再現視頻摘要和音頻摘要時,視頻摘要或者音頻摘要根據預設條件(例如,時間順序或者事件發生的順序)進行再現。這樣的標準可使用組合摘要再現控制接口 716進行設置。組合摘要再現控制接口 716是包括圖1所示的音頻摘要控制接口 145和視頻摘要控制接口 142 二者的概念。
[0052]在組合摘要再現屏幕700中,標識標志被分配給視頻摘要和音頻摘要互相重疊的時間段,從而用戶可識別出:視頻事件和音頻事件在所述時間段中重疊。
[0053]根據另一示例性實施例,使用音頻摘要控制接口(例如,組合摘要再現控制接口716)僅選擇音頻摘要的發生特定事件的段,并且使用視頻摘要控制接口(例如,組合摘要再現控制接口 716)可另外選擇性地僅選擇視頻摘要的發生特定事件的段。在此情況下,當音頻摘要的發生特定事件的段和視頻摘要的發生特定事件的段互相重疊時,音頻摘要和視頻摘要也可以按重疊段被標識出的方式(見標號710、712和714)被再現。
[0054]圖2示出根據示例性實施例的能夠提供組合摘要的視頻再現設備的組件的一些功能。
[0055]視頻摘要產生器210通過對從輸入視頻接收器200接收到的視頻數據進行處理來產生視頻摘要,并將產生的視頻摘要存儲在視頻摘要存儲器230中。視頻摘要產生器210從視頻數據檢測具有可識別特征的事件(見S211、S213和S215),并且將與檢測到事件的視頻數據的段相關的信息存儲到視頻摘要存儲器230中。參照圖2,在10:07時檢測到攜帶炸彈的男人,發生在10:10的炸彈爆炸和發生在10:20的汽車炸彈爆炸被作為視頻事件的示例示出。
[0056]音頻摘要產生器220通過對從輸入視頻接收器200接收到的音頻數據進行處理來產生音頻摘要,并將產生的音頻摘要存儲在音頻摘要存儲器240中。音頻摘要產生器220從音頻數據檢測具有可識別特征的事件(見S228、S224和S215),并且將檢測到的事件的段存儲到音頻摘要存儲器240中。
[0057]音頻摘要產生器220從音頻數據的包含顯著數據的段S222、S224和S226檢測具有可識別特征(見S228、S224和S215)的事件。此外,將段S222、S224和S226所對應的視頻幀段S238、S234和S215與段S222、S224和S226 —起進行存儲。
[0058]參照圖2,在10:05檢測到的語音數據“舉起手來”,在10:10檢測到的爆炸的聲音和在10:20檢測到的爆炸的聲音被作為音頻事件的示例被檢測到。根據一個示例性實施例,音頻事件和與檢測到的音頻事件時的時間點相應的視頻幀或者視頻摘要被一起存儲。
[0059]雖然在圖2中未示出,但是在10:05檢測到的語音數據“舉起手來”與10:05所對應的視頻幀被一起存儲。在音頻摘要存儲器240中,數據以音頻/視頻交錯的文件格式被存儲,在所述文件格式中音頻幀和視頻幀被混合在一起。在此情況下,表示與視頻幀和音頻幀中的每個相應的原始視頻的時間的時間標簽可