用于在成像設備中提供組合摘要的方法和設備的制造方法
【專利說明】用于在成像設備中提供組合摘要的方法和設備
[0001]本申請要求于2014年10月14日提交到韓國知識產權局的第10-2014 — 0138611號韓國專利申請的優先權，該申請的公開通過引用全部合并于此。
技術領域
[0002]與示例性實施例一致的設備和方法涉及視頻監控，更具體地講，涉及在視頻監控系統中基于音頻數據產生并提供視頻摘要或視頻梗概。
【背景技術】
[0003]在視頻監控系統中，使用基于視頻數據的視頻摘要/視頻梗概功能對輸入視頻的視頻數據進行概括。
[0004]如果在視頻監控系統中僅對視頻數據進行概括，那么在監控相機的盲點發生的事件或者沒有視頻事件而發生的重要的音頻事件可能被漏掉。
[0005]如果在視頻監控系統中僅對音頻數據進行概括，與視頻數據不同，當音頻數據沒有按照時間順序被聽到的時候，音頻數據的內容難以理解。當同時再現多種音頻數據時，音頻數據的內容不太可能被識別。
【發明內容】
[0006]示例性實施例提供一種視頻再現設備和一種在視頻再現設備提供組合摘要(combined summary)的方法。
[0007]各個方面將在下面的描述中部分闡述，部分從該描述將是清楚的，或者可以通過本實施例的實踐獲知。
[0008]根據示例性實施例，提供一種在視頻再現設備中提供組合摘要的方法。所述方法可包括:接收至少一個網絡相機捕獲的音頻和視頻；通過從音頻和視頻中的至少一個檢測至少一個視頻事件來產生視頻摘要；通過從音頻和視頻中的至少一個檢測至少一個音頻事件來產生音頻摘要；提取與所述至少一個音頻事件相應的視頻摘要的至少一個段，并將提取的視頻摘要的至少一個段與音頻摘要進行存儲；向視頻再現設備的顯示器提供用于控制視頻摘要的視頻摘要控制接口和用于控制音頻摘要的音頻摘要控制接口。
[0009]上面的方法還可包括:使用視頻摘要控制接口，選擇視頻摘要的檢測到特定視頻事件的段；使用音頻摘要控制接口，選擇音頻摘要的檢測到特定音頻事件的段；如果選擇的視頻摘要的段和選擇的音頻摘要的段互相重疊，則在視頻再現設備的顯示器中，標識重疊的段以與視頻摘要和音頻摘要的其他段進行區分。
[0010]可選地，上述方法還可包括:使用音頻摘要控制接口，選擇音頻摘要的檢測到特定音頻事件的段；使用視頻摘要控制接口，選擇視頻摘要的檢測到特定視頻事件的段；如果選擇的視頻摘要的段和選擇的音頻摘要的段互相重疊，則在視頻再現設備的顯示器中，標識重疊的段以與其他段進行區分。
[0011]可通過如果從所述音頻和視頻中的至少一個檢測到可識別的特征則確定所述至少一個音頻事件已經發生，來從所述音頻和視頻中的至少一個檢測所述至少一個音頻事件。所述可識別的特征可包括以下項中的至少一個:特定詞、特定特征、特定聲音。
[0012]上面的方法還包括:將可識別的特征轉換為文字；將音頻摘要中的文字與關于檢測到可識別的特征時的時間信息進行顯示。
[0013]根據另一個示例性實施例，提供從終端接收音頻和視頻并提供組合摘要的方法。所述方法可包括:從音頻和視頻提取包括可識別的特征的音頻幀；提取與音頻幀相應的視頻幀或視頻幀的視頻摘要；將音頻幀鏈接到視頻幀或者視頻幀的視頻摘要；插入表示音頻幀所屬的視頻的時間的時間標簽。
[0014]根據另一個示例性實施例，提供一種用于提供組合摘要的視頻再現設備，所述視頻再現設備可包括:接收器，被配置為接收至少一個網絡相機捕獲的音頻和視頻；視頻摘要產生器，被配置為通過從音頻和視頻中的至少一個檢測至少一個視頻事件來產生視頻摘要；音頻摘要產生器，被配置為通過從音頻和視頻中的至少一個檢測至少一個事件來產生音頻摘要；音頻摘要存儲器，被配置為提取與所述至少一個音頻事件相應的視頻摘要的至少一個段，并將提取的視頻摘要的至少一個段與音頻摘要進行存儲；視頻摘要控制接口，被提供用于控制視頻再現設備的顯示器上的視頻摘要；音頻摘要控制接口，被提供用于控制視頻再現設備的顯示器上的音頻摘要。
【附圖說明】
[0015]通過下面結合附圖對實施例進行的描述，這些和/或其他方面將變得清楚和更容易理解，其中:
[0016]圖1是根據示例性實施例的能夠提供組合摘要的視頻再現設備的框圖；
[0017]圖2示出根據示例性實施例的能夠提供組合摘要的視頻再現設備的組件的一些功能；
[0018]圖3示出根據示例性實施例的組合摘要搜索屏幕；
[0019]圖4是根據另一示例性實施例的視頻再現設備的框圖；
[0020]圖5是根據示例性實施例的通過使用音頻幀提取單元處理音頻信號的處理的流程圖；
[0021]圖6是根據示例性實施例的用于將音頻信號轉換為文字的文字轉換器的框圖；
[0022]圖7示出根據示例性實施例的組合摘要再現屏幕。
【具體實施方式】
[0023]現在，將對參照附圖在此描述的示例性實施例進行詳細地參考。在這點上，實施例可具有不同的形式，并且不應被解釋為局限于在此闡述的描述。因此，以下僅通過參照附圖描述實施例，以解釋本發明構思的各個方面。如在此所使用的，術語“和/或”包括一個或多個相關所列項的任意和所有組合。當諸如“中的至少一個”的表述在一列元素之后時，所述表述修飾整列元素，而不是修飾列的單個元素。
[0024]圖1是根據示例性實施例的能夠提供組合摘要的視頻再現設備的框圖。圖3示出根據示例性實施例的組合摘要搜索屏幕，所述組合摘要搜索屏幕包括視頻再現設備中被支持的視頻摘要控制接口和音頻摘要控制接口。圖7示出根據示例性實施例的組合摘要再現屏幕，以解釋再現組合摘要的方法。下面將參照圖1、圖3和圖7對多個示例性實施例進行描述。
[0025]根據示例性實施例，組合摘要可被理解為根據用戶的選擇，選擇性地再現視頻摘要或音頻摘要，或者同時再現視頻摘要和音頻摘要。
[0026]可以通過從音頻中選擇包括特定聲音(sound)和特定詞語的音頻摘要，設置通過對包括特定事件的視頻摘要進行組合而被壓縮的視頻的時間范圍，并提取音頻和視頻幀來再現組合摘要。
[0027]根據一個示例性實施例，即使單獨地對音頻摘要進行再現，與所述音頻摘要相應的段的視頻幀或者視頻摘要也與音頻摘要一起被再現。
[0028]根據參照圖1的示例性實施例，視頻再現設備100包括視頻接收器110、視頻摘要產生器120、視頻摘要存儲器130、包括視頻摘要控制接口 142的視頻摘要再現器140、音頻摘要產生器121、音頻摘要存儲器131以及包括文字顯示器143和音頻摘要控制接口 145的音頻摘要再現器141。
[0029]視頻接收器110從至少一個相機CHl至CHN(例如，網絡相機)接收音頻/視頻。視頻摘要產生器120通過對由視頻接收器110接收到的音頻/視頻的視頻數據進行處理來產生視頻摘要，并且將視頻摘要存儲在視頻摘要存儲器130中。
[0030]視頻摘要產生器120通過從音頻/視頻(即，原始音頻/視頻)中檢測事件來產生視頻摘要。在此情況下，事件可被定義為包括可識別的特征的場景。例如，事件可包含對象(例如，建筑物、汽車、人、動物等)和場景(例如，火災、爆炸、事故等)這二者。
[0031]視頻摘要存儲器130將以下二者之一與視頻摘要一起進行存儲:當視頻摘要產生器120產生視頻摘要時檢測到的運動、分析檢測到的事件的視頻的結果。
[0032]音頻摘要產生器121通過對由視頻接收器110接收到的音頻/視頻的音頻數據進行處理來產生音頻摘要，并且將音頻摘要存儲在音頻摘要存儲器131中。音頻摘要存儲器131提取與檢測到事件的音頻數據的每個段相應的視頻幀或者視頻摘要，或者提取視頻摘要，并且將視頻摘要與音頻摘要一起進行存