一種視頻摘要中事件與背景的融合方法
【技術領域】
[0001] 本發明屬于計算機智能監控視頻處理技術領域，更具體地，設及一種視頻摘要中 事件與背景的融合方法。
【背景技術】
[0002] 視頻監控系統已經廣泛應用于加強公共安全建設、防范違法犯罪活動W及安全事 故預警等方面。雖然視頻監控領域的技術在不斷發展，但是回查視頻監控錄像仍是一項非 常耗費人力、物力資源的工作，而且非常不被重視，往往是在事發之后，需要臨時組織一個 龐大的團隊來對視頻監控錄像進行查看和分析。
[0003] 因此，迫切需要一種方法能夠方便對視頻監控錄像進行查詢。建立一個視頻摘要 系統是一個很好的方法。通俗的講，視頻摘要是原始視頻的濃縮視頻。它旨在有效地使用 視頻監控錄像，對海量視頻監控錄像進行處理和分析，提高監控錄像的倒查效率，實現對視 頻數據進行結構化的存儲和查詢，可W將較長的視頻濃縮成短短幾分鐘的視頻。點擊任何 事件即可查看該事件在原始視頻中從出現到結束期間的情況。
[0004] 目前生成視頻摘要系統的方法主要有基于關鍵帖和基于對象的方法，其中基于關 鍵帖的方法是指通過提取一系列的關鍵帖組成相應的語義單元，概括整個視頻的內容，W 供快速檢索，該方法重點考慮視頻的關鍵帖；基于對象的方法是由能夠表達原始視頻內容 的事件加W編輯而成，在保持了視頻內容能夠隨時間動態變化的基礎上很大程度減少了時 間一空間冗余，因此其表現的內容要比基于關鍵帖的視頻摘要豐富的多，也是實際應用中 較流行的方法。
[0005] 但是，該方法的一個難點問題是事件與背景怎樣能更好的融合，生成高質量的新 視頻。具體問題是；（1)如何將提取出的目標"無縫"、"自然"的融合到相應的背景中；（2) 如何盡可能的減少目標間的遮擋。目前融合事件與背景的方法有基于al地amatte的方 法和泊松圖像編輯的方法，al地amatte的方法功能強大，但實現復雜；泊松圖像編輯的方 法在融合對象和場景的顏色沒有突變時能消除拼縫，取得較好的結果，但因使用的是L2范 數，不能很好的估計圖像顏色的連續性，對于存在較大顏色突變的場景無法取得較好的結 果，因而如何降低目標與背景的顏色差異保證泊松圖像編輯的方法取得較好的效果是一個 問題。同時，在減少目標間的遮擋方面，除了在事件重組過程中通過事件的疏密程度來控制 當前摘要帖上的事件數目外，并沒有很好的通過融合來減少目標間遮擋的方法。
【發明內容】
[0006] 本發明的目的在于提出一種視頻摘要中事件與背景的融合方法。該方法能夠無 縫、自然的將事件融合到對應的背景中，有效的避免事件與事件之間的遮擋，形成高質量的 新視頻圖像場景。
[0007] 為了實現上述目的，本發明提供了一種視頻摘要中事件與背景的融合方法，包 括：
[000引 （1)通過運動目標的檢測和跟蹤，得到原始視頻序列中所有的事件和最后形成摘 要視頻所需的背景帖序列；記錄每一個事件的所有發生時刻所對應的圖像塊的寬高及圖像 塊內所有像素位置的二值前景值、每一個事件發生的起始帖號和結束帖號、W及每一個事 件摘要視頻中出現時的起始帖號；
[0009] (2)根據每一個事件發生的起始帖號和結束帖號，W及每一個事件在摘要視頻中 發生時的起始帖號，從原始視頻序列的所有事件中，找出當前摘要帖上需要出現的所有事 件及其對應時刻的圖像塊；
[0010] (3)對步驟（2)所述摘要帖上所有事件的相應時刻的圖像塊進行預處理，包括對 各事件所對應圖像塊按照面積從大到小排序，所述各圖像塊的面積根據步驟（1)中得到的 各圖像塊的寬高得到，然后根據步驟（1)中得到的各圖像塊內所有像素位置的二值前景值 調整對應圖像塊的局部亮度；
[0011] (4)利用步驟（2)所述摘要帖上的所有事件對步驟（1)中得到的背景帖進行投票， 得票最高的背景帖即為當前摘要帖所需的背景帖，所述利用事件對背景帖進行投票是根據 相應時刻的圖像塊在原始視頻中所在的帖號與步驟（1)中獲取背景帖時的周期相比，根據 比值判斷對步驟（1)中得到的背景帖中的哪一帖進行投票；
[0012] (5)對步驟（3)所述預處理后的圖像塊和步驟（4)所述背景帖進行融合得到摘要 帖，所述融合是根據步驟（1)中得到的各圖像塊內所有像素位置的二值前景值與背景帖上 當前像素位置的融合狀態選擇加權融合與泊松圖像編輯中的某一種方法進行融合。
[0013] 在本發明的一個實施例中，所述步驟（1)中生成摘要視頻所需背景帖序列的具體 方法為；從原始視頻的第一帖開始，WT為周期對T帖圖像相應位置的每一個像素值進行累 加平均，得到一張均值圖像，W此均值圖像作為一張背景圖，如此循環，直到視頻帖結束，可 W得到形成摘要視頻所需的背景帖序列BackGround= (b。，bi，......bj，其中t為大于0 的整數；其中第q帖均值圖像上某一個像素點（X，y)處的像素值按照下面公式計算：
[0014]
【主權項】
1. 一種視頻摘要中事件與背景的融合方法，其特征在于，所述方法包括以下步驟： (1) 通過運動目標的檢測和跟蹤，得到原始視頻序列中所有的事件和最后形成摘要視 頻所需的背景幀序列；記錄每一個事件的所有發生時刻所對應的圖像塊的寬高及圖像塊內 所有像素位置的二值前景值、每一個事件發生的起始幀號和結束幀號、以及每一個事件摘 要視頻中出現時的起始幀號； (2) 根據每一個事件發生的起始幀號和結束幀號，以及每一個事件在摘要視頻中發生 時的起始幀號，從原始視頻序列的所有事件中，找出當前摘要幀上需要出現的所有事件及 其對應時刻的圖像塊； (3) 對步驟（2)所述摘要幀上所有事件的相應時刻的圖像塊進行預處理，包括對各事 件所對應圖像塊按照面積從大到小排序，所述各圖像塊的面積根據步驟（1)中得到的各圖 像塊的寬高得到，然后根據步驟（1)中得到的各圖像塊內所有像素位置的二值前景值調整 對應圖像塊的局部亮度； (4) 利用步驟（2)所述摘要幀上的所有事件對步驟（1)中得到的背景幀進行投票，得票 最高的背景幀即為當前摘要幀所需的背景幀，所述利用