一種視頻圖像幀序列的濃縮方法及裝置制造方法
【專利摘要】本發明公開了一種視頻圖像幀序列的濃縮方法及裝置。通過比較待濃縮的視頻圖像幀序列與預先設置的背景模型，確定只包含每個運動目標的圖像幀構成的圖像幀序列，此外，還確定每個運動目標在其所在的圖像幀中的位置以及其首次在視頻圖像幀序列中出現的時刻；根據確定出的位置和時刻，判斷該運動目標與在該運動目標之前出現的各個運動目標在相應的圖像幀序列所包含的圖像幀中是否有重疊；并根據上述判斷結果、時刻和各圖像幀序列以及背景模型，生成濃縮視頻圖像幀序列。
【專利說明】一種視頻圖像幀序列的濃縮方法及裝置
【技術領域】
[0001]本發明涉及視頻處理領域，尤其涉及一種視頻圖像幀序列的濃縮方法及裝置【背景技術】
[0002]隨著數字智能化的普及，城市中的視頻監控設備越來越多，它涉及到交通路口、銀行、小區等多種場景，隨之而來的就是每天產生大量的視頻數據，但當這些存儲的視頻數據中查找某一特定目標時，需要調出連續幾天的多個視頻監控設備記錄的視頻數據進行人工查詢篩選，查詢的覆蓋面越廣，時間越長，排查工作就會越困難。為解決上述問題，傳統的視頻圖像壓縮技術提出可以將原始記錄的視頻進行壓縮，即對無前景目標的圖像幀進行剔除，然后再將所有存在運動目標的圖像幀重新形成視頻圖像，從而縮短原始記錄視頻的播放時間。其中，“前景目標”是相對于背景模型而言的，通常指代相對于背景模型的運動目標。但是這種視頻圖像壓縮技術只是將無前景目標的圖像幀刪除來縮短原始視頻的長度，并由于沒有利用視頻場景中的空間信息，導致最終處理后形成的視頻長度依然很長，因此，如何在保留原始視頻中運動目標間的時間邏輯關系的同時大幅度縮短原始視頻長度成為目前迫切需要解決的問題。
【發明內容】
[0003]本發明實施例提供一種視頻圖像幀序列的濃縮方法，用以解決現有技術中存在的如何在保留原始視頻中運動目標間的時間邏輯關系的同時大幅度縮短原始視頻長度的問題。
[0004]本發明實施例采用以下技術方案:
[0005]一種視頻圖像幀序列的濃縮方法，包括:
[0006]根據待濃縮的視頻圖像幀序列與預先設置的背景模型，確定所述視頻圖像幀序列中出現的全部運動目標；其中，所述運動目標包括:在所述視頻圖像幀序列中沒有與其他運動子目標重疊的運動子目標，以及具有重疊關系的多個運動子目標；
[0007]基于所述視頻圖像幀序列、所述背景模型和運動目標跟蹤技術，生成分別包含確定出的各運動目標的各圖像巾貞序列；并
[0008]分別確定所述各運動目標在其所在的圖像幀序列所包含的各個圖像幀中的位置和在所述視頻圖像幀序列中的首次出現時刻；并
[0009]根據確定出的上述位置和所述首次出現時刻，針對視頻圖像幀序列中出現的除最早出現的運動目標外的其他每個運動目標，判斷該運動目標與在該運動目標之前出現的各個運動目標在相應的圖像巾貞序列所包含的圖像巾貞中是否有重置；并
[0010]根據針對除最早出現的運動目標外的其他每個運動目標所得到的各個判斷結果、所述首次出現時刻、背景模型和各圖像幀序列，生成濃縮視頻圖像幀序列。
[0011]一種視頻圖像幀序列的濃縮裝置，包括:
[0012]運動目標確定單元，用于根據待濃縮的視頻圖像幀序列與預先設置的背景模型，確定所述視頻圖像幀序列中出現的全部運動目標；其中，所述運動目標包括:在所述視頻圖像幀序列中沒有與其他運動子目標重疊的運動子目標，以及具有重疊關系的多個運動子目標；
[0013]圖像幀序列生成單元，用于基于所述視頻圖像幀序列、所述背景模型和運動目標跟蹤技術，生成分別包含確定出的各運動目標的各圖像幀序列；
[0014]位置與時刻確定單元，用于分別確定各運動目標在其所在的所述圖像幀序列生成單元生成的圖像幀序列所包含的各個圖像幀中的位置和在所述視頻圖像幀序列中的首次出現時刻；
[0015]判斷單元，用于根據所述位置與時刻確定單元確定出的所述位置和所述首次出現時刻，針對所述視頻圖像幀序列中出現的除最早出現的運動目標外的其他每個運動目標，判斷該運動目標與在該運動目標之前出現的各個運動目標在相應的圖像幀序列所包含的圖像幀中是否有重疊；
[0016]濃縮視頻圖像幀序列生成單元，用于根據背景模型、所述判斷單元針對除最早出現的運動目標外的其他每個運動目標所得到的各個判斷結果和所述位置與時刻確定單元確定首次出現時刻以及所述圖像幀序列生成單元確定的各圖像幀序列，生成濃縮視頻圖像幀序列。
[0017]本發明的有益效果如下:
[0018]本發明實施例提供的視頻圖像幀序列的濃縮方案通過以不同運動目標在相應的圖像幀中的重疊程度，以及每個運動目標在視頻圖像幀序列中的首次出現時刻作為濃縮依據，從而不僅利用了視頻場景中的空間信息，還考慮了各個運動目標在待濃縮的視頻圖像幀序列中出現的時間順序，因此本發明實施例提供的視頻圖像幀序列的濃縮方法在保留原始視頻中運動目標間的時間邏輯關系的同時大幅度縮短原始視頻的長度。
【專利附圖】
【附圖說明】
[0019]圖1為本發明實施例提供的一種視頻圖像幀序列濃縮方法的方法流程圖；
[0020]圖2為本發明實施例提供的又一種視頻圖像幀序列濃縮方法的方法流程圖；
[0021]圖3為本發明實施例提供的一種視頻圖像幀序列濃縮裝置的結構圖。
【具體實施方式】
[0022]為解決現有技術存在的為保留原始視頻中運動目標間的時間邏輯關系的同時不能大幅度的壓縮原始視頻的長度的問題，本發明實施例提供了一種視頻圖像幀序列的濃縮方法及裝置。視頻圖像幀序列的濃縮可以理解為是對視頻內容的一個簡單概括，提取運動目標并將不同的目標拼接到一個共同的背景場景中。本發明實施例提供的一種視頻圖像幀序列的濃縮方法是通過以不同運動目標在相應的圖像幀中的重疊程度，以及每個運動目標在視頻圖像幀序列中的首次出現時刻作為濃縮依據，從而在實現對待濃縮視頻圖像幀序列的濃縮處理時，不僅利用了視頻場景中的空間信息，還考慮了各個運動目標在待濃縮的視頻圖像幀序列中出現的時間順序，因此本發明實施例提供的視頻圖像幀序列的濃縮方法在保留原始視頻中運動目標間的時間邏輯關系的同時大幅度縮短原始視頻的長度。
[0023]以下結合說明書附圖對本發明的實施例進行說明，應當理解，此處所描述的實施例僅用于說明和解釋本發明，并不用于限制本發明。并且在不沖突的情況下，本說明中的實施例及實施列中的特征可以互相結合。
[0024]實施例1
[0025]基于上述基本思想，本發明實施例提供的一種視頻圖像幀序列的濃縮方法的流程圖如圖1所示，具體包括以下步驟:
[0026]步驟11、根據待濃縮的視頻圖像幀序列與預先設置的背景模型，確定視頻圖像幀序列中出現的全部運動目標。其中，該運動目標包括:在視頻圖像幀序列中沒有與其他運動子目標重疊的運動子目標，以及具有重疊關系的多個運動子目標。
[0027]對于運動目標的確定，可以先將待濃縮的視頻圖像幀序列中出現的各個運動的物體都看成運動子目標，然后將沒有與其他運動子目標重疊的運動子目標確定為運動目標，并將與其他運動子目標有重疊關系的多個運動子目標共同確定為一個運動目標。其中，多個運動子目標之間有重疊關系一般是指該些運動子目標在視頻圖像幀序列所包含的一幀或多幀視頻圖像中出現了相互遮擋。其中，若運動子目標甲與運動子目標乙在某幀視頻圖像中出現了相互遮擋，則甲和乙有重疊關系；若乙與另一運動子目標丙又在某幀視頻圖像中出現了相互遮擋，則可以進一步確定甲、乙與丙有重疊關系。例如，假設待濃縮的視頻圖像幀序列里有兩個運動子目標:運動子目標A與運動子目標B。如果運動子目標A與運動子目標B在待濃縮的視頻圖像幀序列中有相互遮擋，比如，在待濃縮的視頻圖像幀序列中的某一幀或某幾幀圖像中，運動子目標A與運動子目標B有部分出現了重合，那么就將運動子目標A和運動子目標B共同看成一個運動目標。如果運動子目標A與運動子目標B在待濃縮的視頻圖像幀序列中沒有發生相互遮擋，則將運動子目標A確定為一個運動目標，并將運動子目標B確定為一個運動目標。
[0028]步驟12、基于所述視頻圖像幀序列、所述背景模型和運動目標跟蹤技術，生成分別包含確定出的各運動目標的各圖像幀序列。
[0029]對于包含了多個運動子目標的運動目標而言，通過執行視頻圖像幀序列與背景模型的差分運算以及利用運動目標跟蹤技術實現對運動目標的跟蹤處理，可以保留各個運動子目標間的時間邏輯關系。舉例來說，假設運動子目標A與運動子目標B由于在視頻圖像幀序列中有重疊關系而被看成一個運動目標，且A和B滿足:A在視頻圖像幀序列中第I幀圖像中首次出現；經過50幀圖像后，B在視頻圖像幀序列中首次出現；在第100幀至第150幀圖像中，A與B出現了重疊；在第151幀圖像中，A與B不再重疊，在第200幀圖像中，A消失了 ；在第220幀圖像中，B消失了。那么，通過執行視頻圖像幀序列與背景模型的差分運算以及對運動子目標A和運動子目標B的跟蹤處理獲得的包含運動子目標A與運動子目標B的運動目標的圖像幀序列就包含從第I幀圖像至第220幀圖像的所有圖像幀，這樣既保留了運動子目標A與運動子目標B的相對位置關系，也保留了運動子目標A與運動子目標B在視頻圖像巾貞序列中的時間邏輯關系。
[0030]需要說明的是，由于運動目標跟蹤技術已是現有技術中比較成熟的一種技術，并且其并非是本發明對于現有技術的改進之處，因此本發明實施例中對該技術不再贅述。
[0031]步驟13、分別確定上述各運動目標在其所在的圖像幀序列所包含的各個圖像幀中的位置和在視頻圖像幀序列中的首次出現時刻。
[0032]具體地，對于包含了多個運動子目標的運動目標而言，依據該運動目標包含的各運動子目標在視頻圖像幀序列中的各個視頻圖像幀中的位置坐標信息，確定該運動目標在圖像幀序列中的各個圖像幀中的位置坐標信息；依據該運動目標包含的各運動子目標在視頻圖像巾貞序列中的首次出現時刻，確定該運動目標在視頻圖像巾貞序列中的首次出現時刻，通常情況，會將最早出現的那個運動子目標在視頻圖像幀序列中的首次出現時刻確定為該運動目標在視頻圖像巾貞序列中的首次出現時刻。
[0033]可選地，在確定了運動目標后，針對各個運動目標在視頻圖像幀序列中首次出現的先后順序，對確定的運動目標分別分配不同的目標標識，例如為第一個出現的運動目標分配標識“I號目標”，為第二個出現的運動目標分配標識“2號目標”，以此類推。一般地，分配的目標標識可以采用能體現運動目標出現順序的一些標識，比如“I號目標”和“2號目標”就是這樣的標識。同時對應于各個目標標識，可以對應記錄該運動目標在視頻圖像幀序列中的首次出現時刻。對于包含了多個運動子目標的運動目標來講，也可以為其運動子目標分配子目標標識，例如，假設2號運動目標包含了 2個運動子目標，那么依據各個運動子目標在視頻圖像幀序列中首次出現的先后順序，為這2個運動子目標分別分配不同的子目標標識，例如2.1號子目標，2.2號子目標。
[0034]步驟14、根據通過執行步驟13而確定出的位置和首次出現時刻，針對視頻圖像幀序列中出現的除最早出現的運動目標外的其他每個運動目標，判斷該運動目標與在該運動目標之前出現的各個運動目標在相應的圖像幀序列所包含的圖像幀中是否有重疊。
[0035]其中，判斷該運動目標與在該運動目標之前出現的各個運動目標在相應的圖像幀序列所包含的圖像幀中是否有重疊，具體可以按下述步驟執行:
[0036]基于該運動目標所在的第一圖像幀序列和在該運動目標之前出現的各個運動目標分別所在的各第二圖像幀序列，通過執行依次對應比較第一圖像幀序列中的各個圖像幀與各第二圖像幀序列中的各個圖像幀的操作，判斷該運動目標與在該運動目標之前出現的各個運動目標在相應的圖像幀序列所包含的圖像幀中是否有重疊。
[0037]其中，判斷該運動目標與在該運動目標之前出現的各個運動目標在相應的圖像幀序列所包含的圖像幀中是否有重疊的判斷標準有很多種情況，例如用一個矩形框代表一個運動目標，可以將兩個矩形框的部分重疊作為判斷重疊的標準，可以將兩個矩形框的完成重合作為判斷重疊的標準，還可以將兩個矩形框的相碰撞作為判斷重疊的標準。不同的重疊判斷標準會影響最終獲得的視頻圖像幀序列的濃縮效果。
[0038]步驟15、根據針對除最早出現的運動目標外的其他每個運動目標所得到的各個判斷結果、通過執行步驟12而確定出的各個運動目標對應的各圖像幀序列、通過執行步驟13而確定出的各個運動目標在視頻圖像幀序列中首次出現時刻以及背景模型，生成濃縮視頻圖像幀序列。
[0039]步驟15的具體實現過程可以包括下述子步驟:
[0040]首先，針對除最早出現的運動目標外的其他每個運動目標，根據相應的判斷結果，確定在相應的圖像幀中與該運動目標有重疊的重疊運動目標，以及在相應的圖像幀中與該運動目標沒有重疊的非重疊運動目標。
[0041]其次，通過合成背景模型和基于視頻圖像幀序列中最早出現的運動目標所生成的圖像幀序列，生成基準圖像幀序列；
[0042]然后，根據通過執行步驟13而確定出的各個運動目標在視頻圖像幀序列中的首次出現時刻，確定除最早出現的運動目標外的其他運動目標的出現順序。可選地，當采用的是能體現運動目標出現順序的目標標識時，可以根據各個運動目標的目標標識確定各個運動目標的出現順序。
[0043]最后，基于基準圖像幀序列、確定的各個運動目標的出現順序、預設的圖像合成規則和除最早出現的運動目標所在的圖像幀序列外的其他圖像幀序列，生成濃縮視頻圖像幀序列。
[0044]可選的，預設的圖像合成規則可以為:
[0045]針對重疊運動目標，根據重疊運動目標在視頻圖像幀序列中的出現順序，分別確定各個重疊運動目標在濃縮視頻圖像幀序列中的第一出現時刻；并合成各個重疊運動目標所在的圖像巾貞序列和基準圖像巾貞序列；以及
[0046]針對非重疊運動目標，根據非重疊運動目標在視頻圖像幀序列中的出現順序，分別確定各個非重疊運動目標在濃縮視頻圖像幀序列中的第二出現時刻；并合成各個非重疊運動目標所在的圖像巾貞序列和基準圖像巾貞序列；
[0047]其中，確定出的各個第一、第二出現時刻均滿足:使得濃縮視頻圖像幀序列中的不同運動目標之間不會有重疊，且不同運動目標在濃縮視頻圖像幀序列中的出現順序與其在所述視頻圖像幀序列中的出現順序一致。
[0048]具體地，假設確定了兩個運動目標:1號運動目標和2號運動目標，且I號運動目標和2號運動目標分別只包含一個運動子目標。再假設每個運動目標都用一個矩形框表示。如果經過步驟14的判斷獲得用于表征2號運動目標的矩形框的與用于表征I號運動目標的矩形框在相應的圖像幀序列所包含的圖像幀中有碰撞，則將2號運動目標在濃縮視頻圖像幀序列中的首次出現時刻以I號運動目標在待濃縮視頻圖像幀序列中的首次出現時刻為起始點進行時間上的偏移，直至用于表征2號運動目標的矩形框與用于表征I號運動目標的矩形框在相應的圖像幀序列所包含的圖像幀中不再有碰撞時則停止偏移，并把該此時所對應的時刻確定為2號運動目標在濃縮視頻圖像幀序列中的首次出現時刻。如果經過步驟14的判斷獲得用于表征2號運動目標的矩形框的與用于表征I號運動目標的矩形框在相應的圖像幀序列所包含的圖像幀中沒有碰撞，則可以將I號運動目標在待濃縮視頻圖像幀序列中的首次出現時刻確定為2號運動目標在濃縮視頻圖像幀序列中的首次出現時刻，即在濃縮視頻圖像幀序列中可能會看到2號運動目標和I號運動目標同時出現。但根據運動目標的目標標識(即I號、2號)可知，I號運動目標在待濃縮視頻圖像幀序列中首次出現時刻是早于2號運動目標的首次出現時刻。
[0049]進一步地，假設確定了兩個運動目標:1號運動目標和2號運動目標，其中I號運動目標只包含一個運動子目標，2號運動目標包含2.1號運動子目標和2.2號運動子目標。并且每個運動子目標都用一個矩形框表示。如果經過步驟14的判斷獲得用于表征2.1號運動子目標的矩形框或用于表征2.2號運動子目標的矩形框與用于表征I號運動目標的矩形框在相應的圖像幀序列所包含的圖像幀中有碰撞，則將2號運動目標在濃縮視頻圖像幀序列中的首次出現時刻以I號運動目標在待濃縮視頻圖像巾貞序列中的首次出現時刻為起始點進行時間上的偏移，直至用于表征2.1號運動子目標的矩形框和用于表征2.2號運動子目標的矩形框與用于表征I號運動目標的矩形框在相應的圖像幀序列所包含的圖像幀中都不再有碰撞時則停止偏移，并把該此時所對應的時刻確定為2號運動目標在濃縮視頻圖像幀序列中的首次出現時刻，即把該此時所對應的時刻確定為2.1號子目標在濃縮視頻圖像幀序列中的首次出現時刻。如果經過步驟14的判斷獲得用于表征2.1號運動子目標的矩形框和用于表征2.2號運動子目標的矩形框與用于表征I號運動目標的矩形框在相應的圖像幀序列所包含的圖像幀中都沒有碰撞，則可以將I號運動目標在待濃縮視頻圖像幀序列中的首次出現時刻確定為2號運動目標在濃縮視頻圖像幀序列中的首次出現時刻，即在濃縮視頻圖像幀序列中可能會看到2.1號運動子目標和I號運動目標同時出現。但根據(子)目標標識可知，I號運動目標在待濃縮視頻圖像幀序列中的首次出現時刻是早于2.1號運動子目標在待濃縮視頻圖像幀序列中的首次出現時刻。由此可見，本發明實施例在實現對待濃縮視頻圖像幀序列進行時間上壓縮的同時，不僅考慮了各個運動目標在待濃縮的視頻圖像幀序列中出現的時間順序，還利用了空間信息，從而達到了在保留原始視頻中運動目標間的時間邏輯關系的同時大幅度縮短原始視頻的長度的效果。
[0050]可選地，若待濃縮的視頻圖像幀序列包含具備不同背景圖像信息的視頻圖像幀，則上述方法還包括以下步驟:
[0051]依次針對待濃縮的視頻圖像幀序列中的每個視頻圖像分別執行指定操作，直至通過對該待濃縮的視頻圖像幀序列中的每個視頻圖像幀與背景模型的分別比較，而保存了每個確定出的待保存的背景圖像幀后，根據保存的背景圖像幀，生成濃縮背景圖像幀序列。
[0052]上述指定操作包括:比較該視頻圖像幀與預先設置的背景模型，并根據比較結果更新背景模型，得到更新的背景模型；在判斷出當前時刻為根據預設時間間隔確定出的背景圖像幀保存時刻時，確定更新的背景模型為待保存的背景圖像幀并對其進行保存；以及將更新的背景模型作為預先設置的背景模型。
[0053]通過執行上述更新背景模型的操作，可以避免只基于固定不變的背景模型生成濃縮視頻圖像幀序列，而不考慮待濃縮的視頻圖像幀序列中背景圖像變化，會造成最終生成的濃縮視頻圖像幀序列中的背景圖像與待濃縮的視頻圖像幀序列中的背景圖像相差太遠而出現的濃縮視頻圖像序列不夠真實的問題。
[0054]需要說明的是，不同視頻圖像幀的背景圖像信息不同具體可以但不限于體現為:不同視頻圖像幀的亮度信息不同(例如由于光線的變化引起的視頻圖像幀的亮度信息不同)，或不同視頻圖像幀的背景圖像中的物體陰影的面積有所不同等。
[0055]綜上所述，本發明實施例提供的一種視頻圖像幀序列的濃縮方法，通過比較待濃縮的視頻圖像幀序列與預先設置的背景模型，確定只包含每個運動目標的圖像幀構成的圖像幀序列和每個運動目標在其所在的圖像幀中的位置以及在視頻圖像幀序列中的首次出現時刻；根據確定出的位置和首次出現時刻，判斷該運動目標與在該運動目標之前出現的各個運動目標在相應的圖像幀序列所包含的圖像幀中是否有重疊；并根據針對除最早出現的運動目標外的其他每個運動目標所得到的各個判斷結果、上述首次出現時刻、各圖像幀序列以及背景模型生成濃縮視頻圖像幀序列。可見，本發明實施例在實現對待濃縮視頻圖像幀序列進行時間上壓縮的同時，不僅考慮了各個運動目標在待濃縮的視頻圖像幀序列中出現的時間順序，還利用了空間信息，從而達到了在保留原始視頻中運動目標間的時間邏輯關系的同時大幅度縮短原始視頻的長度的效果。
[0056]實施例二
[0057]本發明實施例二提供的一種視頻圖像幀序列的濃縮方法，在實施例一的基礎上實現了背景模型的更新，從而使得最終生成的濃縮視頻圖像幀序列真實。具體的方法流程圖如圖2所示。
[0058]步驟21、設置背景模型。
[0059]根據待濃縮視頻圖像幀序列中起始的連續多幀圖像，建立背景模型，通常情況下背景模型的建模方法有單高斯背景建模和混合高斯背景建模。需要說明的是，背景模型可以對應一個背景圖像幀，也可以對應由多個背景圖像幀組成的背景圖像幀序列。在本發明實施例中，假設背景模型對應為一個背景圖像幀。
[0060]步驟22、確定運動目標。
[0061]具體地，在背景模型設置完成后，利用背景差分的方法，將待濃縮視頻圖像幀序列的視頻圖像幀與背景模型相比較，統計所有差分結果大于指定閾值的像素點為前景像素點，該些前景像素點組成的圖像包含了運動目標。其中，該運動目標可以為在視頻圖像幀序列中沒有與其他運動子目標重疊的運動子目標，也可以為由具有重疊關系的多個運動子目標共同構成的一個運動目標。假設本發明實施例二中的運動目標為在視頻圖像幀序列中沒有與其他運動子目標重疊的運動子目標。
[0062]步驟23、跟蹤運動目標。
[0063]待運動目標確定后，需要對背景模型確定的場景中出現的運動目標進行跟蹤處理，即可以為各個進入到由背景模型確定的場景中的運動目標分配目標標識，例如I號運動目標、2號運動目標、3號運動目標等，其中2號運動目標是在I號運動目標之后進入場景，3號運動目標是在2號運動目標之后進入場景，依次類推。這樣各個運動目標從進入場景到離開場景都分別對 應著目標標識。假設一個運動目標從進入場景到離開場景所形成的運動目標序列定義為一個事件，那么每個事件的標識對應該事件中的運動目標的標識。
[0064]針對各個目標標識，跟蹤記錄各個運動目標在待濃縮視頻圖像幀序列中的相應的視頻圖像幀的坐標位置信息、對應各個視頻圖像幀的視頻圖像信息以及在待濃縮視頻圖像幀序列中的首次出現時刻和最后一次出現時刻。
[0065]步驟24、提取目標信息。
[0066]針對確定出的每個運動目標，在待濃縮的視頻圖像幀序列中提取只包含該運動目標的圖像幀構成的圖像幀序列，即每個圖像幀序列對應一個事件。根據圖像幀序列對應的目標標識獲取步驟23跟蹤記錄的各個運動目標的坐標位置信息、視頻圖像幀信息以及首次出現時刻和最后一次出現時刻。
[0067]步驟25、確定各個事件在濃縮視頻圖像幀序列的發生時刻。
[0068]假設利用Ti= (tOTi—s1，Lri e1; tsyp—s1，tsyp—e1)和 Tj= (tori_sJ, tori eJ; tsyp_sJ, tsyp eJ)分別表示事件i和事件j在待濃縮視頻圖像幀序列中所對應的起始和結束時刻以及在濃縮視頻圖像幀序列中對應的起始和結束時刻。假設事件i在事件j前發生，則以事件i為基準，將事件j偏移到與事件i相同的起始時刻，判斷事件i對應的運動目標Mi與事件j對應的運動目標Mi是否相互遮擋，如果沒有相互遮擋，則事件j在濃縮視頻圖像幀序列中所對應的起始時刻為tsyp—^ = tsyp—s\結束時刻為tsyp—? = tsyp_sJ+ (tori eJ-tori_sJ);如果有相互遮擋,則將事件j的起始時刻向后偏移shift (shift > 0)，直至偏移后的事件j對應的運動目標Mi與事件i對應的運動目標Mi不再發生相互遮擋，此時事件j在濃縮視頻圖像幀序列中所對應的起始時刻為 U = tsyp—J+shift,結束時刻為 tsyp—J = tsyp_sJ+ (tori eJ-tori_sJ)。上述執行過程的目的就在于確保在濃縮視頻圖像幀序列中事件j仍然在事件i之后發生。
[0069]針對上述描述，舉一實例說明。假設在待濃縮的視頻圖像幀序列中前后出現了三個運動目標，I號運動目標、2號運動目標和3號運動目標，且每個運動目標分別對應一個大小相等的矩形框，則根據I號運動目標對應的矩形框在在待濃縮的視頻圖像幀序列中的各個視頻圖像幀中的坐標位置信息以及在待濃縮的視頻圖像幀序列中的首次出現時刻和最后一次出現的時刻，確定事件I ;根據2號運動目標對應的矩形框在在待濃縮的視頻圖像幀序列中的各個視頻圖像幀中的坐標位置信息以及在待濃縮的視頻圖像幀序列中的首次出現時刻和最后一次出現時刻，確定事件2 ;根據3號運動目標對應的矩形框在在待濃縮的視頻圖像幀序列中的各個視頻圖像幀中的坐標位置信息以及在待濃縮的視頻圖像幀序列中的首次出現時刻和最后一次出現的時刻，確定事件3。
[0070]根據上述假設，由于I號運動目標在待濃縮的視頻圖像幀序列中的首次出現時刻早于2號運動目標的首先出現時刻，則以事件I為基準判斷事件，將事件2的起始時刻偏移至與事件I的起始時刻相同的時刻，對應比較事件2中包含的矩形框是否與事件I中包含的矩形框發生碰撞，假設比較結果為否，則將事件I在待濃縮視頻圖像幀序列的起始時刻確定為事件2在濃縮的視頻圖像幀序列中的起始時刻。然后將事件3的起始時刻偏移至與事件2在濃縮的視頻圖像幀序列中的起始時刻相同的時刻，分別比較事件3中包含的矩形框是否與事件I和事件2中包含的矩形框發生碰撞，假設比較結果為是，則將事件3的起始時刻以事件2在濃縮的視頻圖像幀序列中的起始時刻為起始點進行時間上的偏移，直至事件3中包含的矩形框不再與事件I和事件2中包含的矩形框發生碰撞時停止偏移，并把偏移后對應的時刻確定為事件3在濃縮的視頻圖像幀序列中的起始時刻。
[0071]由上述例子可見，對確定的待濃縮視頻圖像幀序列中出現的所有運動目標的處理過程可以總結為:選定在待濃縮視頻圖像幀序列中最先出現的運動目標對應的事件作為濃縮視頻中的基準判斷事件，后續出現的事件僅與其前面發生的事件做時間上的偏移判斷，從而實現在時間和空間上壓縮原始視頻的同時保證了事件間的原始時間邏輯關系。
[0072]步驟26、更新背景模型，并按預設時間間隔選擇背景圖像幀形成濃縮背景圖像幀序列。
[0073]具體的，假設濃縮的視頻圖像幀序列中包含了 100個視頻圖像幀，步驟21確定的背景模型記為背景模型1，則更新背景模型的過程可以描述為:將待濃縮的視頻圖像幀序列中的第I個視頻圖像幀與背景模型I對應的背景圖像幀進行比較，并根據比較結果更新背景模型，得到更新的背景模型，并該更新的背景模型記為背景模型2 ;再將待濃縮的視頻圖像幀序列中的第2個視頻圖像幀與背景模型2進行比較，根據比較結果繼續更新背景模型，得到更新的背景模型，并該更新的背景模型記為背景模型3，依次類推，直至完成待濃縮的視頻圖像幀序列中第100個視頻圖像幀與背景模型100的比較，并獲得背景模型101時，結束對背景模型的更新。
[0074]其中，每當對背景模型完成一次更新(即獲得一次更新的背景模型)，都需要判斷當前時刻是否為根據預設時間間隔確定出的背景圖像幀保存時刻，如果判斷結果為是，則將更新的背景模型對應的背景圖像幀進行保存。直至獲得背景模型101從而結束對背景模型的更新后，根據保存的背景圖像幀，生成濃縮背景圖像幀序列。
[0075]舉例來說，要將早上7點至9點的一段視頻圖像幀序列進行濃縮，預設背景模型為早上7點的視頻圖像幀所對應的背景圖像，為了使最終獲得的濃縮的視頻圖形幀序列更真實，可以每隔2分鐘保存一次當前通過更新而得到的更新的背景模型對應的背景圖像幀，也可以每隔I分鐘保存一次當前通過更新而得到的更新的背景模型對應的背景圖像幀。如果每隔I分鐘保存一次(假設不對初始時刻的背景圖形幀進行保存)，則針對7點至9點這段視頻圖像幀序列，最終一共保存了 120個背景圖像幀，這120個背景圖像幀就組成了濃縮背景圖像幀序列。
[0076]步驟27、生成濃縮視頻圖像幀序列。
[0077]按照步驟25確定各個事件在濃縮視頻圖像幀序列的發生時刻，將各個事件拼接至步驟26確定的濃縮背景圖像幀序列中，從而生成濃縮視頻圖像幀序列。
[0078]具體的，假設待拼接的所有事件持續的總時長為12分鐘，則針對在步驟26中所舉的實例，在生成濃縮視頻圖像幀序列時，將第I個背景圖像幀所對應的圖像作為濃縮視頻圖像序列中第I秒至第6秒濃縮視頻圖像幀背景圖像，將第2個背景圖像幀所對應的圖像作為濃縮視頻圖像序列中第7秒至第12秒濃縮視頻圖像幀的背景圖像，依此類推，最終實現將各個事件拼接至通過執行步驟26所獲得的濃縮背景圖像幀序列中，從而生成濃縮視頻圖像幀序列。可見，利用上述方式形成的濃縮背景圖像幀序列體現了待濃縮視頻圖像序列中背景圖像的變化(例如光線的變化)，這樣，將原始數小時的視頻濃縮至幾分鐘實現時可以適度地保持原視頻的真實性。
[0079]綜上所述，本發明實施例提供的一種視頻圖像幀序列的濃縮方法在實現對待濃縮視頻圖像幀序列進行時間上壓縮的同時，不僅利用了空間信息，還考慮了各個運動目標在待濃縮的視頻圖像幀序列中出現的時間順序，從而達到了保留原始視頻中運動目標間的時間邏輯關系的同時縮短原始視頻的長度的效果。
[0080]對應于本發明實施例提供的一種視頻圖像幀序列的濃縮方法，本發明實施例還提供一種視頻圖像幀序列的濃縮裝置如圖3所示，用以解決現有技術存在的為保留原始視頻中運動目標間的時間邏輯關系的同時不能大幅度的壓縮原始視頻的長度的問題。該裝置的具體結構可以包括:
[0081]運動目標確定單元31，用于根據待濃縮的視頻圖像幀序列與預先設置的背景模型，確定待濃縮的視頻圖像幀序列中出現的全部運動目標；其中，所述運動目標包括:在所述視頻圖像幀序列中沒有與其他運動子目標重疊的運動子目標，以及具有重疊關系的多個運動子目標。
[0082]圖像幀序列生成單元32，用于基于所述視頻圖像幀序列、所述背景模型和運動目標跟蹤技術，生成分別包含確定出的各運動目標的各圖像幀序列。
[0083]位置與時刻確定單元33，用于分別確定各運動目標在其所在的圖像幀序列所包含的各個圖像幀中的位置和在視頻圖像幀序列中的首次出現時刻。
[0084]判斷單元34，用于根據位置與時刻確定單元33確定出的位置和首次出現時刻，針對視頻圖像幀序列中出現的除最早出現的運動目標外的其他每個運動目標，判斷該運動目標與在該運動目標之前出現的各個運動目標在相應的圖像幀序列所包含的圖像幀中是否
有重疊；
[0085]濃縮視頻圖像幀序列生成單元35，用于根據背景模型、判斷單元34針對除最早出現的運動目標外的其他每個運動目標所得到的各個判斷結果和位置與時刻確定單元33確定的首次出現時刻以及圖像幀序列生成單元32確定的各圖像幀序列，生成濃縮視頻圖像幀序列。
[0086]可選的，若待濃縮的視頻圖像幀序列包含具備不同背景圖像信息的視頻圖像幀，則上述視頻圖像幀序列的濃縮裝置還可以包括:
[0087]濃縮背景生成單元36，用于依次針對待濃縮的視頻圖像幀序列中的每個視頻圖像分別執行指定操作，直至通過對該待濃縮的視頻圖像幀序列中的每個視頻圖像幀與背景模型的分別比較，而保存了每個確定出的待保存的背景圖像幀后，根據保存的背景圖像幀，生成濃縮背景圖像幀序列；
[0088]上述指定操作包括:比較該視頻圖像幀與預先設置的背景模型，并根據比較結果更新所述背景模型，得到更新的背景模型；在判斷出當前時刻為根據預設時間間隔確定出的背景圖像幀保存時刻時，確定更新的背景模型為待保存的背景圖像幀并對其進行保存；以及將更新的背景模型作為預先設置的背景模型；則
[0089]濃縮視頻圖像幀序列生成單元35，具體用于根據濃縮背景生成單元36確定的濃縮背景圖像幀序列、判斷單元34獲得的各個判斷結果、位置與時刻確定單元33確定的首次出現時刻以及圖像幀序列生成單元32確定的各圖像幀序列，生成濃縮視頻圖像幀序列。
[0090]進一步地,判斷單元34具體用于:
[0091]根據位置與時刻確定單元33確定出的位置和首次出現時刻，針對視頻圖像幀序列中出現的除最早出現的運動目標外的其他每個運動目標，基于該運動目標所在的第一圖像幀序列和在該運動目標之前出現的各個運動目標分別所在的各第二圖像幀序列，通過執行依次對應比較第一圖像幀序列中的各個圖像幀與各第二圖像幀序列中的各個圖像幀的操作，判斷該運動目標與在該運動目標之前出現的各個運動目標在相應的圖像幀序列所包含的圖像幀中是否有重疊。
[0092]濃縮視頻圖像幀序列生成單元35具體包括:
[0093]運動目標區分子單元351，用于針對除最早出現的運動目標外的其他每個運動目標，根據判斷單元34確定的相應的判斷結果，確定在相應的圖像幀中與該運動目標有重疊的重疊運動目標，以及在相應的圖像幀中與該運動目標沒有重疊的非重疊運動目標；
[0094]基準序列生成子單元352，用于通過合成濃縮背景圖像幀序列和基于視頻圖像幀序列中最早出現的運動目標所生成的圖像巾貞序列，生成基準圖像巾貞序列；
[0095]順序確定子單元353，用于根據位置與時刻確定單元確定出的首次出現時刻，確定除最早出現的運動目標外的其他運動目標的出現順序；
[0096]序列合成子單元354，用于基于基準序列生成子單元352確定的基準圖像幀序列、順序確定子單353元確定的出現順序、預設的圖像合成規則和除最早出現的運動目標所在的圖像幀序列外的其他圖像幀序列，生成濃縮視頻圖像幀序列。
[0097]其中，圖像合成規則可以包括:
[0098]針對重疊運動目標，根據重疊運動目標在所述視頻圖像幀序列中的出現順序，分別確定各個重疊運動目標在濃縮視頻圖像幀序列中的第一出現時刻；并合成各個重疊運動目標所在的圖像巾貞序列和基準圖像巾貞序列；以及
[0099]針對非重疊運動目標，根據非重疊運動目標在所述視頻圖像幀序列中的出現順序，分別確定各個非重疊運動目標在濃縮視頻圖像幀序列中的第二出現時刻；并合成各個非重置運動目標所在的圖像巾貞序列和基準圖像巾貞序列；
[0100]其中，確定出的各個第一、第二出現時刻均滿足:使得濃縮視頻圖像幀序列中的不同運動目標之間不會有重疊，且不同運動目標在濃縮視頻圖像幀序列中的出現順序與其在所述視頻圖像幀序列中的出現順序一致。
[0101]綜上所述，本發明實施例提供的一種視頻圖像幀序列的濃縮裝置，通過比較待濃縮的視頻圖像幀序列與預先設置的背景模型，確定只包含每個運動目標的圖像幀構成的圖像幀序列和每個運動目標在其所在的圖像幀中的位置以及在視頻圖像幀序列中的首次出現時刻；根據確定出的位置和首次出現時刻，判斷該運動目標與在該運動目標之前出現的各個運動目標在相應的圖像幀序列所包含的圖像幀中是否有重疊；并根據針對除最早出現的運動目標外的其他每個運動目標所得到的各個判斷結果、上述首次出現時刻和各圖像幀序列，充分利用背景模型的空間信息生成濃縮視頻圖像幀序列。
[0102]可見，本發明實施例在實現對待濃縮視頻圖像幀序列進行時間上壓縮的同時，不僅考慮了各個運動目標在待濃縮的視頻圖像幀序列中出現的時間順序，還利用了空間信息，從而達到了在保留原始視頻中運動目標間的時間邏輯關系的同時大幅度縮短原始視頻的長度的效果。
[0103]顯然，本領域的技術人員可以對本發明進行各種改動和變型而不脫離本發明的精神和范圍。這樣，倘若本發明的這些修改和變型屬于本發明權利要求及其等同技術的范圍之內，則本發明也意圖包含這些改動和變型在內。
【權利要求】
1.一種視頻圖像幀序列的濃縮方法，其特征在于，包括: 根據待濃縮的視頻圖像幀序列與預先設置的背景模型，確定所述視頻圖像幀序列中出現的全部運動目標；其中，所述運動目標包括:在所述視頻圖像幀序列中沒有與其他運動子目標重疊的運動子目標，以及具有重疊關系的多個運動子目標； 基于所述視頻圖像幀序列、所述背景模型和運動目標跟蹤技術，生成分別包含確定出的各運動目標的各圖像幀序列；并 分別確定所述各運動目標在其所在的圖像幀序列所包含的各個圖像幀中的位置和在所述視頻圖像幀序列中的首次出現時刻；并 根據確定出的所述位置和所述首次出現時刻，針對所述視頻圖像幀序列中出現的除最早出現的運動目標外的其他每個運動目標，判斷該運動目標與在該運動目標之前出現的各個運動目標在相應的圖像幀序列所包含的圖像幀中是否有重置；并 根據針對除最早出現的運動目標外的其他每個運動目標所得到的各個判斷結果、所述首次出現時刻、背景模型和各圖像幀序列，生成濃縮視頻圖像幀序列。
2.如權利要求1所述的方法，其特征在于，所述待濃縮的視頻圖像幀序列包含具備不同背景圖像信息的視頻圖像幀；則 所述方法還包括: 依次針對待濃縮的視頻圖像幀序列中的每個視頻圖像分別執行指定操作，直至通過對該待濃縮的視頻圖像幀序列中的每個視頻圖像幀與背景模型的分別比較，而保存了每個確定出的待保存的背景圖像幀后，根據保存的背景圖像幀，生成濃縮背景圖像幀序列； 所述指定操作包括:比較該視頻圖像幀與預先設置的背景模型，并根據比較結果更新所述背景模型，得到更新的背景模型；在判斷出當前時刻為根據預設時間間隔確定出的背景圖像幀保存時刻時，確定更新的背景模型為待保存的背景圖像幀并對其進行保存；以及將更新的背景模型作為預先設置的背景模型；則 根據所述各個判斷結果、所述首次出現時刻、背景模型和各圖像幀序列，生成濃縮視頻圖像幀序列，具體包括: 根據所述各個判斷結果、所述首次出現時刻、濃縮背景圖像幀序列和各圖像幀序列，生成濃縮視頻圖像幀序列。
3.如權利要求2所述的方法，其特征在于，根據所述各個判斷結果、所述首次出現、濃縮背景圖像幀序列和各圖像幀序列，生成濃縮視頻圖像幀序列，具體包括: 針對除最早出現的運動目標外的其他每個運動目標，根據相應的所述判斷結果，確定在相應的圖像幀中與該運動目標有重疊的重疊運動目標，以及在相應的圖像幀中與該運動目標沒有重疊的非重疊運動目標； 通過合成濃縮背景圖像幀序列和基于所述視頻圖像幀序列中最早出現的運動目標所生成的圖像幀序列，生成基準圖像幀序列； 根據所述首次出現時刻，確定除最早出現的運動目標外的其他運動目標的出現順序；基于所述基準圖像幀序列、所述出現順序、預設的圖像合成規則和除最早出現的運動目標所在的圖像幀序列外的其他圖像幀序列，生成濃縮視頻圖像幀序列。
4.如權利要求1所述的方法，其特征在于，判斷該運動目標與在該運動目標之前出現的各個運動目標在相應的圖像幀序列所包含的圖像幀中是否有重疊，具體包括:基于該運動目標所在的第一圖像幀序列和在該運動目標之前出現的各個運動目標分別所在的各第二圖像幀序列，通過執行依次對應比較第一圖像幀序列中的各個圖像幀與各第二圖像幀序列中相應的各個圖像幀的操作，判斷該運動目標與在該運動目標之前出現的各個運動目標在相應的圖像幀序列所包含的圖像幀中是否有重疊。
5.如權利要求3所述的方法，其特征在于，所述圖像合成規則包括: 針對重疊運動目標，根據重疊運動目標在所述視頻圖像幀序列中的出現順序，分別確定各個重疊運動目標在濃縮視頻圖像幀序列中的第一出現時刻；并合成各個重疊運動目標所在的圖像幀序列和基準圖像幀序列；以及 針對非重疊運動目標，根據非重疊運動目標在所述視頻圖像幀序列中的出現順序，分別確定各個非重疊運動目標在濃縮視頻圖像幀序列中的第二出現時刻；并合成各個非重疊運動目標所在的圖像幀序列和基準圖像幀序列； 其中，確定出的各個第一、第二出現時刻均滿足:使得濃縮視頻圖像幀序列中的不同運動目標之間不會有重疊，且不同運動目標在濃縮視頻圖像幀序列中的出現順序與其在所述視頻圖像幀序列中的出現順序一致。
6.一種視頻圖像幀序列的濃縮裝置，其特征在于，包括: 運動目標確定單元，用于根據待濃縮的視頻圖像幀序列與預先設置的背景模型，確定所述視頻圖像幀序列中出現的全部運動目標；其中，所述運動目標包括:在所述視頻圖像幀序列中沒有與其他運動子目標重疊的運動子目標，以及具有重疊關系的多個運動子目標； 圖像幀序列生成單元，用于基于所述視頻圖像幀序列、所述背景模型和運動目標跟蹤技術,生成分別包含確定出的各運動目標的各圖像幀序列； 位置與時刻確定單元，用于分別確定各運動目標在其所在的圖像幀序列所包含的各個圖像幀中的位置和在所述視頻圖像幀序列中的首次出現時刻； 判斷單元，用于根據所述位置與時刻確定單元確定出的所述位置和所述首次出現時亥IJ，針對所述視頻圖像幀序列中出現的除最早出現的運動目標外的其他每個運動目標，判斷該運動目標與在該運動目標之前出現的各個運動目標在相應的圖像幀序列所包含的圖像幀中是否有重疊； 濃縮視頻圖像幀序列生成單元，用于根據背景模型、所述判斷單元針對除最早出現的運動目標外的其他每個運動目標所得到的各個判斷結果、所述位置與時刻確定單元確定的首次出現時刻以及所述圖像幀序列生成單元確定的各圖像幀序列，生成濃縮視頻圖像幀序列。
7.如權利要求6所述的裝置，其特征在于，所述待濃縮的視頻圖像幀序列包含具備不同背景圖像信息的視頻圖像幀；則 所述裝置還包括: 濃縮背景生成單元，用于依次針對待濃縮的視頻圖像幀序列中的每個視頻圖像分別執行指定操作，直至通過對該待濃縮的視頻圖像幀序列中的每個視頻圖像幀與背景模型的分別比較，而保存了每個確定出的待保存的背景圖像幀后，根據保存的背景圖像幀，生成濃縮背景圖像幀序列； 所述指定操作包括:比較該視頻圖像幀與預先設置的背景模型，并根據比較結果更新所述背景模型，得到更新的背景模型；在判斷出當前時刻為根據預設時間間隔確定出的背景圖像幀保存時刻時，確定更新的背景模型為待保存的背景圖像幀并對其進行保存；以及將更新的背景模型作為預先設置的背景模型；則 所述濃縮視頻圖像幀序列生成單元，具體用于根據所述濃縮背景生成單元確定的濃縮背景圖像幀序列、所述判斷單元獲得的各個判斷結果和所述位置與時刻確定單元確定的首次出現時刻以及所述圖像幀序列生成單元確定的各圖像幀序列，生成濃縮視頻圖像幀序列。
8.如權利要求7所述的裝置，其特征在于，濃縮視頻圖像幀序列生成單元具體包括: 運動目標區分子單元，用于針對除最早出現的運動目標外的其他每個運動目標，根據所述判斷單元確定的相應的判斷結果，確定在相應的圖像幀中與該運動目標有重疊的重疊運動目標，以及在相應的圖像幀中與該運動目標沒有重疊的非重疊運動目標； 基準序列生成子單元，用于通過合成濃縮背景圖像幀序列和基于所述視頻圖像幀序列中最早出現的運動目標所生成的圖像幀序列，生成基準圖像幀序列； 順序確定子單元，用于根據所述首次出現時刻，確定除最早出現的運動目標外的其他運動目標的出現順序； 序列合成子單元，用于基于所述基準序列生成子單元確定的基準圖像幀序列、所述順序確定子單元確定的出現順序、預設的圖像合成規則和除最早出現的運動目標所在的圖像幀序列外的其他圖像幀序列，生成濃縮視頻圖像幀序列。
9.如權利要求6所述的裝置，其特征在于，判斷單元具體用于: 根據所述位置與時刻確定單元確定出的位置和首次出現時刻，針對所述視頻圖像幀序列中出現的除最 早出現的運動目標外的其他每個運動目標，基于該運動目標所在的第一圖像幀序列和在該運動目標之前出現的各個運動目標分別所在的各第二圖像幀序列，通過執行依次對應比較第一圖像幀序列中的各個圖像幀與各第二圖像幀序列中的各個圖像幀的操作，判斷該運動目標與在該運動目標之前出現的各個運動目標在相應的圖像幀序列所包含的圖像幀中是否有重疊。
10.如權利要求8所述的裝置，其特征在于，所述圖像合成規則包括: 針對重疊運動目標，根據重疊運動目標在所述視頻圖像幀序列中的出現順序，分別確定各個重疊運動目標在濃縮視頻圖像幀序列中的第一出現時刻；并合成各個重疊運動目標所在的圖像幀序列和基準圖像幀序列；以及 針對非重疊運動目標，根據非重疊運動目標在所述視頻圖像幀序列中的出現順序，分別確定各個非重疊運動目標在濃縮視頻圖像幀序列中的第二出現時刻；并合成各個非重疊運動目標所在的圖像幀序列和基準圖像幀序列； 其中，確定出的各個第一、第二出現時刻均滿足:使得濃縮視頻圖像幀序列中的不同運動目標之間不會有重疊，且不同運動目標在濃縮視頻圖像幀序列中的出現順序與其在所述視頻圖像幀序列中的出現順序一致。
【文檔編號】H04N19/172GK103888768SQ201210564152
【公開日】2014年6月25日 申請日期:2012年12月21日 優先權日:2012年12月21日
【發明者】黃虎, 潘暉, 鄭韜, 潘石柱, 張興明, 傅利泉, 朱江明, 吳軍, 吳堅 申請人:浙江大華技術股份有限公司