一種圖像處理方法及裝置制造方法

一種圖像處理方法及裝置制造方法
【專利摘要】本發明公開了一種圖像處理方法及裝置。其方法包括：獲取前景目標的運動序列；確定第一序列長度和第二序列長度，第一序列長度是以運動序列之間不存在遮擋為前提，對運動序列進行時間偏移處理得到的總序列長度，第二序列長度是最長運動序列的長度；確定不大于第一序列長度且不小于第二序列長度的目標序列長度；對運動序列進行時間偏移處理，得到至少一個組合序列，每個組合序列的長度不大于所述目標序列長度，每個組合序列的起始時間相同，且組成每個組合序列的運動序列之間不存在時間重疊；將得到的至少一個組合序列與濃縮背景序列進行圖像拼接，得到濃縮視頻圖像。本發明實施例中，可以使得前景目標分布較為均勻。
【專利說明】一種圖像處理方法及裝置

【技術領域】
[0001] 本發明涉及視頻圖像處理【技術領域】，尤其涉及一種圖像處理方法及裝置。

【背景技術】
[0002] 在交通路口、銀行、小區等多種場景進行視頻監控時，每天產生大量數據。為了便 于從中查找某一特定目標，可以對一系列視頻圖像進行壓縮處理。
[0003] 傳統的視頻圖像壓縮技術，僅僅對無運動目標的圖像幀進行剔除。這種壓縮方式 形成的視頻仍然很長。
[0004] 為了進一步對視頻進行壓縮，減少視頻幀數，提出了視頻濃縮的概念。所謂視頻濃 縮，是指將前景目標的運動序列進行時間上的偏移，使得前景目標的運動序列之間的相對 時間間隔縮短。
[0005] 視頻濃縮的處理過程如下：
[0006] 對前景目標進行跟蹤記錄，得到每個前景目標對應的運動序列。具體的，跟蹤記 錄是指，對同一前景目標在多幀視頻圖像中的外接矩形的坐標位置、在多幀視頻圖像中的 外接矩形對應的圖像信息、同一前景目標在原始視頻中的起始幀和結束幀等等信息進行記 錄。其中，前景目標是通過前景檢測確定的。
[0007] 對運動序列進行時間上的偏移。具體的，在進行時間偏移處理時，使得待偏移的運 動序列與已經完成偏移的運動序列（可以是多個運動序列經過時間偏移后的組合）之間存 在遮擋的幀數不超過遮擋閾值。其中，判斷運動序列之間是否存在遮擋時，具體是判斷兩個 運動序列相同幀的前景目標是否存在遮擋，如果是，則這兩個運動序列在這一幀上存在遮 擋。如果遮擋閾值設置為〇,則經過時間偏移處理后，各個運動序列之間不存在遮擋。
[0008] 將經過時間偏移的運動序列與濃縮背景序列進行圖像拼接，完成視頻濃縮處理。 其中，濃縮背景序列是從運動序列對應的背景圖像中提取得到的。
[0009] 現有的視頻濃縮技術，通過遮擋閾值控制運動序列的時間偏移。一些相互之間遮 擋較少的運動序列(通常是短運動序列）分布較為集中。另外一些運動序列（通常是長運動 序列）可能因為與其他運動序列之間存在較多遮擋，而與其他運動序列在時間上的重疊較 少。導致經視頻濃縮后得到的一系列視頻圖像中，前景目標在時間上的分布不均勻。


【發明內容】

[0010] 本發明的目的是提供一種圖像處理方法及裝置，以解決視頻濃縮有得到的一系列 視頻圖像中前景目標在時間上分布不均勻的問題。
[0011] 本發明的目的是通過以下技術方案實現的：
[0012] 一種圖像處理方法，包括：
[0013] 對原始視頻的視頻圖像進行前景檢測和前景目標跟蹤，獲取各個前景目標的跟蹤 記錄，每個前景目標的跟蹤記錄包括前景目標在所述原始視頻中出現的時間信息、前景目 標在多幀視頻圖像中的外接矩形的坐標信息和前景目標在多幀視頻圖像中的外接矩形圖 像信息按時序排列構成的運動序列；
[0014] 確定第一序列長度和第二序列長度，所述第一序列長度是對運動序列進行時間偏 移處理使得各個運動序列之間不存在遮擋時得到的總長度，所述第二序列長度是最長運動 序列的長度；
[0015] 確定目標序列長度，所述目標序列長度不大于所述第一序列長度且不小于所述第 二序列長度；
[0016] 對運動序列進行時間偏移處理，得到至少一個組合序列，每個組合序列的長度不 大于所述目標序列長度，每個組合序列的起始時間相同，且每個組合序列包含的運動序列 之間不存在時間重疊；
[0017] 將得到的所述至少一個組合序列與濃縮背景序列進行圖像拼接，得到濃縮視頻圖 像。
[0018] 一種圖像處理裝置，包括：
[0019] 運動序列生成模塊，用于對原始視頻的視頻圖像進行前景檢測和前景目標跟蹤， 獲取各個前景目標的跟蹤記錄，每個前景目標的跟蹤記錄包括前景目標在所述原始視頻中 出現的時間信息、前景目標在多幀視頻圖像中的外接矩形的坐標信息和前景目標在多幀視 頻圖像中的外接矩形圖像信息按時序排列構成的運動序列；
[0020] 序列長度確定模塊，用于確定第一序列長度和第二序列長度，所述第一序列長度 是對運動序列進行時間偏移處理使得各個運動序列之間不存在遮擋時得到的總長度，所述 第二序列長度是最長運動序列的長度；并確定目標序列長度，所述目標序列長度不大于所 述第一序列長度且不小于所述第二序列長度；
[0021] 時間偏移處理模塊，用于對運動序列進行時間偏移處理，得到至少一個組合序列， 每個組合序列的長度不大于所述目標序列長度，每個組合序列的起始時間相同，且每個組 合序列包含的運動序列之間不存在時間重疊；
[0022] 圖像拼接處理模塊，用于將得到的所述至少一個組合序列與濃縮背景序列進行圖 像拼接，得到濃縮視頻圖像。
[0023] 本發明實施例提供的技術方案，在確定了上述目標序列長度后，根據該目標序列 長度對運動序列進行時間偏移處理，得到長度不大于目標序列長度的至少一個組合序列， 每個組合序列的起始時間相同，且每個組合序列包含的運動序列之間不存在時間重疊。由 于每個組合序列包含的運動序列之間不存在時間重疊，因此，在目標序列長度固定時，經過 時間偏移處理后，各個運動序列之間的遮擋降至最低。在此基礎上，由于各個組合序列的起 始時間相同，因此，長運動序列可能和多個短運動序列組成的組合序列存在時間上的重合， 可以使得前景目標在時間上的分布較為均勻。

【專利附圖】

【附圖說明】
[0024] 圖1為本發明實施例提供的第一種方法流程圖；
[0025] 圖2為本發明實施例提供的第二種方法流程圖；
[0026] 圖3為本發明實施例中生成的運動序列長度排序示意圖；
[0027] 圖4為本發明實施例中對運動序列進行時間偏移處理后的排序示意圖；
[0028] 圖5為本發明實施例提供的裝置結構示意圖。

【具體實施方式】
[0029] 為提高濃縮視頻中前景目標在時間上的分布均勻性，本發明實施例提供一種圖像 處理方案：對原始視頻的視頻圖像進行前景檢測和前景目標跟蹤，獲取各個前景目標的跟 蹤記錄，每個前景目標的跟蹤記錄包括前景目標在原始視頻中出現的時間信息、前景目標 在多幀視頻圖像中的外接矩形的坐標信息和前景目標在多幀視頻圖像中的外接矩形圖像 信息按時序排列構成的運動序列；對運動序列進行時間偏移處理使得各個運動序列之間不 存在遮擋時得到第一序列長度，以最長運動序列的長度作為第二序列長度，進而確定不大 于第一序列長度且不小于第二序列長度的目標序列長度；對運動序列進行時間偏移處理， 得到至少一個組合序列，每個組合序列的長度不大于所述目標序列長度，每個組合序列的 起始時間相同，且每個組合序列的運動序列之間不存在時間重疊；將得到的至少一個組合 序列與濃縮背景序列進行圖像拼接，得到濃縮視頻圖像。本發明實施例提供的技術方案，在 確定了上述目標序列長度后，根據該目標序列長度對運動序列進行時間偏移處理，根據上 述技術方案的描述可知，本發明實施例提供的技術方案中，對運動序列進行時間偏移處理 是依據Tertis思想實現的，可以使得前景目標在時間上的分布較為均勻。
[0030] 下面將結合附圖，對本發明實施例提供的技術方案進行詳細說明。
[0031] 圖1所示為本發明實施例提供的一種圖像處理方法流程圖，具體包括如下操作：
[0032] 步驟100、對原始視頻的視頻圖像進行前景檢測和前景目標跟蹤，獲取各個前景目 標的跟蹤記錄。
[0033] 其中，每個前景目標的跟蹤記錄包括前景目標在原始視頻中出現的時間信息、前 景目標在多幀視頻圖像中的外接矩形的坐標信息和前景目標在多幀視頻圖像中的外接矩 形圖像信息按時序排列構成的運動序列。
[0034] 前景目標在原始視頻中出現的時間信息，可以包括前景目標的起始時間信息(例 如起始幀在原始視頻中的幀編號）和前景目標的結束時間信息(例如結束幀在原始視頻中 的幀編號)。前景目標在原始視頻中出現的時間信息，還可以包括前景目標的起始時間信息 (例如起始幀在原始視頻中的幀編號）和出現的時間長度信息(例如前景目標在連續視頻圖 像中出現的幀數)。前景目標在原始視頻中出現的時間信息，還可以包括前景目標的結束時 間信息(例如結束幀在原始視頻中的幀編號）和出現的時間長度信息(例如前景目標在連續 視頻圖像中出現的幀數)。前景目標在原始視頻中出現的時間信息，還可以包括檢測到前景 目標的各個視頻圖像的時間信息(例如檢測到前景目標的各個視頻圖像的幀編號)。
[0035] 在進行前景目標跟蹤時，還可以為每個前景目標分配一個標識（ID)，相應的，前景 目標的運動序列也用該前景目標的ID表示。
[0036] 較佳地，為節省內存空間，還可以將前景目標跟蹤的結果保存到硬盤中。
[0037] 步驟110、確定第一序列長度和第二序列長度。
[0038] 其中，第一序列長度是對運動序列進行時間偏移處理使得各個運動序列之間不存 在遮擋時得到的總長度。具體的，經過時間偏移處理，使得各個運動序列之間不存在遮擋， 根據時序上最早的運動序列的第一幀的幀編號與最晚的運動序列的最后一幀的幀編號之 差，確定得到的總長度。
[0039] 第二序列長度是最長運動序列的長度。
[0040] 步驟120、確定不大于第一序列長度且不小于第二序列長度的目標序列長度。
[0041] 其中，將第一序列長度作為視頻濃縮處理后得到的視頻圖像序列的長度上限，將 第二序列長度作為視頻濃縮處理后得到的視頻圖像序列的長度下限。在該長度范圍內，目 標序列長度越接近第一序列長度，則視頻濃縮處理后得到的視頻圖像序列中前景目標之間 存在遮擋的可能性越小，目標序列長度越接近第二序列長度，則視頻濃縮處理后得到的視 頻圖像序列中前景目標之間存在遮擋的可能性越大。
[0042] 步驟130、對運動序列進行時間偏移處理，得到至少一個組合序列，每個組合序列 的長度不大于所述目標序列長度，每個組合序列的起始時間相同，且每個組合序列包含的 運動序列之間不存在時間重疊。
[0043] 本發明實施例中，既可以分別對每個前景目標的運動序列進行時間偏移處理，也 可以將運動序列進行分組，以運動序列組為單位進行時間偏移處理。至于如何對運動序列 進行分組，可以根據實際需求確定，本發明不作限定。
[0044] 本發明實施例中，各個組合序列之間存在時間重疊。
[0045] 步驟140、將得到的上述至少一個組合序列與濃縮背景序列進行圖像拼接，得到濃 縮視頻圖像。
[0046] 其中，濃縮背景序列的獲取方式有多種，通過各個方式獲取的濃縮背景序列均可 以應用于本發明實施例。
[0047] 本發明實施例中，確定目標序列長度的方式有多種，既可以在不大于第一序列長 度且不小于第二序列長度的取值范圍內，任意確定目標序列長度。也可以按照預定的策略 確定目標序列長度。
[0048] 較佳地，可以定義濃縮密度的概念，濃縮密度越大，則視頻濃縮處理后得到的視頻 圖像序列中前景目標之間存在遮擋的可能性越大，濃縮密度越小，則視頻濃縮處理后得到 的視頻圖像序列中前景目標之間存在遮擋的可能性越小。因此，可以規定第一序列長度對 應的濃縮密度為1，第二序列長度對應的濃縮密度為N。其中，N為不小于2的整數，是預先 確定的最大濃縮密度取值。
[0049] 基于濃縮密度，則確定不大于第一序列長度且不小于第二序列長度的目標序列長 度時，其具體實現方式可以是：
[0050] 確定第一序列長度與第二序列長度之間的長度間隔_

【權利要求】
1. 一種圖像處理方法，其特征在于，包括： 對原始視頻的視頻圖像進行前景檢測和前景目標跟蹤，獲取各個前景目標的跟蹤記 錄，每個前景目標的跟蹤記錄包括前景目標在所述原始視頻中出現的時間信息、前景目標 在多幀視頻圖像中的外接矩形的坐標信息和前景目標在多幀視頻圖像中的外接矩形圖像 信息按時序排列構成的運動序列； 確定第一序列長度和第二序列長度，所述第一序列長度是對運動序列進行時間偏移處 理使得各個運動序列之間不存在遮擋時得到的總長度，所述第二序列長度是最長運動序列 的長度； 確定目標序列長度，所述目標序列長度不大于所述第一序列長度且不小于所述第二序 列長度； 對運動序列進行時間偏移處理，得到至少一個組合序列，每個組合序列的長度不大于 所述目標序列長度，每個組合序列的起始時間相同，且每個組合序列包含的運動序列之間 不存在時間重置； 將得到的所述至少一個組合序列與濃縮背景序列進行圖像拼接，得到濃縮視頻圖像。
2. 根據權利要求1所述的方法，其特征在于，確定目標序列長度，包括： 確定第一序列長度與第二序列長度之間的長度間隔=
確定目標序列長度 len(n) = len(l)-InterX (n-1); len (N)為所述第二序列長度，len (1)為所述第一序列長度，N為不小于2的整數， 1 < η < N。
3. 根據權利要求1所述的方法，其特征在于，確定目標序列長度，包括： 確定第一序列長度與第二序列長度之間的長度間隔
確定目標序列長度 len(n) = len(N)+InterX (Ν-η); len (Ν)為所述第二序列長度，len (1)為所述第一序列長度，Ν為不小于2的整數， 1 < η < Ν。
4. 根據權利要求1?3任一項所述的方法，其特征在于，對運動序列進行時間偏移處 理，得到至少一個組合序列，包括： 按照長度對運動序列進行排序； 以最長運動序列的起始時間作為各個組合序列的起始時間，按照長度降序對其他各個 運動序列進行如下時間偏移處理： 判斷待處理的運動序列與已得到的組合序列的長度之和是否大于所述目標序列長 度； 如果與各個組合序列的長度之和均大于所述目標序列長度，將所述待處理的運動序列 進行時間偏移，得到新的組合序列； 如果與所述待處理的運動序列的長度之和不大于所述目標序列長度的組合序列只有 一個，將所述待處理的運動序列進行時間偏移至所述組合序列的最后一個運動序列之后； 如果與所述待處理的運動序列的長度之和不大于所述目標序列長度的組合序列有至 少兩個，選擇與所述待處理的運動序列的長度之和最大的組合序列，并將所述待處理的運 動序列進行時間偏移至所述組合序列的最后一個運動序列之后。
5. 根據權利要求1?3任一項所述的方法，其特征在于，對運動序列進行時間偏移處 理，得到至少一個組合序列，包括： 按照長度對運動序列進行排序； 以最短運動序列的起始時間作為各個組合序列的起始時間，按照長度升序對其他各個 運動序列進行如下時間偏移處理： 判斷待處理的運動序列與已得到的組合序列的長度之和是否大于所述目標序列長 度； 如果與各個組合序列的長度之和均大于所述目標序列長度，將所述待處理的運動序列 進行時間偏移，得到新的組合序列； 如果與所述待處理的運動序列的長度之和不大于所述目標序列長度的組合序列只有 一個，將所述待處理的運動序列進行時間偏移至所述組合序列的最后一個運動序列之后； 如果與所述待處理的運動序列的長度之和不大于所述目標序列長度的組合序列有至 少兩個，選擇與所述待處理的運動序列的長度之和最大的組合序列，并將所述待處理的運 動序列進行時間偏移至所述組合序列的最后一個運動序列之后。
6. -種圖像處理裝置，其特征在于，包括： 運動序列生成模塊，用于對原始視頻的視頻圖像進行前景檢測和前景目標跟蹤，獲取 各個前景目標的跟蹤記錄，每個前景目標的跟蹤記錄包括前景目標在所述原始視頻中出現 的時間?目息、如景目標在多巾貞視頻圖像中的外接矩形的坐標彳目息和如景目標在多巾貞視頻圖 像中的外接矩形圖像信息按時序排列構成的運動序列； 序列長度確定模塊，用于確定第一序列長度和第二序列長度，所述第一序列長度是對 運動序列進行時間偏移處理使得各個運動序列之間不存在遮擋時得到的總長度，所述第二 序列長度是最長運動序列的長度；并確定目標序列長度，所述目標序列長度不大于所述第 一序列長度且不小于所述第二序列長度； 時間偏移處理模塊，用于對運動序列進行時間偏移處理，得到至少一個組合序列，每個 組合序列的長度不大于所述目標序列長度，每個組合序列的起始時間相同，且每個組合序 列包含的運動序列之間不存在時間重疊； 圖像拼接處理模塊，用于將得到的所述至少一個組合序列與濃縮背景序列進行圖像拼 接，得到濃縮視頻圖像。
7. 根據權利要求6所述的裝置，其特征在于，確定目標序列長度時，所述序列長度確定 模塊具體用于： 確定第一序列長度與第二序列長度之間的長度間隔 確定目標序列長度 len(n) = len(l)-InterX (η-1); len (Ν)為所述第二序列長度，len (1)為所述第一序列長度，Ν為不小于2的整數， 1 < η < Ν。
8. 根據權利要求6所述的裝置，其特征在于，確定目標序列長度時，所述序列長度確定 模塊具體用于： 確定第一序列長度與第二序列長度之間的長度間隔
確定目標序列長度 len(n) = len(N)+InterX (N-n); len (N)為所述第二序列長度，len (1)為所述第一序列長度，N為不小于2的整數， 1 < η < N。
9. 根據權利要求6?8任一項所述的裝置，其特征在于，所述時間偏移處理模塊具體用 于： 按照長度對運動序列進行排序； 以最長運動序列的起始時間作為各個組合序列的起始時間，按照長度降序對其他各個 運動序列進行如下時間偏移處理： 判斷待處理的運動序列與已得到的組合序列的長度之和是否大于所述目標序列長 度； 如果與各個組合序列的長度之和均大于所述目標序列長度，將所述待處理的運動序列 進行時間偏移，得到新的組合序列； 如果與所述待處理的運動序列的長度之和不大于所述目標序列長度的組合序列只有 一個，將所述待處理的運動序列進行時間偏移至所述組合序列的最后一個運動序列之后； 如果與所述待處理的運動序列的長度之和不大于所述目標序列長度的組合序列有至 少兩個，選擇與所述待處理的運動序列的長度之和最大的組合序列，并將所述待處理的運 動序列進行時間偏移至所述組合序列的最后一個運動序列之后。
10. 根據權利要求6?8任一項所述的裝置，其特征在于，所述時間偏移處理模塊具體 用于： 按照長度對運動序列進行排序； 以最短運動序列的起始時間作為各個組合序列的起始時間，按照長度升序對其他各個 運動序列進行如下時間偏移處理： 判斷待處理的運動序列與已得到的組合序列的長度之和是否大于所述目標序列長 度； 如果與各個組合序列的長度之和均大于所述目標序列長度，將所述待處理的運動序列 進行時間偏移，得到新的組合序列； 如果與所述待處理的運動序列的長度之和不大于所述目標序列長度的組合序列只有 一個，將所述待處理的運動序列進行時間偏移至所述組合序列的最后一個運動序列之后； 如果與所述待處理的運動序列的長度之和不大于所述目標序列長度的組合序列有至 少兩個，選擇與所述待處理的運動序列的長度之和最大的組合序列，并將所述待處理的運 動序列進行時間偏移至所述組合序列的最后一個運動序列之后。
【文檔編號】G06T3/40GK104299206SQ201310301356
【公開日】2015年1月21日 申請日期:2013年7月16日 優先權日:2013年7月16日
【發明者】黃虎, 鄭韜, 程淼, 潘暉, 張興明, 傅利泉, 朱江明, 吳軍, 吳堅 申請人:浙江大華技術股份有限公司