用于檢測和跟蹤視頻中的一個或多個感興趣對象的方法和設備的制造方法
【技術領域】
[0001] 本發明設及應用于視頻的圖像處理領域。更特別地，本發明關于在使用移動相機 獲取的視頻序列中檢測和跟蹤一個或多個感興趣對象。
[0002] 下面的術語"移動相機"用于指在穩定景象中移動的相機W及獲取變化景象的相 機，即，其中背景或環境從一個景象或帖移動到另一個景象或帖。
【背景技術】
[0003] 視頻序列中感興趣對象的檢測和跟蹤，像電影中的主要人物或直播足球賽中最重 要的動作，考慮了了解視頻中運些對象的位置和軌跡。運種了解對視頻的自動概要是基本 的。視頻概要有一些目的，例如在視頻監控應用中、視頻索引中、或需要視頻內容的管理的 其他交互多媒體應用中。
[0004] 當處理使用不移動相機獲取的視頻時，能夠使用背景減去技術來檢測感興 趣對象。運樣的技術的示例公開在S.Conseil等人的"SuiviTridimensionnelen St紅6ovision"，GRETSI，2005中，其中背景被作為從所有帖中減去的參考圖像W檢測人手。
[0005] 但是，背景減去方法不適用于使用移動相機獲取的視頻序列的情況，因為背景易 于在景象或帖之間變化且不可W用作參考。存在一些用于跟蹤使用移動相機獲取的視頻中 的對象的可替換方法和設備。下面描述其中的一些示例。
[0006] 根據第一技術，用戶標記感興趣對象，即用戶經由圖形用戶界面（GUI)手動選擇 帖中的目標感興趣對象。然后使用運動和外觀模型來跟蹤穿過視頻序列的被選擇的對象W 知道其軌跡。
[0007] 第二種方式能夠自動跟蹤使用移動相機獲取的視頻序列中的對象，公開在US 5867584中，其需要用戶指定包括該對象的窗口。該窗口然后與后續帖中的測試窗口進行比 較W找到與包含該對象的指定窗口最相似的最匹配窗口。
[0008] 在第=種方式中，需要跟蹤對象的在先知識，例如W包含與對象相關聯的特征的 數據庫的形式。系統提前知道感興趣對象的模型，由此使其能夠在視頻的帖內檢測相似 的對象。系統的數據庫包括多個訓練樣本，例如不同種類的人臉，W找到視頻中的臉。之 后執行數據關聯步驟W將對跨視頻帖的相同對象的檢測關聯到軌跡或軌道。該第=方式 的不例可W在T.Ma,L.J.Latecki,"MaximumWrightCliqueswithmutexConstraints forObjectSegmentation",IEEEConferenceonComputerVisionandPattern Reco即ition(CVPR),June2012 中找到。
[0009] 使用上述技術，需要用戶交互和/或感興趣對象的在先知識，或可W被檢測的對 象類型被限制了，例如被限制到系統已經被訓練的對象類型。
[0010] 根據W上描述，需要不用輸入在先知識并獨立于知道模型所需的數據庫的情況下 的改進的自動檢測和跟蹤使用移動相機獲取的視頻中的感興趣對象。
【發明內容】
[0011] 本發明的實施方式提供用于檢測使用移動相機獲取的視頻中的感興趣對象的趕 緊的方法和改進的設備，其解決上述問題。
[0012] 根據第一方面，提供用于自動檢測和跟蹤包括使用移動相機獲取的若干個連續帖 的視頻序列中的一個或多個感興趣對象的方法，該方法包括步驟：
[0013] 針對該視頻序列中的每個帖：
[0014] 依據顏色將該帖分割成多個區域并產生分割的圖像，
[0015] 從該分割的圖像推演出區域鄰近圖形，包括節點和邊界，其中每個節點定義區域 且每個邊界連接該分割的圖形的鄰近區域的兩個節點，
[0016] 其中針對所述若干個連續帖的從分割的圖形推演出的區域鄰近圖形形成區域鄰 近圖形集合，
[0017] 從該區域鄰近圖形的集合提取頻繁時空圖案，
[001引確定連續帖之間的該提取的頻繁時空圖案的軌跡之間的不相似度，W及
[0019] 根據所確定的該軌跡的不相似度聚集（cluster)該頻繁時空圖案W產生對應于 所述一個或多個感興趣對象中的一個感興趣對象的至少一個群集。
[0020] 在一些實施方式中，該提取步驟可W包括提取在該區域鄰近圖形集合中的預定數 量的區域鄰近圖形中出現至少一次的時空圖案。
[0021] 在一些實施方式中，該提取步驟可W包括：
[0022] 針對每個時空圖案確定兩個不同區域鄰近圖形中間隔兩次連續出現的時空圖案 的歐幾里得距離，W及
[0023] 提取確定的歐幾里得距離低于空間闊值的時空圖案。
[0024] 在一些實施方式中，該提取步驟可W包括： 陽0巧]針對每個時空圖案，確定兩個不同區域鄰近圖形中間隔時空圖案的兩次連續出現 的區域鄰近圖形的數量，化及
[0026] 提取確定的區域鄰近圖形的數量低于時間闊值的時空圖案。
[0027] 在一些實施方式中，確定軌跡的不相似度的步驟可W包括：
[0028] 確定區域鄰近圖形中每個時空圖案的圖屯、（centroid)，
[0029] 確定對應于每個區域鄰近圖形中兩個不同時空圖案的兩個不同圖形之間的歐幾 里得距離，W及
[0030] 計算若干個區域鄰近圖形上的兩個不同圖形之間的歐幾里得距離的平均。
[0031] 優選地，確定軌跡的不相似度的步驟還可W包括：
[0032] 針對在兩個不同區域鄰近圖形中間隔時空圖案中的每一個時空圖案的兩次連續 出現的一個或多個區域鄰近圖形插入圖屯、，化及
[0033] 計算所有區域鄰近圖形的兩個圖屯、之間的歐幾里得距離的平均值。
[0034] 在一些實施方式中，聚集步驟可W包括聚集計算的兩個不同圖形之間的歐幾里得 距離的平均低于不相似闊值的時空圖案。
[0035] 有利地，聚集步驟還可W包括：
[0036] 聚集頻繁時空圖案W產生對應于多個感興趣對象的分等級的群集集合，W及
[0037] 在該分等級的群集集合中僅選擇不相似度低于預定闊值的群集。
[0038] 上述方面的任意還可W包括使用在視頻序列中被檢測和跟蹤的一個或多個感興 趣對象概括視頻序列W得到視頻概要。
[0039] 優選地，該概括步驟包括基于其軌跡的空間重疊來確定交互感興趣對象。
[0040] 根據第二方面，提供了用于自動檢測和跟蹤包括使用移動相機獲取的若干個連續 帖的視頻序列中的一個或多個感興趣對象的設備，該設備包括：
[0041] 帖提取器，被配置成依據顏色將視頻序列的每一個帖分割成區域，并產生每個帖 的分割的圖形，
[0042] 圖形引擎，被配置成從該分割的圖像推演出包括節點和邊界的區域鄰近圖形，其 中每個節點定義區域且每個邊界連接該分割的圖形的鄰近區域的兩個節點，
[0043] 其中針對所述若干個連續帖的從分割的圖形推演出的區域鄰近圖形形成區域鄰 近圖形集合， W44] 數據挖掘引擎，被配置成從區域鄰近圖形的集合中提取頻繁時空圖案，W及 W45] 聚集引擎，被配置成：
[0046] 確定連續帖之間的提取的頻繁時空圖案的軌跡之間的不相似度，W及
[0047] 根據所確定的該軌跡的不相似度聚集該頻繁時空圖案W產生對應于所述一個或 多個感興趣對象中的一個感興趣對象的至少一個群集。 W48] 有利地，該設備還可W包括概括引擎，被配置