基于滑窗優化的多目標跟蹤方法
【專利摘要】本發明提出一種基于滑窗優化的多目標跟蹤方法，包括以下步驟：獲取目標視頻序列，檢測目標視頻序列，并根據檢測結果對各個目標的狀態信息進行初始化；計算當前幀中所有目標的狀態信息與已存在的目標的狀態信息的相似度，并根據相似度判斷當前幀中各目標的狀態，其中，當前幀中各目標的狀態包括明確狀態和模糊狀態；建立近似?縮減框架將當前幀中的明確狀態與已存在的目標的狀態進行最優連接，以得到跟蹤結果。本發明能夠在提高跟蹤的準確率的同時，保證跟蹤的實時性，從而滿足了更多應用的需求。
【專利說明】
基于滑窗優化的多目標跟蹤方法
技術領域
[0001] 本發明設及計算機視覺及機器人導航技術領域，特別設及一種基于滑窗優化的多 目柄跟蹤方法。
【背景技術】
[0002] 多目標跟蹤是計算機視覺領域中的一個重要問題，特別是，由于多目標跟蹤本身 的特性，其在視頻監控、運動分析、自動駕駛W及機器人導航等視頻分析場景有更廣泛的應 用，運也就使得對運一問題的研究有了更加實際的意義。下面簡述一些多目標跟蹤的重要 應用場景：
[0003] (1)視頻監控:各種場景內的自動化監測，例如工地，場站等場景需要及時監控并 檢測到可疑的行為;各種道路W及路口的交通監視，多目標跟蹤可W有效的進行目標的自 動識別W及跟蹤，在交通流量控制W及疏導上也有重要的作用。
[0004] (2)自動駕駛：自動駕駛需要車載電腦實時的識別路上各種行人、車輛，并根據運 些目標的運動作出決策。因此多目標跟蹤是自動駕駛中獲取路面信息的重要環節，對自動 駕駛技術的發展具有重要的意義。
[0005] 多目標跟蹤指從視頻序列中獲取感興趣的多個目標(一般是某一類)的位置、大小 W及運動軌跡的過程。隨著深度學習等更加先進的算法成功的應用到物體檢測領域，物體 檢測的準確度進一步提高。運也就為基于檢測的多目標跟蹤算法的產生提供了基礎和依 據。基于檢測的多目標跟蹤簡單來說就是將每一帖的檢測結果對應連接起來形成每個目標 在視頻空間的"軌跡(trajectoriesT。為了確定運個軌跡，就要解決檢測之間歧義鏈接W 及錯誤檢測問題(多檢一一假陽，漏檢一一假陰）。
[0006] 為了更好的解決上述問題，較為直接的想法是用整體(batch)模式，即在整段視頻 序列上進行循環迭代，不斷優化求得的軌跡。由于運種方法只能處理已有的整段視頻，無法 實時跟蹤，也被稱為離線(offline)模式。顯而易見，整體模式的實用性并不強，無法應用到 實時監控W及自動駕駛等需要實時處理的領域。因此，與之相對的實時(online)模式就成 為了現在研究的主要方向。但由于實時跟蹤所用的數據信息少于離線跟蹤，運也就造成了 準確率難W達到同等條件下離線模式的程度。如何能將兩者的優勢相結合是一個至今仍未 解決的問題。
【發明內容】
[0007] 本發明旨在至少在一定程度上解決上述相關技術中的技術問題之一。
[000引為此，本發明的目的在于提出基于滑窗優化的多目標跟蹤方法，該方法能夠在提 高跟蹤的準確率的同時，保證跟蹤的實時性，從而滿足了更多應用的需求。
[0009]為了實現上述目的，本發明的實施例提出了一種基于滑窗優化的多目標跟蹤方 法，包括W下步驟:Sl:獲取目標視頻序列，檢測所述目標視頻序列，并根據檢測結果對各個 目標的狀態信息進行初始化;S2:計算當前帖中所有目標的狀態信息與已存在的目標的狀 態信息的相似度，并根據所述相似度判斷所述當前帖中各目標的狀態，其中，所述當前帖中 各目標的狀態包括明確狀態和模糊狀態；W及S3:建立近似-縮減框架將所述當前帖中的明 確狀態與已存在的目標的狀態進行最優連接，W得到跟蹤結果。
[0010] 根據本發明實施例的基于滑窗優化的多目標跟蹤方法，利用離線跟蹤數據豐富的 優勢，在提高多目標跟蹤性能和準確率的同時，保證了足夠的跟蹤實時性，從而滿足更多應 用的需求，增加了應用范圍。
[0011] 另外，根據本發明上述實施例的基于滑窗優化的多目標跟蹤方法還可W具有如下 附加的技術特征：
[0012] 在一些示例中，在所述S3之后，還包括:根據連接信息更新已存在的目標的狀態信 息，并縮減模糊狀態進行連接的可行集，同時將當前帖中的模糊狀態與下一帖新初始化的 狀態進行下一輪迭代，直至當前帖中所有的模糊狀態變成明確狀態，或者迭代次數達到預 設窗口長度。
[001引在一些示例中，所述根據所述相似度判斷所述當前帖中各目標的狀態，具體包括： 當所述相似度大于預設闊值時，判定對應的目標處于明確狀態；當所述相似度小于預設闊 值時，判定對應的目標處于模糊狀態。
[0014] 在一些示例中，所述目標的狀態信息包括：目標的位置、大小及圖像特征。
[0015] 在一些示例中，通過綜合計算所述當前帖中所有目標和所述已存在的目標的位 置、大小及圖像特征得到當前帖中所有目標的狀態信息與已存在的目標的狀態信息的相似 度。
[0016] 在一些示例中，所述建立近似-縮減框架，具體包括:采用公式(I)對多目標跟蹤問 題進行建模，所述多目標跟蹤問題為求得在已知所有觀測的條件下，將概率P(XJ Zb) 最大化的所有目標狀態值蠢:,，
[0017]
( I );
[0018] 所述公式(I)為每一帖每一個目標都取得最優狀態，可變形為：
[0019]
( Il );
[0020] 對于明確狀態群,，由于其與已存在狀態的相似程度高，可W推得：
[0021]
且模糊狀態騎= Xi:, \端，則所 述公式（n)可變為公式（now及公式(IV)兩部分：
[002^ (虹）
[0023] (職)；
[0024] 分別進行所述公式（虹）和公式(IV)的優化，并在完成所述公式(IV)的優化之后， 明確狀態已經完成了連接，并變成了對所述公式（虹）進行優化的條件，則所述公式（虹）優 化為：
[0025]
(V);
[0026] 其中，所述公式(V)對模糊狀態可能進行連接的可行集進行了縮減，并在迭代的過程 中，不斷的從模糊狀態中產生新的明確狀態瑞'e斟，端' =巧巧義灼,1?，枯.,，X;;)==P(A'ir,,, |Z,,,X;,n。
[0027] 在一些示例中，還包括:根據多目標跟蹤過程中狀態間連接的互斥性及時序，建立 模糊-明確狀態圖，W縮減可行集空間所設計的適用于多目標跟蹤的數據結構，其中，所述 模糊-明確狀態圖中的每個節點表示目標在該帖的狀態，節點之間的連線表示同一目標在 各帖的狀態的連接。
[0028] 在一些示例中，其中，所述模糊狀態只能存在預設窗口長度帖，當所述模糊狀態經 過所述預設窗口長度帖而無法轉變為明確狀態時，將所述模糊狀態與已存在的明確狀態進 行最優連接，W得到跟蹤結果。
[0029] 本發明的附加方面和優點將在下面的描述中部分給出，部分將從下面的描述中變 得明顯，或通過本發明的實踐了解到。
【附圖說明】
[0030] 本發明的上述和/或附加的方面和優點從結合下面附圖對實施例的描述中將變得 明顯和容易理解，其中：
[0031] 圖1是根據本發明一個實施例的基于滑窗優化的多目標跟蹤方法的流程圖；
[0032] 圖2是根據本發明一個實施例的基于滑窗優化的多目標跟蹤方法的整體流程圖；
[0033] 圖3是本發明一個具體實施例的模糊-明確狀態圖在TUD-Stadtmitte數據集中應 用的示意圖；
[0034] 圖4是本發明一個具體實施例的延遲跟蹤方式的示意圖；
[0035] 圖5是本發明一個具體實施例的模糊窗口的長度對于跟蹤準確度的影響示意圖； W及
[0036] 圖6是本發明一個具體實施例的真實標注結果中有重疊的目標狀態統計圖。
【具體實施方式】
[0037] 下面詳細描述本發明的實施例，所述實施例的示例在附圖中示出，其中自始至終 相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附 圖描述的實施例是示例性的，僅用于解釋本發明，而不能理解為對本發明的限制。
[0038] W下結合附圖描述根據本發明實施例的基于滑窗優化的多目標跟蹤方法。
[0039] 圖1是根據本發明一個實施例的基于滑窗優化的多目標跟蹤方法的流程圖。圖2是 根據本發明一個實施例的基于滑窗優化的多目標跟蹤方法的整體流程圖。如圖1所示，并結 合圖2,根據本發明一個實施例的基于滑窗優化的多目標跟蹤方法，包括W下步驟：
[0040] 步驟Sl:獲取目標視頻序列，檢測目標視頻序列，并根據檢測結果對各個目標的狀 態信息進行初始化。
[0041] 其中，目標的狀態信息包括：目標的位置、大小及圖像特征。
[0042] 步驟S2:計算當前帖中所有目標的狀態信息與已存在的目標的狀態信息的相似 度，并根據相似度判斷當前帖中各目標的狀態，其中，當前帖中各目標的狀態包括明確狀態 和模糊狀態。
[0043] 其中，例如，已存在的目標即為已跟蹤到的目標。通過綜合計算當前帖中所有目標 和已存在的目標的位置、大小及圖像特征得到當前帖中所有目標的狀態信息與已存在的目 標的狀態信息的相似度。
[0044] 其中，根據相似度判斷當前帖中各目標的狀態，具體包括：
[0045] 當相似度大于預設闊值時，判定對應的目標處于明確狀態；當相似度小于預設闊 值時，判定對應的目標處于模糊狀態。預設闊值即明確闊值，例如記作Cthre,所有新產生的 狀態W及模糊狀態都會計算與已存在的狀態的相似度，并與明確闊值Cthre進行比較。
[0046] 步驟S3:建立近似-縮減框架將當前帖中的明確狀態與已存在的目標的狀態進行 最優連接，W得到跟蹤結果。
[0047] 其中，建立近似-縮減框架的具體過程如下：
[0048] 采用公式（I)對多目標跟蹤問題進行建模，多目標跟蹤問題可W看作為求得在已 知所有觀測馬。的條件下，將概率巧X：i J Zb)最大化的所有目標狀態值惠,，
[0049]
[0050] 目標都取得最優狀態，可變形為：
[0051 ] 〔11.)';
[0052] 似程度高，可W推得：
[005引 且模糊狀態騎=馬,\瑞，則公 式(n)
[0054] 。肪，
[0化5] (邸）;
[0056] 于對公式（II)優化過程。并在完成公 式(IV) 變成了對公式（m)進行優化的條件， 則公式
[0057] *^V);
[0058] 其中，公式（V)相當于對模糊狀態可能進行連接的可行集進行了縮減，所W可稱為 縮減步驟。并在迭代的過程中，如圖2所示，模糊狀態會重新與已存在的狀態計算相似值，從而 不斷的從模糊狀態中產生新的明確狀態斯e騎.荀=巧1巧而',,傷,，卻忡社)S巧而為,)!。
[0059] 進一步地，在步驟S3之后，例如還包括:根據連接信息更新已存在的目標的狀態信 息，并縮減模糊狀態進行連接的可行集，同時將當前帖中的模糊狀態與下一帖新初始化的 狀態進行下一輪迭代，直至當前帖中所有的模糊狀態變成明確狀態，或者迭代次數（即延遲 的帖數)達到預設窗口長度。
[0060]在一些示例中，為了進一步提高算法效率，該方法例如還包括:根據多目標跟蹤過 程中狀態間連接的互斥性及時序，建立模糊-明確狀態圖，W縮減可行集空間所設計的適用 于多目標跟蹤的數據結構，其中，模糊-明確狀態圖中的每個節點表示目標在該帖的狀態， 節點之間的連線表示同一目標在各帖的狀態的連接。如圖3所示，圖中實線表示確定連接， 虛線表示可變連接，可變連接即模糊狀態與已存在狀態之間的可能連接。實線連接的為明 確狀態，虛線連接的為模糊狀態。因此，可變連接不存在互斥性，模糊狀態可能同時擁有多 條可變連接。模糊-明確狀態圖的另一個重要規則是，明確狀態只能與一個已存在的狀態相 連，也可稱為明確狀態只能有一個父狀態。但模糊狀態則沒有運個限制，因此明確狀態也可 W擁有多個子狀態。
[0061 ]另外，模糊狀態只存在于模糊窗口內，即只能存在預設窗口長度帖，當模糊狀態經 過預設窗口長度帖而無法轉變為明確狀態時，將模糊狀態與已存在的明確狀態一起進行最 優連接，W得到跟蹤結果（即連接結果）。具體地說，模糊窗口即模糊-明確狀態圖中預設長 度的時間窗口，規定只有在模糊窗口內才允許存在模糊狀態，即每個模糊狀態只能迭代預 設窗口長度次，延遲存在至該狀態所在帖之后預設窗口長度帖。如圖4所示，相當于每個狀 態信息空間變為W該狀態為頂點，W窗口長度為高的=角形。延遲跟蹤當模糊狀態要越過 模糊窗口時仍未轉化為明確狀態，該模糊狀態就會直接進入連接步驟與已存在的狀態進行 連接。因此，每一帖所有狀態的最后連接結果會在延遲預設窗口長度帖后才最終產生并顯 示出來，運種模式可稱為介于實時跟蹤W及離線跟蹤之間的延遲跟蹤。或者可W說，實時跟 蹤是模糊窗口為0的延遲跟蹤，而離線跟蹤則是模糊窗口為整個視頻序列的延遲跟蹤。
[0062] 由于模糊窗口的存在，對于當前帖來說，未來帖的信息也可W用在當前帖的狀態 優化中，運可W提供更多的信息W得到更佳的優化結果。同時通過設置合適的窗口長度，也 可W滿足實時性應用的需求。圖5展示了隨著模糊窗口長度的增加，跟蹤準確性會提高，但 是提高的幅度逐漸減小并在16帖左右接近頂點。而圖6則展示了通過對真實跟蹤結果的統 計，存在重疊的狀態(狀態模糊的原因）重疊時間大部分不超過1秒鐘，運也就為相對較短的 窗口長度卻能提高較高的跟蹤性能提供了依據。因此，本發明可W在提高多目標跟蹤性能 W及準確率的同時，保證跟蹤的實時性，擁有更加廣泛的應用范圍。
[0063] 綜上，根據本發明實施例的基于滑窗優化的多目標跟蹤方法，利用離線跟蹤數據 豐富的優勢，在提高多目標跟蹤性能和準確率的同時，保證了足夠的跟蹤實時性，從而滿足 更多應用的需求，增加了應用范圍。
[0064] 在本發明的描述中，需要理解的是，術語"中屯、"、"縱向"、"橫向"、"長度"、"寬度"、 "厚度"、"上"、"下"、"前"、"后左"、"右"、"豎直"、"水平"、"頂"、"底""內"、"外"、"順時 針"、"逆時針"、"軸向"、"徑向"、"周向"等指示的方位或位置關系為基于附圖所示的方位或 位置關系，僅是為了便于描述本發明和簡化描述，而不是指示或暗示所指的裝置或元件必 須具有特定的方位、W特定的方位構造和操作，因此不能理解為對本發明的限制。
[0065] 此外，術語"第一"、"第二"僅用于描述目的，而不能理解為指示或暗示相對重要性 或者隱含指明所指示的技術特征的數量。由此，限定有"第一"、"第二"的特征可W明示或者 隱含地包括至少一個該特征。在本發明的描述中，"多個"的含義是至少兩個，例如兩個，= 個等，除非另有明確具體的限定。
[0066] 在本發明中，除非另有明確的規定和限定，術語"安裝"、"相連"、"連接"、"固定"等 術語應做廣義理解，例如，可W是固定連接，也可W是可拆卸連接，或成一體;可W是機械連 接，也可W是電連接;可W是直接相連，也可W通過中間媒介間接相連，可W是兩個元件內 部的連通或兩個元件的相互作用關系，除非另有明確的限定。對于本領域的普通技術人員 而言，可W根據具體情況理解上述術語在本發明中的具體含義。
[0067] 在本發明中，除非另有明確的規定和限定，第一特征在第二特征"上"或"下"可W 是第一和第二特征直接接觸，或第一和第二特征通過中間媒介間接接觸。而且，第一特征在 第二特征"之上"、"上方"和"上面"可是第一特征在第二特征正上方或斜上方，或僅僅表示 第一特征水平高度高于第二特征。第一特征在第二特征"之下"、"下方"和"下面"可W是第 一特征在第二特征正下方或斜下方，或僅僅表示第一特征水平高度小于第二特征。
[0068] 在本說明書的描述中，參考術語"一個實施例"、"一些實施例"、"示例"、"具體示 例"、或"一些示例"等的描述意指結合該實施例或示例描述的具體特征、結構、材料或者特 點包含于本發明的至少一個實施例或示例中。在本說明書中，對上述術語的示意性表述不 必須針對的是相同的實施例或示例。而且，描述的具體特征、結構、材料或者特點可W在任 一個或多個實施例或示例中W合適的方式結合。此外，在不相互矛盾的情況下，本領域的技 術人員可W將本說明書中描述的不同實施例或示例W及不同實施例或示例的特征進行結 合和組合。
[0069] 盡管上面已經示出和描述了本發明的實施例，可W理解的是，上述實施例是示例 性的，不能理解為對本發明的限制，本領域的普通技術人員在本發明的范圍內可W對上述 實施例進行變化、修改、替換和變型。
【主權項】
1. 一種基于滑窗優化的多目標跟蹤方法，其特征在于，包括以下步驟： Sl:獲取目標視頻序列，檢測所述目標視頻序列，并根據檢測結果對各個目標的狀態信 息進行初始化； S2:計算當前幀中所有目標的狀態信息與已存在的目標的狀態信息的相似度，并根據 所述相似度判斷所述當前幀中各目標的狀態，其中，所述當前幀中各目標的狀態包括明確 狀態和模糊狀態；以及 S3:建立近似-縮減框架將所述當前幀中的明確狀態與已存在的目標的狀態進行最優 連接，以得到跟蹤結果。2. 根據權利要求1所述的基于滑窗優化的多目標跟蹤方法，其特征在于，在所述S3之 后，還包括： 根據連接信息更新已存在的目標的狀態信息，并縮減模糊狀態進行連接的可行集，同 時將當前幀中的模糊狀態與下一幀新初始化的狀態進行下一輪迭代，直至當前幀中所有的 模糊狀態變成明確狀態，或者迭代次數達到預設窗口長度。3. 根據權利要求1所述的基于滑窗優化的多目標跟蹤方法，其特征在于，所述根據所述 相似度判斷所述當前幀中各目標的狀態，具體包括： 當所述相似度大于預設閾值時，判定對應的目標處于明確狀態； 當所述相似度小于預設閾值時，判定對應的目標處于模糊狀態。4. 根據權利要求1所述的基于滑窗優化的多目標跟蹤方法，其特征在于，所述目標的狀 態信息包括：目標的位置、大小及圖像特征。5. 根據權利要求4所述的基于滑窗優化的多目標跟蹤方法，其特征在于，通過綜合計算 所述當前幀中所有目標和所述已存在的目標的位置、大小及圖像特征得到當前幀中所有目 標的狀態信息與已存在的目標的狀態信息的相似度。6. 根據權利要求1所述的于滑窗優化的多目標跟蹤方法，其特征在于，所述建立近似-縮減框架，具體包括： 采用公式（I)對多目標跟蹤問題進行建模，所述多目標跟蹤問題為求得在已知所有觀 測Zi,的條件下，將概率IZ1:,)最大化的所有目標狀態值iu，(I )；： 所述公式(I)為每一幀每一個目標都取得最優狀態，可變形為：(π); 對于明確狀態由于其與已存在狀態的相似程度高，可以推得：%,))且模糊狀態則所述公 式（Π )可變為公式(m)以及公式(IV)兩部分：Ull),分別進行所述公式απ)和公式αν)的優化，并在完成所述公式αν)的優化之后，明確 狀杰R經宗成了連培.#奪成了對所怵公πη講行優化的條件，則所述公式（m)優化為：(V)5 其中，所述公式(V)對模糊狀態可能進行連接的可行集進行了縮減，并在迭代的過程中，不 斷的從模糊狀態中產生新的明確狀s7. 根據權利要求1所述的基于滑窗優化的多目標跟蹤方法，其特征在于，還包括:根據 多目標跟蹤過程中狀態間連接的互斥性及時序，建立模糊-明確狀態圖，以縮減可行集空間 所設計的適用于多目標跟蹤的數據結構，其中，所述模糊-明確狀態圖中的每個節點表示目 標在該幀的狀態，節點之間的連線表示同一目標在各幀的狀態的連接。8. 根據權利要求1所述的基于滑窗優化的多目標跟蹤方法，其特征在于，其中，所述模 糊狀態只能存在預設窗口長度幀，當所述模糊狀態經過所述預設窗口長度幀而無法轉變為 明確狀態時，將所述模糊狀態與已存在的明確狀態進行最優連接，以得到跟蹤結果。
【文檔編號】G06K9/00GK106022238SQ201610317575
【公開日】2016年10月12日
【申請日】2016年5月12日
【發明人】季向陽, 但樂, 郭齊, 戴瓊海
【申請人】清華大學, 清華大學深圳研究生院