一種單攝像頭的行人跟蹤方法與流程
本發明涉及智能安防領域，更具體地，涉及一種單攝像頭的行人跟蹤方法。
背景技術：
智能視頻監控作為安防領域一項極具發展前景的技術，需要對視頻中的興趣目標進行跟蹤、檢測識別和行為分析。多目標跟蹤技術需要從場景視頻中檢測出多個目標的軌跡，為目標的行為分析提供依據。同時，采集視頻錄像的行人軌跡數據并加以分析，能夠為設施規劃提供更多有用的信息，甚至發掘出潛在的商業價值。因此，實現智能化的多目標跟蹤具有廣闊的應用前景。
基于多攝像頭的多目標跟蹤方法在解決目標遮擋問題時有一定優勢。這類方法一般通過多目視覺算法計算目標的深度信息，來改善跟蹤效果。然而，絕大多數的視頻錄像是由單攝像頭拍攝的，無法使用基于多攝像頭的跟蹤方法。基于多攝像頭的多目標跟蹤系統成本一般更高，且需要進行攝像頭的安裝規劃。
目前已有的基于單攝像頭的多目標跟蹤方法主要基于兩種主流的匹配方法：基于能量函數的優化方法以及基于圖論的優化方法。其中基于能量函數的優化方法所使用的一般是高度非凸函數，往往不能求解出全局最優解，很容易出現目標交匯混淆的問題，而且優化效率很低。基于圖論的匹配算法多采用匈牙利算法或是最小代價網絡流算法，這些算法在人數較多的情境下往往效率低下。在目標表達方面，已有方法多采用直方圖或者是在線學習表觀模型。基于直方圖的匹配方法雖然計算量小，但是難以充分解決不同目標表觀相似和同一目標表觀變化等問題。而在線學習表觀模型易于在軌跡初始化時遭遇樣本過小的問題，或是效率不高。
技術實現要素：
本發明為解決以上現有技術的難題，提供了一種單攝像頭的行人跟蹤方法，該方法先把視頻幀中的觀察目標連接成穩定可靠的運動軌跡，然后通過匹配運動軌跡并填充運動軌跡間的空白段，形成最終的跟蹤軌跡。該策略能夠很好地解決跟蹤過程中行人短時間被遮擋引起的軌跡中斷問題。
為實現以上發明目的，采用的技術方案是：
一種單攝像頭的行人跟蹤方法，包括以下步驟：
S1.對視頻圖像進行檢測，將檢測出來的行人稱為觀察目標；
S2.設在當前幀t檢測到有n個觀察目標，提取這n個觀察目標的特征；
S3.設在當前幀t，同時存在若干條在當前幀t之前的運動軌跡，T＝{ds,ds+1,...,de}表示一條運動軌跡，其中s、e分別為軌跡T的起始時刻和終止時刻；對于運動軌跡通過位置約束條件選出在當前幀t可能關聯的觀察目標，然后計算運動軌跡Ti與可能關聯的觀察目標的相似度，將與運動軌跡Ti相似度最高的觀察目標作為該運動軌跡的最佳觀察目標；
S4.經過步驟S3的匹配后，每個觀察目標遇到以下三種情況之一：
A.觀察目標不是任何運動軌跡的的最佳觀察目標，因而未能成功配對；
B.觀察目標僅是一條運動軌跡的最佳觀察目標，則將該觀察目標與該運動軌跡配對；
C.觀察目標是多條運動軌跡的最佳觀察目標，則利用稀疏表示分類器對觀察目標進行分類，利用分類器確定該觀察目標所屬的運動軌跡，將觀察目標與該運動軌跡配對；
S5.執行步驟S4后，對運動軌跡進行更新：
A.對于未成功配對到運動軌跡的觀察目標，新建立一條以該觀察目標為起點的運動軌跡；
B.對于成功配對到運動軌跡的觀察目標，將該觀察目標連接到運動軌跡的末端；
C.對于未成功配對到觀察目標的運動軌跡，則利用該運動軌跡在當前幀t之前m幀的位置線性預測出其在當前幀t的位置，并將其稱之為預測目標，若預測目標和運動軌跡的相似度大于閾值，則將預測目標連接到運動軌跡的末端；
S6.重復執行步驟S3-S5，直到遍歷完圖像序列，低層次數據關聯過程結束；
S7.通過時空約束條件選出有可能關聯的運動軌跡對(Ta,Tb)；
S8.采集足夠數量的行人圖像；若圖像中行人腿部是呈靠攏狀態的，則標記為正樣本，否則標記為負樣本；對圖像中行人腿部計算梯度方向直方圖，并且以此作為特征，離線訓練一個能夠區分圖像中行人腿部是否呈靠攏狀態的支持向量機；
S9.使用支持向量機判別Ta、Tb的每張圖像中行人腿部是否呈靠攏狀態，并選出判別結果為正的圖像作為Ta、Tb的代表性圖像子集(Aa,Ab)；
S10.對運動軌跡對(Ta,Tb)的代表性圖像子集(Aa,Ab)進行圖像特征提取，然后基于提取的特征使用雙向重構的策略來計算運動軌跡對(Ta,Tb)的距離，若運動軌跡對(Ta,Tb)的距離大于指定閾值，則舍棄該運動軌跡對；
S11.基于層次聚類的軌跡匹配：
將運動軌跡視為點，將S10得到的運動軌跡對視為邊，邊的權值取運動軌跡對的距離，由此構成一個無向圖G＝(V,E)，其中V＝{T1,T2,...,Tn}，E＝{(Ta，Tb，D(Ta，Tb))|D(Ta，Tb)＜θD且1≤a，b≤n}，n為運動軌跡數；
聚類開始時，設類別數為n，每個類只包含一個點；每個點具有一個時間跨度Zi＝{si,si+1,...,ei}；每個類的時間跨度為該類所有點的時間跨度的并集；然后進行如下聚類：
A.從邊集中選出權值最小的邊l；
B.若邊l的兩端點所屬類的時間跨度沒有交集，則把這兩個類聚合成一個類；
C.從邊集中刪除邊l，若邊集為空集，聚類結束，否則返回A；
D.聚類結束后，每一類表示一個行人目標；
S12.軌跡修復：
對于S11得到的每一個類，把所有觀察目標的垂直坐標x、水平坐標y、檢測窗口高度h分開處理，使用樣條線分別擬合x-t曲線、y-t曲線、h-t曲線，以填補缺失的軌跡點并對軌跡進行平滑。
上述方案中，本發明提出的方法采用分層次跟蹤的策略，先把視頻幀中的檢測目標連接成穩定可靠的小段運動軌跡，然后通過匹配小段運動軌跡并填充小段運動軌跡間的空白段，形成最終的跟蹤軌跡。該策略能夠很好地解決跟蹤過程中行人短時間被遮擋引起的軌跡中斷問題。進一步地，本發明使用了基于稀疏表示的目標匹配和軌跡距離度量方法，能夠很好地處理由環境變化和目標形變引起的同一目標表觀變化問題，改善由于不同目標表觀相似而導致的目標混淆。
優選地，所述步驟S2中，提取觀察目標特征的具體過程如下：提取觀察目標對應的圖像區域的顏色直方圖和梯度方向直方圖作為觀察目標的特征；
其中提取顏色直方圖的具體步驟如下：
把觀察目標圖像在豎直方向等分成兩部分，分別提取兩部分的HSV概率直方圖，每通道分32個等級，每部分得到96維特征cupper和clower，顏色直方圖為c＝[cupper,clower]；
提取梯度方向直方圖的具體步驟如下：
把觀察目標圖像歸一化到64×32像素的尺寸，然后提取其HOG特征；其中采用大小為8×8像素的單元，從中提取9維直方圖，每2×2個單元構成一個塊，各單元的9維直方圖向量級聯構成36維特征向量并歸一化；在水平和垂直方向上每間隔8像素提取一個塊特征，可獲得21個塊，將各塊對應的特征向量級聯構成756維特征向量h。
優選地，所述步驟S3中，提取運動軌跡Ti在當前幀t之前m幀的平均顏色特征作為運動軌跡Ti的特征，然后分別計算運動軌跡和觀察目標兩部分HSV直方圖的巴氏系數BCupper和BClower，相似度定義為
優選地，所述步驟S5中，若運動軌跡連續4幀未成功匹配到觀察目標，則不再參與低層次數據關聯。
優選地，所述步驟S4中，利用稀疏表示分類器求出該觀察目標所屬的運動軌跡的具體過程如下：
分類任務使用的特征為v＝[hT/||h||2,cT/||c||2]T，將觀察目標作為測試圖像，其特征為y，將可能與該觀察目標關聯的各條運動軌跡末端的k個目標圖像的特征組成字典A＝[A1,A2,...,An]，其中(1≤i≤n)表示類別i的訓練圖像子集；
通過求解式(2)，獲得最優重構系數
若式(2)無解，則通過求解式(3)，獲得最優重構系數
最后根據式(4)求出觀察目標所屬的運動軌跡；
其中x表示重構系數，ε表示允許的最大重構誤差，表示保留最優系數中對應類別i的系數，其余系數設置為0。
優選地，所述步驟S7中，若運動軌跡對(Ta,Tb)滿足以下條件，則兩者之間為可能關聯的運動軌跡對(Ta,Tb)：
A.Ta和Tb在時間區間上錯開，且間隔小于閾值θf；
B.觀察目標速度在一定范圍內，即其中是觀察目標和的檢測框的平均寬度；pb、pa表示觀察目標和的位置。
優選地，所述步驟S10中，使用雙向重構的策略計算運動軌跡對(Ta,Tb)的距離的具體過程如下：
A.用圖像子集Aa作為字典矩陣，對圖像子集Ab的每個樣本分別進行重構，根據式(5)求得每個樣本的重構殘差：
B.用圖像子集Ab作為字典矩陣，對圖像子集Aa的每個樣本分別進行重構，根據式(6)求得每個樣本的重構殘差:
C.從所有殘差值中選取最小的k個，計算這前k個最小殘差值的平均數，作為兩個圖像集的距離D(Ta,Tb)。
與現有技術相比，本發明的有益效果是：
本發明采用分層次跟蹤的策略，先把檢測目標連接成穩定可靠的小段運動軌跡，然后通過匹配小段運動軌跡并填充小段運動軌跡間的空白段，形成最終的跟蹤軌跡。該策略有利于解決跟蹤過程中由于行人被短時間遮擋而引起的軌跡中斷問題。進一步地，在小軌跡段的構造中，本發明提出了基于級聯思想的兩步匹配方法。對于匹配難度小的情況，選用計算量小的直方圖匹配方法，而且這些情況在實際運行中占大多數，有利于提高處理效率。對于匹配難度大的情況，選用具有較強判別力的稀疏表示分類器來進行分類。因此，兩步匹配方法既可以減少計算量，提高匹配效率，又能解決目標表觀相似引起混淆的問題，提高小段運動軌跡的可靠性。本發明提出了基于稀疏表示的軌跡距離度量方法和基于層次聚類的軌跡匹配方法。基于稀疏表示的軌跡距離度量方法對由環境變化和目標形變引起的目標表觀變化情況具有很好的魯棒性，能夠很好地處理由目標交匯引起的標簽切換問題。基于層次聚類的軌跡匹配方法具有線性的計算復雜度，提高了全局多軌跡匹配的效率。
附圖說明
圖1為單攝像頭的行人跟蹤方法的流程示意圖。
圖2為訓練支持向量機的示意圖。
圖3為低層次數據關聯(生成小段運動軌跡)的示意圖。
圖4為高層次數據關聯(運動軌跡對進行匹配)的示意圖。
具體實施方式
附圖僅用于示例性說明，不能理解為對本專利的限制；
以下結合附圖和實施例對本發明做進一步的闡述。
實施例1
本發明提供的單攝像頭的行人跟蹤方法，如圖1、3、4所示，包括以下步驟：
S1.對視頻圖像進行檢測，將檢測出來的行人稱為觀察目標；
S2.設在當前幀t檢測到有n個觀察目標，提取這n個觀察目標的特征；
S3.設在當前幀t，同時存在若干條在當前幀t之前的運動軌跡，T＝{ds,ds+1,...,de}表示一條運動軌跡，其中s、e分別為軌跡T的起始時刻和終止時刻；對于運動軌跡通過位置約束條件選出在當前幀t可能關聯的觀察目標，然后計算運動軌跡Ti與可能關聯的觀察目標的相似度，將與運動軌跡Ti相似度最高的觀察目標作為該運動軌跡的最佳觀察目標；
S4.經過步驟S3的匹配后，每個觀察目標遇到以下三種情況之一：
A.觀察目標不是任何運動軌跡的的最佳觀察目標，因而未能成功配對；
B.觀察目標僅是一條運動軌跡的最佳觀察目標，則將該觀察目標與該運動軌跡配對；
C.觀察目標是多條運動軌跡的最佳觀察目標，則利用稀疏表示分類器對觀察目標進行分類，利用分類器確定該觀察目標所屬的運動軌跡，將觀察目標與該運動軌跡配對；
S5.執行步驟S4后，對運動軌跡進行更新：
A.對于未成功配對到運動軌跡的觀察目標，新建立一條以該觀察目標為起點的運動軌跡；
B.對于成功配對到運動軌跡的觀察目標，將該觀察目標連接到運動軌跡的末端；
C.對于未成功配對到觀察目標的運動軌跡，則利用該運動軌跡在當前幀t之前m幀的位置線性預測出其在當前幀t的位置，并將其稱之為預測目標，若預測目標和運動軌跡的相似度大于閾值，則將預測目標連接到運動軌跡的末端；
S6.重復執行步驟S3-S5，直到遍歷完圖像序列，低層次數據關聯過程結束；
S7.通過時空約束條件選出有可能關聯的運動軌跡對(Ta,Tb)；
S8.采集足夠數量的行人圖像；若圖像中行人腿部是呈靠攏狀態的，則標記為正樣本，否則標記為負樣本；對圖像中行人腿部計算梯度方向直方圖，并且以此作為特征，離線訓練一個能夠區分圖像中行人腿部是否呈靠攏狀態的支持向量機，具體如圖2所示；
S9.使用支持向量機判別Ta、Tb的每張圖像中行人腿部是否呈靠攏狀態，并選出判別結果為正的圖像作為Ta、Tb的代表性圖像子集(Aa,Ab)；
S10.對運動軌跡對(Ta,Tb)的代表性圖像子集(Aa,Ab)進行圖像特征提取，然后基于提取的特征使用雙向重構的策略來計算運動軌跡對(Ta,Tb)的距離，若運動軌跡對(Ta,Tb)的距離大于指定閾值，則舍棄該運動軌跡對；
S11.基于層次聚類的軌跡匹配：
將運動軌跡視為點，將S10得到的運動軌跡對視為邊，邊的權值取運動軌跡對的距離，由此構成一個無向圖G＝(V,E)，其中V＝{T1,T2,...,Tn}，E＝{(Ta，Tb，D(Ta，Tb))|D(Ta，Tb)＜θD且1≤a，b≤n}，n為運動軌跡數；
聚類開始時，設類別數為n，每個類只包含一個點；每個點具有一個時間跨度Zi＝{si,si+1,...,ei}；每個類的時間跨度為該類所有點的時間跨度的并集；然后進行如下聚類：
A.從邊集中選出權值最小的邊l；
B.若邊l的兩端點所屬類的時間跨度沒有交集，則把這兩個類聚合成一個類；
C.從邊集中刪除邊l，若邊集為空集，聚類結束，否則返回A；
D.聚類結束后，每一類表示一個行人目標；
S12.軌跡修復：
對于S11得到的每一個類，把所有觀察目標的垂直坐標x、水平坐標y、檢測窗口高度h分開處理，使用樣條線分別擬合x-t曲線、y-t曲線、h-t曲線，以填補缺失的軌跡點并對軌跡進行平滑。
上述方案中，本發明提出的方法采用分層次跟蹤的策略，先把視頻幀中的檢測目標連接成穩定可靠的小段運動軌跡，然后通過匹配小段運動軌跡并填充小段運動軌跡間的空白段，形成最終的跟蹤軌跡。該策略能夠很好地解決跟蹤過程中行人短時間被遮擋引起的軌跡中斷問題。進一步地，本發明使用了基于稀疏表示的目標匹配和軌跡距離度量方法，能夠很好地處理由環境變化和目標形變引起的同一目標表觀變化問題，改善由于不同目標表觀相似而導致的目標混淆。
在具體的實施過程中，所述步驟S2中，提取觀察目標特征的具體過程如下：提取觀察目標對應的圖像區域的顏色直方圖和梯度方向直方圖作為觀察目標的特征；
其中提取顏色直方圖的具體步驟如下：
把觀察目標圖像在豎直方向等分成兩部分，分別提取兩部分的HSV概率直方圖，每通道分32個等級，每部分得到96維特征cupper和clower，顏色直方圖為c＝[cupper,clower]；
提取梯度方向直方圖的具體步驟如下：
把觀察目標圖像歸一化到64×32像素的尺寸，然后提取其HOG特征；其中采用大小為8×8像素的單元，從中提取9維直方圖，每2×2個單元構成一個塊，各單元的9維直方圖向量級聯構成36維特征向量并歸一化；在水平和垂直方向上每間隔8像素提取一個塊特征，可獲得21個塊，將各塊對應的特征向量級聯構成756維特征向量h。
在具體的實施過程中，所述步驟S3中，提取運動軌跡Ti在當前幀t之前m幀的平均顏色特征作為運動軌跡Ti的特征，然后分別計算運動軌跡和觀察目標兩部分HSV直方圖的巴氏系數BCupper和BClower，相似度定義為
在具體的實施過程中，所述步驟S5中，若運動軌跡連續4幀未成功匹配到觀察目標，則不再參與低層次數據關聯。
在具體的實施過程中，所述步驟S4中，利用稀疏表示分類器求出該觀察目標所屬的運動軌跡的具體過程如下：
分類任務使用的特征為v＝[hT/||h||2,cT/||c||2]T，將觀察目標作為測試圖像，其特征為y，將可能與該觀察目標關聯的各條運動軌跡末端的k個目標圖像的特征組成字典A＝[A1,A2,...,An]，其中(1≤i≤n)表示類別i的訓練圖像子集；
通過求解式(2)，獲得最優重構系數
若式(2)無解，則通過求解式(3)，獲得最優重構系數
最后根據式(4)求出觀察目標所屬的運動軌跡；
其中x表示重構系數，ε表示允許的最大重構誤差，表示保留最優系數中對應類別i的系數，其余系數設置為0。
在具體的實施過程中，所述步驟S7中，若運動軌跡對(Ta,Tb)滿足以下條件，則兩者之間為可能關聯的運動軌跡對(Ta,Tb)：
A.Ta和Tb在時間區間上錯開，且間隔小于閾值θf；
B.觀察目標速度在一定范圍內，即其中是觀察目標和的檢測框的平均寬度；pb、pa表示觀察目標和的位置。
在具體的實施過程中，所述步驟S10中，使用雙向重構的策略計算運動軌跡對(Ta,Tb)的距離的具體過程如下：
A.用圖像子集Aa作為字典矩陣，對圖像子集Ab的每個樣本分別進行重構，根據式(5)求得每個樣本的重構殘差：
B.用圖像子集Ab作為字典矩陣，對圖像子集Aa的每個樣本分別進行重構，根據式(6)求得每個樣本的重構殘差:
C.從所有殘差值中選取最小的k個，計算這前k個最小殘差值的平均數，作為兩個圖像集的距離D(Ta,Tb)。
實施例2
本實施例對實施例1所提供的方法進行了具體的測試，本次測試采用PETS2009數據庫中兩個不同密度的視頻，分別是S2L1序列和S2L2序列，并且和目前最高水平的方法進行比較。方法一[1]構造出包含物理約束和利用圖像證據的能量函數，通過最優化該連續能量函數找到目標軌跡。方法二[2]通過構造無向分等級關聯的超圖來完成觀察目標的匹配，是基于圖論優化的方法。性能評估指標及其意義如下，其中帶“↑”表示數值越大跟蹤結果越好，帶“↓”表示數值越小跟蹤結果越好：
標簽切換數(IDs↓，ID Switch)，同一真實目標的標簽切換次數的總和。
中斷次數(FM↓，Fragmentation)，真值軌跡的中斷次數的總和。
多目標跟蹤準確度(MOTA↑，Multi-Object Tracking Accuracy)，衡量多目標跟蹤效果的綜合性指標，其定義見式(6)，其中FN是漏檢測的目標數，FP是誤檢測的目標數，GTDet是真值目標數。
多目標跟蹤精準度(MOTP↑，Multi-Object Tracking Precision)，正確跟蹤的目標和對應真值目標的平均位置偏差。
跟蹤成功的軌跡數(MT↑，Mostly Tracked)，跟蹤長度超過真值軌跡長度80％的軌跡數。
跟蹤失敗的軌跡數(ML↓，Mostly Lost)，跟蹤長度低于真值軌跡長度20％的軌跡數。
本發明與方法一、方法二的對比測試效果如表1所示。從對比測試可以看出，相對現有其他方法，本發明具有更高的效率，同時還能保證獲得較高的跟蹤準確率和精確率。在跟蹤軌跡層面，本發明方法能夠明顯改善標簽切換和軌跡中斷的問題。
表1多目標跟蹤性能評估結果
[1]A.Milan,K.Schindler,S.Roth,Multi-Target Tracking by Discrete-Continuous Energy Minimization,IEEE Transaction on Pattern Analysis and Machine Intelligence,Vol.30,No.10,2016,pp.2054-2068
[2]L.Wen,W.Li,J.Yan,Z.Lei,D.Yi,S.Z.Li,Multiple Target Tracking Based on Undirected Hierarchical Relation Hypergraph,IEEE Conference on Computer Vision and Pattern Recognition,2014,pp.1282-1289
顯然，本發明的上述實施例僅僅是為清楚地說明本發明所作的舉例，而并非是對本發明的實施方式的限定。對于所屬領域的普通技術人員來說，在上述說明的基礎上還可以做出其它不同形式的變化或變動。這里無需也無法對所有的實施方式予以窮舉。凡在本發明的精神和原則之內所作的任何修改、等同替換和改進等，均應包含在本發明權利要求的保護范圍之內。
- 還沒有人留言評論。精彩留言會獲得點贊！