對象跟蹤方法和設備、跟蹤特征選擇方法
【技術領域】
[0001] 本發明總體涉及人機交互領域，更具體地涉及人機交互中的對象跟蹤方法和設 備。
【背景技術】
[0002] 對象跟蹤是人機交互領域中非常重要且關鍵的一部分。目前，對于作為對象跟蹤 的代表的手的跟蹤，研究者已經進行了大量的研究，并提出了一些手的跟蹤方法，例如采用 手的顏色特征進行跟蹤的方法、采用手的深度特征進行跟蹤的方法等。
[0003] 然而，手是非剛性物體，其在運動過程中會產生形變以及形狀不統一等現象；另 夕卜，手的運動有很多獨特的特性，例如手的運動速度時刻會發生變化，而手的快速運動會導 致圖像中手的信息發生模糊等等。因此，很難找到某種單一的手的特征，其在手的整個運動 過程中的各種場景下均能獲得最好的跟蹤效果。
[0004] 美國專利US8213679B2公開了一種用于移動目標跟蹤和計數的方法。在該方法 中，基于在線特征選擇，在相鄰的每兩個視頻幀上，利用預先建立的特征池中的所有特征計 算當前幀的目標區域與上一幀的目標區域之間的匹配度，然后利用具有最高匹配度的特征 進一步計算綜合匹配度。按照該方法，在進行跟蹤時，在目標移動過程中拍攝的不同的視頻 幀上可能采用不同的特征進行跟蹤。然而，該方法在每兩個視頻幀上都進行復雜的匹配計 算，計算量較大，處理速度慢。
【發明內容】
[0005] 根據本發明的實施例，提供了一種對象跟蹤方法，包括：利用預先選擇的第一跟蹤 特征在包含所述對象的視頻幀序列中進行對象跟蹤；在視頻幀的場景發生改變時，選擇對 于改變后的場景具有最佳跟蹤性能的第二跟蹤特征；利用該第二跟蹤特征繼續進行對象跟 1?示。
[0006] 根據本發明的另一實施例，提供了一種對象跟蹤設備，包括：特征選擇部件，在視 頻幀的場景發生改變時，選擇對于改變后的場景具有最佳跟蹤性能的跟蹤特征，并通知跟 蹤部件該跟蹤特征；以及跟蹤部件，利用選定的跟蹤特征在包含所述對象的視頻幀序列中 進行對象跟蹤。
[0007] 根據本發明的另一實施例，提供了一種用于對象跟蹤的跟蹤特征選擇方法，包括： 響應于包含所述對象的視頻幀的場景發生改變，選擇對于改變后的場景具有最佳跟蹤性能 的跟蹤特征。
[0008] 根據本發明實施例的對象跟蹤和跟蹤特征選擇技術能夠在跟蹤過程中，根據場景 的改變動態選擇在相應場景具有最佳跟蹤性能的特征，從而實現精確的跟蹤。
【附圖說明】
[0009] 圖1示意性地示出了根據本發明實施例的對象跟蹤技術的可能的應用場景。
[0010] 圖2示出了根據本發明實施例的對象跟蹤方法的流程圖。
[0011] 圖3示出了根據本發明實施例的利用預先選擇的跟蹤特征在包含手的視頻幀序 列中進行手的跟蹤的流程圖。
[0012]圖4例示了兩種不同的跟蹤特征在整個訓練數據集上的特征分布的示意圖。
[0013] 圖5例示了采用跟蹤誤差來表示跟蹤性能時兩個不同的特征在訓練數據集上的 跟蹤性能的對比。
[0014]圖6例示了根據本發明實施例的在視頻幀的場景發生改變時選擇對于改變后的 場景具有最佳跟蹤性能的跟蹤特征的流程圖。
[0015]圖7例示了應用根據本發明實施例的跟蹤方法的示意圖。
[0016] 圖8示出了根據本發明實施例的對象跟蹤設備的功能配置框圖。
[0017] 圖9示出了根據本發明實施例的對象跟蹤系統的總體硬件框圖。
【具體實施方式】
[0018]為了使本領域技術人員更好地理解本發明，下面結合附圖和【具體實施方式】對本發 明作進一步詳細說明。
[0019] 圖1示意性地示出了根據本發明實施例的對象跟蹤技術的可能的應用場景。如 圖1所不，用戶站在攝像機101的攝像沮圍內，該攝像機101對用戶進彳丁拍攝。攝相機101 可以是僅提供彩色圖像的相機，也可以是既提供彩色圖像也提供深度圖像的相機，例如 Primesense,Kinect等等。當用戶在攝像機范圍內移動他/她的例如手時，諸如計算機的處 理設備102能夠基于攝像機101拍攝的視頻幀，選擇適當的特征進行手的跟蹤，最終輸出手 在視頻幀中的位置。需要說明的是，圖1僅僅圖示了本發明的一種可能的應用場景，根據實 際情況，應用場景中的裝置可以相應地增加或減少，并具有不同的配置。
[0020] 為了便于描述，下文中將以手的跟蹤為例，對根據本發明的對象跟蹤技術進行描 述。
[0021] 首先對本發明的手跟蹤技術的基本思想進行簡要的描述。如前所述，手是非剛性 物體，具有運動快、易變形等特點。因此，很難找到某種單一的手的特征，其在手的整個運 動過程中的各種場景下均能獲得最好的跟蹤效果。針對這一情況，本發明提出了一種在手 的跟蹤過程中根據具體場景的變化、動態選擇適合于當前場景的特征來進行跟蹤的跟蹤技 術。例如，當手進行快速運動時，手的模糊邊緣信息不清晰甚至會丟失，對于這一場景，顏色 特征具有很好的區分效果。因此當在跟蹤過程中出現這一場景時，可以考慮動態選擇顏色 特征來進行跟蹤。再比如，當手運動到臉部附近時，由于二者顏色相近，顏色特征區分度下 降，而深度特征卻顯示了很好的區分效果。因此當在跟蹤過程中出現這一場景時，可以考慮 動態選擇深度特征來代替顏色特征進行跟蹤。另外，對于某一場景，不僅可以選擇單一特征 用于手的跟蹤，也可以選擇多種特征的組合進行跟蹤。這樣，通過在手的跟蹤過程中根據具 體場景的變化、動態選擇適合于當前場景的特征來進行跟蹤，能夠實現精確的跟蹤。
[0022] 圖2示出了根據本發明實施例的對象跟蹤方法的流程圖。
[0023] 如圖2所示，在步驟S210,利用預先選擇的第一跟蹤特征在包含手的視頻幀序列 中進行手的跟蹤。
[0024] 跟蹤特征是作為手的表征特征的、能夠在手的跟蹤中產生好的跟蹤性能的特性。 例如前面提到的顏色特征、深度特征，還可以是例如邊緣特征、灰度特征等等。
[0025] 在該步驟中，用來進行跟蹤的第一跟蹤特征可以是預先選擇的適合于當前場景的 跟蹤特征，或根據任何其他適當的方式預先選擇的跟蹤特征。以下將參考圖3對該步驟 S210的處理進行描述。
[0026] 如圖3所示，在步驟S310,逐幀順序計算利用所述第一跟蹤特征進行跟蹤所獲得 的跟蹤結果的置信度，直至跟蹤結果的置信度小于預定的置信度閾值的起始視頻幀T，其中 該起始視頻幀T的前一視頻幀T-1的跟蹤結果的置信度大于等于該置信度閾值。
[0027] 利用第一跟蹤特征進行的具體跟蹤處理可以按照任何公知方法來進行，例如卡爾 曼濾波方法，或粒子濾波方法等等，此處不進行詳細描述。
[0028] 根據本發明實施例的手的跟蹤是一個實時的在線過程。在該步驟中，對于獲取到 的每一個包含手的視頻幀，實時地利用第一跟蹤特征進行手的跟蹤，并計算跟蹤所獲得的 跟蹤結果的置信度，直至出現了跟蹤性能下降的起始視頻幀T，即利用第一跟蹤特征在視頻 幀T中的跟蹤結果的置信度小于預定置信度閾值，而在視頻幀T-1中的置信度大于等于該 置信度閾值。置信度反映跟蹤結果的可信程度，能夠理解，置信度降低表明當前選擇的跟 蹤特征的跟蹤性能降低，也就是說當前選擇的跟蹤特征不再適合目前的視頻幀下的場景， 即發生了場景的改變。因此，舉例來說，假設在包含手的視頻幀序列的前100幀中，手一直 在做快速運動，由于在該1〇〇幀中一直采用顏色作為跟蹤特征進行跟蹤，因此各幀的跟蹤 性能均較高，而在第101幀，手移動到了臉部附近，由于手和臉的顏色相近，顏色特征區分 度下降，導致在第101幀采用顏色進行跟蹤的跟蹤結果的置信度降低，跟蹤性能下降，該第 101幀即上述跟蹤性能下降的起始視頻幀T。
[0029] 置信度可以通過任何適當的方式來計算。考慮到手在同一場景的相鄰兩幀上的例 如顏色距離和位置距離應該變化不大，一種計算置信度的示例方式如下所示：
[0030] Confidence^1/(D(Color"ColorH)+D(Pos"Posh) ) ... (1)
[0031] 其中，Confidencei表示第i巾貞的跟蹤結果的置信度，DGolori，colors)表示第 i幀與第i_l幀的顏色距離，DpospPoSg)表示第i幀與第i-1幀的位置距離。可以采用 任何適當的方法來計算顏色距離和位置距離。例如，一種計算顏色距離的方法是計算相鄰 兩幀中跟蹤到的手的跟蹤區域的顏色直方圖的距離，例如Bhattacharyya距離；一種計算 位置距離的方法是計算相鄰兩幀中跟蹤到的手的位置的歐式距離。如果ConfidenCei小于 預先設定的置信度閾值，則認為當前選擇的跟蹤特征在第i幀中的跟蹤性能下降，其中置 信度閾值可以根據具體應用環境按照經驗來設定。
[0032] 回到圖3,在步驟S320,在起始視頻幀T之后的k個視頻幀中繼續利用所述第一跟 蹤特