一種基于深度圖像或深度視頻序列的實時跟蹤目標的計算方法
【技術領域】
[0001] 本發明涉及一種基于深度圖像或深度視頻序列的實時跟蹤目標的計算方法，屬計 算機視覺領域。
【背景技術】
[0002] 在彩色圖像的實時目標跟蹤技術中，跟蹤效果往往受光照、遮擋及復雜背景等因 素的干擾，跟蹤性能大受影響。因此，目標跟蹤仍然是個具有挑戰性的問題。
[0003] 獲取深度圖像或深度視頻序列的設備主要有雙目視覺攝像機、激光掃描儀、 Kinect設備等。其中，Kinect是微軟在2010年6月14日對XB0X360體感周邊外設正式發 布的名字，是一種3D體感攝影機（開發代號"Project Natal"），同時它導入了即時動態捕 捉、影像辨識、麥克風輸入、語音辨識、社群互動等功能。隨著Kinect的推出，通過Kinect 采集的深度信息可不受場景光照和陰影的影響，為跟蹤領域的研究提供了新的契機。
[0004] 現有的實時目標跟蹤算法中存在跟蹤不準確、運算速度慢、目標移動過快或變化 過大造成目標丟失、執彳T效率低等缺點。
【發明內容】
[0005] 針對現有技術的不足，本發明提供了一種基于深度圖像或深度視頻序列的實時跟 蹤目標的計算方法；
[0006] 該算法大致分為三步：（1)預處理深度圖像，包括腐蝕、膨脹、邊緣提取、距離變換 等；（2)利用粗搜索到精搜索的搜索方法，確定預處理后的深度圖像中跟蹤目標的位置； (3)實時更新跟蹤模板。在該部分的研究中，常用的技術為模板匹配，加權平均等。
[0007] 術語解釋：
[0008] 求補：將圖像進行取反。
[0009] 腐蝕：利用一定尺寸的模版對圖像進行與操作。
[0010] 膨脹：利用一定尺寸的模版對圖像進行或操作。
[0011] 填充：在圖像上利用緊鄰像素恢復像素的缺失值。
[0012] 重構：在對圖像進行膨脹腐蝕操作后，基于原圖像的圖像恢復操作。
[0013] 邊緣提取：在圖像上利用不同的邊緣算子提取圖像的邊緣信息。
[0014] 距離變換：在圖像上計算任意點到目標點的距離。
[0015] 歸一化：在圖像上通過數學關系式，使數據分布在一定區間范圍內。
[0016] 本發明的技術方案為：
[0017] -種基于深度圖像或深度視頻序列的實時跟蹤目標的計算方法，具體步驟包括：
[0018] (1)采集深度圖像，并對采集的深度圖像進行預處理，所述預處理包括依次進行求 補、腐蝕、膨脹、填充、重構、邊緣提取、距離變換、歸一化；
[0019] 由于環境噪聲和設備噪聲的存在，深度圖像的質量不理想，所以需要對獲取的深 度圖像進行預處理。
[0020] (2)在第1幀深度圖像中，手動標記初始跟蹤目標A1;在初始跟蹤目標A 近取若 干個訓練樣本Xlt，訓練樣本Xlt中心點的選取方法為：在以初始跟蹤目標A 圓心、（1-20) 個像素點為半徑的圓內隨機取若干個像素點；在遠離初始跟蹤目標A1處取若干個訓練樣本 Yu，訓練樣本Ylj中心點的選取方法為：在以初始跟蹤目標A1為圓心、（20-100)像素點為內 半徑、（40-150)個像素點為外半徑的圓環內隨機取若干個像素點；任一訓練樣本X lt、任一 訓練樣本Yu均與初始跟蹤目標A i大小相同；訓練樣本B H包括所有的訓練樣本X lt及所有 的訓練樣本Yu, i = t+j，將每一個訓練樣本B11分別與初始跟蹤目標A i進行模板匹配并分 類，模式匹配并分類公式如式（I )所示：
[0022] 式（I )中，C11為第一幀深度圖像中初始跟蹤目標A1與訓練樣本B11的匹配值， 均值，瓦為心的均值，召為B 11的矩陣，m為的行，η為為的列；為 4的矩陣，m為__的行，η為為_的列；
[0023] 當C11的值大于閾值S時，訓練樣本B Η屬于正樣本，S的取值范圍為（0· 4-0. 8)， 否則，屬于負樣本；
[0024] 分類完畢后，將獲取的所有正樣本加權平均，得到S1，并與初始跟蹤目標A 1加權， 加權公式如式（II )所示，得到第1幀圖像的跟蹤模板；
[0025] T1= a !XS^a2XA1 ( II )
[0026] 式（II )中，T1為第1幀圖像的跟蹤模板；a ^ a 2= I，a i的取值范圍為 (0. 5-0. 8)；
[0027] (3)設定步驟⑴獲取〇幀深度圖像，p = 2,2 < p < 〇,執行以下步驟：
[0028] A、在第p幀深度圖像中，對應第p-1幀圖像中Ap i的相同位置為中心、（30-100)個 像素點為半徑、（5-10)個像素點為步長的圓內獲取測試樣本Dpl的中心，測試樣本D pl與跟 蹤模板Tp i大小相同；將測試樣本D pl與T p i進行模板匹配，模板匹配公式如式（III)所示：
[0030] 式（III)中，C' pl為第p幀深度圖像中測試樣本D pl與跟蹤模板T p i的匹配值， i為Tp i的均值，為Dpl的均值，為矩陣，m為的行，η為的列； 為矩陣，m為的行，η為的列；1為正整數； ±r -mn F Lmn r Lmn
[0031] 選出通過公式（III)求取的最大的匹配值對應的測試樣本，以最大的匹配值對 應的測試樣本位置為中心、（5-10)個像素點為半徑、1個像素點為步長的圓內取測試樣本 D' pl的中心，將測試樣本D' ^與Tpl進行模板匹配，模板匹配公式如式（IV)所示：
[0033] 式（IV)中，C" pl為第p幀深度圖像中測試樣本D' pl與跟蹤模板Tpl的匹配值， 為Tp i的均值，5二為D，pl的均值，/^,為矩陣，m為！)；^的行，η為的列； 為矩陣，m為Tt i的行，η為的列； F 1Jtin r lnw r Lmn
[0034] 選出通過公式（IV)求取的最大的匹配值對應的測試樣本即第P幀深度圖像的跟 蹤目標A p;
[0035] 判斷通過公式（IV)求取的最大的匹配值是否大于閾值S，S的取值范圍為 (0. 4-0. 8)，如果大于，則進入步驟B，否則，Tp= T p 1;T p為第p幀圖像的跟蹤模板，進入步驟 C；
[0036] B、在跟蹤目標Ap附近取若干個訓練樣本Xpt，訓練樣本Xpt中心點的選取方法為：在 以跟蹤目標A p為圓心、（1-20)個像素點為半徑的圓內隨機取若干個像素點；在遠離跟蹤目 標Ap處取若干個訓練樣本Y w，訓練樣本Yw中心點的選取方法為：在以跟蹤目標Ap為圓心、 (20-100)像素點為內半徑、（40-150)個像素點為外半徑的圓環內隨機取若干個像素點；任 一訓練樣本X pt、任一訓練樣本Yw均與跟蹤目標A p大小相同；訓練樣本B P1包括所有的訓練 樣本Xpt及所有的訓練樣本Y w，i = t+j，將每一個訓練樣本Bpi分別與跟蹤模板T p i進行模 板匹配并分類，模式匹配并分類公式如式（V )所示：
[0038] 式（V )中，Cpi為第p幀深度圖像中每一個訓練樣本B P1與跟蹤模板T p i的匹配 值，L為Tpl的均值，I為Bpi的均值，為矩陣，m為的行，!!為義'的列；！；^ 為矩陣，m為？^_ lwn的行，η為的列；
[0039] 當Cpi的值大于閾值S時，訓練樣本B P1屬于正樣本，S的取值范圍為（0· 4-0. 8)， 否則，屬于負樣本；
[0040] 分類完畢后，將獲取的所有正樣本加權平均，得到Sp，并與初始跟蹤目標A 1加權， 加權公式如式（VI)所示，得到第P幀圖像的跟蹤模板；
[0041] Tp= a IXSja2XA1 (VI)
[0042] 式（VI )中，Tp為第ρ幀圖像的跟蹤模板；
[0043] C、判斷ρ是否等于〇,如果是，結束，否則，ρ加1，進入步驟Α。
[0044] 根據本發明優選的，所述距離變換采用歐氏距離變換，歐氏距離變換公式如式 (W)所示：
[0046] 式（VE)中，D為兩點之間的歐氏距離，（Xl，yi)為獨立的像素點，（x 2，y2)為離（Xl， yi)最近的非零像素點。
[0047] 根據本發明優選的，步驟A中，如果通過公式（IV)求取的最大的匹配值不大于閾 值s，T p= T p i，Tp為第P幀圖像的跟蹤模板，進入步驟C，并在搜索下一幀圖像的跟蹤目標 時擴大測試樣本Dpl中心點的選取范圍，其選取范圍的半徑可擴大（1-50)個像素點。
[0048] 本發明的有益效果為：
[0049] 1、本發明所述方法應用于深度圖像，能在保護跟蹤目標隱私的同時，實時跟蹤目 標。
[0050] 2、由于深度圖像不受場景光照、陰影等復雜背景的影響，因此，本發明對光照、陰 影等復雜背景有很強的魯棒性，并且實驗表明，本發明對遮擋有較強的魯棒性；
[0051] 3、本發明執行效率高，在預測跟蹤目標時，本發明提出的方法采用了粗搜索到精 搜索的搜索方法，減少了測試樣本的數目，提高了算法的運行速度；
[0052] 4、本發明具有較高的跟蹤準確度，在跟蹤目標的匹配值較低時，本發明不更新跟 蹤模板并對下一幀圖像擴大搜索范圍，避免了跟蹤目標移動過快或變化過大造成的目標丟 失。
【具體實施方式】
[0053] 下面結合實施例對本發明作進一步限定，但不限于此。
[0054] 實施例1
[0055] -種基于深度圖像或深度視頻序列的實時跟蹤目標的計算方法，具體步驟包括：
[0056] (1)采集深度圖像，并對采集的深度圖像進行預處理，所述預處理包括依次進行求 補、腐蝕、膨脹、填充、重構、邊緣提取、距離變換、歸一化；
[0057] 由于環境噪聲和設備噪聲的存在，深度圖像的質量不理想，所以需要對獲取的深 度圖像進行預處理。
[0058] (2)在第1幀深度圖像中，手動標記初始跟蹤目標A1;在初始跟蹤目標A 近取若 干個訓練樣本Xlt，訓練樣本Xlt中心點的選取方法為：在以初始跟蹤目標A1S圓心、10個像 素點為半徑的圓內隨機取20個像素點；在遠離初始跟蹤目標A1處取若干個訓練樣本Y y 訓練樣本Yu中心點的選取方法為：在以初始跟蹤目標A1為圓心、30像素點為內半徑、50個 像素點為外半徑的圓環內隨機取20個像素點；任一訓練樣本X lt、任一訓練樣本Yu均與初 始跟蹤目標A1大小相同；訓練樣本B Η包括所有的訓練樣本X lt及所有的訓練樣本Y w i = t+j，將每一個訓練樣本B11分別與初始跟蹤目標A i進行模板匹配并分類，模式匹配并分類 公式如式（I )所示：
[0060] 式（I )中，C11為第一幀深度圖像中初始跟蹤目標A1與訓練樣本B11的匹配值， 為A1的均值，瓦為B11的均值，凡為B11的矩陣，m為凡·的行，η為凡.的列；為 ? Ii. 聰. Ximn iIfm iMn- 為矩陣，m為J1的行，η為4的列； mn- mn
[00