一種基于數字圖像處理技術的視頻目標跟蹤方法與流程

本發明涉及一種基于數字圖像處理技術的視頻目標跟蹤方法，屬于數字圖像處理技術領域。

背景技術：

目標跟蹤系統的準確度首先是受攝像系統所獲取的圖像質量影響的，而攝像機在很多工作環境下，會受到許多不可控的因素所影響，從而使得到的圖像出現大幅振蕩、模糊的現象。因此，需要通過其他技術手段增加獲取圖像序列的穩定性，在此基礎上目標跟蹤系統通過數字處理技術等來實現對目標的有效跟蹤。近年來國外在光電穩定及跟蹤技術等方面發展很快，光電穩定平臺的穩定精度己經達到亞微弧度數量級。國內諸多高校也開展了光電穩定及跟蹤等方面的研究工作。

技術實現要素：

本發明所要解決的技術問題是提供一種具備成像穩定功能與目標跟蹤功能基于數字圖像處理技術的視頻目標跟蹤方法。

本發明為了解決上述技術問題采用以下技術方案：本發明設計了一種基于數字圖像處理技術的視頻目標跟蹤方法，基于設置于電控云臺上的圖像捕獲裝置，實時執行如下步驟，針對圖像捕獲裝置所獲圖像中指定的目標區域實現跟蹤；

步驟1)讀取當前時刻幀圖像，針對當前時刻幀圖像中的目標區域，通過camshift算法，提取顏色特征，結合ltp紋理特征，構建目標區域對應當前時刻幀圖像的聯合直方圖，進而獲得當前時刻幀圖像中目標區域的目標概率模型，以及當前時刻幀圖像中目標區域的位置；

步驟2)待時間進入下一幀圖像時刻，更新為當前時刻，捕獲并讀取當前時刻幀圖像，基于上一時刻幀圖像中目標區域位置的中心位置，通過camshift算法，結合當前時刻幀圖像的顏色特征和ltp紋理特征，獲得當前時刻幀圖像中的初步目標概率模型；

步驟3)基于上一時刻幀圖像中目標區域的目標概率模型，以及當前時刻幀圖像中的初步目標概率模型，運用加權融合方式進行特征融合，計算獲得目標區域預測權值；

步驟4)根據上一時刻幀圖像中目標區域位置的中心位置，以及目標區域預測權值，通過kalman濾波算法，預測獲得當前時刻幀圖像中目標區域的預測位置，作為當前時刻幀圖像中目標區域的位置；

步驟5)獲得當前時刻幀圖像中目標區域位置的中心位置與圖像捕獲裝置的光軸之間的夾角，并據此獲得圖像捕獲裝置的伺服電機跟蹤控制信號，控制電控云臺工作，實現圖像捕獲裝置轉動，使得當前時刻幀圖像中目標區域預測位置的中心位置位于圖像捕獲裝置的光軸上；

步驟6)針對當前時刻幀圖像中目標區域的位置，通過camshift算法，提取顏色特征，結合ltp紋理特征，構建目標區域對應當前時刻幀圖像的聯合直方圖，進而獲得當前時刻幀圖像中目標區域的目標概率模型，然后返回步驟2)。

作為本發明的一種優選技術方案，還包括設置于所述電控云臺上的mems加速度計和mems陀螺儀，還包括如下步驟f至步驟g如下，所述步驟5)執行完后，執行步驟f，步驟g執行完后，執行步驟6)；

步驟f.獲得步驟5)電控云臺工作過程中，電控云臺上mems加速度計和mems陀螺儀采集的采集數據，并據此采集數據，獲得所述圖像捕獲裝置的當前姿態；

步驟g.根據圖像捕獲裝置的當前姿態，獲得伺服電機的偏轉補償角，生成伺服電機姿態穩定反向補償控制信號，結合步驟5)中圖像捕獲裝置所獲得的伺服電機跟蹤控制信號，合成最終的伺服電機控制信號，針對電控云臺進行控制。

作為本發明的一種優選技術方案，所述步驟f中，針對所獲來自所述mems加速度計和mems陀螺儀的采集數據，首先進行濾波處理，然后采用四元數算法對經過濾波處理的采集數據進行處理，獲得歐拉角，由四元數和歐拉角之間的轉換關系，解算獲得圖像捕獲裝置的姿態角，進而獲得所述圖像捕獲裝置的當前姿態。

作為本發明的一種優選技術方案，所述步驟f中，針對所獲來自所述mems加速度計和mems陀螺儀的采集數據，首先采用卡爾曼濾波進行濾波處理。

作為本發明的一種優選技術方案，其特征在于，所述mems加速度計和mems陀螺儀為mpu6050運動傳感器，mpu6050運動傳感器設置于電控云臺上。

作為本發明的一種優選技術方案，所述電控云臺為二軸框架式云臺。

本發明所述一種基于數字圖像處理技術的視頻目標跟蹤方法采用以上技術方案與現有技術相比，具有以下技術效果：本發明設計的基于數字圖像處理技術的視頻目標跟蹤方法，通過結合數字圖象處理技術，具備完整的成像穩定與目標跟蹤功能，可以基于運動載體實現目標的穩定跟蹤，具有成本低、擴展性強的優點；并且基于本發明所設計方法的硬件裝置，可應用在機器人自主導航、無人機智能監控等領域，具有較強的應用價值。

附圖說明

圖1是本發明所設計基于數字圖像處理技術的視頻目標跟蹤方法的框架示意圖；

圖2是本發明所設計視頻目標跟蹤方法中機械穩像系統的控制流程圖；

圖3是本發明所設計視頻目標跟蹤方法中目標跟蹤系統的控制流程圖。

具體實施方式

下面結合說明書附圖對本發明的具體實施方式作進一步詳細的說明。

考慮到測量精密度要求，目前的光電跟蹤平臺主要采用撓性陀螺或光纖陀螺作為慣性傳感器。雖然mems陀螺測量精度有限，但是它體積小、功耗低、成本易于控制，可通過camshift跟蹤算法來保證系統跟蹤穩定性。

光電穩定跟蹤系統從功能上分為兩個子系統：成像穩定系統和目標跟蹤系統。成像穩定系統通過陀螺儀等姿態傳感器件測量攝像機姿態角，驅動穩定平臺各軸上的伺服電機生成反向補償角度位移，使攝像機的指向保持穩定，以獲取所需的觀測視場并保障圖像序列的穩定。目標跟蹤系統則通過圖像處理技術獲取當前目標與攝像機光軸的夾角，驅動穩定平臺各軸上的伺服電機，使攝像機的光軸指向實時跟隨目標方位，以實現對目標的有效跟蹤。

如圖1所示，本發明所設計一種基于數字圖像處理技術的視頻目標跟蹤方法，基于mems傳感器與數字圖像處理技術實現目標跟蹤系統，通過姿態角算法及濾波算法提供攝像機姿態角信息，轉換為伺服電機姿態穩定反向補償控制信號，通過目標跟蹤算法實現對目標的跟蹤并計算目標與視軸夾角，生成伺服電機跟蹤控制信號，對伺服電機姿態穩定反向補償控制信號和跟蹤控制信號進行整合，生成伺服電機控制信號，從而驅動二軸框架式平臺進行實現目標穩定跟蹤。

并且在實際應用中，系統的控制電機采用伺服電機，用于控制電控云臺和圖像捕獲裝置的控制模塊，設計采用msp430單片機。使用c語言及keil編譯器編寫姿態角轉換及濾波算法、電機控制算法及串口通訊模塊，使用vc++與matlab編寫目標跟蹤算法。其中，姿態角轉換及濾波算法擬采用四元數算法結合卡爾曼濾波算法進行設計；目蹤算法擬采用camshift算法，該算法適用于非剛體運動目標跟蹤，易于工程實現，可以實時計算當前幀目標偏離視場中心程度；串口通訊模塊基于485串口通信技術開展設計，主要實現mems傳感器數據與電機控制信號的傳輸；系統控制界面采用mfc進行設計。

本發明設計了一種基于數字圖像處理技術的視頻目標跟蹤方法，實際應用當中，基于設置于電控云臺上的圖像捕獲裝置，具體實時執行如下步驟，針對圖像捕獲裝置所獲圖像中指定的目標區域實現跟蹤，其中，電控云臺上設置mpu6050運動傳感器，mpu6050運動傳感器具體包括mems加速度計和mems陀螺儀，并且在實際應用中，采用二軸框架式云臺作為電控云臺。

如圖3所示，執行如下步驟：

步驟1)讀取當前時刻幀圖像，針對當前時刻幀圖像中的目標區域，通過camshift算法，提取顏色特征，結合ltp紋理特征，構建目標區域對應當前時刻幀圖像的聯合直方圖，進而獲得當前時刻幀圖像中目標區域的目標概率模型qu，以及當前時刻幀圖像中目標區域的位置y0，如下式(5)所示，其中，迭代次數0→k。

其中，α為色度級別的劃分級，chue和cltp可由和推導得到。

步驟2)待時間進入下一幀圖像時刻，更新為當前時刻，捕獲并讀取當前時刻幀圖像，基于上一時刻幀圖像中目標區域位置的中心位置yj，通過camshift算法，結合當前時刻幀圖像的顏色特征和ltp紋理特征，獲得當前時刻幀圖像中的初步目標概率模型。其中，在當前時刻幀圖像中，將上一時刻幀圖像中目標區域位置的中心位置yj作為中心，搜索窗口寬度為目標區域最小外接矩形長寬的一半，然后結合當前時刻幀圖像的顏色特征和ltp紋理特征所構建的聯合直方圖，根據式(6)得到初步目標概率模型pu(yj)；

步驟3)基于上一時刻幀圖像中目標區域的目標概率模型qu，以及當前時刻幀圖像中的初步目標概率模型pu(yj)，按如下公式(7)、公式(8)，運用加權融合方式進行特征融合，計算獲得目標區域預測權值wi。

其中，λ為加權系數，取值在0～1之間；為顏色的權值，為紋理特征的權值公式。

步驟4)根據上一時刻幀圖像中目標區域位置的中心位置yj，以及目標區域預測權值wi，通過kalman濾波算法，按如下公式(9)：

預測獲得當前時刻幀圖像中目標區域的預測位置yj+1，作為當前時刻幀圖像中目標區域的位置。其中，g(x)＝-k'(x)，迭代次數為k+1→k。

步驟5)獲得當前時刻幀圖像中目標區域位置的中心位置與圖像捕獲裝置的光軸之間的夾角，并據此獲得圖像捕獲裝置的伺服電機跟蹤控制信號，控制電控云臺工作，實現圖像捕獲裝置轉動，使得當前時刻幀圖像中目標區域預測位置的中心位置位于圖像捕獲裝置的光軸上。

如圖2所示，執行如下步驟：

步驟f.獲得步驟5)電控云臺工作過程中，針對來自電控云臺上mems加速度計和mems陀螺儀采集的采集數據，首先采用卡爾曼濾波進行濾波處理，然后采用四元數算法對經過濾波處理的采集數據進行處理，獲得歐拉角，由四元數和歐拉角之間的轉換關系，解算獲得圖像捕獲裝置的姿態角，進而獲得所述圖像捕獲裝置的當前姿態。具體如下：

定義四元數q為一四維向量：

式(2)中，α為旋轉歐拉角，ex、ey、ez分別為x、y、z歐拉軸。

按照z→x→y的轉動順序，由歐拉角和四元數表示的姿態矩陣可以得到：

式(3)中，為橫滾角，θ為俯仰角，ψ為航向角。

當歐拉角θ，ψ時，四元數與歐拉角之間的轉換關系為：

步驟g.根據圖像捕獲裝置的當前姿態，獲得伺服電機的偏轉補償角，生成伺服電機姿態穩定反向補償控制信號，結合步驟5)中圖像捕獲裝置所獲得的伺服電機跟蹤控制信號，合成最終的伺服電機控制信號，針對電控云臺進行控制。

步驟6)針對當前時刻幀圖像中目標區域的位置，通過camshift算法，提取顏色特征，結合ltp紋理特征，構建目標區域對應當前時刻幀圖像的聯合直方圖，進而獲得當前時刻幀圖像中目標區域的目標概率模型，然后返回步驟2)。

上述技術方案所設計的基于數字圖像處理技術的視頻目標跟蹤方法，通過結合數字圖象處理技術，具備完整的成像穩定與目標跟蹤功能，可以基于運動載體實現目標的穩定跟蹤，具有成本低、擴展性強的優點；并且基于本發明所設計方法的硬件裝置，可應用在機器人自主導航、無人機智能監控等領域，具有較強的應用價值。

上面結合附圖對本發明的實施方式作了詳細說明，但是本發明并不限于上述實施方式，在本領域普通技術人員所具備的知識范圍內，還可以在不脫離本發明宗旨的前提下做出各種變化。