專利名稱：基于dsp的運動目標檢測與跟蹤系統的制作方法
技術領域：
本發明屬于圖像處理與計算機視覺領域，涉及DSP技術，特別涉及一種運動目標檢測與跟蹤的方法和系統。
背景技術：
運動目標的檢測與跟蹤技術是計算機視覺的重要分支，是當前智能圖像處理和視頻處理的熱點問題，有著廣闊的應用前景和長遠的經濟價值。在軍事方面，運動目標檢測與跟蹤技術可用于對空中或者地面監視范圍內的運動目標的檢測與跟蹤；在社會生活方面，運動目標檢測與跟蹤技術可用于各種單位的實時監控，及時發現險情，預測可能出現的危險；在醫學方面，運動目標的檢測與跟蹤技術可以使醫生更好的診斷病情，解除病人痛苦。運動目標檢測技術是指通過圖像序列間的運算，找出圖像中運動目標所在區域，為之后運動目標的匹配與跟蹤做準備。常用的運動目標檢測方法主要有背景差分法、幀間差分法和光流法。但是背景差分法無法適應實際環境中光線的變化；幀間差分法下分割出來的運動區域內常有空洞；光流法的計算量龐大，算法復雜無法滿足實時跟蹤的要求。運動目標跟蹤技術是指分析檢測獲取的運動目標，將不同幀內的同一運動目標關聯起來，得到其運動軌跡。常用的運動目標跟蹤方法有基于模板的跟蹤、基于特征的跟蹤、基于目標區域的跟蹤和基于目標輪廓的跟蹤。但是基于模板的跟蹤計算量很大；基于特征的跟蹤很難確定目標的特征；基于目標區域的跟蹤當目標被遮擋或者變形時容易跟丟目標；基于目標輪廓的跟蹤很難實時跟蹤速度快或者形變大的目標。粒子群優化算法是Kennedy博士和Eberhart博士通過對鳥群覓食行為的研究,提出的一種求解復雜問題的優化方法，在求解問題的最優解時，每個粒子通過當前自身的最優解(個體極值)和整個粒子群
的最優解(全局極值&)來更新自己的速度R和位置Λ，進而通過適應度評價函數計算對應的適應值，進而比較適應值選擇出整體最優解，依據下式更新下一代的速度和位置，不斷迭代從而尋找到系統的最優解。V1 = +Ct^ipi- ) + C2JJigi-X^Pi = Pi^+ Vi其中，m為慣性權重，％為粒子的速度，為學習因子，其取值為= ξ
和《I是(0，I)之間的隨機數，ft代表個體極值， 代表全局極值。粒子在空間中不斷學習個體極值和全局極值的經驗更新粒子速度和位置直到尋找到最優解。鉆石搜索法是指充分利用運動矢量的中心偏執思想，通過搜索窗口中心位置附近的點找到目標模塊與待搜索區域的最佳匹配區域。在使用該方法搜索最佳匹配區域時，選擇小的搜索模板可能陷入局部最優，而選擇大的搜索模板可能無法找到最佳匹配區域，因此該方法采用兩種形狀大小的鉆石模板進行匹配搜索。其搜索過程如下首先從搜索窗口的中心開始，反復使用大鉆石模板進行搜索。如果最佳匹配點出現在模塊的邊沿，那么以該點為中心，繼續以大鉆石模板進行搜索；如果最佳匹配點出現在模板的中心，那么換用小鉆石模板進行搜索周圍的四個點，找出最佳匹配點，最后結束搜索。在搜索過程中，如果本步需要搜索的點在上一步中已經搜索過了，那么就不再考慮這些點了。如果模板中有些點超出了搜索窗口的范圍，那么也不再考慮這些點。雖然鉆石搜索法沒有限定搜索的次數，但是由于運動矢量的中心偏置，會很快搜索到最佳匹配區域。目前需要提出更加有效的運動目標檢測與跟蹤方法。
發明內容為克服上述已有技術問題的不足，本發明提出一種實時的基于DSP的運動目標的檢測與跟蹤方法以及實現這種方法的圖像處理系統，從而實現運動目標的實時檢測與跟
足示O本發明提供的基于DSP的運動目標檢測與跟蹤系統，包含視頻采集模塊、視頻處理模塊以及顯示模塊；所述視頻采集模塊通過一路CXD攝像頭采集視頻信號，將采集的模擬視頻信號傳輸到SEED VPM642視頻處理模塊，在VPM642中通過高性能視頻解碼器TVP5150將模擬視頻信號轉換成BT. 656格式的視頻信號，并將該信號傳輸給DSP的視頻接口 ；DSP的視頻接口結合EDMA通道將視頻信號傳送到SDRAM的緩存區中，通過DM642處理完數據后，由視頻編碼器SAA7121H將數據轉換成模擬信號傳送給顯示模塊的顯示器，通過顯示器顯示前景運動目標。本發明還提供了一種改進的針對采集到的圖像中Y分量的背景建模方法，包括如下步驟步驟I :首先輸入一幀圖像，判斷幀數是否大于3，當幀數大于3的時候對輸入圖像的Y分量進行連續三幀差分，并將差分后的圖像進行二值化；假設輸入的三幀圖像分別為
，其差分圖像分別記為,其中Α·=|Λ-^-ι|Α =|Χλ-^|，其二巾貞差分圖像記為^ =,此處&代表邏輯與運算；步驟2 :將綣進行二值化處理，生成二值化圖像~ ;步驟3 :將二值化圖像~分割為*m*的模塊，記為；步驟4 :將每一塊進行形態學連通區域檢測和濾波，去除噪聲；如果該區域內O的個數超過整體像素數的85%，則此塊圖像的背景穩定，進行步驟5 ;否則，進行步驟6 ;步驟5 :生成該塊圖像的背景圖像模型；步驟6 :判斷生成的背景模塊的數量是否大于整體模塊數量的90%，如果大于90%，則背景模型初始化結束，生成背景圖像模型電力，否則，進行步驟I。本發明提供的基于DSP的運動目標檢測與跟蹤方法，包括以下步驟A、針對圖像的Y分量通過幀間差分和背景差分相結合的方法檢測出前景運動目標；B、通過前景運動目標建立目標模板同時確定下一幀待跟蹤的區域；C、對目標模板和待跟蹤區域進行金字塔采樣；D、通過粒子群優化算法和鉆石搜索算法跟蹤運動目標；[0025]E、不斷更新目標模板實現運動目標的實時跟蹤。前面所述的運動目標檢測與跟蹤方法，優選的方案在于，所述步驟A具體步驟如下Al、針對圖像的Y分量通過幀間差分和背景差分建模的方法建立背景模型；A2、將當前幀圖像的Y分量與背景圖像的Y分量相減，得到圖像Y分量的差值圖像；A3、對由A2得到的Y分量的差值圖像進行二值化處理；A4、對A3得到的Y分量的二值化圖像進行連通區域檢測和濾波，去除噪聲；A5、將A4得到的Y分量的二值化圖像分別向x軸和y軸投影，根據設定的閾值尋找出前景運動目標。 前面所述的運動目標檢測與跟蹤方法，優選的方案在于，所述步驟B具體步驟如下將當前幀圖像的Y分量中以運動目標的的形心作為中心，選取的區域作為目標模板，在下一幀圖像的Y分量中以上一幀圖像測得的運動目標的形心為中心，選取》Χ H的區域作為待跟蹤區域。前面所述的運動目標檢測與跟蹤方法，優選的方案在于，所述步驟C具體步驟如下Cl、對目標模板進行降采樣處理，得到目標模板的中間層金字塔圖像；然后對目標模板的中間層金字塔進行降采樣處理，得到目標模板的頂層金字塔；C2、對待跟蹤區域進行降采樣處理，得到待跟蹤區域的中間層金字塔，然后對待跟蹤區域的中間層金字塔進行降采樣處理，得到待跟蹤區域的頂層金字塔。前面所述的運動目標檢測與跟蹤方法，優選的方案在于，所述步驟D具體步驟如下D1、對目標模板和待跟蹤區域的頂層金字塔進行匹配運算，在搜索的過程中結合PSO算法，通過粒子間的相互作用得到待跟蹤區域頂層金字塔中運動目標的位置，本發明中使用的相關匹配函數是最小平均絕對差值函數(MAD)，運用此函數可以有效地減少運算量;D2、根據Dl得到的匹配區域像素位置，在待跟蹤區域的中間層圖像中，進行搜索匹配，所搜的區域為Dl匹配定位的位置附近，搜索的過程中使用的搜索方法是鉆石搜索法;D3、根據D2確定的位置，在待跟蹤區域的原始層圖像中進行搜索匹配，搜索的過程中使用的方法是鉆石搜索法，經過這一步，搜索到這一幀中運動目標的位置；D4、根據D3確定的位置，在該幀圖像上標記出目標位置，同時標記出下一幀的搜索范圍。前面所述的運動目標檢測與跟蹤方法，優選的方案在于，所述步驟E具體步驟如下Ε1、根據D4確定的位置，更新目標模板和下一幀圖像中待跟蹤區域的范圍；Ε2、判斷跟蹤是否結束，如果沒有結束，則回到BI進行下一幀的跟蹤。本發明提供的運動目標檢測與跟蹤方法，該方法包括采集視頻圖像序列，將圖像序列的Y分量通過幀間差分和幀間差分結合的方法，建立Y分量下的背景圖像；將當前幀圖像的Y分量和背景圖像的Y分量進行背景差分，得到當前幀圖像Y分量的差值圖像；接著對得到的圖像Y分量進行二值化，然后對其進行連通區域檢測和濾波，去除噪聲，接著將圖像分別向X軸和 軸投影，根據設定的閾值尋找出前景運動目標。本發明提供的運動目標檢測與跟蹤方法，該方法包括將尋找到的前景運動目標的形心作為中心，選取的的區域作為目標模板，在下一幀圖像的Y分量中以上一幀圖像測得的運動目標的形心為中心，選取的區域作為待跟蹤區域。接著對目標模板和待跟蹤區域進行金字塔采樣，具體步驟如下對目標模板進行降采樣處理，得到目標模板的中間層金字塔圖像；然后對目標模板的中間層金字塔進行降采樣處理，得到目標模板的頂層金字塔；對待跟蹤區域進行降采樣處理，得到待跟蹤區域的中間層金字塔，然后對待跟蹤區域的中間層金字塔進行降采樣處理，得到待跟蹤區域的頂層金字塔。對目標模板和待跟蹤區域的頂層金字塔進行匹配運算，在搜索的過程中結合PSO算法，通過粒子間的相互作用得到待跟蹤區域頂層金字塔中運動目標的位置。運用PSO算 法可以優化搜索過程，在待跟蹤區域中有效的尋找到目標模板的最佳匹配區域。
Vi = +— - ) + C2^i-
Pi = PlA^vI其中，O為慣性權重R力粒子的速度，為學習因子，其取值為％ = 6 =2,笤
和《I是(0，I)之間的隨機數，ft代表個體極值，&代表全局極值。粒子在空間中不斷學習個
體極值和全局極值的經驗更新粒子速度和位置。知道尋找到最優解。在頂層金子塔匹配中，粒子的搜索區域就是待搜索區域，在粒子搜過的過程中給他定義的粒子的速度為粒子的位
移和方向，用表示，其中Fi表示行的位移大小和方向，Vw表示列的位移大小和方
向。本發明中使用的適應度評價函數是最小平均絕對差值函數(MAD)，根據適應度評價函數更新個體極值和群體極值，通過該方法可以有效快速的在待跟蹤區域的頂層金字塔中尋找到運動目標。根據得到的匹配區域像素位置，在待跟蹤區域的中間層圖像中，進行搜索匹配，所搜的區域頂層匹配定位的位置附近，搜索的過程中使用的搜索方法是鉆石搜索法；接著在待跟蹤區域的原始層圖像中進行搜索匹配，搜索的過程中使用的方法是鉆石搜索法，經過這一步，搜索到這一幀中運動目標的位置；在該幀圖像上標記出目標位置，同時標記出下一幀的搜索范圍。根據標記出的目標位置，更新目標模板和下一幀圖像中待跟蹤區域的范圍，接著判斷跟蹤是否結束，如果沒有結束，則開始下一幀的跟蹤。本發明采用基于模板的跟蹤方法，為了降低計算的復雜度，提出了基于金子塔多分辨率結合粒子群優化算法和鉆石搜素法的模板匹配方法。金字塔多分辨率就是指通過減少圖像的像素個數縮小圖像，在此基礎上將縮小后的目標模板與目標搜索區域進行匹配搜索，如果縮小一次后，搜索的計算量仍然很大，則進行第二次圖像縮小，圖像縮小的次數根據目標模板圖像和待搜索區域圖像的大小而定。如果將縮小的圖像按照分辨率的高低上下排列，就組成一個金字塔結構，在此金字塔中，越是位于上層的圖像的分辨率越低，圖像的像素數就越少。本發明提供的方法首先針對圖像的Y分量使用幀間差分和背景差分結合的方法建立背景模型，然后檢測出前景運動目標；接著通過前景運動目標建立初始目標模板，再對目標模板和待跟蹤視頻圖像分別進行兩次金字塔降采樣，降低目標模板和待跟蹤視頻圖像的分辨率。在頂層金子塔上采用粒子群優化算法對跟蹤目標進行定位，在中間層和底層金字塔上采用鉆石搜索的方法對跟蹤目標進行定位。在目標跟蹤的過程中目標模板隨運動目標的變化而不斷更新，實現對目標的實時連續跟蹤。與現有技術相比較，本發明的技術優勢還體現在I、本發明提出的改進的針對輸入圖像中Y分量的背景建模方法通過9幀就可以在圖像的Y分量上建立背景模型，如果采用求取均值后生成背景圖像需要30幀才能生成較好 的背景模型。2、本發明將金子塔多分辨率引入到運動目標的檢測與跟蹤方法中，有效的降低了目標模板和待跟蹤視頻圖像的分辨率。3、本發明首次將粒子群優化算法運用在基于DSP的運動目標檢測與跟蹤系統中，使用該方法可以在頂層金字塔中快速有效的定位運動目標，在本發明的具體實施中其計算量為普通算法的90%，如果待跟蹤區域越大其計算量減少越明顯。4、本發明將鉆石搜索法運用在基于DSP的運動目標檢測與跟蹤系統中，使用該方法可以在中間層和底層金字塔中快速定位跟蹤目標，在本發明的具體實施中整體計算量為普通模板匹配法的30%，在光照穩定情況下正確率能達到92%。
圖I :圖像處理系統結構圖。圖2:初始化背景模型。圖3 :運動目標檢測與跟蹤算法流程圖。
具體實施方式
下面結合實施例和附圖詳細說明本發明的技術方案，但保護范圍不被此限制。實施例一種實時的基于DSP的運動目標的檢測與跟蹤方法以及實現這種方法的圖像處理系統，從而實現運動目標的實時檢測與跟蹤。圖I為基于DSP的運動目標檢測與跟蹤系統(圖像處理系統)的結構圖，如圖I所示，圖像處理系統包含視頻采集模塊、視頻處理模塊以及顯示模塊三個部分。本發明中通過一路CCD攝像頭采集視頻信號，將采集的模擬視頻信號傳輸到SEED VPM642視頻處理模塊，在VPM642中通過高性能視頻解碼器TVP5150將模擬視頻信號轉換成BT. 656格式的視頻信號，并將該信號傳輸給DSP的視頻接口。DSP的視頻接口結合EDMA通道將視頻信號傳送到SDRAM的緩存區中，通過DM642處理完數據后，由視頻編碼器SAA712IH將數據轉換成模擬信號傳送給顯示器，通過顯示器可以看到目標跟蹤的效果。本發明提出的基于DSP的運動目標的檢測與跟蹤系統的工作流程主要包含三個部分DM642初始化、系統驅動初始化、運動目標的檢測與跟蹤。DM642初始化主要包含芯片內部存儲器接口初始化、外圍設備初始化、中斷初始化等；系統驅動初始化包含視頻編解碼器初始化、DM642視頻端口初始化、EDMA通道初始化等。在完成系統初始化后，DM642不再干預視頻信號的輸入輸出，系統進入無限循環階段，在該階段DM642主要用于實現運動目標的檢測與跟蹤。本發明提出一種改進的針對采集到的圖像中Y分量的背景建模方法，其算法步驟如圖2所示步驟I :首先輸入一幀圖像，判斷幀數是否大于3，當幀數大于3的時候對輸入圖像的Y分量進行連續三幀差分，并將差分后的圖像進行二值化。假設輸入的三幀圖像分別為m,其差分圖像分別記為n ,其中乓=|λ -m=Iju -λ|，其三幀差分圖像記為4= * * (此處&代表邏輯與運算)。步驟2 :將蟓進行二值化處理，生成二值化圖像~。步驟3 :將二值化圖像~分割為*x*的模塊，記為。步驟4 :將每一塊％(4力進行形態學連通區域檢測和濾波，去除噪聲。如果該區域內O的個數超過整體像素數的85%，則此塊圖像的背景穩定轉入5 )，否則，轉入6 )。步驟6 :生成該塊圖像的背景圖像模型。步驟7 :判斷生成的背景模塊的數量是否大于整體模塊數量的90%，如果大于90%，則背景模型初始化結束，生成背景圖像模型堆力，否則，轉入I )。圖3為本發明提出的基于DSP的運動目標檢測與跟蹤方法，該方案包括如下步驟步驟A :針對圖像的Y分量通過幀間差分和背景差分相結合的方法檢測出前景運動目標(通過將當前幀與背景模型坤Ul進行差分得到灰度圖像，然后將得到的灰度圖像按一定的閾值二值化生成二值化圖像，對該圖像進行形態學連通區域檢測和濾波，去除噪聲。即其中；Γ為閾值)。將獲得的二值化圖像分別向X軸和I軸投影，通過灰度直方圖方法尋找到前景運動目標。概括起來,所述步驟A具體步驟如下Al、針對圖像的Y分量通過幀間差分和背景差分建模的方法建立背景模型；A2、將當前幀圖像的Y分量與背景圖像的Y分量相減，得到圖像Y分量的差值圖像；A3、對由A2得到的Y分量的差值圖像進行二值化處理；A4、對A3得到的Y分量的二值化圖像進行連通區域檢測和濾波，去除噪聲；A5、將A4得到的Y分量的二值化圖像分別向x軸和y軸投影，根據設定的閾值尋找出前景運動目標。步驟B :通過前景運動目標建立目標模板同時確定下一幀待跟蹤的區域(將尋找到的前景運動目標的形心作為中心，選取40x40的區域作為目標模板，在下一幀圖像的Y分量中以上一幀圖像測得的運動目標的形心為中心，選取80x80的區域作為待跟蹤區域)。[0084]概括起來，所述步驟B具體步驟如下將當前幀圖像的Y分量中以運動目標的的形心作為中心，選取的區域作為目標模板，在下一幀圖像的Y分量中以上一幀圖像測得的運動目標的形心為中心，選取的區域作為待跟蹤區域。步驟C :對目標模板和待跟蹤區域進行金字塔采樣，具體步驟如下對目標模板進行降采樣處理，得到目標模板的中間層金字塔圖像；然后對目標模板的中間層金字塔進行降采樣處理，得到目標模板的頂層金字塔；對待跟蹤區域進行降采樣處理，得到待跟蹤區域的中間層金字塔，然后對待跟蹤區域的中間層金字塔進行降采樣處理，得到待跟蹤區域的頂層金字塔。步驟D :通過粒子群優化算法和鉆石搜索算法跟蹤運動目標(對目標模板和待跟蹤區域的頂層金字塔進行匹配運算，在搜索的過程中結合PSO算法，通過粒子間的相互作用得到待跟蹤區域頂層金字塔中運動目標的位置。運用PSO算法可以優化搜索過程，在待跟蹤區域中有效的尋找到目標模板的最佳匹配區域)。
ν = +f巧)
Pi = PiA^vi其中，m為慣性權重，R為粒子的速度，為學習因子，其取值為=ξ
和if是(0，I)之間的隨機數，Ff代表個體極值，&代表全局極值。粒子在空間中不斷學習個
體極值和全局極值的經驗更新粒子速度和位置。知道尋找到最優解。在頂層金子塔匹配中，粒子的搜索區域就是待搜索區域，在粒子搜過的過程中給他定義的粒子的速度為粒子的位
移和方向，用表不,其中Vi表不行的位移大小和方向，V,表不列的位移大小和
方向。本發明中使用的適應度評價函數是最小平均絕對差值函數(MAD)，根據適應度評價函數更新個體極值和群體極值，通過該方法可以有效快速的在待跟蹤區域的頂層金字塔中尋找到運動目標。根據得到的匹配區域像素位置，在待跟蹤區域的中間層圖像中，進行搜索匹配，所搜的區域頂層匹配定位的位置附近，搜索的過程中使用的搜索方法是鉆石搜索法；接著在待跟蹤區域的原始層圖像中進行搜索匹配，搜索的過程中使用的方法是鉆石搜索法，經過這一步，搜索到這一幀中運動目標的位置；在該幀圖像上標記出目標位置，同時標記出下一幀的搜索范圍。概括的說，所述步驟D具體步驟如下D1、對目標模板和待跟蹤區域的頂層金字塔進行匹配運算，在搜索的過程中結合PSO算法，通過粒子間的相互作用得到待跟蹤區域頂層金字塔中運動目標的位置，本發明中使用的相關匹配函數是最小平均絕對差值函數(MAD)，運用此函數可以有效地減少運算量;D2、根據Dl得到的匹配區域像素位置，在待跟蹤區域的中間層圖像中，進行搜索匹配，所搜的區域為Dl匹配定位的位置附近，搜索的過程中使用的搜索方法是鉆石搜索法；[0095]D3、根據D2確定的位置，在待跟蹤區域的原始層圖像中進行搜索匹配，搜索的過程中使用的方法是鉆石搜索法，經過這一步，搜索到這一幀中運動目標的位置；D4、根據D3確定的位置，在該幀圖像上標記出目標位置，同時標記出下一幀的搜索范圍。步驟E :不斷更新目標模板實現運動目標的實時跟蹤(根據標記出的目標位置，更新目標模板和下一幀圖像中待跟蹤區域的范圍，接著判斷跟蹤是否結束，如果沒有結束，則回到第二步進行下一幀的跟蹤)。概括的說，所述步驟E具體步驟如下E1、根據D4確定的位置，更新目標模板和下一幀圖像中待跟蹤區域的范圍；E2、判斷跟蹤是否結束，如果沒有結束，則回到BI進行下一幀的跟蹤。
權利要求1.基于DSP的運動目標檢測與跟蹤系統，其特征在于，包含視頻采集模塊、視頻處理模塊以及顯示模塊；所述視頻采集模塊通過一路CCD攝像頭采集視頻信號，將采集的模擬視頻信號傳輸到SEED VPM642視頻處理模塊，在VPM642中通過高性能視頻解碼器TVP5150將模擬視頻信號轉換成BT. 656格式的視頻信號，并將該信號傳輸給DSP的視頻接口 ；DSP的視頻接口結合EDMA通道將視頻信號傳送到SDRAM的緩存區中，通過DM642處理完數據后，由視頻編碼器SAA7121H將數據轉換成模擬信號傳送給顯示模塊的顯示器，通過顯示器顯示前景運動目標。
專利摘要本實用新型公開了本實用新型提供的基于DSP的運動目標檢測與跟蹤系統，包含視頻采集模塊、視頻處理模塊以及顯示模塊；其首先針對圖像的Y分量使用幀間差分和背景差分結合的方法建立背景模型，然后檢測出前景運動目標；接著通過前景運動目標建立初始目標模板，再對目標模板和待跟蹤視頻圖像分別進行兩次金字塔降采樣，降低目標模板和待跟蹤視頻圖像的分辨率。
文檔編號H04N5/14GK202720689SQ20122034568
公開日2013年2月6日 申請日期2012年7月17日 優先權日2012年7月17日
發明者葛廣英, 龐國瑞 申請人:聊城大學