專利名稱：運動背景的紅外圖像實時目標識別與跟蹤器及方法
技術領域：
本發明涉及一種運動背景的紅外圖像實時目標識別與跟蹤器。本發明還涉 及一種識別與跟蹤方法。
背景技術：
隨著紅外探測器技術的發展，熱像儀從過去采用有限探測元探測器加光機 掃描系統發展成為不用光機掃描的凝視型成像裝置，并向凝視焦平面高密集探 測元、大陣列尺寸、多光譜、高探測率方向發展。基于凝視焦平面陣列的紅外 熱成像探測系統，無論從溫度靈敏度和空間分辨率上，還是從幀頻和光譜響應 上，都有了極大的提高。由于焦平面凝視熱像儀所獨有的優良特性，已成為世 界各國大力研發的一項高新技術。作為智能化信息處理的關鍵環節之一，紅外 成像目標檢測、識別與跟蹤技術一直是困擾和制約紅外成像探測使用性能的瓶 頸問題和技術難點而亟待解決。目前已引起國內外專家的高度重視，并圍繞這 一課題開展了深入和廣泛的研究。
在運動背景的紅外圖像實時目標檢測、識別與跟蹤過程中，需要盡早、盡快 地檢測并鎖定待識別目標，但是對于運動背景下的紅外目標檢測、識別與跟蹤 還存在著許多技術難題，這些技術難題主要有
1. 背景運動，即探測器的移動致使圖像晃動，同時目標有可能偏移出探測 器視場；
2. 數據量大，傳統的圖像處理方法難以實時處理；
3. 無法對大景深、遠距離目標進行實時檢測、識別與跟蹤。
現有的紅外熱成像技術、實時圖像處理技術和自動控制技術是完全成熟的， 然而只有將這些技術有機的結合為一體并進行集中控制，才能使其成為一個具 有精度高、探測范圍廣、抗干擾能力強、快速檢測和實時目標自動識別跟蹤的 運動背景的紅外圖像實時目標識別與跟蹤器。
發明內容
本發明的目的在于提供一種能夠改善紅外圖像成像質量、提高紅外目標檢 測識別與跟蹤精度，達到實時處理與顯示的運動背景的紅外圖像實時目標識別 與跟蹤器。本發明的另一目的在于提供一種基于本發明的運動背景的紅外圖像 實時目標識別與跟蹤器的識別與跟蹤方法。
本發明的目的是這樣實現的包括紅外成像探測部件、紅外圖像信號處理 部件、伺服控制部件和通信模塊四個部分；紅外成像探測部件由紅外光學系統、 凝視焦平面陣列探測器組件、A/D采樣電路組成；探測器串行輸出信號經過A/D 轉換后，進入紅外圖像信號處理部件；紅外圖像信號處理部件以現場可編程門 陣列FPGA和高速數字信號處理器DSP為硬件平臺，進行紅外圖像預處理與目標 檢測、識別與跟蹤，并計算出目標的俯仰與方位誤差角，送給伺服控制部件及 通信模塊進行跟蹤控制及上位機結果顯示；伺服控制部件由速率陀螺及平臺伺 服控制系統構成，紅外成像器安裝在陀螺穩定平臺上，平臺提供一個在空間穩 定不變的方向基準，伺服控制部件接收紅外圖像信號處理部件輸出的兩路目標 角誤差信息，經功率放大器形成控制電流給力矩電機，力矩電機輸出與目標角 誤差成比例的力矩作用給平臺臺體，最終形成對目標的兩自由度跟蹤，最后結 果以及原始圖像數據通過通信模塊1553B總線上傳給上位機，圖像與結果顯示 部分將灰度分布在0~214-1的圖像映射為0~28-1的圖像進行顯示。
所述的紅外目標檢測模塊采用基于FPGA的中值濾波和形態學濾波硬件實現 圖像預處理方法，然后通過采用模糊最大指數熵法確定閾值，進行圖像分割處 理，得到檢測結果，紅外目標識別模塊采用基于遞歸的二值圖像標記方法進行 特征提取和分類，再利用目標外形特征進行變分辨率匹配目標跟蹤。
本發明的創新點在于采用紅外成像儀與高速的圖像處理板以及伺服控制平 臺和通信模塊，建立了一整套運動背景的紅外目標實時檢測識別與跟蹤器。
本發明的紅外目標檢測識別與跟蹤器，包括紅外成像探測、紅外圖像信號 處理、伺服控制平臺和通信模塊四個部分。其特征在于紅外成像探測部件由紅 外光學系統、凝視焦平面陣列探測器組件、A/D采樣電路等組成。探測器串行 輸出信號經過A/D轉換后，進入紅外圖像信號處理器。紅外圖像信號處理部件 以現場可編程門陣列(FPGA)和高速數字信號處理器(雙DSP)為硬件平臺， 完成紅外圖像預處理器與目標檢測、識別與跟蹤功能，并計算出目標的俯仰與 方位誤差角，送給伺服控制及通信模塊進行跟蹤控制及上位機結果顯示。伺服 控制部件由速率陀螺及平臺伺服控制系統構成，將紅外成像器安裝在陀螺穩定 平臺上，利用平臺提供一個在空間穩定不變的方向基準，克服了紅外探測器的 運動使光軸產生的晃動，伺服控制部件接收紅外圖像信號處理部件輸出的兩路 目標角誤差信息，經功率放大器形成控制電流給力矩電機，力矩電機輸出與目 標角誤差成比例的力矩作用給平臺臺體，最終形成對目標的兩自由度跟蹤，提 高搜索范圍與跟蹤精度。最后結果以及原始圖像數據通過通信模塊1553B總線 上傳給上位機，圖像與結果顯示部分將灰度分布在0 214-1的圖像映射為0 28-1 的圖像進行顯示。
本發明的運動背景的紅外圖像實時目標識別與跟蹤方法是首先通過紅外熱
像儀得到紅外圖像，通過數字輸出差分RS422端口以及差分轉換電路，將數字 圖像數據以及輸出控制信號送到紅外圖像信號處理部件的FPGA數據輸入端口 ， FPGA實時進行中值濾波和形態學濾波去噪、從DSP通過釆用模糊最大指數熵 法確定閾值，在FPGA內進行圖像分割和數據壓縮等預處理，在將檢測結果二 值圖像數據送入雙口 RAM,為圖像跟蹤DSP提供圖像處理數據，在主DSP中 的紅外目標識別模塊采用基于遞歸的二值圖像標記方法進行特征提取和分類， 目標跟蹤模塊再利用目標外形特征進行變分辨率匹配目標跟蹤，最終給出跟蹤 角度數據通過通信模塊1553B總線上傳給上位機顯示。紅外探測器在指定范圍 內(2° 6°)進行目標搜索，當在指定的視場內紅外探測器無法搜索到目標時， 則主DSP啟動紅外探測器進入搜索狀態，搜索視場為±18°。當系統檢測出目標 后，則鎖定目標，進入跟蹤狀態，連續輸出方位與俯仰角度給控制系統。 本發明的紅外目標檢測識別與跟蹤器具有如下有益效果 本發明的紅外目標檢測識別與跟蹤器是基于先進凝視焦平面陣列的被動紅 外探測器，具有作用距離遠、探測范圍廣、定位精度高、識別能力強、實時目 標跟蹤、全天候工作等優點，對于應用系統的后續處理工作具有重要意義和使 用價值。
圖1為本發明的紅外目標檢測識別與跟蹤器結構原理圖。 圖2為本發明的紅外成像儀的輸出信號的時序。
圖3、 4、 5是本發明的第一組效果比較圖像；其中圖3是飛機實拍地面 圖像；圖4是經過預處理和圖像分割后的二值化圖像；圖5是經過標記與幾何 特征分析檢測到的目標圖像。
圖6、 7、 8是本發明的第二組效果比較圖像；其中圖6是獅型建筑灰度 圖像；圖7是獅型建筑二值圖像；圖8-l、圖8-2、圖8-3是快速匹配跟蹤用的
多分辨率模板。
圖9、 10、 11、 12是本發明的第三組效果比較圖像，是不同距離下識別的目 標建筑跟蹤結果；其中圖9是距離目標7000米；圖10是距離目標3500米； 圖11是距離目標IOOO米；圖12是距離目標500米。
具體實施例方式
以下結合附圖舉例本發明的技術方案作進一步描述。
本發明的實施例中，利用高性能紅外成像儀分別拍攝到圖3和圖6的對地 目標。采用本發明進行的紅外目標檢測、識別與跟蹤，各部分具體實施細節如 下
結合圖1，紅外目標檢測跟蹤與識別器由四個部分組成包括紅外成像探測、 紅外圖像信號處理、伺服控制平臺和通信模塊四個部分。高性能紅外成像儀所 采用的紅外成像前端是法國Sofradir公司生產的320x256中波制冷焦平面探測 器。該紅外成像儀有兩個輸出端口和一個串行通信端口。兩個輸出端口其中的 一個是用于視頻輸出，利用一臺視頻監視器可以觀察紅外成像儀輸出的視頻模 擬圖像；另一個輸出端口是差分信號RS422數字輸出。串行通信端口與主機相 連，主要作用是調節紅外成像儀的性能，如調節數字圖像的輸出速率(50幀/ 秒、100幀/秒)，調節圖像的積分時間以及校正圖像以使成像效果達到最佳。
紅外攝像頭的數字輸出格式是采用RS422差分信號，這種信號可以抑制傳 輸過程中信號之間產生的共模干擾，進行長距離傳輸。端口輸出14位數據和4 位控制信號。4位控制信號分別為像素時鐘信號、行復位信號、行使能信號和場
使能信號。為保證數據在較低的傳輸誤碼率情況下進行傳輸，必須根據這些控
制信號進行時序分析和硬件電路設計。紅外探測器圖像信號時序關系如圖2所 示。
紅外圖像信號處理部件的硬件包括由FPGA和雙DSP構成的圖像預處理模 塊和圖像識別跟蹤模塊。預處理模塊首先對紅外探測器到來的信號進行去噪處 理，在FPGA中進行中值濾波與形態學濾波實現去噪，再將紅外圖像信號進行 壓縮處理，將14位有符號圖像數據處理成8位無符號圖像數據。從DSP進行讀 寫時序的控制、數據空間譯碼、圖像分割閾值選擇以及與探測器前端的通信功 能。采用模糊最大指數熵法確定閾值后，在FPGA中進行實時圖像分割，最后 將結果送給雙口 RAM,為后續跟蹤模塊處理提供二值化圖像。兩塊雙口 RAM 采用兵乓式存儲結構，保證圖像處理實時性。跟蹤模塊DSP對二值化圖像進行
識別與跟蹤處理，采用基于遞歸的二值圖像標記方法識別目標，通過標記孤立 目標并進行幾何特征分析，最終提取出目標。識別成功后轉跟蹤模式，圖像跟 蹤采用基于目標外形特性的二值圖像變分辨率分層搜索快速匹配方法，通過改 進搜索空間和搜索策略，采用四像元金字塔分層圖像，進行先粗后細的匹配， 在不損失跟蹤精度的前提下，運算速度得到提高。跟蹤模塊最終給出跟蹤角誤 差，轉換成RS-422電平，串行發送給伺服控制部件。
伺服控制部件由速率陀螺及平臺伺服控制系統構成，將紅外成像器安裝在陀 螺穩定平臺上，利用平臺提供一個在空間穩定不變的方向基準，克服了紅外探 測器的運動使光軸產生的晃動，伺服控制部件接收紅外圖像信號處理器輸出的 兩路目標角誤差信息，經功率放大器形成控制電流給力矩電機，力矩電機輸出 與目標角誤差成比例的力矩作用給平臺臺體，最終形成對目標的兩自由度跟蹤。
采用伺服控制裝置控制搜索和跟蹤視場，真正實現紅外圖像探測器對目標的實 時的檢測、識別與跟蹤。
通信模塊采用1553B總線上傳紅外圖像以及圖像信號處理后跟蹤結果顯示。 顯示部分采用C語言編程。
如圖3、 4、 5所示，圖3是飛機實拍地面圖像，圖4是經過預處理和圖像分 割后的二值化圖像，圖5是經過標記與幾何特征分析檢測到的目標圖像。如圖6、 7、 8所示，圖6是獅型建筑灰度圖像，圖7是獅型建筑二值圖像，圖8-l、圖 8-2、圖8-3是快速匹配跟蹤用的多分辨率模板。如圖9、 10、 ll所示，不同距 離下識別的目標建筑跟蹤結果，圖9距離目標7000米，圖10距離目標3500米， 圖11距離目標1000米，圖12距離目標500米。目標檢測概率能夠達到99%， 虛警概率為0.1%;目標的識別正確率為95%，目標的跟蹤概率可以達到96%。 整個算法在紅外圖像信號處理部件上的運行時間可以達到每秒鐘50幀的實時效 果。可以看出，本發明具有搜索范圍廣、探測距離遠、定位精度高、識別能力 強、實時目標跟蹤、全天候工作等優點。
權利要求
1、一種運動背景的紅外圖像實時目標識別與跟蹤器，其特征是包括紅外成像探測部件、紅外圖像信號處理部件、伺服控制部件和通信模塊四個部分；紅外成像探測部件由紅外光學系統、凝視焦平面陣列探測器組件、A/D采樣電路組成；探測器串行輸出信號經過A/D轉換后，進入紅外圖像信號處理部件；紅外圖像信號處理部件以現場可編程門陣列FPGA和高速數字信號處理器DSP為硬件平臺，進行紅外圖像預處理與目標檢測、識別與跟蹤，并計算出目標的俯仰與方位誤差角，送給伺服控制部件及通信模塊進行跟蹤控制及上位機結果顯示；伺服控制部件由速率陀螺及平臺伺服控制系統構成，紅外成像器安裝在陀螺穩定平臺上，平臺提供一個在空間穩定不變的方向基準，伺服控制部件接收紅外圖像信號處理部件輸出的兩路目標角誤差信息，經功率放大器形成控制電流給力矩電機，力矩電機輸出與目標角誤差成比例的力矩作用給平臺臺體，最終形成對目標的兩自由度跟蹤，最后結果以及原始圖像數據通過通信模塊1553B總線上傳給上位機，圖像與結果顯示部分將灰度分布在0～214-1的圖像映射為0～28-1的圖像進行顯示。
2、 一種基于運動背景的紅外圖像實時目標識別與跟蹤器的識別與跟蹤方 法，其特征是首先通過紅外熱像儀得到紅外圖像，通過數字輸出差分RS422 端口以及差分轉換電路，將數字圖像數據以及輸出控制信號送到紅外圖像信號 處理部件的FPGA數據輸入端口 ， FPGA實時進行中值濾波和形態學濾波去噪、 從DSP通過采用模糊最大指數熵法確定閾值，在FPGA內進行圖像分割和數據 壓縮等預處理，在將檢測結果二值圖像數據送入雙口 RAM，為圖像跟蹤DSP 提供圖像處理數據，在主DSP中的紅外目標識別模塊采用基于遞歸的二值圖像 標記方法進行特征提取和分類，目標跟蹤模塊再利用目標外形特征進行變分辨 率匹配目標跟蹤，最終給出跟蹤角度數據，并通過通信模塊1553B總線上傳給 上位機顯示；紅外探測器在指定的2° 6°范圍內進行目標搜索，當在指定的視 場內紅外探測器無法搜索到目標時，則主DSP啟動紅外探測器進入搜索狀態， 搜索視場為士18。；當系統檢測出目標后，則鎖定目標，進入跟蹤狀態，連續輸 出方位與俯仰角度給控制系統。
3、如權利要求2的所述的基于運動背景的紅外圖像實時目標識別與跟蹤器 的識別與跟蹤方法，其特征是圖像預處理模塊采用基于FPGA的中值濾波和形 態學濾波硬件實現圖像預處理方法，然后通過采用模糊最大指數熵法確定閾值， 進行圖像分割處理，得到檢測結果；圖像識別跟蹤模塊采用基于遞歸的二值圖 像標記方法進行特征提取和分類，再利用目標外形特征進行變分辨率匹配目標
全文摘要
本發明提供的是一種運動背景的紅外圖像實時目標識別與跟蹤器及方法。包括紅外成像探測部件、紅外圖像信號處理部件、伺服控制部件和通信模塊四個部分。采用紅外熱像儀采集數字化的紅外圖像，采用伺服控制部件控制搜索和跟蹤視場內目標，采用紅外圖像信號處理部件實時地檢測、識別與跟蹤目標，采用1553B總線與上位機通信構成紅外圖像跟蹤結果顯示。能檢測15公里以上的景深范圍，能進行±18°度的大角度搜索和2°～6°度的小角度精確跟蹤。具有檢測距離遠、探測范圍廣、定位精度高、識別能力強、實時目標跟蹤、全天候工作等特點。
文檔編號G06K9/62GK101105836SQ20071007248
公開日2008年1月16日 申請日期2007年7月6日 優先權日2007年7月6日
發明者劉云鶴, 司錫才, 焦淑紅, 濤 陳 申請人:哈爾濱工程大學