專利名稱：高速微小目標仿蠅視覺在線實時檢測裝置及檢測方法
技術領域：
本發明涉及一種高速微小目標檢測裝置及檢測方法，屬于圖像處理和目標檢測技術領域。
背景技術：
視頻圖像中運動目標的檢測問題始終是計算機視覺研究的核心問題之一，它在軍事制導、無人飛機駕駛、機器人視覺導航等方面具有廣泛的應用前景。其中動態復雜背景下高速運動的微小目標檢測則是運動目標檢測問題中的難點。這類問題難于處理的關鍵原因在于微小目標本身缺乏易于分析和識別的特征；復雜背景導致微小目標的信噪比較低； 運動狀態下背景模型難于估計和預測；高速運動微小目標的可檢測特征存在不確定性。針對以上問題，目前已有的高速運動微小目標檢測算法主要有兩種解決方案先檢測后跟蹤(DBT)和先跟蹤后檢測(TBD)。DBT方法中需要先對目標的位置進行檢測，然后根據檢測結果實現目標的跟蹤。常用的小波分析方法、背景抑制方法以及變換域等方法均是為了獲得準確的目標檢測效果，從而提高跟蹤的精度。檢測效果的好壞直接決定了跟蹤的成敗。因此這類算法通常需要目標與背景之間具有較高的信噪比。另外存在運動的復雜背景通常無法獲得準確的背景模型，從而導致微小目標檢測準確性下降，影響跟蹤效果。TBD方法不同于DBT方法，首先對微小目標的運動軌跡進行估計和判斷，然后利用目標運動的連續性和一致性檢測出真正的目標。常用的算法有高階相關方法、時域濾波方法、粒子濾波方法等。這類算法可以實現較低信噪比條件下目標跟蹤，具有較強的抗干擾能力，成為目前高速運動微小目標檢測研究的熱點。然而其計算復雜度高、計算量大和存儲要求較高等問題對檢測的準確度和實時性的影響仍有待解決。盡管人類已經掌握了強大數據處理能力的計算機技術和較高分辨率成像技術，但仍無法實現在運動復雜背景下對高速運動的微小目標實現穩定、實時檢測和跟蹤。經過自然進化的昆蟲視覺系統如蠅類卻可以憑借有限數量的大腦神經細胞和較低分辨率的復眼系統，在高速飛行于復雜多變的自然場景中準確的捕捉食物或追逐配偶， 其在計算準確度、抗干擾能力和原理簡易性上都大大超過了目前現有的目標檢測算法。隨著生物分析手段的不斷提高，人們不斷發現蠅類視覺系統對微小目標的檢測和跟蹤是通過小葉板神經元的大、小場景整合機理實現的。蠅類視覺系統中大、小場景整合機理對應于小葉板上單、雙極池細胞不同的調度機制實現的。大場景整合將出現頻率較高、變化速度緩慢的背景紋理特征進行抑制，同時對大范圍的背景運動信息進行估計，獲得平衡蠅類自身飛行的扭矩信息保證蠅類飛行的自身平衡；小場景整合機理則對出現頻率較低、變化速度快的微小目標進行非線性特征增強，提高小尺寸目標特征的可感知度，同時準確估計微小目標的運動方向信息，從而使得蠅類視覺系統具有對高速飛行微小目標進行高精度、在線實時檢測的能力
發明內容
本發明的目的是針對當前計算機視覺對高速運動微小目標檢測存在的計算原理復雜、計算量大、抗背景干擾能力差等局限性，特別是在動態復雜自然場景條件下背景模型無法準確估計，以及高速運動微小目標特征匱乏等問題，本發明借鑒蠅類視覺的大小場景整合機理，模擬蠅類從視覺信息獲取到視網膜初級運動信息估計再到小葉板高階神經元信息整合處理的過程，構建復雜背景下高速微小目標仿蠅視覺在線檢測裝置及其工作方法， 利用平行神經整合機理實現對微小目標的檢測和跟蹤。為解決上述技術問題，本發明提供一種高速微小目標仿蠅視覺在線實時檢測裝置，其特征是，包含圖像信號采集模塊、初級視覺信息處理模塊、目標檢測跟蹤模塊；所述圖像信號采集模塊中包含兩部CXD圖像傳感器及與所述CXD圖像傳感器對應的可編程視頻信號處理器；所述初級視覺信息處理模塊中包含用于視頻圖像配準和初級運動估計的第一 DSP 芯片和與所述第一 DSP芯片連接的第一存儲芯片；所述目標檢測跟蹤模塊中包含2個并列的FPGA芯片，用于根據單極池細胞、雙極池細胞的調度機制分別實現大、 小場景整合的高階信息處理，與所述FPGA芯片連接的第二存儲芯片，與所述第二存儲芯片連接的第二 DSP芯片，將結合所述FPGA芯片輸出的抑制后的復雜背景和運動矢量估計信息進行目標檢測和跟蹤。所述FPGA芯片封裝了單極池細胞和雙極池細胞單元。所述第一 DSP芯片中包含將相鄰兩個時刻配準好的全景圖像進行運動估計的初級運動檢測器模型，所述初級運動檢測器模型由初級運動檢測器單元EMD陣列組成，每個初級運動檢測器單元EMD與圖像中的像素一一對應。基于權利要求1的高速微小目標仿蠅視覺在線實時檢測方法，其特征是，包括以下步驟步驟1，采用雙目運動相機并列捆綁的方式采集場景視頻信息，相機將模擬視頻信號傳輸到視頻采集卡上，將模擬視頻信號轉換為數字視頻信號。步驟2，然后將視頻采集卡獲得的信息傳入DSP芯片，對雙目相機獲得的場景圖像進行初級視覺處理，包括對兩路視頻信號的配準和初級運動信息估計；所述配準步驟為首先估計兩幅同時刻圖像之間的仿射變換矩陣，然后通過縮放、 旋轉和平移將同一時刻獲得的兩幅圖像進行拼接，獲得大范圍的全景圖像。根據生物視覺在水平方向上可視范圍大于垂直方向的特點，該裝置獲得的全景圖像將在水平方向上具有更廣的視角。所述初級運動信息估計將相鄰兩個時刻配準好的全景圖像采用初級運動檢測器模型進行運動估計，所述初級運動檢測器模型由初級運動檢測器單元EMD陣列組成初級運動信息檢測陣列，每個EMD單元與圖像中的像素一一對應，即第i個EMD單元可以獲得第i 個像素上的一對運動估計信息Vi+(t)和Vi_(t)，其中+、-代表第i個EMD單元對水平方向上從左到右和從右到左兩個方向的運動具有不同的敏感性，區分這兩個運動方向是下一步目標運動方向估計的基礎。采用EMD陣列估計全景圖像的矢量場，每個EMD單元通過不同CN 102510436 A
說明書
3/8頁
時刻、相鄰空間位置上亮度信息的交叉相乘，獲得極性不同的矢量信息作為小目標運動方向估計的基礎。由于初級運動估計模型獲得的運動信息屬于初級視覺信息，通常受到場景空域特征例如對比度、空域頻率等因素的影響，因此不能反映真實的目標運動。而大、小場景整合處理機理作為高階神經整合處理，DSP獲得的初級運動信息進行糾正，實現準確的目標檢測。步驟3，采用兩塊并行設置的FPGA芯片對初級運動信息進行大場景、小場景整合和目標檢測，所述FPGA芯片中封裝了單、雙極池細胞單元，采用不同的池細胞調度機制使并行設置的FPGA芯片中左側FPGA芯片進行大場景整合，右側FPGA芯片進行小場景整合；每個EMD單元都對應了一對相反極性的單極池細胞，例如Pi,/(t)、ΡιΓα)為左眼中的第i個EMD單元對應的單極池細胞fu+a) Ii,廠(t)為右眼中的第i個EMD單元對應的單極池細胞。其中Pu+a)與Pu_(t)對順時針旋轉敏感；而Pi, Γ(t)與Pu+(t)對逆時針旋轉敏感。單極池細胞將其對應的EMD單元輸出Vi+(t)和ViIt)分量進行非線性增強和線性疊加，以增強目標特征的對比度，以及對相反運動方向敏感度的差異，得到的融合結果將作為雙極池細胞的輸入。每個EMD單元同樣對應一對雙極池細胞，^TW、為左眼中的第i個EMD單元對應的雙極池細胞；《7(0、為右眼中的第i個EMD單元對應的雙極池細胞。總體來講雙極池細胞主要是將單極池細胞的輸出進行融合，并將融合結果作為抑制分量，對EMD 輸出Vi+(t)和vr(t)進行分流抑制實現大小場景整合。具體來講，對于大場景整合，雙極池細胞將每只眼對應視場范圍Nb內的所有單極池細胞輸出結果進行疊加，并將疊加結果作為抑制分量對第i個EMD單元估計的Vi+(t)和V(t)進行分流抑制，得到和巧⑴。對于復雜背景特征分布密集的情況，單極池細胞的疊加將有利于抑制豐富的紋理特征，從而降低背景復雜度。對于小場景整合，雙極池細胞則將其對應的單極池細胞輸出結果進行融合，并將融合結果作為抑制分量，對第i個EMD單元估計的Vi+(t)和Vi-(t)進行分流抑制， 得到 ； 和。對于出現概率較低的目標特征，小場景整合將有助于目標特征的非線性增強，并對場景中的目標運動方向進行估計，獲得小場景整合效果。步驟4，利用大、小場景整合結果獲得的背景運動估計和小目標運動方向作為目標檢測依據，對高速運動微小目標進行跟蹤。將6(0和巧(0之差在局部整合窗口 Nb中進行疊加，得到大場景整合結果；同理將i^W和iT,⑴在Nb窗口中進行疊加得到小場景整合結果。利用大小場景整合結果獲得的背景運動估計和小目標運動方向作為目標檢測依據，實現高速運動微小目標的跟蹤。所述大場景整合將局部區域內所有EMD單元對應的單極池細胞輸出進行疊加，疊加結果在雙極池細胞的調度下對每個EMD單元的輸出進行分流抑制，最后將抑制后的EMD 輸出進行疊加獲得復雜背景特征抑制的大場景整合效果。所述小場景整合是將EMD單元對應的單極池細胞輸出作為抑制分量，在雙極池細胞的調度下，對每個EMD單元的輸出進行抑制，從而增強小目標特征，并對微小目標的運動方向進行估計。所述的池細胞調度機制包含單極池細胞調度和雙極池細胞調度，所述單極池細胞
6調度對EMD單元的輸出通過非線性增強和線性疊加，提高不同運動方向的敏感性差異，增強微小目標的時域特征；所述雙極池細胞調度是單極池細胞輸出對EMD單元的輸出進行分流抑制，獲得的小目標運動方向信息用于確定跟蹤設備的運動方向。所述雙目運動相機為兩部CXD相機。本發明所達到的有益效果本發明設計的高速微小目標檢測裝置具有算法簡單快速，造價低廉易于硬件實現和推廣等優點。本發明受蠅類視覺系統快速準確捕捉動態復雜場景中高速運動的微小目標啟發，基于蠅視覺系統大小場景整合機理，采用多電荷耦合器件組(CCD)、數字信號處理芯片DSP以及FPGA，構建一種可以實時檢測動態復雜背景下高速運動微小目標的檢測裝置及其工作方法。該裝置將捆綁在一起的雙目相機作為前端視頻信息采集部件，通過后端DSP 芯片的配準處理和初級視覺運動估計獲得初級視覺信息，然后利用FPGA芯片中池細胞調度機制對初級運動信息分別進行大、小場景整合計算，實現復雜背景特征抑制、小目標運動方向信息估計和背景運動信息(扭矩信息)估計。本發明借鑒生物學原理克服了現有微小目標檢測方法存在的計算復雜度高、計算量大、存儲量大以及硬件難以實現等問題，在較低信噪比的復雜場景中，模擬蠅視覺系統中大、小場景整合機理，通過單、雙極池細胞的不同調度機制實現快速、準確的高速微小目標檢測。大場景整合機理可以抑制復雜背景特征并估計背景運動，增強目標檢測的抗背景抗干擾能力；小場景整合可以增強微小目標特征并獲得目標運動方向估計，實現高速運動微小目標檢測。本發明適用于外界環境復雜、信噪比較低條件下的微小目標檢測，并可以搭載在例如汽車、坦克、飛機等高速運動的移動設備上，利用該檢測裝置計算獲得的大場景扭矩信息和微小目標的運動方向信息，實現復雜背景下的高速運動微小目標檢測和跟蹤，具有在線實時、準確檢測動態變化背景下高速運動微小目標的能力。與現有計算機信號處理方法不同，本發明涉及的大小場景整合機理是一種并行處理模式，可以同時獲得背景抑制效果和小目標運動方向估計，彌補了現有目標檢測算法在復雜背景運動或相機抖動干擾條件下的局限性；自適應的生物學機理在降低背景復雜度的同時，對低信噪比條件下高速運動的微小目標特征具有高度敏感性，其計算原理簡單，計算速度快、可以實現在線實時檢測，并易于硬件實現和推廣。該裝置具有以下優點1)可以在低信噪比條件下實現目標檢測，具有較強的抗干擾能力，適應于多種惡劣自然環境下的目標檢測；2)利用蠅類視覺系統神經元的整合機理，計算原理簡單、實時性好；3)蠅類視覺神經元組織結構簡單，易于硬件實現。
圖1是本發明的檢測裝置硬件示意圖；圖2是本發明的算法流程圖；圖3是本發明的圖像配準流程圖；圖4是本發明中小場景整合的單、雙極池細胞融合流程圖；圖5是本發明的小場景整合流程圖；圖6是本發明的大場景整合流程圖；圖7是CXD攝像機與視頻解碼器的連接示意圖。
具體實施例方式下面結合附圖對本發明作進一步描述。以下實施例僅用于更加清楚地說明本發明的技術方案，而不能以此來限制本發明的保護范圍。本發明的檢測裝置硬件邏輯部件如圖1所示，小目標檢測裝置主要由三大部分組成視頻信號采集模塊Ml、初級視覺處理模塊M2、目標檢測跟蹤模塊M3。其中，視頻信號采集模塊Ml中包含兩部CCD相機1、2及與CCD相機對應的可編程視頻信號處理器3、4，本實施例中兩部CXD相機采用型號為MV-VS078FM/FC的黑白高速工業CXD相機，分別記為CXDp CXDk其分辨率為IOMX 768，幀速率為30幀每秒，適合智能交通，機器視覺等應用領域；與CCD相機1、2對應的可編程視頻信號處理器3、4采用型號為 SAA7113H的可編程視頻信號處理器，完成數模變換、多制式變換和抗混疊濾波等功能，另外對亮度、對比度和飽和度進行控制。初級視覺處理模塊M2中包含DSP芯片5和相應的存儲芯片6，本實施例中DSP芯片5采用實現視頻圖像配準和初級運動估計的TMS320C6711B型號DSP芯片。目標檢測跟蹤模塊M3中包含2個FPGA芯片7、8及與其相連的存儲芯片9和與存儲芯片9連接的DSP芯片10，本實施例中FPGA芯片7、8采用Apex系列EP20K60(ffiBC652型號FPGA芯片，通過單、雙極池細胞的不同調度機制，實現大、小場景整合處理，獲得目標運動估計和背景運動估計；DSP芯片10采用TMS320C6711B型號的DSP芯片，利用大、小場景整合結果以及抑制的背景信息進行目標檢測和跟蹤。采用雙目相機作為前端視頻信號的采集設備，模擬蠅類的雙目結構，通過拼接和配準處理獲得較寬的視場范圍。該裝置采用雙FPGA對初級運動信息進行大、小場景整合和目標檢測。大場景整合實現復雜背景抑制效果，同時對大場景運動進行估計輸出扭矩信息作為目標檢測和跟蹤過程的補償信息；小場景整合增強小目標的空間特征，同時準確估計小目標運動方向用于目標檢測，有效提高目標檢測的運算速度，有利于保證該裝置檢測的在線實時性。圖2為與圖1檢測裝置對應的整體算法的流程圖，結合圖1對算法流程進行說明。 為了實現視頻信號的配準，并對場景運動信息進行估計，將兩塊SAA71i;3H可編程視頻信號處理器3、4處理器獲得的視頻信號輸入到與其連接的DSP芯片中，進行圖像配準和初級運動估計。圖像配準采用塊匹配算法，如圖3所示；初級運動估計是通過蠅類視覺的初級運動估計器模型(EMD)原理對整個場景的運動信息進行估計，對于每個像素位置均可以得到 (⑴和V(t)兩路信號。然后將V,(t)和V(t)分別輸入到并列的FGPA芯片7、8中，通過FGPA芯片7、8中的單極池細胞、雙極池細胞的不同調度機制分別實現大、小場景整合計算，并將獲得的扭矩信息(大場景運動)和目標運動信息輸入到DSP芯片10中進行目標檢測和跟蹤。圖4是小場景整合的單、雙極池細胞調度流程。以雙目相機對應的單個初級運動檢測單元EMD為例，CXD ^和COTk分別表示不同的CXD相機。對于第(i，j)個像素，I(i， j，t)和I(i，j，t')為該空間位置上不同時刻的灰度值，I(i+A φ，j，t)為與第(i，j)個像素位置相隔Δ φ空間距離的第(i+Δ φ，j)個像素的灰度值，通過交叉相關獲得該像素對應EMD單元的ViIthVi-(t)輸出。由于僅考慮水平方向的運動估計，因此采用Vi+(t)、Vr(t)代表第(i，j)個EMD的輸出，圖中簡寫為V+、V_，以下同理。對于該EMD單元，在兩個 FPGA芯片中分別對應了一對單極池細胞Pi, x+(t)、Pi, r(t)和Pi, ； (t)、Pi, r-(t)0 1、r表示左、右兩側的FPGA芯片7、8 ；+、-表示池細胞的極性。將^；⑴、分別輸入到單極池細胞進行融合。不同極性的單極池細胞融合結果分別為=Pi, Γ (t)、Pi,；⑴.Pi,;⑴、Pi,廠⑴。然后將單極池細胞融合結果輸入到雙極池細胞中。雙極池細胞融合如圖4中右側虛線框所示，雙極池細胞對于來自不同側眼的相同運動敏感性的單極池細胞進行融合。對不同運動方向敏感的雙極池細胞分別接入單虛線箭頭、雙虛線箭頭表示的輸入信號。其中左側眼的順時針(和逆時針)的雙極池細胞輸出為 Pi,χ ω和PiaraVt)(單虛線箭頭表示)，右側眼的順時針(和逆時針)的雙極池細胞輸出為Pi.^a)和Purcw(t)(雙虛線箭頭表示)。CW和CCW分別表示雙池細胞對于順時針運動方向和逆時針運動方向敏感，r和1表示不同側的雙極池細胞，i表示該雙極池細胞對應的像素位置。在獲得雙極池細胞輸出之后，對圖4中兩對初級運動估計信息Vi+(t)、Vi_(t)進行分流抑制和非線性處理，如圖5所示，從而得到憶(0和、O)和。經過疊加得到第(i，j)位置上小目標運動方向的估計I SF (i，j)和大場景整合結果lUi，j)。圖6為大場景整合流程圖。大場景整合較為簡單，同樣包含了非線性增強與分流抑制處理。不同于小場景整合，大場景中的雙極池細胞將單眼視場Nb范圍內的所有單極池細胞輸出Pi, Γ (t)、Pi,廣⑴(或Pi, /⑴、Pi, (t))進行疊加作為抑制分量，然后對Vi+⑴、 Vi-(t)兩路運動信息進行分流抑制。圖7是CXD相機攝像頭與視頻解碼器的連接圖，然后通過視頻解碼器鏈接到DSP 芯片上。每個CXD相機將數據通過端口 D+和D-輸入到電路板上，同時輸入相應的控制信號CRL和正負電壓。電路板上的兩個接口分別是CZ1、CZ2。兩個CXD的端口分別標記為 Portl、Port2。Portl 對應 CZl ；Port2 對應 CZ2。上述檢測裝置及檢測流程中對應的算法如下(1)圖像配準圖像配準過程的核心步驟是尋找到圖像之間的仿射變換矩陣，即找出對齊的兩幅或多幅重疊圖像之間的變換關系。變換矩陣通常包括縮放、旋轉和平移。本發明中兩個相機采用并列式捆綁，因此可以表示為f (x) = Ax+b(1)其中，A是變換矩陣，b是平移矢量，矩陣A控制旋轉效果。采用塊匹配算法估計兩幅視頻圖像之間的相對偏移量，然后將估計結果送入配準模塊進行配準，流程如圖3所示。(2) EMD初級視場的運動估計在蠅類視覺系統中，初級運動檢測器(Elemetary Motion Detection, EMD)模型， 也叫Reichardt運動檢測器。每個初級運動檢測器是由蠅類復眼視網膜上相隔一定空間距離的兩個光感受器組成，將輸入信號分別延遲后與相鄰位置上未延遲的輸入信號進行交叉相乘，計算兩個相乘之差作為初級運動檢測器的輸出。針對一維信號的初級運動檢測器模型的兩路極性相反的信號表示為Vj+(t) = I(i, t) ΧΙ( +Δ φ, t+τ)V廠(t) = I(i+A φ，t) XI(i，t+τ) (2)
9
其中，I(i，t)和I(i+A φ“)是初級運動檢測器的輸入端，I (i，t)是第i個光感細胞在第t時刻接收到的亮度值。Δ φ為輸入端之間的空間距離，該距離是由相鄰光感細胞之間的間隔決定的；延遲時間τ是由神經細胞本身的響應特性決定的，決定了昆蟲視覺系統感知運動信號的響應時間。這兩個參數決定了初級運動檢測器的時空響應特性。在研究中發現，初級運動檢測器獲得的運動信息并不準確，常常受到場景空域特征的影響，并且存在孔徑效應。因此需要高階神經元的進一步矯正才能獲得準確的目標運動估計。在蠅類視覺系統的小葉板上存在著兩套平行的信息整合機理-大場景整合機理和小場景整合機理，這兩種整合機理分別對視網膜細胞獲得的初級運動信息進行不同方式的整合。大場景整合機理主要對場景中緩慢變化的背景特征產生較強的響應，抑制紋理特征，并估計背景運動以平衡自身運動；而小場景整合機理則對場景中高速運動的目標產生較強的響應，對目標的運動方向進行估計，實現目標檢測和跟蹤。(3)小場景整合在蠅類視覺系統的兩側各有一對單極池細胞對應于雙目，分別為Pi, / (t) .Pi, Γ (t) 和Pi,/(t)、Pu_(t)，正負號代表了該單極池細胞對不同的運動方向產生興奮響應。1，r表示池細胞位于大腦的左右兩側。i表示第i個像素位置。每側的兩對單極池細胞對初級運動估計Vi+(t)和vr(t)的調度機制表示為
權利要求
1 一種高速微小目標仿蠅視覺在線實時檢測裝置，其特征是，包含圖像信號采集模塊、初級視覺信息處理模塊、目標檢測跟蹤模塊；所述圖像信號采集模塊中包含兩部CCD圖像傳感器及與所述CCD圖像傳感器對應的可編程視頻信號處理器；所述初級視覺信息處理模塊中包含用于視頻圖像配準和初級運動估計的第一 DSP芯片和與所述第一 DSP芯片連接的第一存儲芯片； 所述目標檢測跟蹤模塊中包含2個并列的FPGA芯片，用于根據單極池細胞、雙極池細胞的調度機制分別實現大、小場景整合的高階信息處理，與所述FPGA芯片連接的第二存儲芯片，與所述第二存儲芯片連接的第二 DSP芯片，將結合所述FPGA芯片輸出的抑制后的復雜背景和運動矢量估計信息進行目標檢測和跟蹤。
2.根據權利要求1所述的高速微小目標仿蠅視覺在線實時檢測裝置，其特征是，所述 FPGA芯片封裝了單極池細胞和雙極池細胞單元。
3.根據權利要求1所述的高速微小目標仿蠅視覺在線實時檢測裝置，其特征是，所述第一 DSP芯片中包含將相鄰兩個時刻配準好的全景圖像進行運動估計的初級運動檢測器模型，所述初級運動檢測器模型由初級運動檢測器單元EMD陣列組成，每個初級運動檢測器單元EMD與圖像中的像素一一對應。
4.基于權利要求1的高速微小目標仿蠅視覺在線實時檢測方法，其特征是，包括以下步驟步驟1，采用雙目運動相機并列捆綁的方式采集場景視頻信息，相機將模擬視頻信號傳輸到視頻采集卡上，將模擬視頻信號轉換為數字視頻信號；步驟2，然后將視頻采集卡獲得的信息傳入DSP芯片，對雙目相機獲得的場景圖像進行初級視覺處理，包括對兩路視頻信號的配準和初級運動信息估計；步驟3，采用兩塊并行設置的FPGA芯片對初級運動信息進行大場景、小場景整合和目標檢測，所述FPGA芯片中封裝了單、雙極池細胞單元，采用不同的池細胞調度機制使左側 FPGA芯片進行大場景整合，右側FPGA芯片進行小場景整合；步驟4，利用大、小場景整合結果獲得的背景運動估計和小目標運動方向作為目標檢測依據，對高速運動微小目標進行跟蹤。
5.根據權利要求4所述的高速微小目標仿蠅視覺在線實時檢測方法，其特征是，所述配準步驟為首先估計兩幅同時刻圖像之間的仿射變換矩陣，然后通過縮放、旋轉和平移將同一時刻獲得的兩幅圖像進行拼接，獲得大范圍的全景圖像。
6.根據權利要求4所述的高速微小目標仿蠅視覺在線實時檢測方法，其特征是，所述初級運動信息估計將相鄰兩個時刻配準好的全景圖像采用初級運動檢測器模型進行運動估計，所述初級運動檢測器模型由初級運動檢測器單元EMD陣列組成初級運動信息檢測陣列，每個EMD單元與圖像中的像素一一對應，采用EMD陣列估計全景圖像的矢量場，每個EMD 單元通過不同時刻、相鄰空間位置上亮度信息的交叉相乘，獲得極性不同的矢量信息作為小目標運動方向估計的基礎。
7.根據權利要求6所述的高速微小目標仿蠅視覺在線實時檢測方法，其特征是，所述大場景整合將局部區域內所有EMD單元對應的單極池細胞輸出進行疊加，疊加結果在雙極池細胞的調度下對每個EMD單元的輸出進行分流抑制，最后將抑制后的EMD輸出進行疊加獲得復雜背景特征抑制的大場景整合效果。
8.根據權利要求6所述的高速微小目標仿蠅視覺在線實時檢測方法，其特征是，所述小場景整合是將EMD單元對應的單極池細胞輸出作為抑制分量，在雙極池細胞的調度下， 對每個EMD單元的輸出進行抑制，從而增強小目標特征，并對微小目標的運動方向進行估計。
9.根據權利要求6所述的高速微小目標仿蠅視覺在線實時檢測方法，其特征是，所述的池細胞調度機制包含單極池細胞調度和雙極池細胞調度，所述單極池細胞調度對EMD單元的輸出通過非線性增強和線性疊加，提高不同運動方向的敏感性差異，增強微小目標的時域特征；所述雙極池細胞調度是單極池細胞輸出對EMD單元的輸出進行分流抑制，獲得的小目標運動方向信息用于確定跟蹤設備的運動方向。
10.根據權利要求4所述的高速微小目標仿蠅視覺在線實時檢測方法，其特征是，所述雙目運動相機為兩部CXD相機。
全文摘要
本發明公開了一種高速微小目標仿蠅視覺在線檢測裝置及檢測方法，采用雙目相機采集場景視頻信息并傳入DSP芯片，進行初級視覺處理；采用FPGA芯片對初級運動信息進行大場景、小場景整合和目標檢測，將大、小場景整合結果作為目標檢測依據，對高速運動微小目標進行跟蹤。本發明具有以下優點借鑒生物學原理實現目標檢測，具有較強的抗干擾能力，適用于多種惡劣自然環境低信噪比條件下的目標檢測；蠅類視覺系統神經元的整合機理具有計算原理簡單、實時性好等特點；蠅類視覺神經元組織結構簡單，易于硬件實現。該裝置可以安裝在汽車、坦克以及飛機等高速運動的設備上，具有在線實時、準確檢測動態變化背景下高速運動微小目標的能力。
文檔編號H04N5/14GK102510436SQ201110315658
公開日2012年6月20日 申請日期2011年10月17日 優先權日2011年10月17日
發明者宋鳳琴, 張卓, 張學武, 李敏, 林善明, 梁瑞宇, 范新南, 許海燕 申請人:河海大學常州校區