一種面向多攝像機的目標匹配方法與流程
本發明屬于圖像處理、視頻監控和計算機視覺的技術領域，特指一種面向多攝像機的目標匹配方法。
背景技術：
隨著智能交通、平安城市等一系列智能化概念的提出，智能視頻監控技術成為計算機視覺領域一個新興的應用方向。其中基于單攝像機的目標檢測跟蹤在某些小范圍場景中已經得到了良好的應用。但是單攝像機視野范圍十分有限，無法多角度、長時間對目標進行處理。多個攝像機具有監控范圍大，觀測角度廣等優點，并可以利用多重信息增加系統的魯棒性，因此在視頻監控領域的應用越來越廣。
但是多個攝像機的使用也會帶來一系列新問題，包括多攝像機之間的目標匹配、目標接力跟蹤、數據融合等。其中，多攝像機之間的目標匹配是指在不同的圖像序列中找到目標間的對應關系，其結果直接影響后續的處理，因此它是多攝像機應用中最重要和基礎的問題之一。
近年來，各國研究人員陸續提出了一些方法來嘗試解決這個問題。這些方法一般可分為：基于區域的方法和基于點的方法。基于區域的方法將目標視為區域，利用區域的顏色相關特征在多視角中進行匹配。但是這類特征受光線影響較大，導致匹配誤差較大。基于點的方法是根據幾何約束對目標的特征點進行匹配，從而實現多攝像機的目標匹配。但這類方法需要較多的先驗知識進行建模，過程比較復雜，無法滿足實際需求。
技術實現要素：
針對現有跟蹤方法的不足，本發明其目的在于提出一種面向多攝像機的目標匹配方法。
本發明的技術方案是：
一種面向多攝像機的目標匹配方法，包括以下步驟：
S1通過兩個攝像機同步對目標進行拍攝，得到目標的兩幅視頻圖像P1(x,y)和P2(x,y)，然后在第一幅圖像P1(x,y)對目標區域進行標記，這里我們通過手工指定的方式完成。手工選擇包含目標的一個矩形圖像，記為目標圖像A(x,y)，矩形大小為a×b。
S2使用一個大小為a×b的窗口，在圖像P2(x,y)上進行滑動搜索，通過灰度匹配找到一個候選圖像塊集合；
滑動搜索時，窗口每滑動一次，在圖像P2(x,y)上得到的一個大小為a×b的圖像塊，記為B(x,y)，計算B(x,y)和目標圖像A(x,y)的灰度差值SAD(B)：
SAD(B)＝∑|A(x,y)-B(x,y)| (1)
根據這個定義可以看到，灰度差值越小，說明兩者匹配程度越高。窗口滑動搜索完畢后，對所有的灰度差值進行排序，選擇數值最小的前100個對應的圖像塊作為候選圖像塊集合，記為{Bi(x,y)|i＝1,…,100}。
S3對目標圖像A(x,y)進行基于有序比對特征描述，得到一個特征向量；
S3.1對目標圖像A(x,y)進行分塊，將目標圖像A(x,y)平均分成若干個圖像小塊，每個圖像小塊大小均為3×3，那么可以得到數目為的圖像小塊，記為{k1(x,y),k2(x,y),…,ksum(x,y)}。
S3.2對目標圖像A(x,y)上的所有的3×3的圖像小塊進行有序比對編碼；
對任一3×3的圖像小塊進行有序比對編碼的方法是：通過度量圖像小塊與其周圍均勻分布的同等大小的八個矩形區域之間平均灰度的有序比對關系，并用二進制編碼把這八個有序比對關系串接成一個描述子，獲得一個特征值。本發明提出的有序比對特征的編碼思想借鑒了局部二元模式描述子，但矩形區域之間的比對比像素之間的比對更加穩定可靠，因為計算平均灰度也即均值濾波操作，對圖像噪聲有很好的抑制作用。
a.對于目標圖像A(x,y)上的任一圖像小塊kj(x,y)，計算其的灰度均值其中Ω表示圖像小塊kj(x,y)所有的像素集合。
b.以圖像小塊kj(x,y)為中心，選擇周圍均勻分布的八個的大小為3×3的矩形區域：記kj(x,y)的中心像素位置為(x0,y0)，那么其周圍八個大小為3×3的矩形區域的中心像素分別為(x0-6,y0)、(x0-3,y0+3)、(x0,y0+6)、(x0+3,y0+3)、(x0+6,y0)、(x0+3,y0-3)、(x0,y0-6)、(x0-3,y0-3)，按照順序計算這八個矩形區域的灰度均值，記為{μ1,μ2,…,μ8}。
c.有序比對特征以圖像小塊kj(x,y)的灰度均值μ為閾值，分別將周圍八個矩形區域的灰度均值{μ1,μ2,…,μ8}與μ進行比較，若大于μ，標記為1，否則為0。這樣經過比較會產生8位二進制數，轉化為十進制數所得的值即得到該圖像小塊kj(x,y)的有序比對特征值YXT(kj)。其計算公式為：
其中
d.按照步驟a至c中的方法對圖像A(x,y)上所有的圖像小塊進行有序比對編碼，最終可以得到一個長度為sum的特征向量，記為YXT_A。
S4對候選圖像塊集合中的每個候選圖像塊進行基于有序比對特征描述，每個候選圖像塊會得到一個特征向量；
按照步驟S3中同樣的方法對候選圖像塊集合{Bi(x,y)|i＝1,…,100}里的每個候選圖像塊進行基于有序比對特征描述，每個候選圖像塊會得到一個長度為sum的特征向量，記為{YXT_Bi|i＝1,…,100}。
S5通過特征向量計算目標圖像和候選圖像的距離，選擇最小的作為最佳匹配結果。
以任一候選圖像Bi(x,y)為例說明計算過程，Bi(x,y)的特征向量為YXT_Bi，目標圖像A(x,y)的特征向量為YXT_A，采用歐式距離計算兩者的差異也即距離dist(Bi)：
對所有的候選圖像都采用上述方法計算和目標圖像的距離后，進行排序，找到距離最小的候選圖像作為最佳匹配結果。
本發明首先通過一個簡單的灰度匹配找到一個候選圖像塊集合，然后通過精度高的有序特征比對描述對圖像進行特征描述并計算匹配系數，最終找到目標匹配的結果。本發明方法同時考慮匹配準確度和時間復雜度兩個要素，在不需要耗費太多時間的基礎上依然可以達到很好的匹配效果，適用于各種視頻圖像處理系統。
附圖說明
圖1是本發明一種面向多攝像機的目標匹配方法的流程圖；
圖2是有序比對特征的模板示意圖。
具體實施方式
為使本發明的目的、技術方案和優點更加清楚，下面將結合附圖對本發明實施方式作進一步地詳細描述。
一種面向多攝像機的目標匹配方法，包括以下步驟：
通過兩個攝像機同步對目標進行拍攝，得到目標的兩幅視頻圖像P1(x,y)和P2(x,y)，然后在第一幅圖像P1(x,y)對目標區域進行標記，這里我們通過手工指定的方式完成。手工選擇包含目標的一個矩形圖像，記為目標圖像A(x,y)，矩形大小為a×b。
為了提高匹配的準確性，需要對圖像進行復雜的特征描述，但是這也同時提高了匹配的時間復雜度。本發明同時考慮匹配準確度和時間復雜度兩個要素，提出了一種分布式的目標匹配方法，首先通過一個簡單的灰度匹配找到一個候選圖像塊集合，然后通過精度高的有序特征比對描述對圖像進行特征描述并計算匹配系數，最終找到目標匹配的結果。具體步驟如下：
(1)使用一個大小為a×b的窗口，在圖像P2(x,y)上進行滑動搜索，通過灰度匹配找到一個候選圖像塊集合；
窗口每滑動一次，在圖像P2(x,y)上得到的一個大小為a×b的圖像塊，記為B(x,y)，計算B(x,y)和目標圖像A(x,y)的灰度差值SAD(B)：
SAD(B)＝∑|A(x,y)-B(x,y)| (1)
根據這個定義可以看到，灰度差值越小，說明兩者匹配程度越高。窗口滑動搜索完畢后，對所有的灰度差值進行排序，選擇數值最小的前100個對應的圖像塊作為候選圖像塊集合，記為{Bi(x,y)|i＝1,…,100}。
(2)對目標圖像A(x,y)進行基于有序比對特征描述，得到一個特征向量；
S2.1對目標圖像A(x,y)進行分塊，將目標圖像A(x,y)平均分成若干個圖像小塊，每個圖像小塊大小均為3×3，那么可以得到數目為的圖像小塊，記為{k1(x,y),k2(x,y),…,ksum(x,y)}。
S2.2對目標圖像A(x,y)上的所有的3×3的圖像小塊進行有序比對編碼；
對任一3×3的圖像小塊進行有序比對編碼的方法是：通過度量圖像小塊與其周圍均勻分布的同等大小的八個矩形區域之間平均灰度的有序比對關系，并用二進制編碼把這八個有序比對關系串接成一個描述子，獲得一個特征值。本發明提出的有序比對特征的編碼思想借鑒了局部二元模式描述子，但矩形區域之間的比對比像素之間的比對更加穩定可靠，因為計算平均灰度也即均值濾波操作，對圖像噪聲有很好的抑制作用。
下面任取一個圖像小塊kj(x,y)為例進行有序比對的編碼說明。
a.對于目標圖像A(x,y)上的任一圖像小塊kj(x,y)，計算其的灰度均值其中Ω表示圖像小塊kj(x,y)所有的像素集合。
b.以圖像小塊kj(x,y)為中心，選擇周圍均勻分布的八個的大小為3×3的矩形區域：記kj(x,y)的中心像素位置為(x0,y0)，那么其周圍八個大小為3×3的矩形區域的中心像素分別為(x0-6,y0)、(x0-3,y0+3)、(x0,y0+6)、(x0+3,y0+3)、(x0+6,y0)、(x0+3,y0-3)、(x0,y0-6)、(x0-3,y0-3)，按照順序計算這八個矩形區域的灰度均值，記為{μ1,μ2,…,μ8}。
c.有序比對特征以圖像小塊kj(x,y)的灰度均值μ為閾值，分別將周圍八個矩形區域的灰度均值{μ1,μ2,…,μ8}與μ進行比較，若大于μ，標記為1，否則為0。這樣經過比較會產生8位二進制數，轉化為十進制數所得的值即得到該圖像小塊kj(x,y)的有序比對特征值YXT(kj)。其計算公式為：
其中如圖2所示，每個圖像塊大小均為3×3，標號1～8的圖像塊即為需要和圖像小塊ai(x,y)進行比對的八個矩形區域。
d.按照步驟a至c中的方法對目標圖像A(x,y)上所有的圖像小塊進行有序比對編碼，最終可以得到一個長度為sum的特征向量，記為YXT_A。
(3)按照步驟(2)中同樣的方法對候選圖像塊集合{Bi(x,y)|i＝1,…,100}里的每個候選圖像塊進行基于有序比對特征描述，每個候選圖像塊會得到一個長度為sum的特征向量，記為{YXT_Bi|i＝1,…,100}。
(4)通過特征向量計算目標圖像和候選圖像的距離，選擇最小的作為最佳匹配結果。
以任一候選圖像Bi(x,y)為例說明計算過程，Bi(x,y)的特征向量為YXT_Bi，目標圖像A(x,y)的特征向量為YXT_A，采用歐式距離計算兩者的差異也即距離dist(Bi)：
對所有的候選圖像都計算和目標圖像的距離后，進行排序，找到距離最小的候選圖像作為最佳匹配結果。
以上包含了本發明優選實施例的說明，這是為了詳細說明本發明的技術特征，并不是想要將發明內容限制在實施例所描述的具體形式中，依據本發明內容主旨進行的其他修改和變型也受本專利保護。本發明內容的主旨是由權利要求書所界定，而非由實施例的具體描述所界定。
- 還沒有人留言評論。精彩留言會獲得點贊！