非剛體目標檢測方法及其系統的制作方法
【專利摘要】一種非剛體目標檢測方法，包括對輸入圖像進行似物體檢測，找出輸入圖像中可能存在似物體目標的矩形區域；通過預訓練的非剛體目標模型對獲得的每個矩形區域進行特征提取，獲得每個矩形區域的HSC特征以及紋理特征；構成特征金子塔；對特征金字塔進行PCA投影，在低緯度的特征金子塔空間進行模式分類；對金字塔的每個尺度，分別用每個root進行卷積，得到每層金字塔層的root得分圖；在root層的每個對應的part層，用所有part濾波器進行卷積，得到所有part的得分圖；距離轉換重構每個root對應的所有part得分，同模型的閾值進行比較判斷，得到矩形區域的非剛體目標的位置。本發明檢測效果佳，速度既快且漏檢率低。
【專利說明】非剛體目標檢測方法及其系統
【技術領域】
[0001]本發明屬于目標檢測【技術領域】，尤其涉及一種非剛體目標檢測方法及其系統。
【背景技術】
[0002]目標檢測是計算機視覺領域內一項基礎性的工作。由于待檢測的目標外表可能千差萬別，使得此項工作變得有些復雜。而且，變化不僅來自亮度和視角，還有由于目標不是剛體而引起的形變，以及同一類目標的形狀和其他視覺上的變化。例如，人可能穿不同的衣月艮，做不同的姿勢，車可能有不同的形狀和顏色。而目前常用的目標檢測方法經常采用一些簡單的模型，例如固定的剛體模板或者特征袋模型來表征物體，這顯然不足以表示一個變化豐富的非剛體目標。
[0003]在目標檢測領域，由于HOG特征的引入，發生了翻天覆地的變化，目前主流行人檢測器，比如Dala1- Triggs的行人檢測器，流行的DPM行人檢測器，Exemplar - SVM模型檢測器等都是采用的HOG系列特征。但是HOG特征只是一種基于梯度的特征，不能很好的表示其他更豐富的模式，比如顏色，紋理等。總之，采用哪種特征學習來做檢測是一個非常重要的基礎課題。
[0004]另外，sliding window策略是目標檢測中最常用的檢測方式，我們需要遍歷圖像中的每個點以及獲取以該點為起始點的不同大小矩形窗口的某種特征信息，然后依靠所采用的評分方式對該檢索窗口進行估分，從而判斷當前檢測位置是否是目標。可以清楚的看到，這樣的遍歷空間是巨大的。目前雖然也有一些降低目標檢索空間的方法，比如Efficient Subwindow Search等，但是效果有限，而且最終得到的mAP值并不是太理想。
【發明內容】
[0005]基于此，針對上述技術問題，提供一種無牌車輛違章檢測方法及其檢測系統。
[0006]為解決上述技術問題，本發明采用如下技術方案:
[0007]一種非剛體目標檢測方法，包括:
[0008]采用selective search reg1n proposals算法對輸入圖像進行似物體檢測，找出輸入圖像中可能存在似物體目標的矩形區域；
[0009]通過預訓練的非剛體目標模型對獲得的每個矩形區域進行特征提取，獲得每個矩形區域的HSC特征以及紋理特征，所述非剛體目標模型為融合紋理特征的HSC特征模型，其由加入紋理特征的HSC特征樣本訓練構成；
[0010]按照HSC特征以及紋理特征的分辨率以金字塔形狀排列每個矩形區域的HSC特征以及紋理特征，構成特征金子塔；
[0011]對所述特征金字塔進行PCA投影，在低瑋度的特征金子塔空間進行模式分類；
[0012]對金字塔的每個尺度，分別用每個root進行卷積，得到每層金字塔層的root得分圖；
[0013]在root層的每個對應的part層，用所有part濾波器進行卷積，得到所有part的得分圖；
[0014]距離轉換重構每個root對應的所有part得分，減去偏移懲罰，綜合各個模型以及各個組件的結果，得到各個位置的最終得分，同模型的閾值進行比較判斷，得到所述矩形區域的非剛體目標的位置。
[0015]該方法在所述通過預訓練的非剛體目標模型對獲得的每個矩形區域進行特征提取步驟前，先對每個矩形區域進行邊緣擴展。
[0016]本方案還涉及一種非剛體目標檢測系統，包括:
[0017]似物體檢測單元，用于采用selective search reg1n proposals算法對輸入圖像進行似物體檢測，找出輸入圖像中可能存在似物體目標的矩形區域；
[0018]特征提取單元，用于通過預訓練的非剛體目標模型對獲得的每個矩形區域進行特征提取，獲得每個矩形區域的HSC特征以及紋理特征，所述非剛體目標模型為融合紋理特征的HSC特征模型，其由加入紋理特征的HSC特征樣本訓練構成；
[0019]特征金字塔構建單元，用于按照HSC特征以及紋理特征的分辨率以金字塔形狀排列每個矩形區域的HSC特征以及紋理特征，構成特征金子塔；
[0020]模式分類單元，用于對所述特征金字塔進行PCA投影，在低瑋度的特征金子塔空間進行模式分類；
[0021]root得分計算單元，用于對金字塔的每個尺度，分別用每個root進行卷積，得到每層金字塔層的root得分圖；
[0022]part得分計算單元，用于在root層的每個對應的part層，用所有part濾波器進行卷積，得到所有part的得分圖；
[0023]非剛體目標判斷單元，用于距離轉換重構每個root對應的所有part得分，減去偏移懲罰，綜合各個模型以及各個組件的結果，得到各個位置的最終得分，同模型的閾值進行比較判斷，得到所述矩形區域的非剛體目標的位置。
[0024]本方案還包括邊緣擴展單元，用于在所述通過預訓練的非剛體目標模型對獲得的每個矩形區域進行特征提取前，先對每個矩形區域進行邊緣擴展。
[0025]本發明具有以下優點:
[0026]1、與現有的hog特征相比，加入紋理的變種HSC特征訓練后的非剛體目標模型對行人等幾類形變比較大的常見非剛體目標具有更強的表征能力，檢測效果較hog，更佳。
[0027]2，目標的檢索空間變小了很多，并且幾乎所有的可能存在目標的區域都得到了檢索，所以算法運行速度既快且漏檢率更低。
[0028]3，能夠更好的處理變形大的非剛體目標，并且對存在部分遮擋的目標檢測效果明顯增強。
【專利附圖】
【附圖說明】
[0029]下面結合附圖和【具體實施方式】本發明進行詳細說明:
[0030]圖1為本發明的一種非剛體目標檢測方法的流程圖；
[0031]圖2為本發明的一種非剛體目標檢測系統的結構示意圖。
【具體實施方式】
[0032]如圖1所示，一種非剛體目標檢測方法，包括:
[0033]S101、采用selective search reg1n proposals算法對輸入圖像進行似物體檢測，找出輸入圖像中可能存在似物體目標的矩形區域。
[0034]具體的，可采用以下算法找出矩形區域:
[0035]selective search reg1n proposals 算法(Selective search for objectrecognit1n.1JCV, 2013)；
[0036]objectness 算法(Measuring the objectness of image windows.TPAMI, 2012)；
[0037]category-1ndependent object proposals算法(Category independent objectproposals.1n ECCV2010)；
[0038]onstrained arametric min-cuts (CPMC)算法(Automatic object segmtat1nusing constrained parametric min-cuts.TPAMI, 2012.)。
[0039]S102、在利用非剛體目標模型對矩形區域提取特征之前，可以先對每個矩形區域進行邊緣擴展，因為似物體檢測得到的一些結果可能剛好在某一方向邊緣分割的比較緊湊，不太適合做特定的目標模式分類。
[0040]S103、通過預訓練的非剛體目標模型對獲得的每個矩形區域進行特征提取，獲得每個矩形區域的HSC特征以及紋理特征。
[0041]非剛體目標模型為融合紋理特征的HSC特征模型，其由加入紋理特征的HSC特征樣本訓練構成。
[0042]具體地，非剛體目標模型的離線訓練學習的方法包括以下四個迭代環節:
[0043]1、根濾波器的初始化。參考訓練數據的邊界盒的統計數值，自動選擇根濾波器的尺寸，通過訓練一個不帶隱含變量的SVM得到一個初始根濾波器H)，正例為未被遮擋的訓練樣本。
[0044]2、根濾波器的更新。給定訓練得到的初始根濾波器，對每個訓練集的邊界盒為過濾器挑選一個最高分的位置，通過訓練的正例和原始的隨機負例得到新的F0，迭代兩次。
[0045]3、部件濾波器的初始化。從訓練得到的根濾波器尋找六個部件啟發式方法:首先選擇面積a，滿足6a的面積與根濾波器的面積相等。從根濾波器中貪婪搜索選擇一個面積為a的矩形區域，該區域擁有最大的能量。正能量表示為該區域的所有cel I的正權重范式平方之和。將該區域的所有權重置O并繼續選擇，直到選出六個矩形區域。部件濾波器的初始值為其所在根濾波器子窗口的權值。
[0046]4、模型更新。建立新的訓練數據三元組用于模型訓練，調整所有部件窗口使之與邊界盒重疊至少百分之五十。再此基礎上更新的步驟如下:設置一個固定大小的cache，選擇得分最高的位置作為這個邊界盒的正樣本，cache中更新正樣本。在不包含目標物體的圖像中檢測高得分的位置作為負樣本。向cache添加最大數目的負樣本，對cache的樣本進行SVM訓練得到新的模型。按照以上方法迭代更新模型十次。在每次迭代中保留先前緩沖區難樣本，并增加盡量多的難樣本。迭代完成后，可以獲得模型的所有參數。
[0047]S104、按照HSC特征以及紋理特征的分辨率以金字塔形狀排列每個矩形區域的HSC特征以及紋理特征，構成特征金子塔，金字塔的底部是高分辨率的特征，而頂部是低分辨率的特征，當向金字塔的上層移動時，尺寸和分辨率就降低。
[0048]S105、對特征金字塔進行PCA投影，在低瑋度的特征金子塔空間進行模式分類。
[0049]模式分類是指對表征事物或現象的各種形式的，數值的，文字的和邏輯關系的信息處理和分析，以對事物或現象進行描述、辨認、分類和解釋的過程，是信息科學和人工智能的重要組成部分。
[0050]S106、對金字塔的每個尺度，分別用每個root進行卷積，得到每層金字塔層的root得分圖。
[0051]其中，每個root是指每個根濾波器。
[0052]S107、在root層的每個對應的part層，用所有part濾波器進行卷積，得到所有part的得分圖。
[0053]S108、距離轉換重構每個root對應的所有part得分，減去偏移懲罰，綜合各個模型以及各個組件的結果，得到各個位置的最終得分，同模型的閾值進行比較判斷，得到矩形區域的非剛體目標的位置。
[0054]其中，各個模型是指訓練時采用的幾個根濾波器，本實施例采用6個混合模型來做訓練，每個模型又由8個組件構成。
[0055]如圖2所示，本方案還涉及一種非剛體目標檢測系統，包括似物體檢測單元11、邊緣擴展單元12、特征提取單元13、特征金字塔構建單元14、模式分類單元15、root得分計算單元16、part得分計算單元17以及非剛體目標判斷單元18。
[0056]似物體檢測單元11，用于對輸入圖像進行似物體檢測，找出輸入圖像中可能存在似物體目標的矩形區域。
[0057]具體的，可采用以下算法找出矩形區域:
[0058]selective search reg1n proposals 算法(Selective search for objectrecognit1n.1JCV, 2013)；
[0059]objectness 算法(Measuring the objectness of image windows.TPAMI, 2012)；
[0060]category-1ndependent object proposals算法(Category independent objectproposals.1n ECCV2010)；
[0061]onstrained arametric min-cuts (CPMC)算法(Automatic object segmtat1nusing constrained parametric min-cuts.TPAMI, 2012.)。
[0062]邊緣擴展單元12，用于在利用非剛體目標模型對矩形區域提取特征之前，先對每個矩形區域進行邊緣擴展，因為似物體檢測得到的一些結果可能剛好在某一方向邊緣分割的比較緊湊，不太適合做特定的目標模式分類。
[0063]特征提取單元13，用于通過預訓練的非剛體目標模型對獲得的每個矩形區域進行特征提取，獲得每個矩形區域的HSC特征以及紋理特征，非剛體目標模型為融合紋理特征的HSC特征模型，其由加入紋理特征的HSC特征樣本訓練構成。
[0064]具體地，非剛體目標模型的離線訓練學習的方法包括以下四個迭代環節:
[0065]1、根濾波器的初始化。參考訓練數據的邊界盒的統計數值，自動選擇根濾波器的尺寸，通過訓練一個不帶隱含變量的SVM得到一個初始根濾波器H)，正例為未被遮擋的訓練樣本。
[0066]2、根濾波器的更新。給定訓練得到的初始根濾波器，對每個訓練集的邊界盒為過濾器挑選一個最高分的位置，通過訓練的正例和原始的隨機負例得到新的F0，迭代兩次。
[0067]3、部件濾波器的初始化。從訓練得到的根濾波器尋找六個部件啟發式方法:首先選擇面積a，滿足6a的面積與根濾波器的面積相等。從根濾波器中貪婪搜索選擇一個面積為a的矩形區域，該區域擁有最大的能量。正能量表示為該區域的所有cel I的正權重范式平方之和。將該區域的所有權重置O并繼續選擇，直到選出六個矩形區域。部件濾波器的初始值為其所在根濾波器子窗口的權值。
[0068]4、模型更新。建立新的訓練數據三元組用于模型訓練，調整所有部件窗口使之與邊界盒重疊至少百分之五十。再此基礎上更新的步驟如下:設置一個固定大小的cache，選擇得分最高的位置作為這個邊界盒的正樣本，cache中更新正樣本。在不包含目標物體的圖像中檢測高得分的位置作為負樣本。向cache添加最大數目的負樣本，對cache的樣本進行SVM訓練得到新的模型。按照以上方法迭代更新模型十次。在每次迭代中保留先前緩沖區難樣本，并增加盡量多的難樣本。迭代完成后，可以獲得模型的所有參數。
[0069]特征金字塔構建單元14，用于按照HSC特征以及紋理特征的分辨率以金字塔形狀排列每個矩形區域的HSC特征以及紋理特征，構成特征金子塔，金字塔的底部是高分辨率的特征，而頂部是低分辨率的特征，當向金字塔的上層移動時，尺寸和分辨率就降低。
[0070]模式分類單元15，用于對特征金字塔進行PCA投影，在低瑋度的特征金子塔空間進行模式分類。
[0071]模式分類是指對表征事物或現象的各種形式的，數值的，文字的和邏輯關系的信息處理和分析，以對事物或現象進行描述、辨認、分類和解釋的過程，是信息科學和人工智能的重要組成部分。
[0072]root得分計算單元16，用于對金字塔的每個尺度，分別用每個root進行卷積，得到每層金字塔層的root得分圖。
[0073]其中，每個root是指每個根濾波器。
[0074]part得分計算單元17，用于在root層的每個對應的part層，用所有part濾波器進行卷積，得到所有part的得分圖；
[0075]非剛體目標判斷單元18，用于距離轉換重構每個root對應的所有part得分，減去偏移懲罰，綜合各個模型以及各個組件的結果，得到各個位置的最終得分，同模型的閾值進行比較判斷，得到所述矩形區域的非剛體目標的位置。
[0076]其中，各個模型是指訓練時采用的幾個根濾波器，本實施例采用6個混合模型來做訓練，每個模型又由8個組件構成。
[0077]但是，本【技術領域】中的普通技術人員應當認識到，以上的實施例僅是用來說明本發明，而并非用作為對本發明的限定，只要在本發明的實質精神范圍內，對以上所述實施例的變化、變型都將落在本發明的權利要求書范圍內。
【權利要求】
1.一種非剛體目標檢測方法，其特征在于，包括: 對輸入圖像進行似物體檢測，找出輸入圖像中可能存在似物體目標的矩形區域； 通過預訓練的非剛體目標模型對獲得的每個矩形區域進行特征提取，獲得每個矩形區域的HSC特征以及紋理特征，所述非剛體目標模型為融合紋理特征的HSC特征模型，其由加入紋理特征的HSC特征樣本訓練構成； 按照HSC特征以及紋理特征的分辨率以金字塔形狀排列每個矩形區域的HSC特征以及紋理特征，構成特征金子塔； 對所述特征金字塔進行PCA投影，在低瑋度的特征金子塔空間進行模式分類； 對金字塔的每個尺度，分別用每個root進行卷積，得到每層金字塔層的root得分圖； 在root層的每個對應的part層，用所有part濾波器進行卷積，得到所有part的得分圖； 距離轉換重構每個root對應的所有part得分，減去偏移懲罰，綜合各個模型以及各個組件的結果，得到各個位置的最終得分，同模型的閾值進行比較判斷，得到所述矩形區域的非剛體目標的位置。
2.根據權利要求1所述的一種非剛體目標檢測方法，其特征在于，該方法在所述通過預訓練的非剛體目標模型對獲得的每個矩形區域進行特征提取步驟前，先對每個矩形區域進行邊緣擴展。
3.一種非剛體目標檢測系統，其特征在于，包括: 似物體檢測單元，用于采用selective search reg1n proposals算法對輸入圖像進行似物體檢測，找出輸入圖像中可能存在似物體目標的矩形區域； 特征提取單元，用于通過預訓練的非剛體目標模型對獲得的每個矩形區域進行特征提取，獲得每個矩形區域的HSC特征以及紋理特征，所述非剛體目標模型為融合紋理特征的HSC特征模型，其由加入紋理特征的HSC特征樣本訓練構成； 特征金字塔構建單元，用于按照HSC特征以及紋理特征的分辨率以金字塔形狀排列每個矩形區域的HSC特征以及紋理特征，構成特征金子塔； 模式分類單元，用于對所述特征金字塔進行PCA投影，在低瑋度的特征金子塔空間進行模式分類； root得分計算單元，用于對金字塔的每個尺度，分別用每個root進行卷積，得到每層金字塔層的root得分圖； part得分計算單元，用于在root層的每個對應的part層，用所有part濾波器進行卷積，得到所有part的得分圖； 非剛體目標判斷單元，用于距離轉換重構每個root對應的所有part得分，減去偏移懲罰，綜合各個模型以及各個組件的結果，得到各個位置的最終得分，同模型的閾值進行比較判斷，得到所述矩形區域的非剛體目標的位置。
4.根據權利要求3所述的一種非剛體目標檢測系統，其特征在于，還包括邊緣擴展單元，用于在所述通過預訓練的非剛體目標模型對獲得的每個矩形區域進行特征提取前，先對每個矩形區域進行邊緣擴展。
【文檔編號】G06K9/62GK104504381SQ201510012127
【公開日】2015年4月8日 申請日期:2015年1月9日 優先權日:2015年1月9日
【發明者】邱志明, 張如高, 趙曉萌, 虞正華, 彭莉, 張偉 申請人:博康智能網絡科技股份有限公司