一種針對平面旋轉目標的視覺檢測方法
【專利摘要】本發明公開了一種針對平面旋轉目標的視覺檢測方法，涉及計算機視覺、模式識別和機器學習領域，本方法能夠快速有效解決現實情況中對旋轉目標的檢測需求。該方法遵循圖像特征表達和機器學習算法相結合的視覺檢測框架，但不涉及具體的圖像特征和機器學習方法，因此具有很好的推廣價值。該方法將檢測過程劃分成窗口初篩、方向估計以及最終校驗三個步驟。具體地說，窗口初篩就是對待測圖片進行快速的粗略掃描，過濾背景信息，得到包含假陽性結果的候選檢測窗；方向估計就是預測候選檢測窗中假定目標的方向；最終校驗則是根據所獲得的估計方向，對候選檢測窗作進一步判斷。本方法能夠減少傳統多方向檢測方法的計算開支，大大提高對旋轉目標的檢測效率。
【專利說明】
一種針對平面旋轉目標的視覺檢測方法
技術領域
[0001]本發明涉及計算機視覺、模式識別和機器學習領域，尤其涉及一種針對平面旋轉目標的視覺檢測方法。
【背景技術】
[0002]作為計算機視覺中的一個重要分支，目標檢測是實現高層次圖像理解和視頻分析的基礎性問題，而旋轉目標檢測又是該問題中關鍵的組成部分。對于旋轉目標的檢測，最常用的方法就是多方向檢測，即以一定的角度旋轉待測圖片進行多次檢測。
[0003]發明人在實現本發明的過程中，發現現有技術中至少存在以下缺點和不足:
[0004]上述方法需要對待測圖片每個位置上的檢測窗進行多個方向的特征提取和分類判斷，巨大的計算量使得檢測效率受到一定限制；并且在每個位置進行反復檢測也會增加假陽性結果的數量，降低檢測精度。
[0005]因此，如何減少旋轉目標檢測過程中的計算量，提高檢測效率和精度，成為當前研究者的研究重點之一。
【發明內容】
[0006]本發明提供了一種針對平面旋轉目標的視覺檢測方法，本發明減少了旋轉目標檢測過程中的計算量，能夠提高檢測效率和精度，詳見下文描述:
[0007]—種針對平面旋轉目標的視覺檢測方法，所述視覺檢測方法包括以下步驟:
[0008]對訓練樣本進行隨機旋轉，獲取具有各種方向的目標樣本集，結合不包含目標的負樣本集，經圖像特征提取后，獲取第一圖像特征，通過機器學習方法進行二分類訓練，獲取初篩分類器；
[0009]對訓練樣本進行逐次旋轉，得到N個包含不同方向目標的樣本集，對各訓練樣本進行圖像特征提取后，獲取第二圖像特征，通過機器學習方法進行多分類訓練，獲取方向估計器；
[0010]使用具有統一方向的目標樣本集，結合不包含目標的負樣本集，經圖像特征提取后，獲取第三圖像特征，通過機器學習方法進行二分類訓練，獲取校驗分類器；
[0011]通過所述初篩分類器、所述方向估計器和所述校驗分類器對待測圖片進行最終校驗。
[0012]其中，所述通過所述初篩分類器、所述方向估計器和所述校驗分類器對待測圖片進行最終校驗的步驟具體為:
[0013]使用所述初篩分類器對待測圖片進行粗略掃描，過濾大部分的背景信息，得到包含有假陽性結果的候選檢測窗；
[0014]通過所述方向估計器判斷每個候選檢測窗中假定目標的估計方向；
[0015]最后根據所述估計方向，調整所述候選檢測窗或所述校驗分類器，作進一步的判斷。
[0016]進一步地，所述使用所述初篩分類器對待測圖片進行粗略掃描，過濾大部分的背景信息，得到包含有假陽性結果的候選檢測窗的步驟具體為:
[0017]通過多尺度分析對待測圖片構建金字塔特征集，金字塔特征集中的每個特征對應于待測圖片中不同位置和尺度的檢測窗；
[0018]將金字塔特征集中的每個特征輸入至所述初篩分類器，根據分類得分過濾背景信息，得到候選特征集，即為候選檢測窗。
[0019]進一步地，所述通過所述方向估計器判斷每個候選檢測窗中假定目標的估計方向的步驟具體為:
[0020]將候選特征集中的每個特征輸入至所述方向估計器，估計特征所對應的檢測窗中目標的方向Θ。
[0021]進一步地，所述最后根據所述估計方向，調整所述候選檢測窗或所述校驗分類器，作進一步的判斷的步驟具體為:
[0022]對候選特征集中的每個特征，根據估計方向，調整圖像特征或所述校驗分類器，根據校驗分類器的得分對特征作進一步驗證；
[0023]若得分小于新閾值，則特征對應的檢測窗不包含目標；
[0024]若得分大于或等于新閾值，則在待測圖片中，特征對應的檢測窗覆蓋的部分即為目標，目標方向為Θ。
[0025]進一步地，所述根據校驗分類器的得分對特征作進一步驗證的步驟具體為:
[0026]根據校驗分類器H的得分H(Ce)SHe(C)對特征c作進一步驗證，其中Ce表示經過調整后的圖像特征，出表示經過調整后的校驗分類器。
[0027]進一步地，所述機器學習方法具體為:支持向量機、隨機森林算法、神經網絡或深度學習。
[0028]進一步地，所述圖像特征具體為:方向梯度直方圖、尺度不變特征變換、局部二值模式。
[0029]本發明提供的技術方案的有益效果是:
[0030]1、本發明將對平面旋轉目標的視覺檢測過程分成窗口初篩、方向估計以及最終校驗三個步驟，三個步驟分別使用不同條件下的訓練樣本集得到各自的分類模型。該方法能夠避免傳統多方向檢測中對待測圖片每個位置每個方向的特征提取和分類判斷，減少不必要的計算開支，提高對平面旋轉目標的檢測效率。
[0031]2、此外，本發明不涉及具體的圖像特征和機器學習方法，可采用諸如方向梯度直方圖(HOG)、尺度不變特征變換(SIFT)、局部二值模式(LBP)等任何一種能夠應用于目標檢測的圖像特征，以及諸如支持向量機、隨機森林算法、神經網絡、深度學習等任何一種能夠實現分類的機器學習方法，具有很強的推廣和應用價值。
【附圖說明】
[0032]圖1為一種針對平面旋轉目標的視覺檢測方法的流程圖；
[0033]圖2為初篩分類器訓練所用的正樣本集的示意圖；
[0034]圖3為方向估計器訓練所用樣本集的示意圖；
[0035]圖4為校驗分類器訓練所用的正樣本集的示意圖；
[0036]圖5為對待測圖片進行平面旋轉目標檢測的示例圖。
【具體實施方式】
[0037]為使本發明的目的、技術方案和優點更加清楚，下面對本發明實施方式作進一步地詳細描述。
[0038]實施例1
[0039]本發明實施例提供了一種針對平面旋轉目標的視覺檢測方法，參見圖1，該方法包括以下步驟:
[0040]101:對訓練樣本進行隨機旋轉，獲取具有各種方向的目標樣本集，結合不包含目標的負樣本集，經圖像特征提取后，獲取第一圖像特征，將第一圖像特征作為輸入，通過機器學習方法進行二分類訓練，獲取初篩分類器；
[0041 ]其中，上述機器學習方法可以為:支持向量機、隨機森林算法、神經網絡、深度學習等任何一種能夠實現分類的機器學習方法，本發明實施例對此不做限制。
[0042]進一步地，上述二分類訓練的步驟為本領域技術人員所公知，本發明實施例對此不做贅述。
[0043]102:對訓練樣本進行逐次旋轉，得到N個包含不同方向目標的樣本集，對各訓練樣本進行圖像特征提取后，獲取第二圖像特征，將第二圖像特征作為輸入，通過機器學習方法進行多分類訓練，獲取方向估計器；
[0044]其中，該步驟中的機器學習方法與步驟101中相同，本步驟對此不做贅述。
[0045]進一步地，上述多分類訓練的步驟為本領域技術人員所公知，本發明實施例對此不做贅述。
[0046]103:使用具有統一方向的目標樣本集，結合不包含目標的負樣本集，經圖像特征提取后，獲取第三圖像特征，將第三圖像特征作為輸入，通過機器學習方法進行二分類訓練，獲取校驗分類器；
[0047]其中，該步驟中的機器學習方法與步驟101、步驟102中相同，本步驟對此不做贅述。進一步地，該步驟中的二分類訓練的步驟與步驟101中相同，本發明實施例對此不做贅述。
[0048]具體實現時，步驟101-步驟103中要提取的圖像特征均相同，可以為方向梯度直方圖、尺度不變特征變換、局部二值模式等特征，三個步驟中僅是從不同的訓練樣本和目標樣本集中提取，故獲取到不同的圖像特征提取結果，上述圖像特征提取結果分別用第一圖像特征、第二圖像特征和第三圖像特征表示。
[0049]104:通過初篩分類器、方向估計器和校驗分類器對待測圖片進行最終校驗。
[0050]首先，使用初篩分類器對待測圖片進行粗略掃描，過濾大部分的背景信息，得到包含有假陽性結果的候選檢測窗;然后通過方向估計器判斷每個候選檢測窗中假定目標的估計方向；最后根據估計方向，調整候選檢測窗或校驗分類器，作進一步的判斷。
[0051]綜上所述，本發明實施例將檢測過程分成窗口初篩、方向估計以及最終校驗三個步驟，該方法能夠避免傳統多方向檢測中，對待測圖片每個位置每個方向的特征提取和分類判斷，減少不必要的計算開支，提高了平面旋轉目標的檢測效率。
[0052]實施例2
[0053]下面結合圖2-圖4對實施例1中的方案進行詳細的介紹，詳見下文描述:
[0054]201:訓練初篩分類器；
[0055]在檢測任務中，目標往往只占待測圖片的一小部分，而對于待測圖片中每個位置進行細致的多方向檢測無疑增加了不必要的計算開支。因此，本發明實施例在檢測之初應用窗口初篩環節，即對整張待測圖片作不考慮方向的掃描檢測，獲得疑似目標的候選檢測窗。
[0056]訓練開始前，需要將包含有目標的訓練樣本進行隨機旋轉，獲得包含各個方向樣本的正樣本集，如圖2所示，它示例了某檢測任務中訓練初篩分類器所使用的部分正樣本圖片，各樣本具有不同的旋轉角度，且呈現無規律排列，意味著訓練過程中不予關注各樣本之間的方向差異。而訓練中所使用的負樣本集則由不包含目標的樣本圖片組成。在對正、負樣本集進行圖像特征提取后，用選定的機器學習方法進行二分類訓練，得到該環節所需的初篩分類器。
[0057]由于訓練集中包含了各種方向的目標，且在訓練過程中不考慮訓練樣本之間的位姿差異，因此所得到的初篩分類器能夠對各個方向的目標進行響應，完成過濾背景信息，篩選候選檢測窗的任務。
[0058]202:訓練方向估計器；
[0059]除了沒有必要在待測圖片的每個位置進行細致檢查，對于初篩環節所得到的候選檢測窗，也沒有必要在每個方向進行檢測。為此，本發明實施例在檢測過程中引入方向估計環節，在假定目標存在的前提下，對輸入的候選檢測窗作方向估計。
[0060]訓練前，將360度均勻分成N個離散方向，然后通過旋轉包含有目標的樣本圖片獲得N個包含不同方向目標的樣本集，如圖3所示，它示例了某檢測任務中訓練方向估計器所使用的部分樣本圖片，每個目標都進行了多次有明確角度的旋轉，最終形成了多個具有不同方向目標的樣本集。在對N個不同方向的樣本集進行圖像特征提取后，用選定的機器學習方法進行多分類(N個類別)訓練，得到的分類器即為該環節所需的方向估計器。
[0061]該環節中所用的訓練集同初篩環節中正樣本訓練集一樣，包含了各個方向的目標，但不同的是，方向估計器的訓練過程中考慮訓練樣本之間的位姿差異，因此，能夠對某一特定方向的目標進行響應，完成方向估計任務。
[0062]203:訓練校驗分類器；
[0063]前兩個步驟主要是為了篩選疑似目標，減少檢測過程的計算量，最終的判斷應當需要一個更為精確的分類模型，即校驗分類器。
[0064]訓練前，將包含目標的樣本調整至統一方向，即作為該環節訓練的正樣本集，如圖4所示，它示例了某檢測任務中訓練校驗分類器所使用的部分正樣本圖片，圖片中的每個目標都具有統一的方向，表明據此得到的分類模型只對某一方向的目標進行響應。使用的負樣本集與步驟201相同，由不包含目標的圖片組成。在對正、負樣本集進行圖像特征提取后，用選定的機器學習方法進行二分類訓練，得到該環節所需的校驗分類器。
[0065]204:待測圖片的檢測。
[0066]在得到初篩分類器S，方向估計器E以及校驗分類器H后，即可對待測圖片I進行平面旋轉目標檢測。具體步驟如下:
[0067]首先，通過多尺度分析對待測圖片I構建金字塔特征集F，金字塔特征集F中的每個特征f對應于待測圖片I中不同位置和尺度的檢測窗W;
[0068]其中，構建金字塔特征集F的步驟為本領域技術人員所公知，本發明實施例對此不做贅述。
[0069]接著，將金字塔特征集F中的每個特征f輸入至初篩分類器S，根據分類得分S(f)>^過濾背景信息，得到候選特征集Cj1為設置的初篩分類器閾值(其中，扮的取值根據實際應用中的需要進行設定，本發明實施例對此不做限制)；
[°07°]然后，將候選特征集C中的每個特征c輸入至方向估計器E，根據QzargmaxiE(Cj=I)(C)估計特征C所對應的檢測窗W中目標(假設存在目標)的方向0，其中1 = 1，2，...，Ν，表示訓練集中目標樣本的離散方向，Εω (C)表示特征c在第ω個方向上的得分；
[0071 ]最后，對候選特征集C中的每個特征c，根據估計方向Θ，調整圖像特征或校驗分類器H，根據校驗分類器H的得分H(Ce)SHe(C)對特征c作進一步驗證，其中(^表示經過調整后的圖像特征，出表示經過調整后的校驗分類器。若得分小于新閾值βΗ(其中，βΗ的取值根據實際應用中的需要進行設定，本發明實施例對此不做限制)，則特征c對應的檢測窗W。不包含目標;若得分大于或等于新閾值況，則在待測圖片中，特征c對應的檢測窗W。覆蓋的部分即為目標，目標方向為Θ。
[0072]綜上所述，本發明實施例將檢測過程分成窗口初篩、方向估計以及最終校驗三個步驟，該方法能夠避免傳統多方向檢測中對待測圖片每個位置每個方向的特征提取和分類判斷，減少不必要的計算開支，提高了平面旋轉目標的檢測效率。
[0073]實施例3
[0074]下面結合圖5對實施例1和2中的方案進行可行性驗證，詳見下文描述:
[0075]在圖5所展示的實驗中，本發明實施例使用了扇環狀方向梯度直方圖(SRHOG)作為檢測所需的圖像特征，分類方法采用隨機蕨算法(RFs)。訓練及測試圖片均來自Freestylemotocross公共數據集，目的是為了檢測各種圖片中具有不同旋轉的摩托車。在對待測圖片(如圖5(a)所示)進行目標檢測時，依據上述方法所述，首先通過窗口初篩得到待測圖片中的候選檢測窗集(如圖5(b)所示，圖5(b)中每一個圓形區域即表示一個候選檢測窗)；然后使用方向估計環節對所得到的候選檢測窗估計假定存在的目標的方向(如圖5(c)所示，圖5(c)中每個圓形中的直線即表示該檢測窗中假定目標的估計方向)，最后根據估計方向對每一個候選檢測窗進行校驗分類，得到最終的結果(如圖5(d)所示)。通過上述實驗結果，可以看出本方法減少了不必要的計算開支，提高了平面旋轉目標的檢測效率，滿足了實際應用中的多種需要。
[0076]本領域技術人員可以理解附圖只是一個優選實施例的示意圖，上述本發明實施例序號僅僅為了描述，不代表實施例的優劣。
[0077]以上所述僅為本發明的較佳實施例，并不用以限制本發明，凡在本發明的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發明的保護范圍之內。
【主權項】
1.一種針對平面旋轉目標的視覺檢測方法，其特征在于，所述視覺檢測方法包括以下步驟: 對訓練樣本進行隨機旋轉，獲取具有各種方向的目標樣本集，結合不包含目標的負樣本集，經圖像特征提取后，獲取第一圖像特征，通過機器學習方法進行二分類訓練，獲取初篩分類器； 對訓練樣本進行逐次旋轉，得到N個包含不同方向目標的樣本集，對各訓練樣本進行圖像特征提取后，獲取第二圖像特征，通過機器學習方法進行多分類訓練，獲取方向估計器； 使用具有統一方向的目標樣本集，結合不包含目標的負樣本集，經圖像特征提取后，獲取第三圖像特征，通過機器學習方法進行二分類訓練，獲取校驗分類器； 通過所述初篩分類器、所述方向估計器和所述校驗分類器對待測圖片進行最終校驗。2.根據權利要求1所述的一種針對平面旋轉目標的視覺檢測方法，其特征在于，所述通過所述初篩分類器、所述方向估計器和所述校驗分類器對待測圖片進行最終校驗的步驟具體為: 使用所述初篩分類器對待測圖片進行粗略掃描，過濾大部分的背景信息，得到包含有假陽性結果的候選檢測窗； 通過所述方向估計器判斷每個候選檢測窗中假定目標的估計方向； 最后根據所述估計方向，調整所述候選檢測窗或所述校驗分類器，作進一步的判斷。3.根據權利要求2所述的一種針對平面旋轉目標的視覺檢測方法，其特征在于，所述使用所述初篩分類器對待測圖片進行粗略掃描，過濾大部分的背景信息，得到包含有假陽性結果的候選檢測窗的步驟具體為: 通過多尺度分析對待測圖片構建金字塔特征集，金字塔特征集中的每個特征對應于待測圖片中不同位置和尺度的檢測窗； 將金字塔特征集中的每個特征輸入至所述初篩分類器，根據分類得分過濾背景信息，得到候選特征集，即為候選檢測窗。4.根據權利要求3所述的一種針對平面旋轉目標的視覺檢測方法，其特征在于，所述通過所述方向估計器判斷每個候選檢測窗中假定目標的估計方向的步驟具體為: 將候選特征集中的每個特征輸入至所述方向估計器，估計特征所對應的檢測窗中目標的方向Θ。5.根據權利要求4所述的一種針對平面旋轉目標的視覺檢測方法，其特征在于，所述最后根據所述估計方向，調整所述候選檢測窗或所述校驗分類器，作進一步的判斷的步驟具體為: 對候選特征集中的每個特征，根據估計方向，調整圖像特征或所述校驗分類器，根據校驗分類器的得分對特征作進一步驗證； 若得分小于新閾值，則特征對應的檢測窗不包含目標； 若得分大于或等于新閾值，則在待測圖片中，特征對應的檢測窗覆蓋的部分即為目標，目標方向為Θ。6.根據權利要求5所述的一種針對平面旋轉目標的視覺檢測方法，其特征在于，所述根據校驗分類器的得分對特征作進一步驗證的步驟具體為: 根據校驗分類器H的得分H(Ce)SHe(C)對特征c作進一步驗證，其中(^表示經過調整后的圖像特征，出表示經過調整后的校驗分類器。7.根據權利要求1-6中任一權利要求所述的一種針對平面旋轉目標的視覺檢測方法，其特征在于，所述機器學習方法具體為:支持向量機、隨機森林算法、神經網絡或深度學習。8.根據權利要求1-6中任一權利要求所述的一種針對平面旋轉目標的視覺檢測方法，其特征在于，所述圖像特征具體為:方向梯度直方圖、尺度不變特征變換、局部二值模式。
【文檔編號】G06K9/62GK106056161SQ201610393954
【公開日】2016年10月26日
【申請日】2016年6月2日
【發明人】劉保真, 孫景工, 吳航, 蘇衛華, 張文昌, 秦曉麗, 苑英海, 安慰寧
【申請人】中國人民解放軍軍事醫學科學院衛生裝備研究所