面向目標的自動化高精度邊緣提取方法
【專利摘要】本發明公開了一種面向目標的自動化高精度邊緣提取方法，包括模型訓練階段與邊緣提取階段；其中模型訓練階段包括以下步驟：A1）基于HAAR特征的級聯分類器的訓練；A2）基于Canny算子和ASM模型的訓練；A3）主動輪廓模型的訓練；邊緣提取階段包括以下步驟：B1)采用級聯結構對待處理圖像中的非目標成分進行快速淘汰；B2）結合Canny算子和ASM模型尋找目標邊緣的初始位置；B3）采用主動輪廓模型對初始位置進行校準；B4）將未達到邊緣提取要求的樣本作為數據庫中的訓練樣本用以反饋調節整個系統。
【專利說明】面向目標的自動化高精度邊緣提取方法
【技術領域】
[0001]本發明涉及圖像檢測技術，尤其涉及的是一種面向目標的自動化高精度邊緣提取方法。
【背景技術】
[0002]邊緣是是人們描述、識別圖像中目標(比如人臉、手、各種物體等)最的重要特征參數。數字圖像邊緣信息的提取(edgeextraction),即邊緣檢測(edgedetection)在圖像分害I]、目標整體操作(目標選中、整體復制、剪切等)中具有重要意義。
[0003]目前的邊緣信息提取方法大多采用邊緣提取算子(如Sobel算子、Kirsch算子、Prewitt算子、Roberts算子、Canny算子等)。在基于邊緣提取算子的邊緣信息提取方法中，特定的算子只能檢測出特定方向的邊緣信息，并且對噪聲比較敏感，特別是復雜背景下邊緣提取精度較差。有些學者用小波技術進行邊緣提取，還有基于數學形態學如非線性濾波等方法的邊緣信息提取方法。這些方法，雖然相對于算子類的方法有一定程度改進，但邊緣提取精度仍離現實需求有較大差距。
[0004]還有研究者將主動輪廓模型(ActiveContourModel)方法應用在邊緣信息提取中。Kass等人在1987年提出了主動輪廓模型，該模型通過在圖像力和外部約束力的共同作用下，可控連續變形曲線的運動得到最終目標輪廓。但主動輪廓模型存在2個問題:一是它對初始位置非常敏感；二是由于模型的非凸性，它有可能收斂到局部極值點甚至發散。
[0005]Canny邊緣提取算法有三個邊緣檢測準則:1)好的檢測性能。不易漏檢真實邊緣，不把非邊緣點作為邊緣點檢出，使輸出的信噪比最大。2)好的定位精度。檢測到的邊緣點與實際邊緣點位置最近。3)好的單邊緣響應。算子檢測到的邊緣點與實際邊緣點應該是--對應的。
[0006]根據以上三個準則，Canny推導出最優邊界檢測算子的一個近似實現，即邊界點位于圖像被高斯函數平滑后的梯度幅度的極大值點。Canny算法的實現方案如圖1所示。Canny邊緣提取方案的最大缺點是容易受到圖像噪聲的干擾而導致提取的邊緣不是或不完全是所要提取的目標(如人的眼睛)的邊緣。
[0007]主動輪廓模型主要用于解決圖像中目標物體的分割操作。理論上是可以解決二維乃至多維的情況，不過最初的模型是在二維圖像上建立的。其主要思想為:1)在圖像中初始化一個閉合曲線輪廓。只要保證將目標物體完全包含在曲線內部即可；2)構建能量方程。能量方程由兩部分組成。一是以規范化曲線形狀為目的的項，稱為內能量(internalforce)；一是以靠近目標物體邊緣為目的的項，稱為外能量(externalforce)。實際效果上來說,最小化內能量使得曲線不斷向內部緊縮且保持平滑，而外能量則是保證曲線緊縮到目標物體邊緣時停止；3)根據能量方程，計算出表示曲線受力的歐拉方程(Eulerequation)。按照曲線各點的受力來對曲線進行變形，直至受力為O。此時能量方程達到最小值，曲線收斂到目標物體邊緣。
[0008] 能量方程依賴于曲線方程的參數化，不是曲線的本征(intrinsic)表示。因此不能處理變形過程中的拓撲變化，從而不能用于檢測多目標的情況。而且，主動輪廓模型對初始位置非常敏感，對于復雜背景目標邊緣信息的自動化提取精度難以保障。
【發明內容】
[0009]本發明所要解決的技術問題是:彌補上述現有技術的不足，首先采用基于級聯檢測方法確定目標的大致位置，減少背景對目標邊緣信息的干擾；然后用經典的邊緣提取算子與ASM模型[4]融合的方法對圖像邊緣初步定位，解決主動輪廓模型對初始位置敏感的問題；再用主動輪廓模型提取邊緣信息，以解決傳統邊緣提取算子未利用目標先驗信息的問題；最后將邊緣提取過程中未達到預期的樣本回傳到模型訓練子系統，并不斷地學習，使得整個系統變得越來越智能，解決了傳統方法缺乏智能性的問題。
[0010]本發明的技術方案如下:
[0011]一種面向目標的自動化高精度邊緣提取方法，包括模型訓練階段與邊緣提取階段；其中模型訓練階段包括以下步驟:A1)基于HAAR特征的級聯分類器的訓練；A2)基于Canny算子和ASM模型的訓練；A3)主動輪廓模型的訓練；邊緣提取階段包括以下步驟:B1)采用級聯結構對待處理圖像中的非目標成分進行快速淘汰；B2)結合Canny算子和ASM模型尋找目標邊緣的初始位置；B3)采用主動輪廓模型對初始位置進行校準；B4)將未達到邊緣提取要求的樣本作為數據庫中的訓練樣本用以反饋調節整個系統。
[0012]所述的方法，所述步驟Al，首先選定某一邊緣提取目標，準備足夠多正樣本和負樣本，接著利用積分圖計算圖像HAAR特征，然后采用機器學習算法提取優秀的特征并形成一個強分類器，最后用級聯結構將多個強分類器按級別分層組合成最終篩選器。
[0013]所述的的方法，所述的ASM模型的訓練包括以下步驟:
[0014]Stepl:先準備一組訓練樣本,該樣本需要包括標定的特征點信息；標定特征點的過程是一個人機交互的過程，標注需要按照以下的原則進行:a、每幅圖像標注的特征點必須相同；b、標注特征點的順序也必須相同；
[0015]Step2:計算每一個特征點的權重值，在所有選取的特征點中，各個點的重要性是不一樣的，具體表現在有些點是相對固定的，而有些點的變化卻比較大，特征點的權重值就是為了反映不同位置特征點對于模型的重要性影響的不同；
[0016]Step3:配準；配準的目的就是為了能夠對來自不同圖像樣本的相同特征點進行比較，以此來建立統計形狀模型，用以反映形狀變化的規律；配準的基本操作首先是以某個形狀為基礎，而將其他的形狀進行放大縮小、旋轉、平移等操作，目的是為了能夠讓那些圖像的形狀與基本的形狀盡可能地接近；
[0017]Step4:全局性狀模型的訓練；首先利用配準后的圖像標定點位置建立形狀向量，然后對形狀向量進行主成分分析進行降維處理，得到的特征向量和特征空間就構成了 ASM模型；
[0018]Step5:局部特征的構建;ASM中采用近鄰幾個像元的梯度搜索為特征點尋找新的位置，采用更為嚴謹的梯度算子即Canny算子來進行位置的更新；
[0019]Canny算子的實現步驟:
[0020]Stepl:用高斯濾波器平滑圖像，去除圖像噪聲；一般選擇方差為1.4的高斯函數模板和圖像進行卷積運算；[0021]Step2:用一階偏導的有限差分來計算梯度的幅值和方向；
[0022]Step3:對梯度幅值應用非極大值抑制；幅值M越大，其對應的圖像梯度值也越大，為確定邊緣，必須細化幅值圖像中的屋脊帶，只保留幅值局部變化最大的點，生成細化的邊緣；
[0023]Step4:用雙閾值算法檢測并且連接邊緣；雙閾值法使Canny算子提取的邊緣點更具有魯棒性，高低閾值分別表示為Hth和Lth，對于高閾值Hth的選擇，基于計算出的圖像梯度值對應的直方圖進行選取；在一幅圖像中，非邊緣點數目在總圖像像素點數目中占的比例表示為Hratio，根據圖像梯度值對應的直方圖累加，累加數目達到總像素數目的Hratio時，對應的圖像梯度值設置為Hth ;低閾值Lth的選擇通過Lth=Lratio*Hth得到；最后通過對邊緣點的標記和領域關系進行連接得到最后的邊緣檢測圖。
[0024]所述的方法，所述的步驟BI，利用訓練好的級聯分類器子窗口對待提取圖像進行滑動檢測，由易到難，級聯分類器的前幾個分類器可以快速地將易分辨的非目標部分快速濾過，最后經過多層分類器的篩選，目標將會以盡可能少的干擾部分保存下來，以減少邊緣提取的時間和誤檢率。
[0025]所述的方法，其特征在于，所述的步驟B2，截取下來的感興趣區域將作為ASM模型的輸入，經過圖像對齊，模型內初始邊緣確定，再借助Canny算子對鄰域進行邊緣矯正，最后得到一個較為精準的初始目標邊緣。
[0026]本發明的基于級聯檢測和多種邊緣提取算子融合的圖像邊緣提取技術，首先利用級聯分類器在待提取圖像中快速鎖定目標，然后依托先驗知識采用ASM與Canny算子相結合的方法對目標邊緣進行初定位，最后借助主動輪廓模型提取最佳邊緣。
[0027]本發明較傳統方法有三個顯著的優點:1)級聯分類器的加入可以快速準確地過濾圖像冗余信息，特別是在背景較為復雜的情況下；2)ASM與Canny算法的結合可以有效地補充Canny算法先驗知識的不足并提高ASM中初始輪廓鄰域的搜索能力；3)最后一環節加入的主動輪廓模型引入能量將上一步提取的輪廓進一步優化矯正，達到真正的目標邊緣高精度提取的目的。
【專利附圖】
【附圖說明】
[0028]圖1Canny邊緣提取方案
[0029]圖2本發明技術方案整體框架圖；
[0030]圖3級聯分類器的訓練
[0031]圖4HAAR特征的基本類型；
[0032]圖5積分圖；
[0033]圖6HAAR特征值計算；
[0034]圖7基于Canny算子和ASM模型的訓練
[0035]圖8級聯分類器的工作方式；
[0036]圖9改進前的人臉輪廓提取，左圖為sobel邊緣提取，右圖為Canny邊緣提取；
[0037]圖10改進后的人臉輪廓提取；從左到右依次為人臉鎖定、特征點鎖定、邊緣提取。
[0038]其中矩形框代表人臉以及眼睛鼻子嘴巴大概位置的鎖定，中間圖中的圓點代表ASM模型對臉部特征點的捕捉，最后一幅圖的白色線條為臉部輪廓。【具體實施方式】
[0039]以下結合具體實施例，對本發明進行詳細說明。
[0040]參考圖2，本發明技術方案包括模型訓練階段與邊緣提取階段。其中模型訓練階段包括:1)基于HAAR特征的級聯分類器的訓練；2)基于Canny算子和ASM模型的訓練；3)主動輪廓模型的訓練；邊緣提取階段包括:1)采用級聯結構對待處理圖像中的非目標成分進行快速淘汰；2)結合Canny算子和ASM模型尋找目標邊緣的初始位置；3)采用主動輪廓模型對初始位置進行校準；4)將未達到邊緣提取要求的樣本作為數據庫中的訓練樣本用以反饋調節整個系統。
[0041]實施例1模型訓練階段
[0042]1.1級聯分類器的訓練[0043]首先選定某一邊緣提取目標，準備足夠多正樣本(目標圖像)和負樣本(不包含目標的任何圖像)，接著利用積分圖計算圖像HAAR特征，然后采用機器學習算法提取優秀的體征并形成一個強分類器，最后用級聯結構將多個強分類器按級別分層組合成最終篩選器。
[0044]HAAR特征是一種梯度特征，這類特征模板都是由兩個或是多個全等的矩形相鄰組合而成，特征模板內有白色和黑色兩種矩形，并將此特征模板的特征值定義為白色矩形像素和減去黑色矩形像素和。常用的幾種簡單特征及其旋轉特征分為:邊緣特征、線性特征、中心環繞特征(如圖4)。特別注意，根據具體情況我們需要設計更利于實用的新型特征類型。此外，HAAR特征也可以有其他特征替代。
[0045]對于圖像內一點A(x, y),定義其積分圖1i (X，y)為
[0046]"(U和 Σ ,.(Λ.’,少’)；⑴
[0047]其中i (X’，f )為點(X’，f )處的“原始圖”，是此點的顏色值；對于灰度圖象，其值為0-255。s (x, y)為點(x，y)及其方向上所有原始圖像之和(如圖5)，稱為“列積分和”，可以定義為:
[0048].ν(Λ-,>') = Τ,?(χ,ν')..(2)
[0049]了解積分圖的原理之后，可以利用它對HAAR特征進行快速計算。矩形特征的特征值計算。以圖4中的1(b)特征模板為例，按照之前定義的特征模板的特征值為白色區域像素和減去黑色區域像素和，由剛才的證明可知:
[0050]區域A 的像素值=Ufii1-Qi^ii3) ; (3)
[0051]區域B 的像素值=ii6+ii3-(ii4+ii5) ; (4)
[0052]所以此特征模板的特征值為:
[0053](ii4-1i3)-(ii2-1i1) + (ii4_ii3)_(ii6_ii5) ； (5)
[0054]待所有特征值計算完畢則可采用機器學習方法進行分類器的訓練，這里的機器學習算法有很多選擇，可以是神經網絡、支持向量機、決策樹以及其他統計模型等。需要注意的是在訓練過程中需要分層次訓練，這樣可以構建級聯結構以便快速淘汰非目標信息。
[0055]1.2基于Canny算子和ASM模型的訓練
[0056]參考圖7，首先選取一組訓練樣本，用一組特征點來描述樣本的形狀，然后對各樣本的形狀進行配準(使得形狀盡可能地相似)，對這些配準后的形狀向量利用主分量分析方法進行統計建模得到物體形狀的統計學描述，最后利用建立的模型在新的圖像中搜索物體輪廓，從而定位出目標物體。ASM依靠一個由人工標定特征點的訓練集來得到一個平均的人臉形狀(MeanShape)之后，在平均形狀點的鄰接區域進行搜索得到目標形狀(Shape)。
[0057]由ASM訓練得到的平均形狀模型能很好地覆蓋各種人臉幾何外形子空間，具有較高的定位精度；同時，采用灰度和梯度信息指導形狀模型收斂速度也較快，并且可以提高收斂的概率。而前文介紹的Canny算子可以替換ASM中的領域搜索算法進行目標形狀的搜索，從而優化ASM模型，提高目標邊緣初始位置的精度。
[0058]ASM訓練實施步驟:
[0059]Stepl:要先準備一組訓練樣本,該樣本需要包括標定的特征點信息。標定特征點的過程是一個人機交互的過程，一般是采取手工標注的方式，標注需要按照以下的原則進行:1、每幅圖像標注的特征點必須相同；2、標注特征點的順序也必須相同。
[0060]Step2:計算每一個特征點的權重值，我們知道在所有選取的特征點中，各個點的重要性是不一樣的，具體表現在有些點是相對固定的，而有些點的變化卻比較大，特征點的權重值就是為了反映不同位置特征點對于模型的重要性影響的不同。
[0061]St印3:配準。樣本空間中的所有圖像，在手工標注完成以后，就形成了一個特征點的模型庫，但這些模型的大小、方向以及位置都不相同，無法對其進行統計建模，也不能找出它們之間存在著的變形規律。配準的目的就是為了能夠對來自不同圖像樣本的相同特征點進行比較，以此來建立統計形狀模型，用以反映形狀變化的規律。配準的基本操作首先是以某個形狀為基礎，而將其他的形狀進行放大縮小、旋轉、平移等操作，目的是為了能夠讓那些圖像的形狀與基本的形狀盡可能地接近。
[0062]Step4:全局性狀模型的訓練。首先利用配準后的圖像標定點位置建立形狀向量，然后對形狀向量進行主成分分析進行降維處理，得到的特征向量和特征空間就構成了 ASM模型。
[0063]Step5:局部特征的構建。ASM中采用近鄰幾個像元的梯度搜索為特征點尋找新的位置，而本發明則采用更為嚴謹的梯度算子(Canny算子)來進行位置的更新。
[0064]Canny算法的實現步驟:
[0065]Stepl:用高斯濾波器平滑圖像，去除圖像噪聲。一般選擇方差為1.4的高斯函數模板和圖像進行卷積運算。
[0066]Step2:用一階偏導的有限差分來計算梯度的幅值和方向。
[0067]Step3:對梯度幅值應用非極大值抑制。幅值M越大，其對應的圖像梯度值也越大，但這還不足以確定邊緣，因為這里僅把圖像快速變化的問題轉化成求幅值局部最大值問題，為確定邊緣，必須細化幅值圖像中的屋脊帶，只保留幅值局部變化最大的點，生成細化的邊緣。
[0068]Step4:用雙閾值算法檢測并且連接邊緣。雙閾值法使Canny算子提取的邊緣點更具有魯棒性，高低閾值分別表示為Hth和Lth，對于高閾值Hth的選折，基于計算出的圖像梯度值對應的直方圖進行選取。在一幅圖像中，非邊緣點數目在總圖像像素點數目中占的比例表示為Hratio，根據圖像梯度值對應的直方圖累加，累加數目達到總像素數目的Hratio時，對應的圖像梯度值設置為Hth。低閾值Lth的選擇通過Lth=Lratio*Hth得到。最后通過對邊緣點的標記和領域關系進行連接得到最后的邊緣檢測圖。
[0069]1.3主動輪廓模型(ACM)的構建
[0070]首先提供樣本目標圖像的初始輪廓的位置，并對其定義一個初始能量函數，使輪廓沿能量降低的方向靠近。當初始能量函數達到最小的時候，提供的初始輪廓收斂到圖形中目標的真實輪廓。通過遺傳算法或其他參數優化算法，選出該模型中最佳的一組參數用以確定該模型。
[0071]在實際應用中，我們需要對Snake模型離散化，計算的是曲線的各個控制點的能量值，定義的能量函數如下:
【權利要求】
1.一種面向目標的自動化高精度邊緣提取方法，其特征在于，包括模型訓練階段與邊緣提取階段；其中模型訓練階段包括以下步驟:A1)基于HAAR特征的級聯分類器的訓練；A2)基于Canny算子和ASM模型的訓練；A3)主動輪廓模型的訓練；邊緣提取階段包括以下步驟:B1)采用級聯結構對待處理圖像中的非目標成分進行快速淘汰；B2)結合Canny算子和ASM模型尋找目標邊緣的初始位置；B3)采用主動輪廓模型對初始位置進行校準；B4)將未達到邊緣提取要求的樣本作為數據庫中的訓練樣本用以反饋調節整個系統。
2.根據權利要求1所述的方法，其特征在于，所述步驟Al，首先選定某一邊緣提取目標，準備足夠多正樣本和負樣本，接著利用積分圖計算圖像HAAR特征，然后采用機器學習算法提取優秀的特征并形成一個強分類器，最后用級聯結構將多個強分類器按級別分層組合成最終篩選器。
3.根據權利要求1所述的方法，其特征在于，所述的ASM模型的訓練包括以下步驟: Stepl:先準備一組訓練樣本,該樣本需要包括標定的特征點信息；標定特征點的過程是一個人機交互的過程，標注需要按照以下的原則進行:a、每幅圖像標注的特征點必須相同；b、標注特征點的順序也必須相同； Step2:計算每一個特征點的權重值，在所有選取的特征點中，各個點的重要性是不一樣的，具體表現在有些點是相對固定的，而有些點的變化卻比較大，特征點的權重值就是為了反映不同位置特征點對于模型的重要性影響的不同； Step3:配準；配準的目的就是為了能夠對來自不同圖像樣本的相同特征點進行比較，以此來建立統計形狀模型，用以反映形狀變化的規律；配準的基本操作首先是以某個形狀為基礎，而將其他的形狀進行放大縮小、旋轉、平移等操作，目的是為了能夠讓那些圖像的形狀與基本的形狀盡可能地接近； Step4:全局性狀模型的訓練；首先利用配準后的圖像標定點位置建立形狀向量，然后對形狀向量進行主成分分析進行降維處理，得到的特征向量和特征空間就構成了 ASM模型； Step5:局部特征的構建;ASM中采用近鄰幾個像元的梯度搜索為特征點尋找新的位置，采用更為嚴謹的梯度算子即Canny算子來進行位置的更新； Canny算子的實現步驟: Stepl:用高斯濾波器平滑圖像，去除圖像噪聲；一般選擇方差為1.4的高斯函數模板和圖像進行卷積運算； Step2:用一階偏導的有限差分來計算梯度的幅值和方向； Step3:對梯度幅值應用非極大值抑制；幅值M越大，其對應的圖像梯度值也越大，為確定邊緣，必須細化幅值圖像中的屋脊帶，只保留幅值局部變化最大的點，生成細化的邊緣；Step4:用雙閾值算法檢測并且連接邊緣；雙閾值法使Canny算子提取的邊緣點更具有魯棒性，高低閾值分別表示為Hth和Lth，對于高閾值Hth的選擇，基于計算出的圖像梯度值對應的直方圖進行選取；在一幅圖像中，非邊緣點數目在總圖像像素點數目中占的比例表示為Hratio，根據圖像梯度值對應的直方圖累加，累加數目達到總像素數目的Hratio時，對應的圖像梯度值設置為Hth ;低閾值Lth的選擇通過Lth=Lratio*Hth得到；最后通過對邊緣點的標記和領域關系進行連接得到最后的邊緣檢測圖。
4.根據權利要求1所述的方法，其特征在于，所述的步驟BI，利用訓練好的級聯分類器子窗口對待提取圖像進行滑動檢測，由易到難，級聯分類器的前幾個分類器可以快速地將易分辨的非目標部分快速濾過，最后經過多層分類器的篩選，目標將會以盡可能少的干擾部分保存下來，以減少邊緣提取的時間和誤檢率。
5.根據權利要求1所述的方法，其特征在于，所述的步驟B2，截取下來的感興趣區域將作為ASM模型的輸入，經過圖像對齊，模型內初始邊緣確定，再借助Canny算子對鄰域進行邊緣矯正，最后得到一個較`為精準的初始目標邊緣。
【文檔編號】G06T7/00GK103886589SQ201410067772
【公開日】2014年6月25日 申請日期:2014年2月27日 優先權日:2014年2月27日
【發明者】徐精文, 劉雙 申請人:四川農業大學