基于視覺顯著性的復雜環境人臉檢測方法
【專利摘要】本發明提供一種基于視覺顯著性的復雜環境人臉檢測方法，首先利用視覺注意機制獲取人臉顯著圖；然后分割顯著圖得到二值模板；利用形態學算子調整二值模板使其覆蓋整個人臉區域；最后將模板與原圖匹配，檢測出人臉目標區域；該種基于視覺顯著性的復雜環境人臉檢測方法，利用視覺注意機制獲取人臉顯著圖，根據顯著圖準確定位有效人臉目標區域，消除了復雜環境下光照、姿態、遮擋等因素的影響，達到無人工干預，自動、準確檢測非約束人臉目標區域的目的。
【專利說明】
基于視覺顯著性的復雜環境人臉檢測方法
技術領域
[0001] 本發明涉及一種基于視覺顯著性的復雜環境人臉檢測方法。
【背景技術】
[0002] 人臉檢測是非約束人臉識別中的一項關鍵技術，準確檢測到復雜背景中的人臉區 域對后續人臉識別工作至關重要。一方面可以降低后續工作的計算復雜度，另一方面也可 以去除背景干擾，提高人臉特征的準確性。
[0003] 目前常用的人臉檢測算法主要有基于模板匹配的人臉檢測算法和基于膚色的人 臉檢測算法兩類。基于模板匹配的人臉檢測算法是根據先驗數據歸納出一個統一的人臉模 板，然后手動選擇人眼位置，得到人眼間的距離，根據該距離利用人臉模板檢測出人臉區 域;基于膚色的人臉檢測算法主要依據是利用人臉的膚色與背景顏色差異實現人臉檢測。 這兩種方法適用于單一環境的人臉檢測，對于復雜環境的非約束人臉檢測效果不理想。
[0004] 現有技術方案的不足之處在于：
[0005] -、基于模板匹配的人臉檢測算法雖然原理簡單，但由于不同人臉差異大，人臉模 板很難精確匹配所有人臉，再加上拍攝條件不受約束(例如光照影響、姿態變化、目標遮擋 等），該方法很難獲得復雜環境下理想的人臉檢測效果。另一方面，基于模板匹配的人臉檢 測算法需要手動選擇兩只人眼位置，耗時長且不具有自動檢測的能力，不適用于智能人機 交互。
[0006] 二、基于膚色的人臉檢測算法雖常用于彩色圖像的人臉檢測，但由于人體其他部 位可能具有和人臉膚色相同的顏色，比如男性赤膊等，并且場景中某些目標也可能會和人 臉皮膚具有相同的顏色，因此該方法魯棒性差，不適用于復雜環境的人臉檢測。
[0007] 上述問題是在人臉檢測過程中應當予以考慮并解決的問題。
【發明內容】
[0008] 本發明的目的是提供一種基于視覺顯著性的復雜環境人臉檢測方法解決現有技 術中存在的適用于單一環境的人臉檢測，對于復雜環境的非約束人臉檢測效果不理想的問 題。
[0009] 本發明的技術解決方案是：
[0010] -種基于視覺顯著性的復雜環境人臉檢測方法，首先利用視覺注意機制獲取人臉 顯著圖；然后分割顯著圖得到二值模板;利用形態學算子調整二值模板使其覆蓋整個人臉 區域;最后將模板與原圖匹配，檢測出人臉目標區域;具體包括以下步驟：
[0011] S1、輸入原始圖像即灰度圖片I(x，y)，利用視覺顯著圖算法提取灰度圖片I(x，y) 中目標人臉區域顯著圖，記為S(x，y);
[0012] S2、采用雙三次插值算法調整顯著圖S(x，y)的圖像尺寸為原始圖像，把顯著圖S (x，y)中的每個像素按照灰度值強弱劃分成η個等級，返回第m個百分位值，把該值作為閾 值，分割顯著圖S(x，y)得到模板此^， 7);
[0013] S3、調整模板施(x，y)得到精細模板M2(x，y);
[0014] S4、依據所得精細模板M2 (X，y)，來確定目標人臉區域；
[0015] S5、將原始圖像I(x，y)與目標人臉區域作匹配，得到最終的人臉檢測圖。
[0016] 進一步地，步驟S4具體為：
[0017]541、初始化變量811111_1、811111_5^代3,811111_1用以記錄精細模板12(1，5〇中非零區域 的橫坐標之和，sum_y用以記錄精細模板M2 (x，y)中非零區域的縱坐標之和，area用以記錄 精細模板M2(x，y)中非零區域數目；
[0018] S42、遍歷M2(x，y)，如果其中某個像素點值為1，就把area值加I，sum_x和811111_7的 值分別加上該點對應的橫縱坐標值；
[0019 ] S43、遍歷完M2 (X，y)之后，用area對sum_x和sum_y求平均就得至幽2 (X，y)的質心p;
[0020] S44、用edge函數處理M2 (X，y)，得到M2 (X，y)區域邊緣的二值圖像，求出質心p到區 域邊緣的最小距離d;
[0021] S45、以P為中心，以d為邊長作正方形，這個正方形區域就是目標人臉所在的區域。
[0022] 進一步地，步驟S3具體為：
[0023] S31、判斷模板％&，7)是否有冗余，若是，模板M1(Xj)余留了目標人臉以外的區 域，就把M1(Xd)中的冗余區域刪除，只保留有用的區域；
[0024] S32、如果M1(Xj)沒有完全覆蓋整個目標人臉區域，就對M1(Xj)實施閉運算；
[0025] S33、如果Mi(X，y)丟失信息過多，就對Mi(X，y)進行孔洞填充；
[0026] S34、得到精細模板M2(Xj)。
[0027]本發明的有益效果是：
[0028] 一、該種基于視覺顯著性的復雜環境人臉檢測方法，利用視覺注意機制獲取人臉 顯著圖，根據顯著圖準確定位有效人臉目標區域，消除了復雜環境下光照、姿態、遮擋等因 素的影響，達到無人工干預，自動、準確檢測非約束人臉目標區域的目的。
[0029]二、本發明去除了圖片背景干擾，為準確提取人臉特征，實現非約束環境下的人臉 驗證、識別提供技術支持；
[0030] 三、該種基于視覺顯著性的復雜環境人臉檢測方法，去除了圖片背景干擾，將特征 提取區域縮減為人臉目標區域，可以降低后續工作的計算復雜度，縮短運行時間。
【附圖說明】
[0031] 圖1是本發明實施例的實現框架的說明示意圖；
[0032]圖2是實施例基于視覺顯著性的復雜環境人臉檢測方法的流程示意圖。
[0033]圖3是實施例中_旲板調整的說明不意圖。
[0034]圖4是實施例的端正人臉檢測結果與基于模板的端正人臉檢測結果的比較示意 圖。
[0035]圖5是實施例的不端正人臉檢測結果與基于模板的不端正人臉檢測結果比較示意 圖。
【具體實施方式】
[0036]下面結合附圖詳細說明本發明的優選實施例。
[0037]實施例利用人眼視覺注意機制提取目標顯著圖，根據顯著圖確定有效人臉目標區 域，實現復雜環境下的人臉檢測，為準確驗證、識別非約束環境下的人臉提供技術支持。 [0038] 實施例
[0039] -種基于視覺顯著性的復雜環境人臉檢測方法，實現框架如圖1所示。首先利用視 覺注意機制獲取人臉顯著圖；然后分割顯著圖得到二值模板;利用形態學算子調整二值模 板使其覆蓋整個人臉區域;最后將模板與原圖匹配，檢測出人臉目標區域。
[0040] 該種基于視覺顯著性的復雜環境人臉檢測方法的具體實現流程如圖2所示。步驟 描述如下：
[0041] S1、輸入圖像一幅250\250的灰度圖片1(^7)，利用視覺顯著圖算法提取目標人 臉區域顯著圖，記為S(x，y)。
[0042] S2、采用雙三次插值算法調整S(x，y)圖像尺寸為原圖大小250X250jES(x，y)* 的每個像素按照灰度值強弱劃分成η個等級，返回第m個百分位值。把這個值作為閾值，分割 顯著圖S(x，y)得到模板施(、7)。
[0043] S3、調整模板施(X，y)得到精細模板M2(X，y)。如圖3，判斷模板施(X，y)是否有冗余， 若是，模板M1(Xj)余留了目標人臉以外的區域，就把M1(Xj)中的冗余區域刪除，只保留有 用的區域;判斷模板施(1， 7)是否完全覆蓋了目標人臉區域，如果M1(Xj)沒有完全覆蓋整個 目標人臉區域，就對M 1(Xd)實施閉運算;如果M1(Xj)丟失信息過多，就對M1(Xd)進行孔洞 填充;得到精細模板M 2 (X，y)。
[0044 ] S4、確定目標人臉區域。初始化變量sum_x、s um_y、are a，sum_x用以記錄精細模板 M2(x，y)中非零區域的橫坐標之和，sum_y用以記錄精細模板M2(x，y)中非零區域的縱坐標之 和，area用以記錄精細模板M2(x，y)中非零區域數目。遍歷M2(X，y)，如果其中某個像素點值 為1，就把area值加I，sum_x和sum_y的值分別加上該點對應的橫縱坐標值。遍歷完M2(X，y) 之后，用area對sum_x和sum_y求平均就得到M2(x，y)的質心p。用edge函數處理M2(x，y)，得到 M 2(x，y)區域邊緣的二值圖像，求出質心p到區域邊緣的最小距離d。以p為中心，以d為邊長 作正方形，這個正方形區域就是目標人臉所在的區域。
[0045] S5、將輸入圖片I(x，y)與目標人臉區域作匹配就得到最終的人臉檢測圖。
[0046] 實施例效果對比分析
[0047] 實施例與基于模板的人臉檢測效果比較
[0048] 基于模板的人臉檢測算法是通過定位輸入圖片中人的兩只眼睛，獲取眼睛之間的 線段距離D，再分別以D的中點為端點，向上0.f5D距離和向下1.5D距離為另一端點作線段，以 D和2D確定的矩形區域為人臉模板截取輸入圖片，從而達到人臉檢測的目的。當檢測姿態端 正的正面人臉圖片時，基于模板的人臉檢測算法和實施例都可以檢測出有效人臉區域，如 圖4所示;而檢測姿態不端正的非正面人臉圖片時，實施例人臉檢測效果明顯優于基于模板 的人臉檢測效果，如圖5所示。其中，基于模板的人臉檢測算法不能檢測到完整的人臉區域， 人臉面部信息損失嚴重，不適用于后期人臉識別；而實施例用視覺顯著圖準確定位人臉目 標區域，不受人臉姿態的影響。
[0049] 實施例與基于模板的人臉檢測時間比較
[0050] 人臉檢測時間是指從輸入一張人臉圖片開始到人臉目標區域被檢測出來為止的 所有步驟運行時間。實施例與基于模板的人臉檢測算法的人臉檢測時間結果如表1所示。
[0051]表1本發明與基于模板
的人臉檢測時間比較
[0053]從表1中可以看出，實施例的算法運行時間明顯低于基于模板的人臉檢測算法。這 是由于基于模板的人臉檢測算法是非自動的，需要手動選擇人眼位置，所以消耗時間明顯 較長。
[0054]實施例在非約束人臉識別中的應用
[0055]從LFW數據庫中選出有20張以上(包括20張）的人圖片作為實驗數據，共62類人，總 共3023張圖片。把這3023張圖片作為輸入，利用實施例提取人臉目標區域得到另一個新的 人臉數據庫(記為LFW-GBVS)。隨機抽取數據庫中每類人的10張圖片作為訓練樣本，每類人 剩下的圖片作為測試樣本，采用HOG描述子對兩個人臉數據庫進行特征提取，并用SVM分類 器進行分類，得到的實驗結果如表2所示。
[0056] 表2 LFW與LFW-GBVS人臉庫的識別性能比較
[0058]從表2可以看出，采用實施例提取人臉目標區域后，再進行特征提取和分類，可以 使識別性能得到很大提升，一方面識別率提高到72.53 %，是LFW人臉庫識別率的2倍;另一 方面算法運行時間為57.8s，降低為原來的1/4。這是因為實施例消除了背景干擾，準確檢測 出人臉目標區域，提高了人臉特征準確性，降低了后期操作的計算復雜度，所以實施例應用 在非約束人臉識別方面是有效的。
【主權項】
1. 一種基于視覺顯著性的復雜環境人臉檢測方法，其特征在于，首先利用視覺注意機 制獲取人臉顯著圖；然后分割顯著圖得到二值模板;利用形態學算子調整二值模板使其覆 蓋整個人臉區域;最后將模板與原圖匹配，檢測出人臉目標區域;具體包括以下步驟： 51、 輸入原始圖像即灰度圖片I(x，y)，利用視覺顯著圖算法提取灰度圖片I(x，y)中目 標人臉區域顯著圖，記為S(x，y); 52、 采用雙三次插值算法調整顯著圖S(x，y)的圖像尺寸為原始圖像，把顯著圖S(x，y) 中的每個像素按照灰度值強弱劃分成η個等級，返回第m個百分位值，把該值作為閾值，分割 顯著圖S(x，y)得到模板施^， 7); 53、 調整模板施(X，y)得到精細模板M2 (X，y); 54、 依據所得精細模板M2(x，y)，來確定目標人臉區域； 55、 將原始圖像I(x，y)與目標人臉區域作匹配，得到最終的人臉檢測圖。2. 如權利要求1所述的基于視覺顯著性的復雜環境人臉檢測方法，其特征在于，步驟S4 具體為： 541、 初始化變量sum_x、sum_y、ar ea，sum_x用以記錄精細模板M2 (X，y)中非零區域的橫 坐標之和，sum_y用以記錄精細模板M2 (x，y)中非零區域的縱坐標之和，area用以記錄精細 模板M2(x，y)中非零區域數目； 542、 遍歷M2(X，y)，如果其中某個像素點值為1，就把area值加1，sum_x和sum_y的值分別 加上該點對應的橫縱坐標值； 543、 遍歷完M2 (X，y)之后，用area對sum_x和sum_y求平均就得到M2 (X，y)的質心p; 544、 用edge函數處理M2(X，y)，得到M2(X，y)區域邊緣的二值圖像，求出質心p到區域邊 緣的最小距離d; 545、 以p為中心，以d為邊長作正方形，這個正方形區域就是目標人臉所在的區域。3. 如權利要求1或2所述的基于視覺顯著性的復雜環境人臉檢測方法，其特征在于，步 驟S3具體為： 531、 判斷模板此(1，7)是否有冗余，若是，模板MKxj)余留了目標人臉以外的區域，就 把施(1，7)中的冗余區域刪除，只保留有用的區域； 532、 如果Mi(x，y)沒有完全覆蓋整個目標人臉區域，就對Mi(x，y)實施閉運算； 533、 如果Mi(x，y)丟失信息過多，就對Mi(x，y)進行孔洞填充； 534、 得到精細模板M2(x，y)。
【文檔編號】G06K9/00GK105844235SQ201610164383
【公開日】2016年8月10日
【申請日】2016年3月22日
【發明人】童瑩, 陳凡, 曹雪虹
【申請人】南京工程學院