基于特征點的三維人臉識別方法
【專利摘要】一種基于特征點的三維人臉識別方法，步驟如下：首先，對三維人臉模型進行預處理，通過線性插值將點云數據映射為深度圖像；然后，在深度圖上應用Gabor濾波粗略定位出人臉特征點，再根據ShapeIndex特征在人臉點云上精確定位出特征點；其次，提取以鼻中為中心的一系列等測地輪廓線來表征人臉形狀，提取具有姿態不變性的Procrustean向量特征（距離和角度）作為識別特征；最后，對各條等測地輪廓線特征進行加權融合用于最后的識別。本發明提出的三維人臉識別方法具有很好的定位和識別性能，并且對表情、姿態具有較好的魯棒性。
【專利說明】基于特征點的三維人臉識別方法
【技術領域】
[0001] 本發明涉及一種基于特征點的三維人臉識別方法，涉及數字圖像處理和模式識別 領域。
【背景技術】
[0002] 生物特征識別如人臉識別、指紋識別、虹膜識別在安全領域有著廣泛的應用前景， 特別人臉識別技術，由于人臉識別的對用戶干擾小、隱蔽性好等特性，而成為目前模式識別 領域的研究熱點。傳統的基于二維圖像的人臉識別已經取得了較大的發展，但是識別的效 果依然受光照、姿態和表情等因素的限制，而三維人臉模型受光照、姿態影響較小，且三維 人臉模型中包含更多的幾何信息，因而三維人臉識別受到越來越多的關注。
[0003] 三維人臉模型與二維圖像相比具有更豐富的信息，它包含了人臉的幾何和空間信 息。但是，三維人臉模型多以點云形式保存，數據量大，加長了計算時間，且人臉表情變化引 起的非剛性形變造成了三維人臉識別性能的下降。因此，如何減小計算量、減弱表情變化對 人臉識別的影響成為三維人臉識別技術的關鍵問題，也是研究的難點。
【發明內容】
[0004] 技術問題：本發明提出了一種基于特征點提取人臉局部區域特征的三維人臉識別 方法。
[0005] 技術方案：一種基于特征點的三維人臉識別方法，該方法包括以下步驟：
[0006] 步驟1)、分別對測試人臉模型、N個庫集人臉模型和Μ個訓練集人臉模型進行平滑 去噪：將三維人臉點云數據轉化為三維網格，采用基于網格的平滑算法對三維人臉模型進 行平滑去噪處理，然后將經過10次迭代處理得到的平滑的三維人臉網格恢復成人臉點云；
[0007] 步驟2)、分別將經過步驟1)處理過的測試人臉模型、庫集人臉模型和訓練集人臉 模型人臉的點云坐標信息映射到平面上，分別形成測試人臉模型、庫集人臉模型和訓練集 人臉模型的深度圖像，獲取深度圖像的方法如下：
[0008] 步驟2. 1)、計算平滑去噪后的三維人臉點云在空間坐標系下三個坐標軸X，y，ζ方 向上的最大、最小值，根據X，y方向上的最大、最小值將X，y坐標值歸一化后將點云投影到 大小為640*480的圖像上，根據ζ方向上的最大、最小值將ζ坐標值歸一化到0-255之間作 為相應位置的灰度值，這樣得到的圖像稱為深度圖像；歸一化的公式如下：
[0009]
【權利要求】
1. 一種基于特征點的三維人臉識別方法，其特征在于，該方法包括以下步驟： 步驟1)、分別對測試人臉模型、N個庫集人臉模型和Μ個訓練集人臉模型進行平滑去 噪：將三維人臉點云數據轉化為三維網格，采用基于網格的平滑算法對三維人臉模型進行 平滑去噪處理，然后將經過10次迭代處理得到的平滑的三維人臉網格恢復成人臉點云； 步驟2)、分別將經過步驟1)處理過的測試人臉模型、庫集人臉模型和訓練集人臉模型 人臉的點云坐標信息映射到平面上，分別形成測試人臉模型、庫集人臉模型和訓練集人臉 模型的深度圖像； 步驟3)、分別對測試集人臉模型和庫集人臉模型的深度圖像進行Gabor濾波特征點粗 定位以及形狀指數Shape Index特征點精定位； 步驟4)、按步驟3)所述對所有庫集和測試集人臉模型的深度圖像進行鼻尖點、左右外 眼角點、左右內眼角點和左右嘴角點的精定位，根據左右內眼角和鼻尖點確定鼻中點：先確 定位于左右內眼角中心的點，再取位于該點與鼻尖中心的點作為鼻中點；根據深度圖像與 點云數據的對應關系，找到點云數據上的鼻中點，對應關系如下：
步驟5)、分別對測試集和庫集人臉模型提取以鼻中點為中心的8條等測地輪廓線并對 等測地輪廓線進行重采樣； 步驟6)、建立庫集人臉模型與測試集人臉模型特征向量； 步驟7)、計算測試集人臉模型與庫集人臉模型的相似度； 步驟8)、三維人臉模型的身份驗證。
2. 如權利要求1所述基于特征點的三維人臉識別方法，其中步驟2)所述獲取深度圖像 的方法如下： 計算平滑去噪后的三維人臉點云在空間坐標系下三個坐標軸X，y，z方向上的最大、最 小值，根據x，y方向上的最大、最小值將x，y坐標值歸一化后將點云投影到大小為640*480 的圖像上，根據z方向上的最大、最小值將z坐標值歸一化到0-255之間作為相應位置的灰 度值，這樣得到的圖像稱為深度圖像；其中，歸一化的公式如下：
其中f ,z<為歸一化后的坐標值。
3. 如權利要求1所述基于特征點的三維人臉識別方法，其中步驟3)包括以下步驟： 步驟3. 1)、Gabor濾波粗定位，具體步驟如下： 步驟3. 1. 1)、Gabor濾波器定義為：
其中p為給定點坐標（g，h)，ku，v= [kv cos<i)u，kv sin<i)u]T，u，v分別為Gabor濾波器的 方向與尺度。其中參數 σ = 2 π，kv = 2_(v+1)，v = {0, 1，2, 3, 4},
步驟3. 1. 2)、對Μ張訓練集中的每張深度圖像進行7個特征點（鼻尖點、左右內眼角 點、左右外眼角點和左右嘴角點）的手動標定，對于訓練集中所有深度圖像中第j個（j = 1，2, · · ·，7)特征點的Gabor系數，構建Gabor系數向量G」=(G1;」，G2,」，· · ·，GM，」），Gi;」為訓 練集中第i幅圖像中第j個特征點的Gabor系數，計算如下：
其中L是第 i幅圖像像素點坐標矩陣，q為第j個特征點的坐標（s，t)，*是卷積運算符，將計算所得的 Gabor系數表示成這種形式，其中ai;j為其幅值，（ti;j為其相位； 步驟3. 1. 3)、待測深度圖像（包括測試集和庫集）上第j個候選特征點由Gabor系數 的相似度SCLGP由下式確定：
其中
為第m幅待測圖像第η點的Gabor系 數；根據相似度S(Jm，Gp確定粗定位的第m幅第j個特征點：即相似度最大所對應的坐標 為第m幅待測圖像上粗定位的第j個特征點所在位置，粗定位的第j個特征點稱為第j個 候選特征點； 步驟3. 2)、人臉特征點精定位： 步驟3. 2. 1)、對第j個候選特征點選取鄰域，以其為圓心，r = 90_為半徑做圓，圓內 包含的區域即為第j個候選特征點的鄰域，求取第j個特征點鄰域內每個像素點的一階和 二階梯度，計算方式如下：
利用公式
求得鄰域內每個像素點的高斯曲 率K和平均曲率H，由高斯曲率K和平均曲率Η得到每個像素點的最大主曲率和最小主 曲率k2 :
計算第j個候選特征點鄰域內每個像素點的形狀索引值（Shape Index):
其中e為第j個候選特征點鄰域內一點； 步驟3. 2. 2)、根據步驟3. 2. 1)得到的形狀索引值精確定位出特征點位置：其中候選鼻 尖點鄰域內形狀索引值最大的則為精確定位鼻尖點所在位置，左右內眼角點、左右外眼角 點、左右嘴角點鄰域內形狀索引值最小的則為精確定位左右內眼角點、左右外眼角點、左右 嘴角點所在位置。
4. 如權利要求1所述基于特征點的三維人臉識別方法，其中步驟5)包括以下步驟： 步驟5. 1)、計算點云數據上每點到鼻中點的測地距離，測地距離定義為：曲面上兩點 之間最短的距離稱為測地距離；將距離值歸一化到[0, 1]之間，分別取到鼻中點距離為 [δ f λ，δ彳λ ]的點組成等測地輪廓線Pu 1 = 1，2, · · ·，8,其中δ 1 = 〇· 06，δ 2 = 〇· 12， δ 3 = 〇· 18，δ 4 = 〇· 24，δ 5 = 0· 30，δ 6 = 〇· 36，δ 7 = 〇· 42，δ 8 = 〇· 50, λ = 〇· 〇〇5 ; 步驟5. 2)、以鼻中點為中心在平面坐標系ΧΟΥ中構造一個橢圓，方程如下：
其中Α為Pi在橫軸X方向的投影差值，Β為Pi在縱軸Υ方向的投影差 值，
選擇離散采樣T，在橢圓上采樣60個點，對于橢圓上這60個采 樣點，在等測地輪廓線h上選取歐式距離最短的點作為等測地輪廓線h的采樣點P。，〇 = 1，2, · · ·，60。
5. 如權利要求1所述基于特征點的三維人臉識別方法，其中步驟6)包括以下步驟： 步驟6. 1)、構造一個單位圓C，在單位圓上等距采樣60個點，然后用Procrustes分析 將單位圓經過旋轉、平移、伸縮等保形變換，使得單位圓上各點與等測地輪廓線Pi對應點 之間的距離總和最小，這樣得到Procrustean擬合圓G。提取等測地輪廓線匕上的采樣點 pjo = 1，2. ..，60)與Procrustean擬合圓上C;對應點4之間的距離特征d。和角度特征 Θ。：
構造 Procrustean 距離特征向量 d = {d。}，〇 = 1，2· ··，6〇，Procrustean 角度特征向 量 θ = { Θ 〇}，〇 = 1，2. · ·，60 ; 步驟6. 2)、將Procrustean距離特征d和Procrustean角度特征Θ進行特征融合： 利用最大最小原則將Procrustean距離特征d，Procrustean角度特征Θ歸一化為 d， ， Θ ，，即：
得到最后的識別特征 Q = {d'，θ ' }，其中(Γ = {(Γ (Γ 2, · · ·，(Γ 60}，θ '= { θ ， " θ ， 2, · · · ， θ ， 60}。
6. 如權利要求1所述基于特征點的三維人臉識別方法，其中步驟7)包括以下步驟： 步驟7. 1)、選取測試人臉模型上的一條等測地輪廓線匕，記等測地輪廓線匕的識別特 征為{d' 2，...，d' Μ，θ' 2，...，θ' 6(1}，計算等測地輪廓線匕與庫集人臉 模型對應的等測地輪廓線的識別特征之間的歐式距離h; 步驟7. 2)、按照所述步驟7. 1)，求取測試人臉模型所有的等測地輪廓線的識別特征與 庫集人臉模型對應的等測地輪廓線的識別特征的歐式距離Dp 1 = 1，2, ...，8,對所有h進 行加權融合作為最后測試人臉模型與庫集人臉模型的距離D :
其中權重因子 ％ = 〇· 08，ω2 = 〇· 126，ω3 = 〇· 134，ω4 = 〇· 132，ω5 = 0· 128，ω6 =0· 132，ω7 = 0· 135，ω8 = 〇· 133。
7. 如權利要求1所述基于特征點的三維人臉識別方法，其中步驟8): 重復步驟1)-步驟7)，得到測試人臉模型與各個庫集人臉模型的距離度量D，比較測試 人臉模型與各個庫集人臉模型的距離度量D，將距離度量最小的庫集人臉模型與測試集人 臉模型判定為同一個人。
【文檔編號】G06K9/54GK104091162SQ201410343015
【公開日】2014年10月8日 申請日期:2014年7月17日 優先權日:2014年7月17日
【發明者】達飛鵬, 李燕春, 劉俊權, 呂士文, 鄧星, 常朋朋 申請人:東南大學