人臉特征點(diǎn)的檢測(cè)定位方法以及系統(tǒng)的制作方法
【專(zhuān)利摘要】提供一種人臉特征點(diǎn)的檢測(cè)定位方法以及系統(tǒng)。一種人臉特征點(diǎn)的檢測(cè)定位方法包括：對(duì)輸入的人臉圖像執(zhí)行人臉區(qū)域檢測(cè)；由檢測(cè)出的人臉區(qū)域檢測(cè)人眼瞳孔位置；根據(jù)檢測(cè)到的人眼瞳孔位置執(zhí)行特征點(diǎn)初始化賦值；基于初始化賦值的特征點(diǎn)以及人眼瞳孔位置，對(duì)檢測(cè)出的人臉區(qū)域執(zhí)行多分辨率的人臉特征點(diǎn)定位搜索；基于Gabor紋理特征執(zhí)行各特征點(diǎn)的精確定位處理，從而獲得最終的人臉特征點(diǎn)位置。
【專(zhuān)利說(shuō)明】人臉特征點(diǎn)的檢測(cè)定位方法以及系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本申請(qǐng)涉及一種人臉特征點(diǎn)的檢測(cè)定位方法以及系統(tǒng)，尤其涉及一種通過(guò)檢測(cè)的人眼瞳孔位置進(jìn)行特征點(diǎn)初始化賦值，再對(duì)人臉區(qū)域進(jìn)行多分辨率的特征點(diǎn)定位搜索，此后基于Gabor紋理特征執(zhí)行特征點(diǎn)精確定位的特征點(diǎn)檢測(cè)定位方法和系統(tǒng)。
【背景技術(shù)】
[0002]人臉特征點(diǎn)定位所要解決的問(wèn)題是，對(duì)一個(gè)待處理對(duì)象(通常是圖片或者影像)檢測(cè)出人臉區(qū)域，再進(jìn)一步地定位出人臉重要五官的坐標(biāo)位置。人臉特征點(diǎn)一般包括眉毛、眼睛、鼻子、嘴巴和臉部輪廓。這里的定位信息通常用作進(jìn)一步后續(xù)處理，例如圖像主人身份的判別、表情識(shí)別、人臉追蹤和人臉合成等。
[0003]目前在人臉特征點(diǎn)檢測(cè)領(lǐng)域用得最多最廣的方法是主動(dòng)形狀模型(ActiveShapeModel, ASM)，ASM由國(guó)外學(xué)者Cootes和Taylor在上世紀(jì)90年代提出的，它思想上源自于主動(dòng)輪廓模型(Active Contour Model)。是一個(gè)基于訓(xùn)練和統(tǒng)計(jì)的模型。它處理的對(duì)象通常具有特定的形狀，例如人臉五官，它的形狀樣本是由訓(xùn)練圖像上的標(biāo)定點(diǎn)的坐標(biāo)向量集合表示的。訓(xùn)練階段，由于處理對(duì)象可能存在大小、角度、位置的變換，因此通過(guò)對(duì)模型(點(diǎn)序列)進(jìn)行變形(通常包括旋轉(zhuǎn)、縮放、仿射變換)，歸一化向基準(zhǔn)對(duì)齊。傳統(tǒng)ASM利用的是局部的灰度信息建立紋理模型。在搜索過(guò)程，使用訓(xùn)練學(xué)習(xí)得到的紋理信息指導(dǎo)特征點(diǎn)的走向，得到特征點(diǎn)新的位置，與此同時(shí)，利用形狀訓(xùn)練結(jié)果，輔助修正形狀。通過(guò)循環(huán)迭代，得到理想的匹配結(jié)果。某種程度上，ASM能夠得到不錯(cuò)的效果，是目前主流的人臉特征點(diǎn)檢測(cè)方法。
[0004]但是，由于ASM使用的是局部紋理，僅利用局部的一維灰度信息作為紋理信息，不太具有區(qū)分性，所以容易陷入局部最小，而且也無(wú)法實(shí)現(xiàn)進(jìn)一步精確定位。加上標(biāo)定點(diǎn)周?chē)木植炕叶刃畔⒁资芄庹蘸驮胍舻挠绊懀沟盟惴ú皇諗?、特征點(diǎn)定位不理想甚至失敗。此夕卜，ASM對(duì)初始位置十分敏感，一旦初始位置偏離目標(biāo)位置較遠(yuǎn)的時(shí)候，往往定位結(jié)果不盡如意。
【發(fā)明內(nèi)容】
[0005]本發(fā)明的目的在于提供一種人臉特征點(diǎn)的檢測(cè)定位方法以及系統(tǒng)，通過(guò)檢測(cè)的人眼瞳孔位置進(jìn)行特征點(diǎn)初始化賦值，再對(duì)人臉區(qū)域進(jìn)行多分辨率的特征點(diǎn)定位搜索，此后基于Gabor紋理特征執(zhí)行特征點(diǎn)精確定位，從而較為精確地定位人臉特征點(diǎn)。
[0006]本發(fā)明的目的在于提供一種通過(guò)網(wǎng)絡(luò)提供人臉特征點(diǎn)的檢測(cè)定位服務(wù)的方法和系統(tǒng)，通過(guò)從客戶機(jī)提供的人臉圖片檢測(cè)的人眼瞳孔位置進(jìn)行特征點(diǎn)初始化賦值，再對(duì)人臉區(qū)域進(jìn)行多分辨率的特征點(diǎn)定位搜索，此后基于Gabor紋理特征執(zhí)行特征點(diǎn)精確定位，并且將確定的特征點(diǎn)信息提供給客戶機(jī)，從而較為精確地定位人臉特征點(diǎn)。
[0007]根據(jù)本發(fā)明的一方面，提供一種人臉特征點(diǎn)的檢測(cè)定位方法，所述方法包括:對(duì)輸入的人臉圖像執(zhí)行人臉區(qū)域檢測(cè)；由檢測(cè)出的人臉區(qū)域檢測(cè)人眼瞳孔位置；根據(jù)檢測(cè)到的人眼瞳孔位置執(zhí)行特征點(diǎn)初始化賦值；基于初始化賦值的特征點(diǎn)以及人眼瞳孔位置，對(duì)檢測(cè)出的人臉區(qū)域執(zhí)行多分辨率的人臉特征點(diǎn)定位搜索；基于Gabor紋理特征執(zhí)行各特征點(diǎn)的精確定位處理，從而獲得最終的人臉特征點(diǎn)位置。
[0008]可根據(jù)類(lèi)Haar特征以及AdaBoost人臉檢測(cè)方法執(zhí)行人臉區(qū)域的檢測(cè)。
[0009]所述由檢測(cè)出的人臉區(qū)域檢測(cè)人眼瞳孔位置的步驟可包括:將左眼估
算區(qū)域和右眼估算區(qū)域分別確定為左上角坐標(biāo)分別為和
【權(quán)利要求】
1.一種人臉特征點(diǎn)的檢測(cè)定位方法，所述方法包括: 對(duì)輸入的人臉圖像執(zhí)行人臉區(qū)域檢測(cè)； 由檢測(cè)出的人臉區(qū)域檢測(cè)人眼瞳孔位置； 根據(jù)檢測(cè)到的人眼瞳孔位置執(zhí)行特征點(diǎn)初始化賦值； 基于初始化賦值的特征點(diǎn)以及人眼瞳孔位置，對(duì)檢測(cè)出的人臉區(qū)域執(zhí)行多分辨率的人臉特征點(diǎn)定位搜索； 基于Gabor紋理特征執(zhí)行各特征點(diǎn)的精確定位處理，從而獲得最終的人臉特征點(diǎn)位置。
2.如權(quán)利要求1所述的方法，其中，根據(jù)類(lèi)Haar特征以及AdaBoost人臉檢測(cè)方法執(zhí)行人臉區(qū)域的檢測(cè)。
3.如權(quán)利要求1所述的方法，其中，所述由檢測(cè)出的人臉區(qū)域檢測(cè)人眼瞳孔位置的步驟包括: 將左眼估算區(qū)域和右眼估算區(qū)域分別確定為左上角坐標(biāo)分別為
4.如權(quán)利要求3所述的方法，其中，所述根據(jù)檢測(cè)到的人眼瞳孔位置執(zhí)行特征點(diǎn)初始化賦值的步驟包括: 根據(jù)以下公式分別計(jì)算旋轉(zhuǎn)因子Θ、伸縮因子s以及平移因子X(jué)。:
5.如權(quán)利要求4所述的方法，其中，所述對(duì)檢測(cè)出的人臉區(qū)域執(zhí)行多分辨率的人臉特征點(diǎn)定位搜索的步驟包括: 根據(jù)金字塔圖像處理原理將檢測(cè)的人臉圖像進(jìn)行多分辨率子圖像分解，得到K層不同分辨率的子圖像，其中，從低到高每層子圖像的長(zhǎng)寬是上一層子圖像長(zhǎng)寬的一半， 將i取值自K到1，迭代變量j初始化為1，對(duì)與i相應(yīng)的層的子圖像迭代地執(zhí)行操作a)~d): a)將當(dāng)前點(diǎn)和其法線上兩邊候選點(diǎn)進(jìn)行Sobel梯度紋理與訓(xùn)練模型的馬氏距離的比較，取最小者替換當(dāng)前位置特征點(diǎn)， b)根據(jù)步驟a)得到的特征點(diǎn)，更新當(dāng)前人臉特征點(diǎn)的形狀參數(shù)作為新的當(dāng)前人臉形狀，然后以該人臉形狀取得平均臉形狀去重新計(jì)算并更新平移、伸縮、旋轉(zhuǎn)參數(shù)，以使當(dāng)前獲得的人臉模型形狀和待檢測(cè)人臉的形狀更為匹配， c)在當(dāng)前層，如果所有特征點(diǎn)與訓(xùn)練模型的平均馬氏距離小于一小常數(shù)值，或者特征點(diǎn)的平均更新移動(dòng)距離小于某一個(gè)小常數(shù)值，或者j > c*(K_i+l)，其中c為整數(shù)常量，則i=1-1，j = I，并返回 a),
d)j = j+1，返回 a)。
6.如權(quán)利要求5所述的方法，其中，所述基于Gabor紋理特征執(zhí)行各特征點(diǎn)的精確定位處理的步驟包括: 在經(jīng)過(guò)多分辨率的人臉特征點(diǎn)定位檢索得到的形狀基礎(chǔ)上，針對(duì)每個(gè)特征點(diǎn)執(zhí)行以下操作:選取所述特征點(diǎn)周?chē)鶱*N的方塊,計(jì)算所述方塊內(nèi)每一個(gè)點(diǎn)對(duì)該特征點(diǎn)的Gabor紋理特征值的相似度，選取相似度最高者為作為所述特征點(diǎn)對(duì)應(yīng)的最終特征點(diǎn)。
7.—種人臉特征點(diǎn)的檢測(cè)定位方法，所述方法包括在服務(wù)器端執(zhí)行以下步驟: 從客戶機(jī)接收人臉圖像； 對(duì)接收的人臉圖像執(zhí)行人臉區(qū)域檢測(cè)； 由檢測(cè)出的人臉區(qū)域檢測(cè)人眼瞳孔位置； 根據(jù)檢測(cè)到的人眼瞳孔位置執(zhí)行特征點(diǎn)初始化賦值； 基于初始化賦值的特征點(diǎn)以及人眼瞳孔位置，對(duì)檢測(cè)出的人臉區(qū)域執(zhí)行多分辨率的人臉特征點(diǎn)定位搜索； 基于Gabor紋理特征執(zhí)行各特征點(diǎn)的精確定位處理，從而獲得最終的人臉特征點(diǎn)位置； 將標(biāo)注有各個(gè)最終特征點(diǎn)位置的人臉圖像發(fā)送給所述客戶機(jī)。
8.—種人臉特征點(diǎn)的檢測(cè)定位系統(tǒng)，所述系統(tǒng)包括: 第一裝置，用于對(duì)輸入的人臉圖像執(zhí)行人臉區(qū)域檢測(cè)； 第二裝置，用于由檢測(cè)出的人臉區(qū)域檢測(cè)人眼瞳孔位置； 第三裝置，用于根據(jù)檢測(cè)到的人眼瞳孔位置執(zhí)行特征點(diǎn)初始化賦值； 第四裝置，用于基于初始化賦值的特征點(diǎn)以及人眼瞳孔位置，對(duì)檢測(cè)出的人臉區(qū)域執(zhí)行多分辨率的人臉特征點(diǎn)定位搜索； 第五裝置，用于基于Gabor紋理特征執(zhí)行各特征點(diǎn)的精確定位處理，從而獲得最終的人臉特征點(diǎn)位置。
9.如權(quán)利要求8所述的系統(tǒng)，其中，第一裝置根據(jù)類(lèi)Haar特征以及AdaBoost人臉檢測(cè)方法執(zhí)行人臉區(qū)域的檢測(cè)。
10.如權(quán)利要求8所述的系統(tǒng)，其中，第二裝置在所述由檢測(cè)出的人臉區(qū)域檢測(cè)人眼瞳孔位置時(shí)，將左眼估算區(qū)域和右眼估算區(qū)域分別確定為左上角坐標(biāo)分別為
11.如權(quán)利要求10所述的系統(tǒng)，其中，第三裝置在根據(jù)檢測(cè)到的人眼瞳孔位置執(zhí)行特征點(diǎn)初始化賦值時(shí)， 根據(jù)以下公式分別計(jì)算旋轉(zhuǎn)因子Θ、伸縮因子s以及平移因子X(jué)。:
12.如權(quán)利要求11所述的系統(tǒng)，其中，第四裝置在對(duì)檢測(cè)出的人臉區(qū)域執(zhí)行多分辨率的人臉特征點(diǎn)定位搜索時(shí)， 根據(jù)金字塔圖像處理原理將檢測(cè)的人臉圖像進(jìn)行多分辨率子圖像分解，得到K層不同分辨率的子圖像，其中，從低到高每層子圖像的長(zhǎng)寬是上一層子圖像長(zhǎng)寬的一半， 將i取值自K到1，迭代變量j初始化為1，對(duì)與i相應(yīng)的層的子圖像迭代地執(zhí)行操作a)~d): a)將當(dāng)前點(diǎn)和其法線上兩邊候選點(diǎn)進(jìn)行Sobel梯度紋理與訓(xùn)練模型的馬氏距離的比較，取最小者替換當(dāng)前位置特征點(diǎn)， b)根據(jù)步驟a)得到的特征點(diǎn)，更新當(dāng)前人臉特征點(diǎn)的形狀參數(shù)作為新的當(dāng)前人臉形狀，然后以該人臉形狀取得平均臉形狀去重新計(jì)算并更新平移、伸縮、旋轉(zhuǎn)參數(shù)，以使當(dāng)前獲得的人臉模型形狀和待檢測(cè)人臉的形狀更為匹配， c)在當(dāng)前層，如果所有特征點(diǎn)與訓(xùn)練模型的平均馬氏距離小于一小常數(shù)值，或者特征點(diǎn)的平均更新移動(dòng)距離小于某一個(gè)小常數(shù)值，或者j > c*(K_i+l)，其中c為整數(shù)常量，則i=1-1，j = I，并返回 a),
d)j = j+1，返回 a)。
13.如權(quán)利要求12所述的系統(tǒng)，其中，第五裝置在基于Gabor紋理特征執(zhí)行各特征點(diǎn)的精確定位處理時(shí)， 在經(jīng)過(guò)多分辨率的人臉特征點(diǎn)定位檢索得到的形狀基礎(chǔ)上，針對(duì)每個(gè)特征點(diǎn)執(zhí)行以下操作:選取所述特征點(diǎn)周?chē)鶱*N的方塊,計(jì)算所述方塊內(nèi)每一個(gè)點(diǎn)對(duì)該特征點(diǎn)的Gabor紋理特征值的相似度，選取相似度最高者為作為所述特征點(diǎn)對(duì)應(yīng)的最終特征點(diǎn)。
14.一種在服務(wù)器端執(zhí)行人臉特征點(diǎn)的檢測(cè)定位的系統(tǒng)，所述系統(tǒng)包括: 第一裝置，用于從客戶機(jī)接收人臉圖像； 第二裝置，用于對(duì)接收的人臉圖像執(zhí)行人臉區(qū)域檢測(cè)； 第三裝置，用于由檢測(cè)出的人臉區(qū)域檢測(cè)人眼瞳孔位置； 第四裝置，用于根據(jù)檢測(cè)到的人眼瞳孔位置執(zhí)行特征點(diǎn)初始化賦值； 第五裝置，用于基于初始化賦值的特征點(diǎn)以及人眼瞳孔位置，對(duì)檢測(cè)出的人臉區(qū)域執(zhí)行多分辨率的人臉特征點(diǎn)定位搜索； 第六裝置，用于基于Gabor紋理特征執(zhí)行各特征點(diǎn)的精確定位處理，從而獲得最終的人臉特征點(diǎn)位置； 第七裝置，用于將標(biāo)注有各個(gè)最終特征點(diǎn)位置的人臉圖像發(fā)送給所述客戶機(jī)。
【文檔編號(hào)】G06K9/00GK103824087SQ201210464085
【公開(kāi)日】2014年5月28日 申請(qǐng)日期:2012年11月16日 優(yōu)先權(quán)日:2012年11月16日
【發(fā)明者】金連文, 葉植超, 毛慧蕓, 梁凌宇 申請(qǐng)人:廣州三星通信技術(shù)研究有限公司, 華南理工大學(xué), 三星電子株式會(huì)社