本發明涉及模式識別、數字圖像處理技術領域,特別涉及一種人臉識別的方法及裝置。
背景技術:
人臉識別,是基于人的臉部特征信息進行身份識別的一種生物識別技術。
目前典型的人臉識別系統的處理過程為:獲取待處理圖像中的人臉位置,并對獲取到的人臉進行光照處理、幾何歸一化等操作處理;從處理后的圖像中通過多種不同的特征提取方式來提取多種不同類型的人臉特征向量,然后分別對提取到的多種不同類型的人臉特征向量進行降維;分別計算降維后多種不同類型的人臉特征向量與待比較的人臉特征向量之間的相似度,然后對得到的多種不同類型對應的相似度進行融合。
現有技術在特征提取階段通過將多種不同的特征提取方式按照并行的方式來提取特征,這種并行的提取方式容易帶來冗余信息。
技術實現要素:
本發明實施例提供一種人臉識別的方法及裝置,用以解決現有技術中存在的在特征提取階段通過將多種不同的特征提取方式按照并行的方式來提取特征,這種并行的提取方式容易帶來冗余信息的問題。
第一方面,本發明實施例提供了一種人臉識別的方法,包括:
獲取待檢測圖像中的人臉圖像;
對所述人臉圖像進行加窗傅立葉Gabor函數變換得到Gabor特征圖,并通過局部二進制(英文:Local Binary Pattern,簡稱:LBP)算法對得到的所述Gabor特征圖進行處理得到第一LBP直方圖特征;以及通過局部相位量化(英文:Local Phase Quantization,簡稱:LPQ)對所述人臉圖像進行處理,得到第一LPQ直方圖特征;
將得到的所述第一LBP直方圖特征以及所述第一LPQ直方圖特征按照第一預定順序融合作為識別得到的人臉特征。
本發明將Gabor特征提取方式與LBP特征提取方式按照串行的組合方式獲取Gabor-LBP特征;再將Gabor-LBP特征提取方式與LPQ特征提取方式按照并行的組合方式獲取最終的人臉特征,不僅有效降低了特征間的冗余信息同時充分利用時域、頻率的互補保證信息的完整性。
結合第一方面,在第一方面的第一種可能的實施方式中,在獲取待檢測圖像中的人臉圖像之后,在對所述人臉圖像進行Gabor函數變換得到Gabor特征圖之前,包括:
構造所述人臉圖像的圖像金字塔;
對所述人臉圖像進行Gabor函數變換得到Gabor特征圖,包括:
按照預設規則從所述圖像金字塔包括的P個尺度的金字塔圖像中選擇一個圖像進行Gabor變換得到Gabor特征圖。
基于金字塔圖像上的人臉關鍵點進行特征提取,可以獲得人臉關鍵位置的全局與細節信息,具備更強的鑒別能力,從而提升人臉識別的準確率,有效降低人臉姿態等因素導致的位置、尺度變化帶來的不利影響。
結合第一方面,在第一方面的第二種可能的實施方式中,在通過LPQ對所述人臉圖像進行處理,得到第一LPQ直方圖特征時,包括:
針對圖像金字塔中包括的P個尺度的金字塔圖像分別通過LPQ進行處理得到P個尺度的第二LPQ直方圖特征,并將P個尺度的LPQ直方圖特征按照第三預定順序融合得到所述第一LPQ直方圖特征;其中,P為大于等于2的正整數。
結合第一方面,在第一方面的第三種可能的實施方式中,在對所述人臉圖像進行Gabor函數變換得到Gabor特征圖,并通過LBP算法對得到的所述Gabor特征圖進行處理得到LBP直方圖特征時,包括:
對所述人臉圖像進行Gabor函數變換得到M個尺度的Gabor特征圖;并
通過LBP算法對所述M個尺度的Gabor特征圖分別進行處理得到M個尺度的第二LBP直方圖特征,將所述M個尺度的第二LBP直方圖特征按照第二預定順序融合得到第一LBP直方圖特征;其中,M為大于等于2的正整數。
結合第一方面,在第一方面的第四種可能的實施方式中,在將得到的所述LBP直方圖特征以及所述LPQ直方圖特征按照第一預定順序融合作為識別得到的人臉特征之后,還包括:
對所述識別得到的人臉特征進行降維處理,得到降維后的人臉特征向量。
結合第一方面的第四種可能的實施方式,在第一方面的第五種可能的實施方式中,在對所述識別得到的人臉特征進行降維處理,得到降維后的人臉特征向量時,包括:
通過主元分析(英文:Principal Component Analysis,簡稱:PCA)算法將所述識別得到人臉特征進行降維處理,并通過線性判別式分析(英文:Linear Discriminant Analysis,簡稱:LDA)算法對降維處理后得到的人臉特征進行處理,得到降維后的人臉特征向量。
通過對融合后的人臉特征進行降維處理,而不是對通過每一種特征提取算法提取得到的特征進行降維處理,降低了存儲與計算資源的開銷。
第二方面,本發明實施例提供了一種人臉圖像匹配方法,包括:
采用第一方面和第一方面的第一種可能的實施方式至第五種可能的實施方式中的任一種可能的實施方式所述的人臉識別方法分別針對兩個待匹配圖像進行處理,得到兩個待匹配圖像中每個待匹配圖像的人臉特征;
確定兩個待匹配圖像的人臉特征的相似度;
基于所述相似度獲取匹配結果。
第三方面,本發明實施例提供了一種人臉識別的裝置,包括:
獲取模塊,用于獲取待檢測圖像中的人臉圖像;
第一特征提取模塊,用于對所述獲取模塊獲取到的所述人臉圖像進行加窗傅立葉Gabor函數變換得到Gabor特征圖,并通過LBP算法對得到的所述Gabor特征圖進行處理得到第一LBP直方圖特征;
第二特征提取模塊,用于通過LPQ對所述獲取模塊獲取到的所述人臉圖像進行處理,得到第一LPQ直方圖特征;
特征融合模塊,用于將所述第一特征提取模塊得到的所述第一LBP直方圖特征以及所述第二特征提取模塊得到的所述第一LPQ直方圖特征按照第一預定順序融合作為識別得到的人臉特征。
結合第三方面,在第三方面的第一種可能的實施方式中,所述人臉識別裝置還包括圖像處理模塊,用于在所述獲取模塊獲取待檢測圖像中的人臉圖像之后,在所述第一特征提取模塊對所述人臉圖像進行Gabor函數變換得到Gabor特征圖之前,構造所述人臉圖像的圖像金字塔;
所述第一特征提取模塊,在對所述人臉圖像進行Gabor函數變換得到Gabor特征圖時,具體用于按照預設規則從所述圖像金字塔包括的P個尺度的金字塔圖像中選擇一個圖像進行Gabor變換得到Gabor特征圖。
結合第三方面,在第三方面的第二種可能的實施方式中,所述第二特征提取模塊,在通過LPQ對所述獲取模塊獲取到的所述人臉圖像進行處理,得到第一LPQ直方圖特征時,具體用于針對圖像金字塔中包括的P個尺度的金字塔圖像分別通過LPQ進行處理得到P個尺度的第二LPQ直方圖特征,并將P個尺度的LPQ直方圖特征按照第三預定順序融合得到所述第一LPQ直方圖特征;其中,P為大于等于2的正整數。
結合第三方面,在第三方面的第三種可能的實施方式中,所述第一特征提取模塊,在對所述獲取模塊獲取到的所述人臉圖像進行Gabor函數變換得到Gabor特征圖,并通過LBP算法對得到的所述Gabor特征圖進行處理得到LBP直方圖特征時,具體用于對所述獲取模塊獲取到的所述人臉圖像進行Gabor函數變換得到M個尺度的Gabor特征圖;并
通過LBP算法對所述M個尺度的Gabor特征圖分別進行處理得到M個尺度的第二LBP直方圖特征,將所述M個尺度的第二LBP直方圖特征按照第二預定順序融合得到第一LBP直方圖特征;其中,M為大于等于2的正整數。
結合第三方面,在第三方面的第四種可能的實施方式中,所述裝置還包括特征處理模塊,用于對所述特征融合模塊融合得到的人臉特征進行降維處理,得到降維后的人臉特征向量。
結合第三方面的第四種可能的實施方式,在第三方面的第五種可能的實施方式中,所述特征處理模塊,在對所述特征融合模塊融合得到的人臉特征進行降維處理,得到降維后的人臉特征向量時,具體用于通過PCA算法將所述特征融合模塊融合得到人臉特征進行降維處理,并通過LDA算法對降維處理后得到的人臉特征進行處理,得到降維后的人臉特征向量。
第四方面,本發明實施例提供了一種人臉圖像匹配裝置,包括:
采用第三方面和第三方面的第一種可能的實施方式至第五種可能的實施方式中的任一種可能的實施方式所述的人臉識別裝置,所述人臉圖像匹配裝置還包括確定模塊以及匹配模塊;
所述人臉識別裝置,用于分別針對兩個待匹配圖像進行處理,得到兩個待匹配圖像中每個待匹配圖像的人臉特征;
所述確定模塊,用于確定兩個待匹配圖像的人臉特征的相似度;
所述匹配模塊,用于基于所述相似度獲取匹配結果。
本發明有益效果如下:
本發明實施例通過將Gabor特征提取方式與LBP特征提取方式按照串行的組合方式獲取Gabor-LBP特征,并將Gabor-LBP特征提取方式與LPQ特征提取方式按照并行的組合方式獲取最終的人臉特征,相比于現有技術中在特征提取階段通過將多種不同的特征提取方式按照并行的方式來提取特征的方式,Gabor-LBP、LPQ串行-并行融合的人臉識別方式,在充分利用互補信息的同時降低了冗余信息。
附圖說明
圖1為本發明實施例提供的一種人臉識別方法的流程圖;
圖2為本發明實施例提供的經過人臉檢測后的人臉圖像示意圖;
圖3為本發明實施例提供的經過人臉特征點定位人臉定位特征示意圖;
圖4為本發明實施例提供的人臉歸一化后的人臉圖像示意圖;
圖5為本發明實施例提供的4尺度圖像金字塔;
圖6為本發明實施例提供的5尺度8方向的Gabor特征圖;
圖7為本發明實施例提供的LBP特征計算方式示意圖;
圖8為本發明實施例提供的基于特征點的LBP直方圖特征圖;
圖9為本發明實施例提供的基于圖像s1的LPQ直方圖特征圖;
圖10為本發明實施例提供的一種人臉識別裝置;
圖11為本發明實施例提供的一種人臉圖像匹配裝置。
具體實施方式
為了使本發明的目的、技術方案和優點更加清楚,下面將結合附圖對本發明作進一步地詳細描述,顯然,所描述的實施例僅僅是本發明一部分實施例,而不是全部的實施例。基于本發明中的實施例,本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其它實施例,都屬于本發明保護的范圍。
本發明實施例提供一種人臉識別的方法及裝置,用以解決現有技術中存在的在特征提取階段通過將多種不同的特征提取方式按照并行的方式來提取特征,這種并行的提取方式容易帶來冗余信息的問題。其中,方法和裝置是基于同一發明構思的,由于方法及裝置解決問題的原理相似,因此裝置與方法的實施可以相互參見,重復之處不再贅述。
下面結合附圖對本發明優選的實施方式進行詳細說明。
參閱圖1所示,為本發明實施例提供的人臉識別的方法示意圖,人臉識別的方法可以通過電子設備實現,比如終端、系統、攝像設備等。所述方法具體可以包括如下:
S101:獲取待檢測圖像中的人臉圖像。
可選地,S101獲取待檢測圖像中的人臉圖像,可以通過如下方式實現:
A1,通過人臉檢測算法,獲取人臉的位置。例如圖2所示的白色矩形框的內部區域。
具體的,人臉檢測算法可以是基于一種迭代算法AdaBoost算法的人臉檢測算法、基于卷積神經網絡(Convolutional Neural Network,CNN)的人臉檢測算法、基于支持向量機(Support Vector Machine,SVM)的人臉檢測算法等。
A2,在獲取的人臉的位置中,通過人臉特征點定位算法,獲得人臉N個特征點的位置。比如眼角、鼻尖、嘴角等。例如,圖3所示為15個人臉特征點,記為p1~p15。其中,N為大于等于2的正整數。
A3,根據人臉特征點的位置,將人臉歸一化到固定的大小與位置。例如:圖4所示的經過歸一化處理后的人臉圖像。
S102:對所述人臉圖像進行加窗傅立葉Gabor函數變換得到Gabor特征圖,并通過局部二進制(英文:Local Binary Pattern,簡稱:LBP)算法對得到的所述Gabor特征圖進行處理得到第一LBP直方圖特征;以及通過局部相位量化(英文:Local Phase Quantization,簡稱:LPQ)對所述人臉圖像進行處理,得到第一LPQ直方圖特征。
其中,Gabor變換屬于加窗傅立葉變換,Gabor函數可以在頻域不同尺度、不同方向上提取相關的特征。
可選地,對所述人臉圖像進行Gabor函數變換得到Gabor特征圖,并通過LBP算法對得到的所述Gabor特征圖進行處理得到LBP直方圖特征,可以通過如下方式實現:
B1,對所述人臉圖像進行Gabor函數變換得到M個尺度Gabor特征圖。其中,M為大于等于2的正整數。
B2,通過LBP算法對所述M個尺度的Gabor特征圖分別進行處理得到M個尺度的第二LBP直方圖特征,將所述M個尺度的第二LBP直方圖特征按照第二預定順序融合得到第一LBP直方圖特征。
S103,將得到的所述第一LBP直方圖特征以及所述第一LPQ直方圖特征按照第一預定順序融合作為識別得到的人臉特征。
在一種可能實現方式中,在將得到的所述第一LBP直方圖特征以及所述第一LPQ直方圖特征按照第一預定順序融合作為識別得到的人臉特征時,可以將第一LBP直方圖特征以及第一LPQ直方圖特征按照如下順序連接作為識別得到的人臉特征:
第一種實現方式:
flow-level=[Gabor-LBPHS LPQHS] (1.1)
第二種實現方式:
flow-level=[LPQHS Gabor-LBPHS] (2.1)
其中,flow-level表示識別得到的人臉特征,Gabor-LBPHS表示第一LBP直方圖特征,LPQHS表示第一LPQ直方圖特征。
可選的,在將得到的所述LBP直方圖特征以及所述LPQ直方圖特征按照第一預定順序融合作為識別得到的人臉特征之后,所述方法還可以包括:
對所述識別得到的人臉特征進行降維處理,得到降維后的人臉特征向量。
在對所述識別得到的人臉特征進行降維處理時,具體可以通過主元分析(英文:Principal Component Analysis,簡稱:PCA)將所述識別得到人臉特征進行降維處理,并通過線性判別式分析(英文:Linear Discriminant Analysis,簡稱:LDA)算法對降維處理后得到的人臉特征進行處理,得到降維后的人臉特征向量。通過對融合后的人臉特征進行降維處理,而不是對通過每一種特征提取算法提取得到的特征進行降維處理,降低了存儲與計算資源的開銷。
具體的,首先通過PCA算法將所述識別得到人臉特征flow-level進行降維處理,得到pca特征:
其中,fpca表示PCA特征,Wpca表示PCA投影矩陣。
其次,通過LDA算法對fpca進行投影,使得投影之后的特征類間類內方差比最大化:
其中,Wlda為LDA投影矩陣,flda為最終的人臉特征向量。
可選地,在步驟S101獲取待檢測圖像中的人臉圖像之后,步驟S102對所述人臉圖像進行Gabor函數變換得到Gabor特征圖之前,構造所述人臉圖像的圖像金字塔,然后對所述人臉圖像進行Gabor函數變換得到Gabor特征圖時,可以通過如下方式實現:
按照預設規則從所述圖像金字塔包括的P個尺度的金字塔圖像中選擇一個圖像進行Gabor變換得到Gabor特征圖。
具體的,構造所述人臉圖像的圖像金字塔,包括:
通過圖像縮放算法,將人臉圖像縮放到不同的尺度大小,得到P個尺度的圖像金字塔。其中,P為大于等于2的正整數。例如,將歸一化處理后的人臉圖像縮放到4個尺寸,得到如圖5所示的4尺度圖像金字塔,圖像金字塔中包括4個金字塔圖像,分別標記為s1~s4。
可選的,對所述人臉圖像進行Gabor函數變換得到Gabor特征圖,包括:
按照預設規則從所述圖像金字塔包括的P個尺度的金字塔圖像中選擇一個圖像進行Gabor變換得到Gabor特征圖。
具體的,按照預設規則從所述圖像金字塔包括的P個尺度的金字塔圖像中選擇一個圖像進行Gabor變換得到Gabor特征圖,包括:
按照預設規則從圖像金字塔包括的P個尺度的金字塔圖像中選擇一個圖像進行Gabor函數變換,得到M個尺度K個方向的Gabor特征圖。Gabor特征本身包含多尺度濾波器。其中,K為大于等于2的正整數。例如,在Gabor特征本身所包含多尺度濾波器中設置M取值為5,K取值為8,得到5尺度8方向的Gabor幅值特征如圖6所示。
此處所描述的優選實施例僅用于說明和解釋本發明,并不用于限定本發明,在實際應用中,還可以選擇多個圖像乃至所有圖像進行Gabor函數變換,在此不再進行一一詳述。
其中,Gabor變換的計算方式如下:
其中,表示濾波器的中心頻率,表示濾波器的方向,表示圖像中的像素點坐標向量,σ表示方差。式中用來補償能量譜衰減,表示約束平面波的高斯包絡函數,表示復數平面波,表示直流成分,表示復數平面波減去直流成分,使得二維Gabor變換不受灰度絕對數值的影響。
可選的,通過LBP算法對得到的所述Gabor特征圖進行處理得到第一LBP直方圖特征,可以通過如下方式實現:
通過LBP算法對M個尺度的Gabor特征圖分別進行處理得到M個尺度的第二LBP直方圖特征。
其中,LBP是一種常用的紋理特征,通過對比中心像素與其周圍像素的大小,獲得2值編碼并串聯所有的編碼值,得到LBP特征。提取LBP特征的方式為:對圖像中的每一像素,與設定半徑的鄰域像素灰度進行對比,根據大小進行0-1編碼,大于等于中心點像素灰度值的,則標記為1,小于的則標記為0。最后將2進制編碼轉換為10進制,得到LBP值。
例如,如圖7所示為半徑為1的8鄰域LBP特征描述子。方格中像素點灰度值經閾值化處理得到中心像素點周圍的二進制數10001101,將其轉化為十進制為141,即為LBP值。
需要說明的是,二進制數110001101的順序并無硬性要求,只要在同一處理中保持相同的順序即可。
具體的,通過LBP算法對M個尺度的Gabor特征圖分別進行處理得到M個尺度的第二LBP直方圖特征。包括:
在第m尺度的LBP特征圖上,對于第n1個特征點,取半徑為r1的矩形區域,統計區域內的LBP直方圖特征(英文:Local Binary Pattern Histograms,簡稱:LBPHS),記為其中,m={1,2,3……,M-1,M};n1={1,2,3……,N-1,N}。如圖8所示為基于特征點的LBP直方特征圖。
LBP直方圖的計算方式為:
其中LBP(x,y)表示LBP特征圖中(x,y)處的LBP特征值。
可選的,所述M個尺度的第二LBP直方圖特征按照第二預定順序融合得到第一LBP直方圖特征,即所有M個尺度的所有N個特征點的特征按照第二預定順序連接組成第一LBP直方圖特征,第二預定順序為:
第二預定順序還可以為:
或者,
或者,
需要說明的是,本發明實施例中的第二預定順序不限定為以上4種。還可以是其它順序,本發明實施例中對第二預定順序不作具體限定。
可選的,在構造所述人臉圖像的圖像金字塔基礎上,所述通過LPQ對所述人臉圖像進行處理,得到第一LPQ直方圖特征,可以通過如下方式實現:
針對圖像金字塔中包括的P個尺度的金字塔圖像分別通過LPQ進行處理得到P個尺度的第二LPQ直方圖特征,并將P個尺度的LPQ直方圖特征按照第三預定順序融合得到所述第一LPQ直方圖特征。
基于金字塔圖像上的人臉關鍵點進行特征提取,可以獲得人臉關鍵位置的全局與細節信息,具備更強的鑒別能力,從而提升人臉識別的準確率,有效降低人臉姿態等因素導致的位置、尺度變化帶來的不利影響。
其中,基于傅里葉相位譜的模糊不變特性,LPQ特征對于圖像模糊更加穩定。LPQ提取圖像二維離散傅里葉變換(英文:2-DIMENSIONAL-Discrete Fourier Transform,簡稱:2D-DFT)的局部相位信息的計算方式為:
其中f(x)表示一幅圖像,x代表點坐標,Nx表示x的鄰域Q*Q矩形區域,y代表Nx中的點坐標,u表示頻域圖像對應的頻率,F(u,x)表示圖像f(x)的每一個位置x處的Q*Q矩形區域Nx的短時傅里葉變換(英文:short-term Fourier transform,簡稱:STFT),wu表示2D-DFT在頻率u處的基向量,fx表示包含了Nx中所有的Q2個矩形區域的向量。其中,Q為選定的矩形邊長值。
在第p尺度的LPQ特征圖上,對于第n2個特征點,取半徑為r2的的矩形區域,統計區域內的LPQ直方圖特征(英文:Local Phase Quantization Histograms,簡稱:LPQHS),記為其中,p={1,2,3……,M-1,M};n2={1,2,3……,N-1,N}。例如,針對圖5中s1~s4的每一幅圖像,分別提取LPQ特征,其中圖像s1的LPQ特征圖如圖9所示。
LPQ直方圖特征的計算方式為:
其中LPQ(x,y)表示LPQ特征圖中(x,y)處的LPQ特征值。
可選的,將P個尺度的LPQ直方圖特征按照第三預定順序融合得到所述第一LPQ直方圖特征,即將所有P個尺度的所有N個特征點處獲取的特征按照第三預定順序連接組成第一LPQ直方圖特征,第三預定順序為:
第三預定順序還可以為:
或者,
或者,
需要說明的是,本發明實施例中的第三預定順序不限定為以上4種。還可以是其它順序,本發明實施例中對第三預定順序不作具體限定。
本發明實施例還提供了一種人臉圖像匹配方法,該方法包括:
C1,通過上述圖1對應的實施例提供的人臉識別方法分別針對兩個待匹配圖像進行處理,得到兩個待匹配圖像中每個待匹配圖像的人臉特征f1、f2。
C2,確定兩個待匹配圖像的人臉特征f1、f2的相似度;
可選的,一種計算相似度的實現方式為采用余弦夾角計算相似度:
sim(f1,f2)表示f1、f2之間的相似度。
C3,基于所述相似度獲取匹配結果。
當相似度大于預定閾值時,則兩個待匹配圖像匹配成功,當相似度小于等于預定閾值時,則兩個待匹配圖像匹配失敗。
此處所描述的優選實施例僅用于說明和解釋本發明,并不用于限定本發明,在實際應用中,還可以應用其它方式計算相似度,在此不再進行一一詳述。并且在不沖突的情況下,本申請中的實施例及實施例中的特征可以相互組合。
本發明實施例基于金字塔圖像上的人臉關鍵點進行特征提取;將Gabor特征提取方式與LBP特征提取方式按照串行的組合方式獲取Gabor-LBP特征;再將Gabor-LBP特征提取方式與LPQ特征提取方式按照并行的組合方式獲取最終的人臉特征;并直接對最終的人臉特征進行降維與匹配。相比于現有技術在進行人臉特征提取階段,將人臉歸一化到固定的大小,然后通過將多種不同的特征提取方式按照并行的方式來提取特征,最后分別對提取到的多種不同類型的人臉特征向量進行降維和匹配。基于金字塔圖像上的人臉關鍵點進行特征提取可以獲得人臉關鍵位置的全局與細節信息,具備更強的鑒別能力,從而提升人臉識別的準確率,有效降低人臉姿態等因素導致的位置、尺度變化帶來的不利影響,而且將Gabor特征與LBP特征按照串行的組合方式獲取Gabor-LBP特征并將Gabor-LBP特征提取方式與LPQ特征提取方式按照并行的組合方式獲取最終的人臉特征,不僅有效降低了特征間的冗余信息同時充分利用時域、頻率的互補保證信息的完整性,最后直接對融合后的特征的進行降維與匹配,而不是對每種特征單獨的進行降維、匹配,可以大大降低存儲與計算資源的開銷。
基于與圖1對應的方法實施例的同一發明構思,本發明實施例提供一種人臉識別裝置10,該裝置的結構如圖10所示,包括獲取模塊11、第一特征提取模塊12、第二特征提取模塊13和特征融合模塊14,其中:
獲取模塊11,用于獲取待檢測圖像中的人臉圖像。
第一特征提取模塊12,用于對所述獲取模塊獲取到的所述人臉圖像進行Gabor函數變換得到Gabor特征圖,并通過LBP算法對得到的所述Gabor特征圖進行處理得到第一LBP直方圖特征。
第二特征提取模塊13,用于通過LPQ對所述獲取模塊獲取到的所述人臉圖像進行處理,得到第一LPQ直方圖特征。
特征融合模塊14,用于將所述第一特征提取模塊得到的所述第一LBP直方圖特征以及所述第二特征提取模塊得到的所述第一LPQ直方圖特征按照第一預定順序融合作為識別得到的人臉特征。
具體的,獲取待檢測圖像中的人臉圖像可以通過人臉檢測算法,具體的可以是基于一種迭代算法AdaBoost算法的人臉檢測算法、基于CNN的人臉檢測算法、基于SVM的人臉檢測算法等。
可選的,上述人臉識別裝置10還包括圖像處理模塊15,用于在所述獲取模塊11獲取待檢測圖像中的人臉圖像之后,在所述第一特征提取模塊12對所述人臉圖像進行Gabor函數變換得到Gabor特征圖之前,構造所述人臉圖像的圖像金字塔。
具體的,上述第一特征提取模塊12,在對所述人臉圖像進行Gabor函數變換得到Gabor特征圖時,具體用于按照預設規則從所述圖像金字塔包括的P個尺度的金字塔圖像中選擇一個圖像進行Gabor變換得到Gabor特征圖。
具體地,上述第二特征提取模塊13,在通過LPQ對所述人臉圖像進行處理,得到第一LPQ直方圖特征時,具體用于針對圖像金字塔中包括的P個尺度的金字塔圖像分別通過LPQ進行處理得到P個尺度的第二LPQ直方圖特征,并將P個尺度的LPQ直方圖特征按照第三預定順序融合得到所述第一LPQ直方圖特征。其中,P為大于等于2的正整數。
具體地,上述第一特征提取模塊12,在對所述人臉圖像進行Gabor函數變換得到Gabor特征圖,并通過LBP算法對得到的所述Gabor特征圖進行處理得到LBP直方圖特征時,具體用于對所述人臉圖像進行Gabor函數變換得到M個尺度的Gabor特征圖。
并通過LBP算法對所述M個尺度的Gabor特征圖分別進行處理得到M個尺度的第二LBP直方圖特征,將所述M個尺度的第二LBP直方圖特征按照第二預定順序融合得到第一LBP直方圖特征;其中,M為大于等于2的正整數。
可選的,上述人臉識別裝置10還包括特征處理模塊16,用于對所述特征融合模塊融合得到的人臉特征進行降維處理,得到降維后的人臉特征向量。
具體地,上述特征處理模塊16,在對所述特征融合模塊融合得到的人臉特征進行降維處理,得到降維后的人臉特征向量時,具體用于通過PCA算法將所述識別得到的人臉特征進行降維處理,并通過LDA算法對降維處理后得到的人臉特征進行處理,得到降維后的人臉特征向量。
此處所描述的優選實施例僅用于說明和解釋本發明,并不用于限定本發明,并且在不沖突的情況下,本申請中的實施例及實施例中的功能模塊可以相互組合。
本發明實施例中圖像處理模塊基于金字塔圖像上的人臉關鍵點進行特征提取;第一特征提取模塊將Gabor特征提取方式與LBP特征提取方式按照串行的組合方式獲取Gabor-LBP特征;特征融合模塊再將第一特征提取模塊采用的Gabor-LBP特征提取方式與第二特征提取模塊采用的LPQ特征提取方式按照并行的組合方式獲取最終的人臉特征;并特征處理模塊直接對最終的人臉特征進行降維與匹配。相比于現有技術在進行人臉特征提取階段,將人臉歸一化到固定的大小,然后通過將多種不同的特征提取方式按照并行的方式來提取特征,最后分別對提取到的多種不同類型的人臉特征向量進行降維和匹配。圖像處理模塊基于金字塔圖像上的人臉關鍵點進行特征提取可以獲得人臉關鍵位置的全局與細節信息,具備更強的鑒別能力,從而提升人臉識別的準確率,有效降低人臉姿態等因素導致的位置、尺度變化帶來的不利影響,而且;第一特征提取模塊將Gabor特征與LBP特征按照串行的組合方式獲取Gabor-LBP特征并且特征融合模塊將第一特征提取模塊采用的Gabor-LBP特征提取方式與第二特征提取模塊采用的LPQ特征提取方式按照并行的組合方式獲取最終的人臉特征,不僅有效降低了特征間的冗余信息同時充分利用時域、頻率的互補保證信息的完整性,最后特征處理模塊直接對融合后的特征的進行降維與匹配,而不是對每種特征單獨的進行降維、匹配,可以大大降低存儲與計算資源的開銷。
本申請實施例中對模塊的劃分是示意性的,僅僅為一種邏輯功能劃分,實際實現時可以有另外的劃分方式,另外,在本申請各個實施例中的各功能模塊可以集成在一個處理器中,也可以是單獨物理存在,也可以兩個或兩個以上模塊集成在一個模塊中。上述集成的模塊既可以采用硬件的形式實現,也可以采用軟件功能模塊的形式實現。
其中,集成的模塊既可以采用硬件的形式實現時,獲取模塊11對應的功能可以通過通信接口實現,圖像處理模塊15、第一特征提取模塊12、第二特征提取模塊13、特征融合模塊14和特征處理模塊16對應的功能可以通過處理器實現。所述裝置還可以包括存儲器。
所述存儲器,用于存儲所述處理器執行的程序代碼。
處理器,可以是一個中央處理單元(英文:central processing unit,簡稱CPU),或者為數字處理單元等等。
本發明實施例中通信接口、處理器和存儲器之間可以通過總線連接。所述總線可以分為地址總線、數據總線、控制總線等。
此處所描述的優選實施例僅用于說明和解釋本發明,并不用于限定本發明,本發明實施例中不限定上述通信接口、處理器和存儲器之間的具體連接介質。
存儲器可以是易失性存儲器(英文:volatile memory),例如隨機存取存儲器(英文:random-access memory,縮寫:RAM);存儲器也可以是非易失性存儲器(英文:non-volatile memory),例如只讀存儲器(英文:read-only memory,縮寫:ROM),快閃存儲器(英文:flash memory),硬盤(英文:hard disk drive,縮寫:HDD)或固態硬盤(英文:solid-state drive,縮寫:SSD)、或者存儲器603是能夠用于攜帶或存儲具有指令或數據結構形式的期望的程序代碼并能夠由計算機存取的任何其他介質,但不限于此。存儲器可以是上述存儲器的組合。
本發明實施例還提供一種人臉圖像匹配裝置20,如圖11所示,包括上述人臉識別裝置10,還包括確定模塊21以及匹配模塊22,其中:
上述人臉識別裝置10,用于分別針對兩個待匹配圖像進行處理,得到兩個待匹配圖像中每個待匹配圖像的人臉特征;
上述確定模塊21,用于確定兩個待匹配圖像的人臉特征的相似度;
上述匹配模塊22,用于基于所述相似度獲取匹配結果。
本發明實施例中對模塊的劃分是示意性的,僅僅為一種邏輯功能劃分,實際實現時可以有另外的劃分方式,另外,在本發明各個實施例中的各功能模塊可以集成在一個處理器中,也可以是單獨物理存在,也可以兩個或兩個以上模塊集成在一個模塊中。上述集成的模塊既可以采用硬件的形式實現,也可以采用軟件功能模塊的形式實現。
其中,集成的模塊既可以采用硬件的形式實現時,確定模塊21以及匹配模塊22對應的功能可以通過處理器實現。所述裝置還可以包括存儲器。
所述存儲器,用于存儲所述處理器執行的程序代碼。
處理器,可以是一個CPU,或者為數字處理單元等等。
可選的,本發明實施例中人臉識別裝置10、處理器和存儲器之間可以通過總線連接。所述總線可以分為地址總線、數據總線、控制總線等。
此處所描述的優選實施例僅用于說明和解釋本發明,并不用于限定本發明,本申請實施例中不限定上述人臉識別裝置10、處理器以及存儲器之間的具體連接介質。
存儲器可以是volatile memory,例如RAM;存儲器也可以是non-volatile memory,例如ROM,flash memory,HDD或SSD、或者存儲器是能夠用于攜帶或存儲具有指令或數據結構形式的期望的程序代碼并能夠由計算機存取的任何其他介質,但不限于此。存儲器可以是上述存儲器的組合。
盡管已描述了本發明的優選實施例,但本領域內的技術人員一旦得知了基本創造性概念,則可對這些實施例作出另外的變更和修改。所以,所附權利要求意欲解釋為包括優選實施例以及落入本發明范圍的所有變更和修改。
顯然,本領域的技術人員可以對本發明進行各種改動和變型而不脫離本發明的精神和范圍。這樣,倘若本發明的這些修改和變型屬于本發明權利要求及其等同技術的范圍之內,則本發明也意圖包含這些改動和變型在內。