專利名稱：一種具有活體檢測功能的雙模態(tài)人臉認(rèn)證方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)據(jù)識別，特別涉及數(shù)據(jù)識別中的一種具有活體檢測功能的雙模態(tài)人 臉認(rèn)證方法和系統(tǒng)。
背景技術(shù)：
目前，已有的基于可見光的人臉認(rèn)證系統(tǒng)由于深受光照變化的影響難以取得好的 人臉認(rèn)證性能。雖然近年提出的基于近紅外的人臉認(rèn)證系統(tǒng)能部分克服光照變化的影響， 但是在識別時間距離人臉注冊時間很長的情況下，由于人臉存在較大變化情況下(如人臉 胖瘦變化很大情況下)，系統(tǒng)一般會識別失敗。另，由于已有的人臉認(rèn)證系統(tǒng)沒有提出活體 人臉檢測方案，易受到利用人臉模型或照片的欺騙，即盜取已注冊的某人的人臉圖像或制 作出該人的人臉模型后，假冒者將被盜人臉的照片或模型置于人臉認(rèn)證系統(tǒng)前方時假冒者 很容易成功欺騙系統(tǒng)，使系統(tǒng)認(rèn)為其身份為被盜用人。這是因為在可見光條件下人臉的照 片的二次成像效果與真實人臉的直接成像效果非常接近(就如平常對人臉照片的拍照的成 像與直接對人臉的拍照的成像非常接近)以及臉模的成像與真實人臉的直接成像非常接 近。
發(fā)明內(nèi)容
為了解決現(xiàn)有技術(shù)中人臉存在較大變化情況下，系統(tǒng)一般會識別失敗，無法檢測 活體人臉，系統(tǒng)容易受照片或者模型的欺騙的問題，本發(fā)明提供了一種具有活體檢測功能 的雙模態(tài)人臉認(rèn)證方法和系統(tǒng)。本發(fā)明提供了一種具有活體檢測功能的雙模態(tài)人臉認(rèn)證方法，包括以下步驟
A、建立存儲有已知身份人臉的可見光訓(xùn)練圖像和近紅外訓(xùn)練圖像的數(shù)據(jù)庫；
B、通過圖像采集模塊同時采集待認(rèn)證人頭部的可見光圖像和近紅外圖像；
C、通過距離計算模塊計算得出所述可見光圖像中的人臉可見光圖像與所述可見光訓(xùn) 練圖像的可見光距離，并計算得出所述近紅外圖像中的人臉近紅外圖像與所述近紅外訓(xùn)練 圖像的近紅外距離；
D、通過活體檢測模塊將最小的所述可見光距離與設(shè)定可見光距離閥值比較，并將最小 的所述近紅外距離與設(shè)定近紅外距離閥值比較，如果最小的所述可見光距離小于設(shè)定可見 光距離閥值，并且最小的所述近紅外距離大于設(shè)定近紅外距離閥值，則認(rèn)定待認(rèn)證人臉為 非活體人臉，判定為假冒用戶并停止認(rèn)證，否則，進行下一步驟；
E、通過圖像認(rèn)證模塊計算所述可見光距離與所述近紅外距離的加權(quán)和，將得出的所述 加權(quán)和與設(shè)定加權(quán)和閥值比較，如果得出的所述加權(quán)和大于設(shè)定加權(quán)和閥值，則認(rèn)證不通 過，判定為非法用戶并停止認(rèn)證，否則，進行下一步驟；
F、人臉認(rèn)證通過；
其中，所述步驟D與所述步驟E的順序可互換。作為本發(fā)明的進一步改進，所述步驟C包括以下子步驟
4Cl、通過直方圖均衡化模塊將所述可見光圖像中的人臉可見光圖像及所述可見光訓(xùn)練 圖像進行直方圖均衡化；
C2、通過所述距離計算模塊計算得出所述人臉可見光圖像與所述可見光訓(xùn)練圖像的可 見光距離，并計算得出所述近紅外圖像中的人臉近紅外圖像與所述近紅外訓(xùn)練圖像的近紅 外距離；
C3、通過歸一化模塊分別對所述可見光距離和所述近紅外距離進行歸一化。作為本發(fā)明的進一步改進，所述步驟E中得出的所述加權(quán)和為d，所述可見光距離 為屯，所述近紅外距離為d2，則d=0.3 di+0.7 d2，所述設(shè)定加權(quán)和閥值為0.32。作為本發(fā)明的進一步改進，所述步驟D中的設(shè)定可見光距離閥值為0. 35，所述設(shè) 定近紅外距離閥值為0.6。作為本發(fā)明的進一步改進，所述步驟B包括以下子步驟
B1、通過所述圖像采集模塊同時采集待認(rèn)證人頭部的所述可見光圖像和所述近紅外圖
像；
B2、判斷是否能通過人臉檢測模塊同時從所述可見光圖像和所述近紅外圖像中檢測到 人臉，如果不能則返回所述步驟Bi，如果能則進行下一步驟。作為本發(fā)明的進一步改進，所述具有活體檢測功能的雙模態(tài)人臉認(rèn)證方法還包括 以下步驟
G、通過訓(xùn)練樣本更新模塊將認(rèn)證通過的所述人臉可見光圖像設(shè)定為所述可見光訓(xùn)練 圖像并更新存儲到步驟A的數(shù)據(jù)庫中，將認(rèn)證通過的所述人臉近紅外圖像設(shè)定為所述近紅 外訓(xùn)練圖像并更新存儲到步驟A的數(shù)據(jù)庫中。本發(fā)明還提供了一種具有活體檢測功能的雙模態(tài)人臉認(rèn)證系統(tǒng)，包括存儲有已知 身份人臉的可見光訓(xùn)練圖像和近紅外訓(xùn)練圖像的數(shù)據(jù)庫、可同時采集待認(rèn)證人頭部的可見 光圖像和近紅外圖像的圖像采集模塊、可計算得出所述可見光圖像中人臉可見光圖像與所 述可見光訓(xùn)練圖像的可見光距離并計算得出所述近紅外圖像中人臉近紅外圖像與所述近 紅外訓(xùn)練圖像的近紅外距離的距離計算模塊、可判定待認(rèn)證人臉是否為活體的活體檢測模 塊和可判定待認(rèn)證人臉是否為合法用戶的圖像認(rèn)證模塊，其中，所述距離計算模塊的輸入 端分別與所述數(shù)據(jù)庫的輸出端、所述圖像采集模塊的輸出端連接，所述距離計算模塊的輸 出端與所述活體檢測模塊的輸入端連接，所述活體檢測模塊的輸出端與所述圖像認(rèn)證模塊 的輸入端連接。作為本發(fā)明的進一步改進，所述圖像認(rèn)證模塊連接有訓(xùn)練樣本更新模塊，所述訓(xùn) 練樣本更新模塊的輸出端與所述數(shù)據(jù)庫的輸入端連接，所述圖像采集模塊包括至少二個可 見光攝像頭，其中一個所述可見光攝像頭上覆蓋有濾光片以采集人臉近紅外圖像。作為本發(fā)明的進一步改進，所述具有活體檢測功能的雙模態(tài)人臉認(rèn)證系統(tǒng)還包括 直方圖均衡化模塊、歸一化模塊和可判斷是否能同時從所述可見光圖像和所述近紅外圖像 中檢測到人臉的人臉檢測模塊，其中，所述人臉檢測模塊的輸入端與所述圖像采集模塊的 輸出端連接，所述人臉檢測模塊的輸出端分別與所述圖像采集模塊的輸入端和所述直方圖 均衡化模塊的輸入端連接，所述直方圖均衡化模塊的輸出端與所述距離計算模塊的輸入端 連接，所述歸一化模塊的輸入端與所述距離計算模塊的輸出端相連，所述歸一化模塊的輸 出端與所述活體檢測模塊的輸入端連接。
5
本發(fā)明還提供了一種具有活體檢測功能的雙模態(tài)人臉認(rèn)證系統(tǒng)，包括存儲有已知 身份人臉的可見光訓(xùn)練圖像和近紅外訓(xùn)練圖像的數(shù)據(jù)庫、可同時采集待認(rèn)證人頭部的可見 光圖像和近紅外圖像的圖像采集模塊、可計算得出所述可見光圖像中的人臉可見光圖像與 所述可見光訓(xùn)練圖像的可見光距離并計算得出所述近紅外圖像中的人臉近紅外圖像與所 述近紅外訓(xùn)練圖像的近紅外距離的距離計算模塊、可判定待認(rèn)證人臉是否為活體的活體檢 測模塊和可判定待認(rèn)證人臉是否為合法用戶的圖像認(rèn)證模塊，其中，所述距離計算模塊的 輸入端分別與所述數(shù)據(jù)庫的輸出端、所述圖像采集模塊的輸出端連接，所述距離計算模塊 的輸出端與所述圖像認(rèn)證模塊的輸入端連接，所述圖像認(rèn)證模塊的輸出端與所述活體檢測 模塊的輸入端連接。本發(fā)明的有益效果是通過上述方案，采用人臉近紅外圖像與人臉可見光圖像雙 模態(tài)特征的聯(lián)合識別，提高了識別認(rèn)證精度，有效避免人臉存在較大變化情況下識別失敗 的問題，通過活體檢測模塊，有效避免了假冒者通過照片或者模型進行欺騙。
圖1是本發(fā)明一種具有活體檢測功能的雙模態(tài)人臉認(rèn)證方法的實施例一的流程 示意圖2是本發(fā)明所述具有活體檢測功能的雙模態(tài)人臉認(rèn)證系統(tǒng)的實施例一的結(jié)構(gòu)示意
圖3是本發(fā)明一種具有活體檢測功能的雙模態(tài)人臉認(rèn)證方法的實施例二的流程示意
圖4是本發(fā)明所述具有活體檢測功能的雙模態(tài)人臉認(rèn)證系統(tǒng)的實施例二的結(jié)構(gòu)示意圖。
具體實施例方式下面結(jié)合
及具體實施方式
對本發(fā)明進一步說明。圖1至圖4中的附圖標(biāo)號為數(shù)據(jù)庫101 ；圖像采集模塊102 ；人臉檢測模塊103 ； 直方圖均衡化模塊104 ；距離計算模塊105 ；歸一化模塊106 ；活體檢測模塊107 ；圖像認(rèn)證 模塊108 ；訓(xùn)練樣本更新模塊109。如圖1所示，一種具有活體檢測功能的雙模態(tài)人臉認(rèn)證方法的實施例一，包括以 下步驟
A、建立存儲有已知身份人臉的可見光訓(xùn)練圖像和近紅外訓(xùn)練圖像的數(shù)據(jù)庫101 ； Bi、通過所述圖像采集模塊102同時采集待認(rèn)證人頭部的可見光圖像和近紅外圖像； B2、判斷是否能通過人臉檢測模塊同時從所述可見光圖像和所述近紅外圖像中檢測到 人臉，如果不能則返回所述步驟Bi，如果能則將所述可見光圖像中的人臉區(qū)域截取出來作 為“人臉可見光圖像”，將所述近紅外圖像中的人臉區(qū)域截取出來作為“人臉近紅外圖像“， 并進行下一步驟；
Cl、通過直方圖均衡化模塊104將所述人臉可見光圖像及所述可見光訓(xùn)練圖像進行直 方圖均衡化；
C2、通過所述距離計算模塊105計算得出所述人臉可見光圖像與所述可見光訓(xùn)練圖像的可見光距離，并計算得出所述人臉近紅外圖像與所述近紅外訓(xùn)練圖像的近紅外距離； C3、通過歸一化模塊106分別對所述可見光距離和所述近紅外距離進行歸一化。D、通過活體檢測模塊107將最小的所述可見光距離與設(shè)定可見光距離閥值比較， 并將最小的所述近紅外距離與設(shè)定近紅外距離閥值比較，如果最小的所述可見光距離小于 設(shè)定可見光距離閥值，并且最小的所述近紅外距離大于設(shè)定近紅外距離閥值，則認(rèn)定待認(rèn) 證人臉為非活體人臉，判定為假冒用戶并停止認(rèn)證，否則，進行下一步驟；
E、通過圖像認(rèn)證模塊108計算所述可見光距離與所述近紅外距離的加權(quán)和，將得出的 所述加權(quán)和與設(shè)定加權(quán)和閥值比較，如果得出的所述加權(quán)和大于設(shè)定加權(quán)和閥值，則認(rèn)證 不通過，判定為非法用戶并停止認(rèn)證，否則，進行下一步驟；
F、人臉認(rèn)證通過；
G、通過訓(xùn)練樣本更新模塊109將認(rèn)證通過的所述人臉可見光圖像設(shè)定為所述可見光 訓(xùn)練圖像并更新存儲到步驟A的數(shù)據(jù)庫101中，將認(rèn)證通過的所述人臉近紅外圖像設(shè)定為 所述近紅外訓(xùn)練圖像并更新存儲到步驟A的數(shù)據(jù)庫101中。其中，所述步驟D與所述步驟E的順序可互換，可通過步驟B2確定采集到的圖像 中是否包括人臉，避免在沒有采集到人臉或者采集人臉不完全的情況進行認(rèn)證，步驟G可 有效避免人臉存在較大變化的情況。可以在歸一化基礎(chǔ)上進行匹配得分層融合，并依據(jù)融合結(jié)果得出人臉的最終認(rèn)證結(jié)果。所述步驟E中得出的所述加權(quán)和為d，所述可見光距離為Cl1，所述近紅外距離為d2， 則d=0. 3 di+0.7 d2，所述設(shè)定加權(quán)和閥值優(yōu)選為0.32。所述步驟D中的設(shè)定可見光距離閥值優(yōu)選為0. 35，所述設(shè)定近紅外距離閥值優(yōu)選 為 0. 6。本發(fā)明提供的一種具有活體檢測功能的雙模態(tài)人臉認(rèn)證方法的實施例一還可以 包括以下步驟，從所有人臉的近紅外訓(xùn)練圖像集中確定出待認(rèn)證的人臉近紅外圖像的若干 近鄰樣本，并從所有人臉的可見光訓(xùn)練圖像集中確定出待認(rèn)證的人臉可見光圖像的若干近 鄰樣本，將待認(rèn)證的人臉近紅外圖像表達(dá)為相應(yīng)近鄰樣本的線性組合，依據(jù)線性組合的系 數(shù)計算出該人臉近紅外圖像與所有類別間的相似性；將待認(rèn)證的人臉可見光圖像表達(dá)為相 應(yīng)近鄰樣本的線性組合，依據(jù)線性組合的系數(shù)計算出該人臉可見光圖像與所有類別間的相 似性。如圖2所示，一種具有活體檢測功能的雙模態(tài)人臉認(rèn)證系統(tǒng)的實施例一，包括存 儲有已知身份人臉的可見光訓(xùn)練圖像和近紅外訓(xùn)練圖像的數(shù)據(jù)庫101、可同時采集待認(rèn)證 人頭部的可見光圖像和近紅外圖像的圖像采集模塊102、可計算得出所述可見光圖像中的 人臉可見光圖像與所述可見光訓(xùn)練圖像的可見光距離并計算得出所述近紅外圖像中的人 臉近紅外圖像與所述近紅外訓(xùn)練圖像的近紅外距離的距離計算模塊103、可判定待認(rèn)證人 臉是否為活體的活體檢測模塊107和可判定待認(rèn)證人臉是否為合法用戶的圖像認(rèn)證模塊 108，其中，所述距離計算模塊105的輸入端分別與所述數(shù)據(jù)庫101的輸出端、所述圖像采集 模塊102的輸出端連接，所述距離計算模塊105的輸出端與所述活體檢測模塊107的輸入 端連接，所述活體檢測模塊107的輸出端與所述圖像認(rèn)證模塊108的輸入端連接。如圖2所示，具有活體檢測功能的雙模態(tài)人臉認(rèn)證系統(tǒng)還包括訓(xùn)練樣本更新模
7塊109，所述圖像認(rèn)證模塊108的輸出端與訓(xùn)練樣本更新模塊109的輸入端連接，所述訓(xùn)練 樣本更新模塊109的輸出端與所述數(shù)據(jù)庫101的輸入端連接，所述圖像采集模塊102包括 至少二個可見光攝像頭，其中一個所述可見光攝像頭上覆蓋有濾光片以采集人臉近紅外圖 像，采用二個可見光攝像頭可避免使用外攝像頭，可降低成本。如圖2所示，所述具有活體檢測功能的雙模態(tài)人臉認(rèn)證系統(tǒng)還包括直方圖均衡化 模塊104、歸一化模塊106和可判斷是否能同時從所述可見光圖像和所述近紅外圖像中檢 測到人臉的人臉檢測模塊103，其中，所述人臉檢測模塊103的輸入端與所述圖像采集模塊 102的輸出端連接，所述人臉檢測模塊103的輸出端分別與所述圖像采集模塊102的輸入端 和所述直方圖均衡化模塊104的輸入端連接，所述直方圖均衡化模塊104的輸出端與所述 距離計算模塊105的輸入端連接，所述歸一化模塊106的輸入端與所述距離計算模塊105 的輸出端相連，所述歸一化模塊106的輸出端與所述活體檢測模塊107的輸入端連接。本發(fā)明提供的一種具有活體檢測功能的雙模態(tài)人臉認(rèn)證系統(tǒng)的實施例一的實際 操作可以是用戶首先通過具有活體檢測功能的雙模態(tài)人臉認(rèn)證系統(tǒng)的觸摸屏輸入其ID 號，系統(tǒng)接受該ID號，立即觸發(fā)兩個攝像頭工作，并同時拍攝人臉部的可見光圖像與近紅 外圖像，在檢測出當(dāng)前用戶的人臉可見光圖像與人臉近紅外圖像后，系統(tǒng)將調(diào)用取出其先 前存儲的與接受到的ID號對應(yīng)的所有人臉可見光訓(xùn)練圖像與近紅外訓(xùn)練圖像，并通過當(dāng) 前用戶的人臉可見光與人臉近紅外圖像分別與上述可見光訓(xùn)練圖像與近紅外訓(xùn)練圖像進 行比對。為了拍攝出較清晰的近紅外圖像，可在具有活體檢測功能的雙模態(tài)人臉認(rèn)證系統(tǒng) 上安置近紅外LED光源，該近紅外LED光源發(fā)射波長為850nm。本發(fā)明提供的一種具有活體檢測功能的雙模態(tài)人臉認(rèn)證系統(tǒng)的實施例一優(yōu)選采 用兩個可見光攝像頭，而不是采用紅外攝像頭來拍攝近紅外圖像，其具體方案是，在其中一 個可見光攝像頭上覆蓋濾光片來采集近紅外圖像，使本系統(tǒng)具有低成本特點，本系統(tǒng)采用 的濾光片是阻止波長小于715 nm的波通過而允許波長大于715 nm的波通過，且其中心截 止波長為756nm左右，波長為850nm的波的透光率大概90%左右。如圖3所示，一種具有活體檢測功能的雙模態(tài)人臉認(rèn)證方法的實施例二，包括以 下步驟
A、建立存儲有已知身份人臉的可見光訓(xùn)練圖像和近紅外訓(xùn)練圖像的數(shù)據(jù)庫101 ； Bi、通過所述圖像采集模塊102同時采集待認(rèn)證人頭部的可見光圖像和近紅外圖像； B2、判斷是否能通過人臉檢測模塊同時從所述可見光圖像和所述近紅外圖像中檢測到 人臉，如果不能則返回所述步驟Bi，如果能則將所述可見光圖像中的人臉區(qū)域截取出來作 為“人臉可見光圖像”，將所述近紅外圖像中的人臉區(qū)域截取出來作為“人臉近紅外圖像“， 并進行下一步驟；
Cl、通過直方圖均衡化模塊104將所述人臉可見光圖像及所述可見光訓(xùn)練圖像進行直 方圖均衡化；
C2、通過所述距離計算模塊105計算得出所述人臉可見光圖像與所述可見光訓(xùn)練圖像 的可見光距離，并計算得出所述人臉近紅外圖像與所述近紅外訓(xùn)練圖像的近紅外距離； C3、通過歸一化模塊106分別對所述可見光距離和所述近紅外距離進行歸一化。E、通過圖像認(rèn)證模塊108計算所述可見光距離與所述近紅外距離的加權(quán)和，將得出的所述加權(quán)和與設(shè)定加權(quán)和閥值比較，如果得出的所述加權(quán)和大于設(shè)定加權(quán)和閥值，則 認(rèn)證不通過，判定為非法用戶并停止認(rèn)證，否則，進行下一步驟；
D、通過活體檢測模塊107將最小的所述可見光距離與設(shè)定可見光距離閥值比較，并將 最小的所述近紅外距離與設(shè)定近紅外距離閥值比較，如果最小的所述可見光距離小于設(shè)定 可見光距離閥值，并且最小的所述近紅外距離大于設(shè)定近紅外距離閥值，則認(rèn)定待認(rèn)證人 臉為非活體人臉，判定為假冒用戶并停止認(rèn)證，否則，進行下一步驟；
F、人臉認(rèn)證通過；
G、通過訓(xùn)練樣本更新模塊109將認(rèn)證通過的所述人臉可見光圖像設(shè)定為所述可見光 訓(xùn)練圖像并更新存儲到步驟A的數(shù)據(jù)庫101中，將認(rèn)證通過的所述人臉近紅外圖像設(shè)定為 所述近紅外訓(xùn)練圖像并更新存儲到步驟A的數(shù)據(jù)庫101中。其中，所述步驟D與所述步驟E的順序可互換，步驟G可有效避免人臉存在較大變 化的情況?？梢栽跉w一化基礎(chǔ)上進行匹配得分層融合，并依據(jù)融合結(jié)果得出人臉的最終認(rèn)證結(jié)果。所述步驟E中得出的所述加權(quán)和為d，所述可見光距離為Cl1，所述近紅外距離為d2， 則d=0. 3 di+0.7 d2，所述設(shè)定加權(quán)和閥值優(yōu)選為0.32。所述步驟D中的設(shè)定可見光距離閥值優(yōu)選為0. 35，所述設(shè)定近紅外距離閥值優(yōu)選 為 0. 6。本發(fā)明提供的一種具有活體檢測功能的雙模態(tài)人臉認(rèn)證方法的實施例二還可以 包括以下步驟，從所有人臉的近紅外訓(xùn)練圖像集中確定出待認(rèn)證的人臉近紅外圖像的若干 近鄰樣本，并從所有人臉的可見光訓(xùn)練圖像集中確定出待認(rèn)證的人臉可見光圖像的若干近 鄰樣本，將待認(rèn)證的人臉近紅外圖像表達(dá)為相應(yīng)近鄰樣本的線性組合，依據(jù)線性組合的系 數(shù)計算出該人臉近紅外圖像與所有類別間的相似性；將待認(rèn)證的人臉可見光圖像表達(dá)為相 應(yīng)近鄰樣本的線性組合，依據(jù)線性組合的系數(shù)計算出該人臉可見光圖像與所有類別間的相 似性。如圖4所示，一種具有活體檢測功能的雙模態(tài)人臉認(rèn)證系統(tǒng)的實施例二，包括存 儲有已知身份人臉的可見光訓(xùn)練圖像和近紅外訓(xùn)練圖像的數(shù)據(jù)庫101、可同時采集待認(rèn)證 人頭部的可見光圖像和近紅外圖像的圖像采集模塊102、可計算得出所述可見光圖像中的 人臉可見光圖像與所述可見光訓(xùn)練圖像的可見光距離并計算得出所述近紅外圖像中的人 臉近紅外圖像與所述近紅外訓(xùn)練圖像的近紅外距離的距離計算模塊105、可判定待認(rèn)證人 臉是否為活體的活體檢測模塊107和可判定待認(rèn)證人臉是否為合法用戶的圖像認(rèn)證模塊 108，其中，所述距離計算模塊105的輸入端分別與所述數(shù)據(jù)庫101的輸出端、所述圖像采集 模塊102的輸出端連接，所述距離計算模塊105的輸出端與所述圖像認(rèn)證模塊108的輸入 端連接，所述圖像認(rèn)證模塊108的輸出端與所述活體檢測模塊107的輸入端連接。如圖4所示，具有活體檢測功能的雙模態(tài)人臉認(rèn)證系統(tǒng)還包括訓(xùn)練樣本更新模塊 109，所述圖像認(rèn)證模塊108的輸出端與所述訓(xùn)練樣本更新模塊109的輸入端連接，所述訓(xùn) 練樣本更新模塊109的輸出端與所述數(shù)據(jù)庫101的輸入端連接，所述圖像采集模塊102包 括至少二個可見光攝像頭，其中一個所述可見光攝像頭上覆蓋有濾光片。如圖4所示，所述具有活體檢測功能的雙模態(tài)人臉認(rèn)證系統(tǒng)還包括直方圖均衡化
9模塊104、歸一化模塊106和可判斷是否能同時從所述可見光圖像和所述近紅外圖像中檢 測到人臉的人臉檢測模塊103，其中，所述人臉檢測模塊103的輸入端與所述圖像采集模塊 102的輸出端連接，所述人臉檢測模塊103的輸出端分別與所述圖像采集模塊102的輸入端 和所述直方圖均衡化模塊104的輸入端連接，所述直方圖均衡化模塊104的輸出端與所述 距離計算模塊105的輸入端連接，所述歸一化模塊106的輸入端與所述距離計算模塊105 的輸出端相連，所述歸一化模塊106的輸出端與所述活體檢測模塊107的輸入端連接。本發(fā)明提供的一種具有活體檢測功能的雙模態(tài)人臉認(rèn)證系統(tǒng)的實施例二的實際 操作可以是用戶首先通過具有活體檢測功能的雙模態(tài)人臉認(rèn)證系統(tǒng)的觸摸屏輸入其ID 號，系統(tǒng)接受該ID號，立即觸發(fā)兩個攝像頭工作，并同時拍攝人臉部的可見光圖像與近紅 外圖像，在檢測出當(dāng)前用戶的人臉可見光圖像與人臉近紅外圖像后，系統(tǒng)將調(diào)用取出其先 前存儲的與接受到的ID號對應(yīng)的所有人臉可見光訓(xùn)練圖像與近紅外訓(xùn)練圖像，并通過當(dāng) 前用戶的人臉可見光與人臉近紅外圖像分別與上述可見光訓(xùn)練圖像與近紅外訓(xùn)練圖像進 行比對。為了拍攝出較清晰的近紅外圖像，可在具有活體檢測功能的雙模態(tài)人臉認(rèn)證系統(tǒng) 上安置近紅外LED光源，該近紅外LED光源發(fā)射波長為850nm。本發(fā)明提供的一種具有活體檢測功能的雙模態(tài)人臉認(rèn)證系統(tǒng)的實施例二優(yōu)選采 用兩個可見光攝像頭，而不是采用紅外攝像頭來拍攝近紅外圖像，其具體方案是，在其中一 個可見光攝像頭上覆蓋濾光片來采集近紅外圖像，使本系統(tǒng)具有低成本特點，本系統(tǒng)采用 的濾光片是阻止波長小于715 nm的波通過而允許波長大于715 nm的波通過，且其中心截 止波長為756nm左右，波長為850nm的波的透光率大概90%左右。以上內(nèi)容是結(jié)合具體的優(yōu)選實施方式對本發(fā)明所作的進一步詳細(xì)說明，不能認(rèn)定 本發(fā)明的具體實施只局限于這些說明。對于本發(fā)明所屬技術(shù)領(lǐng)域的普通技術(shù)人員來說，在 不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干簡單推演或替換，都應(yīng)當(dāng)視為屬于本發(fā)明的 保護范圍。
10
權(quán)利要求
一種具有活體檢測功能的雙模態(tài)人臉認(rèn)證方法，其特征在于，包括以下步驟A、建立存儲有已知身份人臉的可見光訓(xùn)練圖像和近紅外訓(xùn)練圖像的數(shù)據(jù)庫；B、通過圖像采集模塊同時采集待認(rèn)證人頭部的可見光圖像和近紅外圖像；C、通過距離計算模塊計算得出所述可見光圖像中的人臉可見光圖像與所述可見光訓(xùn)練圖像的可見光距離，并計算得出所述近紅外圖像中的人臉近紅外圖像與所述近紅外訓(xùn)練圖像的近紅外距離；D、通過活體檢測模塊將最小的所述可見光距離與設(shè)定可見光距離閥值比較，并將最小的所述近紅外距離與設(shè)定近紅外距離閥值比較，如果最小的所述可見光距離小于設(shè)定可見光距離閥值，并且最小的所述近紅外距離大于設(shè)定近紅外距離閥值，則認(rèn)定待認(rèn)證人臉為非活體人臉，判定為假冒用戶并停止認(rèn)證，否則，進行下一步驟；E、通過圖像認(rèn)證模塊計算所述可見光距離與所述近紅外距離的加權(quán)和，將得出的所述加權(quán)和與設(shè)定加權(quán)和閥值比較，如果得出的所述加權(quán)和大于設(shè)定加權(quán)和閥值，則認(rèn)證不通過，判定為非法用戶并停止認(rèn)證，否則，進行下一步驟；F、人臉認(rèn)證通過；其中，所述步驟D與所述步驟E的順序可互換。
2.根據(jù)權(quán)利要求1所述具有活體檢測功能的雙模態(tài)人臉認(rèn)證方法，其特征在于，所述 步驟C包括以下子步驟Cl、通過直方圖均衡化模塊將所述可見光圖像中的人臉可見光圖像及所述可見光訓(xùn)練 圖像進行直方圖均衡化；C2、通過所述距離計算模塊計算得出所述人臉可見光圖像與所述可見光訓(xùn)練圖像的可 見光距離，并計算得出所述近紅外圖像中的人臉近紅外圖像與所述近紅外訓(xùn)練圖像的近紅 外距離；C3、通過歸一化模塊分別對所述可見光距離和所述近紅外距離進行歸一化。
3.根據(jù)權(quán)利要求2所述具有活體檢測功能的雙模態(tài)人臉認(rèn)證方法，其特征在于，所 述步驟E中得出的所述加權(quán)和為d，所述可見光距離為Cl1，所述近紅外距離為d2，則d=0. 3 di+0.7 d2，所述設(shè)定加權(quán)和閥值為0.32。
4.根據(jù)權(quán)利要求2所述具有活體檢測功能的雙模態(tài)人臉認(rèn)證方法，其特征在于所述 步驟D中的設(shè)定可見光距離閥值為0. 35，所述設(shè)定近紅外距離閥值為0. 6。
5.根據(jù)權(quán)利要求1所述具有活體檢測功能的雙模態(tài)人臉認(rèn)證方法，其特征在于，所述 步驟B包括以下子步驟Bi、通過所述圖像采集模塊同時采集待認(rèn)證人頭部的所述可見光圖像和所述近紅外圖像；B2、判斷是否能通過人臉檢測模塊同時從所述可見光圖像和所述近紅外圖像中檢測到 人臉，如果不能則返回所述步驟Bi，如果能則進行下一步驟。
6.根據(jù)權(quán)利要求1所述具有活體檢測功能的雙模態(tài)人臉認(rèn)證方法，其特征在于，所述 具有活體檢測功能的雙模態(tài)人臉認(rèn)證方法還包括以下步驟G、通過訓(xùn)練樣本更新模塊將認(rèn)證通過的所述人臉可見光圖像設(shè)定為所述可見光訓(xùn)練 圖像并更新存儲到步驟A的數(shù)據(jù)庫中，將認(rèn)證通過的所述人臉近紅外圖像設(shè)定為所述近紅 外訓(xùn)練圖像并更新存儲到步驟A的數(shù)據(jù)庫中。
7.一種具有活體檢測功能的雙模態(tài)人臉認(rèn)證系統(tǒng)，其特征在于包括存儲有已知身份 人臉的可見光訓(xùn)練圖像和近紅外訓(xùn)練圖像的數(shù)據(jù)庫、可同時采集待認(rèn)證人頭部的可見光圖 像和近紅外圖像的圖像采集模塊、可計算得出所述可見光圖像中的人臉可見光圖像與所述 可見光訓(xùn)練圖像的可見光距離并計算得出所述近紅外圖像中的人臉近紅外圖像與所述近 紅外訓(xùn)練圖像的近紅外距離的距離計算模塊、可判定待認(rèn)證人臉是否為活體的活體檢測模 塊和可判定待認(rèn)證人臉是否為合法用戶的圖像認(rèn)證模塊，其中，所述距離計算模塊的輸入 端分別與所述數(shù)據(jù)庫的輸出端、所述圖像采集模塊的輸出端連接，所述距離計算模塊的輸 出端與所述活體檢測模塊的輸入端連接，所述活體檢測模塊的輸出端與所述圖像認(rèn)證模塊 的輸入端連接。
8.根據(jù)權(quán)利要求7所述具有活體檢測功能的雙模態(tài)人臉認(rèn)證系統(tǒng)，其特征在于所述 具有活體檢測功能的雙模態(tài)人臉認(rèn)證系統(tǒng)包括訓(xùn)練樣本更新模塊，所述圖像認(rèn)證模塊的輸 出端與所述訓(xùn)練樣本更新模塊的輸入端連接，所述訓(xùn)練樣本更新模塊的輸出端與所述數(shù)據(jù) 庫的輸入端連接，所述圖像采集模塊包括至少二個可見光攝像頭，其中一個所述可見光攝 像頭上覆蓋有濾光片。
9.根據(jù)權(quán)利要求7所述具有活體檢測功能的雙模態(tài)人臉認(rèn)證系統(tǒng)，其特征在于所述 具有活體檢測功能的雙模態(tài)人臉認(rèn)證系統(tǒng)還包括直方圖均衡化模塊、歸一化模塊和可判斷 是否能同時從所述可見光圖像和所述近紅外圖像中檢測到人臉的人臉檢測模塊，其中，所 述人臉檢測模塊的輸入端與所述圖像采集模塊的輸出端連接，所述人臉檢測模塊的輸出端 分別與所述圖像采集模塊的輸入端和所述直方圖均衡化模塊的輸入端連接，所述直方圖均 衡化模塊的輸出端與所述距離計算模塊的輸入端連接，所述歸一化模塊的輸入端與所述距 離計算模塊的輸出端相連，所述歸一化模塊的輸出端與所述活體檢測模塊的輸入端連接。
10.一種具有活體檢測功能的雙模態(tài)人臉認(rèn)證系統(tǒng)，其特征在于包括存儲有已知身 份人臉的可見光訓(xùn)練圖像和近紅外訓(xùn)練圖像的數(shù)據(jù)庫、可同時采集待認(rèn)證人頭部的可見光 圖像和近紅外圖像的圖像采集模塊、可計算得出所述可見光圖像中的人臉可見光圖像與所 述可見光訓(xùn)練圖像的可見光距離并計算得出所述近紅外圖像中的人臉近紅外圖像與所述 近紅外訓(xùn)練圖像的近紅外距離的距離計算模塊、可判定待認(rèn)證人臉是否為活體的活體檢測 模塊和可判定待認(rèn)證人臉是否為合法用戶的圖像認(rèn)證模塊，其中，所述距離計算模塊的輸 入端分別與所述數(shù)據(jù)庫的輸出端、所述圖像采集模塊的輸出端連接，所述距離計算模塊的 輸出端與所述圖像認(rèn)證模塊的輸入端連接，所述圖像認(rèn)證模塊的輸出端與所述活體檢測模 塊的輸入端連接。
全文摘要
本發(fā)明涉及數(shù)據(jù)識別，特別涉及數(shù)據(jù)識別中的一種具有活體檢測功能的雙模態(tài)人臉認(rèn)證方法和系統(tǒng)。本發(fā)明提供了一種具有活體檢測功能的雙模態(tài)人臉認(rèn)證方法，包括以下步驟A、建立存儲有已知身份人臉的可見光訓(xùn)練圖像和近紅外訓(xùn)練圖像的數(shù)據(jù)庫；B、通過圖像采集模塊同時采集待認(rèn)證人頭部的可見光圖像和近紅外圖像。本發(fā)明還提供了一種具有活體檢測功能的雙模態(tài)人臉認(rèn)證系統(tǒng)。本發(fā)明的有益效果是采用人的臉部的人臉近紅外圖像與人臉可見光圖像雙模態(tài)特征的聯(lián)合識別，提高了識別認(rèn)證精度，有效避免人臉存在較大變化情況下識別失敗的問題，通過活體檢測模塊，有效避免了假冒者通過照片或者模型進行欺騙。
文檔編號G06K9/00GK101964056SQ20101051996
公開日2011年2月2日 申請日期2010年10月26日 優(yōu)先權(quán)日2010年10月26日
發(fā)明者徐佳杰, 徐勇, 文嘉俊, 楊治銀 申請人:徐勇