專利名稱：：基于背景比對的視頻和活體人臉的鑒別方法
技術領域：
：本發(fā)明涉及視頻及圖像的計算機處理
技術領域：
，尤其涉及一種通過背景比對來自動鑒別視頻人臉與活體人臉的方法。
背景技術：
：活體人臉檢測是計算機人臉識別系統(tǒng)的安全性的重要保證。對于二維人臉識別系統(tǒng)而言，使用合法用戶的視頻在攝像頭前假冒用戶是一種常用的攻擊手段，視頻中有頭部運動、眨眼、唇部運動等生理信息，與活體人臉有很大的共性，從而對識別系統(tǒng)的安全性構成極大威脅。迄今為止對于活體人臉檢測技術的研究不多，主要有三維深度估計、臉部表情變化、光流、頻譜、眨眼檢測等分析手段。但這些方法中有的需要用戶頭部或者臉部的運動配合，有的則受外部環(huán)境條件影響很大。
發(fā)明內(nèi)容本發(fā)明提供一種基于背景比對的視頻人臉和活體人臉的鑒別方法，主要解決的是僅通過單個攝像頭進行視頻人臉和活體人臉的鑒別問題?！N基于背景比對的視頻和活體人臉的鑒別方法，其步驟如下(1)人臉定位與背景比對區(qū)域的確定使用Haar類似特征與級聯(lián)Adaboost方法對輸入視頻的每一幀圖像It進行人臉位置檢測，根據(jù)檢測出的人臉位置確定背景比對區(qū)域。背景比對區(qū)域設定為人臉左右兩側的小塊區(qū)域，不包含耳朵和頭發(fā)。背景比對區(qū)域的高度和人臉的高度(人臉自動檢測結果)相同，寬度為人臉寬度的1/4，背景比對區(qū)域與人臉邊緣的距離為人臉寬度的1/4。(2)基于尺度空間的背景特征點提取在每一幀圖像It的背景比對區(qū)域中，通過圖像尺度空間的方法，將尺度空間上的極值點作為該幀背景比對的特征點，用集合Pt表示；對于活體和假冒視頻的鑒別，我們用閾值9來判定，「活體ifL假冒視頻z/丄<6如果活體度量L大于閾值e，我們判定為活體，否則視為假冒視頻攻擊。本發(fā)明有益的效果是主要解決僅通過單個攝像頭進行視頻人臉和活體人臉的計算機自動鑒別問題。圖1是本發(fā)明鑒別方法的流程圖；圖2本發(fā)明鑒別方法中背景比對區(qū)域示意圖。具體實施例方式人臉定位與背景比對區(qū)域的確定對于輸入視頻的每一幀圖像，先要進行人臉定位。用Haar類似特征與級聯(lián)Adaboost方法(可參考P.Viola，M.J.Jones，RapidObjectDetectionusingaBoostedCascadeofSimpleFeatures.IEEEConferenceon.ComputerVisionandPatternRecognition,卯.511-518,2001.)結合，對輸入視頻的每一幀圖像進行人臉位置的檢測。級聯(lián)Adaboost方法是把若干Adaboost分類器級聯(lián)起來，即把前一級分類器分類的結果作為下一級分類器分類的內(nèi)容，以提高分類性能。Adaboost分類器是以人臉圖像和非人臉圖像為樣本來訓練參數(shù)。對于樣本中提取的特征是Haar類似特征，因為Haar類似特征能有效地表達人臉中眼部、鼻梁和嘴部等重要特征，并且能快速地計算。當假冒視頻用其他顯示設備在人臉認證系統(tǒng)的攝像頭前回放時，攝像頭所拍攝的人臉周圍區(qū)域將包括假冒視頻的背景、部分顯示設備等，而對活體人臉來說，人臉周圍就是識別系統(tǒng)的工作場所背景，故假冒視頻中人臉周圍部分的圖像和人臉認證系統(tǒng)所在的工作背景圖像的不同可作為檢測假冒視頻的依據(jù)。攝像頭取景形狀通常呈長方形，上下距離比左右距離長，同時考慮到視頻回放假冒時，視頻中人臉左右兩側會有更多拍攝時的背景，而臉部上部因受發(fā)型影響可能背景非常少，故我們把背景比對區(qū)域設定為人臉左右兩側的小塊區(qū)域，如圖2所示，寬度為d的中央?yún)^(qū)域表示用級聯(lián)Adaboost方法檢測出的人臉位置，因為該方法定位的人臉不包含左右兩側頭發(fā)和耳朵，所以為了在背景比對區(qū)域中不包含人臉左右兩側頭發(fā)和耳朵，將人臉區(qū)域在級聯(lián)Adaboost方法檢測出人臉區(qū)域向左右兩側分別擴大人臉寬度的1/4(圖2中與中央?yún)^(qū)域相鄰，寬度為l/4d的擴展區(qū)域B，然后在此擴展區(qū)域B的左右兩側的區(qū)域作為背景比對區(qū)域A，在圖2中背景比對區(qū)域A用實線矩形框表示。背景比對區(qū)域A的高度和人臉的高度(人臉自動檢測結果)相同，寬度為人臉寬度的1/4，這是人臉周圍區(qū)域中獲取視頻假冒攻擊線索的關鍵區(qū)域?；诔叨瓤臻g的背景特征點提取為實現(xiàn)兩個圖像的比對，本方法提取圖像中若干個有代表性、信息豐富的關鍵點來表征圖像。這些特征點通常能指示出背景中有意義的景物，使之能區(qū)分于其它背景。我們把這些關鍵點稱為背景特征點。用關鍵點來表征圖像進行背景比對的好處在于首先，能降低其它非關鍵點對背景比對的干擾，增強比對的穩(wěn)定性與可靠性；其次，可減少光線變化對相同背景比對的影響；另外，還可減少特征計算量。背景特征點的選取基于圖像尺度空間上的極值點。尺度空間上的極值點具有尺度不變性、獨特性、對三維視點和光線變化有較強的魯棒性等優(yōu)點，并已被該方法成功地應用在圖像匹配、物體識別、圖像檢索等方面。圖像I(x，y)的尺度空間L工(x，y，。)是多尺度的高斯函數(shù)G(x，y，。)和圖像I(x，y)的巻積，L工(x，y，o)=G(x，y，o)*I(x，y)(l)其中承表示高斯函數(shù)G(x，y，。)和圖像I(x，y)的巻積，多尺度的高斯函數(shù)G(x，y，o)定義為，GO，y,CT)=_i^e-"2"2)^2(2)2;rcro表示高斯濾波器的方差，圖像I的相鄰尺度差D工(x，y，。)定義為兩個相鄰尺度空間的差，D工(x，y，o)=L工(x，y，ko)-L工(x，y，o)(3)其中k為常數(shù)，表示兩個尺度相鄰乘數(shù)因子k。公式(2)中的o定義為，0(o，s)=002o+s/s(4)其中o，s取值為整數(shù)，oG，sG。o。，0禾PS都是常數(shù)，分別表示基準尺度，倍頻數(shù)目和子尺度數(shù)目，那么兩個尺度的相鄰乘數(shù)因子k為，k=21/s(5)利用圖像的相鄰尺度差，我們設計了一個基于尺度空間的背景特征點提取算法。該算法的輸入為一個視頻的圖像序列...，lTh輸出為每一個圖像的背景特征點集合Pt，t=1，…，T。該算法中，函數(shù)isJocal—extrema(x，y，1)判斷一個像素點P(x，y)是否是圖像I在相鄰尺度差D工(x，y，o)上的極值點。該點成為極值點的條件是相鄰26點中的極大或極小值，這26個點分別是尺度o上周圍的8個點，尺度o增大方向的相鄰尺度上的9個點，尺度o減小方向的相鄰尺度上的9個點。不同圖像中極值點的個數(shù)通常相差很大，為增強5活體度量的可比性，我們在特征點提取方法中固定所選取特征點的數(shù)量，用N表示(一般來說，如果背景比對區(qū)域中有3-5個物體，每個物體用3-4個點標示的話，9-20個點就可以了，在這個范圍里結果基本相同，本實施例中N二16)。背景特征點提取算法中的Background表示背景圖片，背景圖片是檢測活體之前在檢測活體的位置用攝像頭拍攝的一張照片。背景特征點提取算法輸入一圖像序列...，lTh對圖像序列的每一個圖片It，如果在圖片中檢測到人臉，那么1.確定背景比對區(qū)域R;[OO56]2.對R中的每一個像素(x，y)如果is_local_extrema(x，y，It)或者is_local_extrema(x，y，Background)，那么將(x，y)保存在集合Pt中；如果集合Pt中特征點的個數(shù)為N，那么算法結束；3.如果集合Pt中特征點的個數(shù)小于N，那么隨機選取區(qū)域R中但不在集合Pt的點(x，y)保存到集合Pt中，使得集合Pt中特征點的個數(shù)為N;函數(shù)is_local_extrema(x，y，I)對每一個尺度o(0，s)如果D丄(x，y，o(0，s))值在(x+i，y+j，o(0，s))，(x+i，y+j，o(o，s-l))和D工(x+i，y+j，o(o，s+1))中是極大值或者極小值，其中(i，j=0，士l)，那么返回值為真，否則返回值為假；基于Gabor的背景描述子計算為了能有效地進行背景比對，需要在背景特征點上進行有效的特征描述。背景比對不僅要能準確地檢測出活體人臉，而且要能抵抗在近似背景下拍攝的假冒視頻攻擊。Gabor小波接近視覺皮層響應，能提取多個方向尺度上的局部特征，而且對光線變化較魯棒，應用在人臉識別等方面取得了很好的效果。本方法提出了基于Gabor的背景描述子，用以在背景特征點集上緊湊、有效地表征背景特征。圖像I在背景特征點集Pt上的Gabor背景描述子TI定義為，11={G(x，y，I)I(x，y)GPt}(6)其中，Pt是第t幀選取出來的背景特征點集合，G(;c,少,/)"4^)提由一組Gaboru^(x，yM在圖像I的點(x，y)上巻積得到。其中，小波集一O;，力-e2ff2(7)x'=xcos9+ysin9(8)y'=_xsin9+ycos9(9)e表示Gabor小波的方向；A表示小波的波長；o表示包絡函數(shù)的半徑，確定了小波的巻積范圍。這里我們?nèi)=A。我們?nèi)?個不同的方向(^{0，￥，i，ii，i，i，i})、5個不同的波長("{4，4在8，8在16})構成40個Gabor小波集{vi(x，y)，i=1，，40}。G(x，y，I)由該40個Gabor小波在點(x，y)上巻積后的40個復數(shù)組成的一個集合(見公式10)，這里我們把復數(shù)g"/表示為^一其中ai表示幅值，小i表示相位:<formula>formulaseeoriginaldocumentpage7</formula>活體度量及活體判定借助背景描述子，活體度量L定義為，<formula>formulaseeoriginaldocumentpage7</formula>其中，Background表示背景圖片，S(G，G')表示G和G'的相似度。對于S(G，G')我們用相位相似度S$計算，<formula>formulaseeoriginaldocumentpage7</formula>其中ai表示幅值，小i表示相位，不帶上角標和帶上角標的分別對應G和G'，(G和表示S中的兩個參數(shù))。對于活體和假冒視頻的鑒別，我們用閾值9來判定，見公式(13)，如果活體度量L大于閾值e，我們判定為活體，否則視為假冒視頻攻擊。<formula>formulaseeoriginaldocumentpage7</formula>驗證結果為了測試本文算法對活體人臉和假冒視頻的鑒別能力，我們自己采集構建了一個人臉視頻數(shù)據(jù)庫。該數(shù)據(jù)庫用S0NYH7在2個室內(nèi)和5個室外背景中采集，數(shù)據(jù)采集時沒有人為的光線控制。每個測試人拍攝2個片斷，每個片段拍攝時間約6-8秒，共采集了14個人的196個活體人臉視頻。視頻分辨率為640X480，采樣頻率為25幀/秒。對公式(2)中參數(shù)我們設置為o。=1.6，S=2，0=5。背景特征點提取算法中提取特征點的個數(shù)N=16。性能說明我們分別在不同的特征點數(shù)N和閾值9下測試196個活體人臉視頻，來測試該方法的活體檢測性能。對于抵抗視頻攻擊性能的測試，我們依次把7個采集背景中的1個背景作為認證系統(tǒng)工作背景，而把其他6個采集背景拍攝的168個視頻作為假冒視頻對其進行欺騙測試。經(jīng)實驗測試，基于相位相似度Gabor描述子方法，e=0.23時，活體檢測率和假冒視頻檢測率分別為99.35%和99.25%，該方法的EER(等錯誤率)為0.85%，表明在抵抗視頻欺騙方面達到很好的性能。同時我們還進行了與其他的局部特征方法SIFT背景描述子和非局部特征方法Pearsonproduct-momentcorrelation的性能比較實驗。對于SIFT描述子我們用<formula>formulaseeoriginaldocumentpage7</formula>相似度的測試。表1列出了各描述子與不同相似度方法的EER以及當FAR(錯誤接受率)分別為0.l，O.01和0.001時對應的FRR(錯誤拒絕率)。從表中我們可以看出Gabor描述子優(yōu)于SIFT描述子和Correlation方法。表1各描述子與其它特征描述方法的活體檢測性能比較(N=16)<table>tableseeoriginaldocumentpage8</column></row><table>實驗結論由實驗結果可以看出本發(fā)明在視頻人臉和活體人臉的鑒別方面都取得了比較理想的結果，Gabor特征描述子在本問題中性能上優(yōu)于SIFT方法和非局部特征方法，同時本發(fā)明檢測活體人臉的方法較為隱蔽，不需要用戶配合，有很好的實時性和抗視頻欺騙的能力。權利要求一種基于背景比對的視頻和活體人臉的鑒別方法，其特征是，步驟如下(1)對輸入視頻的每一幀圖像It進行人臉位置檢測，根據(jù)檢測出的人臉位置確定背景比對區(qū)域；(2)在每一幀圖像It的背景比對區(qū)域中，通過圖像尺度空間的方法，將尺度空間上的極值點作為該幀背景比對的特征點，提取預定數(shù)量的特征點得到特征點集Pt；(3)用特征點集Pt上的Gabor小波變換描述所對應幀圖像It的背景特征，Gabor背景描述子G(x，y，I)為由一組Gabor小波集在點(x，y)上卷積后組成的一個集合，G(x，y，I)＝{ψi(x，y)*I(x，y)}；I(x，y)為圖像中坐標為x，y的點的像素值；<mrow><msup><mi>ψ</mi><mi>i</mi></msup><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mo>=</mo><msup><mi>e</mi><mrow><mo>-</mo><mfrac><mrow><msup><mi>x</mi><mrow><mo>′</mo><mn>2</mn></mrow></msup><mo>+</mo><msup><mi>y</mi><mrow><mo>′</mo><mn>2</mn></mrow></msup></mrow><mrow><mn>2</mn><msup><mi>σ</mi><mn>2</mn></msup></mrow></mfrac></mrow></msup><msup><mi>e</mi><mrow><mn>2</mn><mi>πj</mi><mfrac><msup><mi>x</mi><mo>′</mo></msup><mi>λ</mi></mfrac></mrow></msup><mo>;</mo></mrow>x′＝xcosθ+ysinθ，y′＝-xsinθ+ycosθ；j表示復數(shù)中的虛部；θ表示Gabor小波的方向；λ表示小波的波長；σ表示包絡函數(shù)的半徑；(4)利用步驟(3)的結果，定義活體度量L；<mrow><mi>L</mi><mo>=</mo><mfrac><mn>1</mn><mi>T</mi></mfrac><munderover><mi>Σ</mi><mrow><mi>t</mi><mo>=</mo><mn>1</mn></mrow><mi>T</mi></munderover><mrow><mo>(</mo><mfrac><mn>1</mn><mi>N</mi></mfrac><munder><mi>Σ</mi><mrow><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mo>∈</mo><msub><mi>P</mi><mi>t</mi></msub></mrow></munder><mi>S</mi><mrow><mo>(</mo><mi>G</mi><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>,</mo><msub><mi>I</mi><mi>t</mi></msub><mo>)</mo></mrow><mo>,</mo><mi>G</mi><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>,</mo><mi>Background</mi><mo>)</mo></mrow><mo>)</mo></mrow><mo>)</mo></mrow></mrow>S()是相似度函數(shù)；Background表示背景圖片，是檢測活體之前在檢測活體的位置拍攝得到的圖片；T是輸入視頻中圖像的總幀數(shù)；如果活體度量L大于閾值θ，判定為活體，否則視為假冒視頻。2.根據(jù)權利要求l所述的鑒別方法，其特征是，步驟(1)中使用Haar類似特征與級聯(lián)Adaboost方法進行人臉位置檢測。3.根據(jù)權利要求l所述的鑒別方法，其特征是，步驟(1)中所述的背景比對區(qū)域的高度和人臉的高度相同，寬度為人臉寬度的1/4，背景比對區(qū)域與人臉邊緣的距離為人臉寬度的1/4。全文摘要本發(fā)明公開了一種基于背景比對的視頻和活體人臉的鑒別方法，步驟如下(1)對輸入視頻的每一幀圖像進行人臉位置檢測，根據(jù)檢測出的人臉位置確定背景比對區(qū)域；(2)選取輸入視頻中和背景比對區(qū)域在尺度空間上的極值點作為背景比對區(qū)域的特征點，得到背景特征點集Pt；(3)用Gabor小波變換描述圖像I在背景特征點集Pt的特征；(4)利用步驟(3)的結果，定義活體度量L；如果活體度量L大于閾值θ，判定為活體，否則視為假冒視頻。本發(fā)明主要解決僅通過單個攝像頭進行視頻人臉和活體人臉的計算機自動鑒別問題。文檔編號G06K9/00GK101702198SQ20091015429公開日2010年5月5日申請日期2009年11月19日優(yōu)先權日2009年11月19日發(fā)明者吳朝暉,孫霖,潘綱申請人:浙江大學