專利名稱：活體眼睛判定方法及活體眼睛判定裝置的制作方法
技術領域：
本發明涉及例如在虹彩認證中防止將不是活體的眼睛錯誤地認證而判定圖象中反映的眼睛是不是活體的眼睛的所謂活體眼睛判定的技術。
背景技術：
近幾年來，使用虹彩圖象的個人認證技術，開始在重要設施所在地的進出入管理、銀行等的ATM(Automated Teller Machine)及PC錄入用途等中得到利用。特別是專利文獻1記述的方法，已在世界各國投付使用，逐漸成為事實上的世界標準方式。
在專利文獻1記述的方法中，從拍攝虹彩的圖象中抽出虹彩區域，用極座標表現虹彩區域后，進行2D Gabor Wavelet濾波，生成虹彩代碼。然后將生成的虹彩代碼與預先注冊的虹彩代碼加以比較，從而進行個人認證。
另外，在使用虹彩圖象的個人認證中，有可能將虹彩的照片及假眼等弄錯后進行認證。防止這種誤認證的技術，在專利文獻2、3中記述著。在專利文獻2中，檢出眼睛的眨眼，或檢出瞳孔直徑的變化。在專利文獻3中，加上可見光刺激后，觀察瞳孔直徑的變化。
(專利文獻1)特許第3307936號公報(專利文獻2)特開2000-105830號公報(專利文獻3)特許第3315648號公報可是，在現有技術中，存在如下問題。
首先，在專利文獻2中存在需要高速快門或處理時間較長的問題。而在專利文獻3中，也存在著為了觀察瞳孔直徑的變化，而需要相當長的時間的問題。
發明內容
鑒于上述問題，本發明的課題是可以用簡易的方法，判別活體的眼睛和照片及假眼。
在本發明中，利用稱作“網膜反射”的現象。在此對網膜反射做一簡單說明。
圖1是眼球的剖面圖，是表示網膜反射的機理的圖形。如圖1所示，光通過瞳孔(未被虹彩堵住的區域)射入，被網膜反射，該反射光沿著和入射光大致相同的路線反向前進，通過瞳孔射到眼球的外部。因此，在眼睛的圖象中，整個瞳孔顯得明亮。
圖2(a)是產生網膜反射時的眼睛的圖象的示意圖，圖2(b)是表示圖2(a)的圖象的水平線L中的亮度分布的曲線圖。由圖2(b)可知在瞳孔區域中，亮度增大。
這種網膜反射是活體眼睛特有的現象，在打印圖象及假眼中不會產生。本發明就是著眼于這一點而問世的。
就是說，為了解決上述課題，在本發明中，使用和照相機的光軸同軸的光照射被拍攝對象而拍攝的圖象，根據所述圖象反映的眼睛的瞳孔區域的亮度值，判定是不是活體的眼睛。
采用本發明后，在使用和照相機的光軸同軸的光照射并拍攝的圖象中，活體的眼睛在網膜反射的作用下，瞳孔區域的亮度增大。另一方面，在照片及打印圖象或假眼中，不產生網膜發應，所以瞳孔區域的亮度沒有活體的眼睛那么高。因此，根據圖象的瞳孔區域的亮度值，可以簡易地判定圖象中反映的眼睛是不是活體的眼睛。
另外，在本發明中，使用和照相機的光軸同軸的光照射并拍攝的第1圖象和用和照相機的光軸不同的光軸照射并拍攝的第2圖象，根據所述第1及第2圖象反映的眼睛的瞳孔區域的亮度值，判定所述圖象包含的眼睛是不是活體的眼睛。
采用本發明后，關于活體的眼睛，在用和照相機的光軸同軸的光照射并拍攝的第1圖象中，瞳孔區域的亮度在網膜反射的作用下變大，而在用和照相機的光軸不同的光軸照射并拍攝的第2圖象中，瞳孔區域的亮度變小。就是說，在第1及第2圖象中，在瞳孔區域出現很大的亮度差異。另一方面，在照片及打印圖象或假眼中，在第1及第2圖象中，瞳孔區域的亮度差異沒有活體的眼睛那么大。因此，根據圖象的瞳孔區域的亮度值，可以簡易地判定圖象中反映的眼睛是不是活體的眼睛。另外，即使使用發生網膜反射時的照片及打印圖象時，由于在第1及第2圖象中不產生亮度差，所以可以進行高精度的判斷。
圖1是眼球的剖面圖，是表示網膜反射的機理的圖形。
圖2(a)是產生網膜反射時的眼睛的圖象，(b)是表示(a)的圖象中的亮度分布的曲線圖。
圖3是表示角膜反射的機理的圖形。
圖4是表示本發明的各實施方式涉及的包含活體眼睛判定的虹彩認證方法的流程圖。
圖5是本發明的第1實施方式涉及的包含活體眼睛判定的虹彩認證裝置的一個結構示例。
圖6是表示眼睛的構造的主視圖。
圖7是表示本發明的各實施方式涉及的包含活體眼睛判定的虹彩認證方法的其它示例的流程圖。
圖8是表示活體眼睛判定方法的流程圖。
圖9是使用同軸反射照明拍攝實際的眼睛后的圖象的示意圖。
圖10是使用同軸反射照明拍攝圖象的打印輸出后的圖象的示意圖。
圖11是表示能夠拍攝網膜反射的范圍的圖形。
圖12是表示能夠拍攝網膜反射的范圍的圖形。
圖13是本發明的各實施方式涉及的攝影裝置的其它結構示例。
圖14是圖13的攝影裝置拍攝的圖象的示意圖。
圖15是本發明的各實施方式涉及的攝影裝置的其它結構示例。
圖16是圖15的照明配置的變形例。
圖17是本發明的第2實施方式涉及的包含活體眼睛判定的虹彩認證裝置的一個結構示例。
圖18是使用非同軸照明拍攝活體的眼睛的圖象的示意圖。
圖19是使用非同軸照明拍攝的打印輸出的示意圖。
圖20是表示本發明的第3實施方式涉及的瞳孔區域的亮度值涉及的指標的時間變化的示意圖。
圖21是表示從圖20那樣的指標的時間變化獲得的頻率特性的示例。
圖22是表示瞳孔直徑和虹彩亮度·瞳孔亮度之比的關系的曲線圖。
具體實施例方式
采用本發明的第1樣態后，作為活體眼睛判定方法，提供包括取得用和照相機的光軸同軸的光照射并拍攝的圖象第1步驟；和根據所述圖象的瞳孔區域中的亮度值，判定所述圖象反映的眼睛是不是活體的眼睛的第2步驟。
采用本發明的第2樣態后，提供在所述第2步驟中，在瞳孔區域和虹彩區域的亮度值的差或比，大于所定的臨界值時，判定該眼睛是活體的眼睛的第1樣態的活體眼睛判定方法。
采用本發明的第3樣態后，提供在所述第1步驟中，取得時間連續的多枚所述圖象；在所述第2步驟中，根據由所述各圖象獲得的瞳孔區域中的亮度值涉及的所定指標的時間變化，判定該眼睛是活體的眼睛的的第1樣態的活體眼睛判定方法。
采用本發明的第4樣態后，提供所述所定的指標，是瞳孔區域中的亮度值的平均值的第3樣態的活體眼睛判定方法。
采用本發明的第5樣態后，提供所述所定的指標，是瞳孔區域和虹彩區域的亮度值的比值的第3樣態的活體眼睛判定方法。
采用本發明的第6樣態后，提供所述所定的指標，是瞳孔區域中的各象素的亮度值的總和的第3樣態的活體眼睛判定方法。
采用本發明的第7樣態后，提供作為所述亮度值的總和，使用用虹彩區域的面積歸一化的值的第6樣態的活體眼睛判定方法。
采用本發明的第8樣態后，作為活體眼睛判定方法，提供包括取得用和照相機的光軸同軸的光照射被拍攝對象而拍攝的第1圖象，和用和照相機的光軸不同的光軸照射被拍攝對象而拍攝的第2圖象的第1步驟；和根據該眼睛的瞳孔區域中的亮度值，判定所述第1及第2圖象反映的眼睛是不是活體的眼睛的第2步驟。
采用本發明的第9樣態后，提供在所述第2步驟中，求出所述第1圖象中的瞳孔區域和虹彩區域的亮度值的差——第1亮度差，和所述第2圖象中的瞳孔區域和虹彩區域的亮度值的差——第2亮度差，在所述第1亮度差和所述第2亮度差之差的絕對值，大于所定的臨界值時，判定該眼睛是活體的眼睛的第8樣態的活體眼睛判定方法。
采用本發明的第10樣態后，提供在所述第2步驟中，求出所述第1圖象中的瞳孔區域和虹彩區域的亮度值之比——第1亮度比，和所述第2圖象中的瞳孔區域和虹彩區域的亮度值之比——第2亮度比，在所述第1亮度比和所述第2亮度比之比，大于所定的臨界值時，判定該眼睛是活體的眼睛的第8樣態的活體眼睛判定方法。
采用本發明的第11樣態后，作為活體眼睛判定裝置，提供的裝置包括拍攝被拍攝對象的照相機；用和所述照相機的光軸同軸的光照射所述被拍攝對象的照明單元；接收用所述照明單元照明時，由所述照相機拍攝的圖象，根據所述圖象的該眼睛的瞳孔區域中的亮度值，判定所述圖象反映的眼睛是不是活體的眼睛的活體眼睛判定部。
采用本發明的第12樣態后，提供的裝置包括拍攝被拍攝對象的照相機；用和所述照相機的光軸同軸的光照射所述被拍攝對象的第1照明單元；用和所述照相機的光軸不同軸的光照射所述被拍攝對象的第2照明單元；接收用所述第1照明單元照明時由所述照相機拍攝的第1圖象及用所述第2照明單元照明時由所述照相機拍攝的第2圖象，根據所述第1及第2圖象的該眼睛的瞳孔區域中的亮度值，判定所述第1及第2圖象反映的眼睛是不是活體的眼睛的活體眼睛判定部。
下面，參照附圖，講述本發明的實施方式。
(第1實施方式)圖4是表示本發明的第1實施方式涉及的虹彩認證方法的流程圖。在圖4的流程圖中，包含進行活體眼睛判定的步驟S14、S15。
圖5是本實施方式涉及的虹彩認證裝置的一個結構示例。在圖5中，攝影裝置10包括拍攝被攝影者的眼睛EY(被拍攝對象)的照相機11，和照明12及半透半反鏡13。由照明12發出的光，被半透半反鏡13反射后，照射眼睛EY。照相機11在照明12進行照明時，通過做半透半反鏡13媒介，拍攝眼睛EY的圖象。這時，照相機11的光軸和照明12成為同軸(同軸反射照明)。就是說，由照明12及半透半反鏡13構成照明單元19。另外，圖象處理部15具有虹彩認證部16及活體眼睛判定部17，對攝影裝置10獲得的眼睛的圖象，實施包含活體眼睛判定的虹彩認證。由攝影裝置10及活體眼睛判定部17構成活體眼睛判定裝置。
首先，在步驟S 11中，由攝影裝置10拍攝虹彩圖象。如圖6所示，從正面看時，眼睛由瞳孔A1、虹彩A2及強膜A3構成。將瞳孔A1和虹彩A2的交界處稱作“瞳孔外緣E1”，將虹彩A2和強膜A3的交界處稱作“瞳孔外緣E2”。在步驟S11中，進行圖象內至少包含虹彩A2的攝影。
攝影裝置10的照明12，例如由1個或多個具有近紅外的波長域的LED構成。使用近紅外光照射眼睛EY的優點，是不會使被攝影者感到晃眼。
另外，為了將拍攝的圖象用于虹彩認證，在照相機11前，設置可見光阻擋濾鏡14。這樣，照相機11只接收近紅外成分的光。
此外，在本實施方式中，在光源中使用了具有近紅外的波長域的LED，但也可以使用其它光源及其它波長域(例如可見光)。
攝影時，只在照相機11曝光時，使照明12同步發光。這樣，可以減少被攝影者的眼睛所受照射的負擔。
接著，在步驟S12中，使用在步驟S11中拍攝的圖象，進行虹彩認證。該處理由虹彩認證部16實施。關于虹彩認證的手法，使用哪種方法都行。在此，采用專利文獻1記述的手法。其手法簡要如下(1)決定瞳孔外緣E1及瞳孔外緣E2，抽出虹彩區域。
(2)將抽出的虹彩區域由xy直交座標系變換成為rθ極座標系。
(3)決定解析區域(將半徑方向8等分成環狀)。
(4)采用多刻度的2-d Gabor濾波器，將Gabor濾波器輸出后的信號二值化后，作為虹彩代碼。
(5)比較預先注冊的注冊虹彩代碼和認證時的虹彩代碼(排他性的OR)，計算2個代碼間的漢明距離。
(6)漢明距離在臨界值以下時，作為本人接收，否則作為他人拒絕。
然后，在步驟S13中，檢查認證是否成功。在上述(6)中，作為本人接收時，就是認證成功(Yes)，進入步驟S14。否則(No)，作為他人拒絕而結束處理。
在步驟S14中，進行活體眼睛判定。該處理由活體眼睛判定部17進行，詳細內容后文再述。然后，判定結束在判定不是活體的眼睛時(在S15中為No)，就拒絕，并且結束處理。另一方面，判定是活體的眼睛時(在S15中為Yes)，作為認證成功而結束處理。
此外，在圖4的流程中，先進行虹彩認證，只在認證成功時進行活體眼睛判定。但也可以如圖7所示，先進行活體眼睛判定(S22)，只在判定是活體的眼睛時(在S23中為Yes)進行虹彩認證。無論采用哪種方法，為了最終得到認證，必須是在活體眼睛判定和虹彩認證的兩者中都未被拒絕。
現在，按照圖8的流程，詳細講述步驟S14中的活體眼睛判定。這里的處理，與本實施方式涉及的活體眼睛判定方法對應。
首先，在步驟S31中，決定瞳孔區域。在這里，如圖4的流程那樣，在活體眼睛判定S14之前，先進行虹彩認證S12時，由于在虹彩認證處理中，已經求出瞳孔的位置，所以可以利用其結果。另一方面，如圖7的流程那樣，在虹彩認證S24之前，先進行活體眼睛判定S22時，在這里決定瞳孔區域。瞳孔區域的決定，可以用任意的方法，例如可以使用專利文獻1記述的手法。
接著，在步驟S32中，根據瞳孔區域的亮度值，判定圖象反映的眼睛是不是活體的眼睛。象本實施方式這樣，使用同軸反射照明攝影時，如果是活體的眼睛，就如圖2(a)所示，在網膜反射的作用下，圖象的瞳孔區域整體的亮度變大。與此不同，如果是眼睛的照片及假眼，即使是同軸反射照明也不產生網膜反射。本實施方式利用這一點，判別活體的眼睛和照片及假眼。
在這里，為了判定活體的眼睛，使用瞳孔區域內的亮度值的平均值。然后，平均值比所定的臨界值TH1大時，判斷出現網膜反射，判定圖象反映的眼睛是活體的眼睛。
另外，為了避免瞳孔區域內的角膜反射的影響，在計算瞳孔區域內的亮度值的平均值時，可以只使用亮度值小于所定的臨界值TH2的象素。圖3是表示角膜反射的機理的圖形。如圖3所示，角膜反射時，光被眼球表面的角膜反射。
作為角膜反射的特征之一，可以列舉亮度比網膜反射變大，亮度容易飽和。因此，適當設定臨界值TH2后，可以簡單地排除角膜反射的影響。
圖9是使用同軸反射照明拍攝實際的眼睛后的圖象的示意圖，圖10是使用同軸反射照明拍攝圖象的打印輸出后的圖象的示意圖。在拍攝的實際的眼睛的圖象中，如圖9所示，出現網膜反射；在拍攝的打印輸出的圖象中，如圖10所示，不出現網膜反射。瞳孔區域的亮度值的平均值(但亮度飽和區域除外)，假設在圖9中是P1，在圖10中是P2。這樣，將臨界值TH1，設定為P2＜TH1＜P1，就能夠判斷是不是活體的眼睛。
毫無疑問，圖象的明亮度，隨著照明的強度、透鏡的光圈、照相機的黑色電平及增益而變化，臨界值TH1的值，可以根據它們的值進行調整。
另外，由圖2(b)可知網膜反射時，瞳孔區域內的亮度值幾乎一樣大，所以還可以在活體眼睛的判定條件中，添加瞳孔區域的亮度值的分散或標準偏差是否小于所定的臨界值TH3。在圖9中，假設瞳孔區域的亮度值的標準偏差(但亮度飽和區域除外)是σ1時，將臨界值TH3設定為TH3＞σ1即可。不僅根據瞳孔區域的亮度值，而且還包含標準偏差進行判定后，可以更加正確地進行活體眼睛判定。
另外，在各圖象中，還可以比較瞳孔區域和虹彩區域彼此的亮度值。例如，在瞳孔區域的亮度值比虹彩區域的亮度值大時，判定是活體的眼睛。在圖10的圖象中，利用瞳孔區域的亮度值P2比虹彩區域的亮度值I1小這一點，就可以判定不是活體的眼睛。另一方面，在圖9的圖象中，利用瞳孔區域的亮度值P2比虹彩區域的亮度值I1大這一點，則可以判定是活體的眼睛。
進而，還可以將瞳孔區域和虹彩區域的亮度值的差是否大于所定的臨界值TH4，作為活體的眼睛的判定條件。亮度值的差，在圖9的圖象中是P1-I1，在圖10的圖象中是P2-I2。這樣，將TH4設定為P2-I2＜TH4＜P1-I1后，就能夠判斷圖10不是活體的眼睛的圖象。
或者，還可以將瞳孔區域和虹彩區域的亮度值的比是否大于所定的臨界值TH5，作為活體的眼睛的判定條件。亮度值的比，在圖9的圖象中是P1/I1，在圖10的圖象中是P2/I2。這樣，將TH5設定為P2/I2＜TH4＜P1/I1后，就能夠判斷圖10不是活體的眼睛的圖象。
綜上所述，采用本實施方式后，可以根據瞳孔區域的亮度值，從用和照相機的光軸同軸的光照射被拍攝對象而拍攝的圖象中，區別活體的眼睛和照片及假眼。所以，可以利用簡易的方法實現活體眼睛判定，例如，在個人認證中，能夠防止將不是活體的眼睛誤認證，提高認證的可靠性。
此外，為了獲得良好的網膜反射，被攝影者的眼睛EY必須正對照相機11。因此，可以在可見光阻擋濾鏡14或攝影裝置10的前方設置的透明的外罩的中央等上，設置引導視線的指示器。另外，還可以在照明12的傍邊另行設置引導視線用的可見光照明。這時，為了不使被攝影者感到晃眼，可以將可見光照明的亮度設置成能夠視認的最低限度。
此外，在圖4的流程中，在虹彩認證之后，進行活體眼睛判定；在圖7的流程中，則在活體眼睛判定之后，進行虹彩認證。但虹彩認證和活體眼睛判定未必非要按照一先一后的順序進行，還可以由2個運算裝置例如虹彩認證部16和活體眼睛判定部17同時進行。
<關于“同軸”>
在本實施方式中，用和照相機的光軸同軸(的光)照射被拍攝對象。但這時的“同軸”，并不意味著嚴密的同軸，只要是能夠拍攝到網膜反射的程度的“大致同軸”即可。就是說，本發明中的所謂“同軸”，不只是嚴密的同軸，還包含能夠拍攝到網膜反射的范圍內的大概的同軸。
下面，參照圖11及圖12，對能夠拍攝到網膜反射的范圍加以講述。照明的入射光，在相當于透鏡的水晶體的作用下折射，在網膜上成象。在網膜上成象的照明光，被水晶體折射后向眼球的外面射出。人的眼睛與照明的焦點吻合、而且相當于透鏡的水晶體沒有象差時，在網膜上成象的照明光，如圖11所示，再一次聚光到照明的位置。因此，將照相機置于圖11的斜線區域時，能夠拍攝網膜反射。
另一方面。人的眼睛與照明的焦點不吻合、而且水晶體有象差時，如圖12所示，能夠拍攝網膜反射的區域進一步擴大。
所以，作為本發明的“同軸”包含的情況，可以定義為照相機的光軸被圖11及圖12的斜線區域包含時，在能夠拍攝網膜反射的程度內，基本上是同軸。
順便指出作為即使照明與照相機光軸錯開，也出現網膜反射的示例，可以列舉由照相機的閃光燈造成的紅眼現象。在普通的照相機中，透鏡位置與閃光燈的位置雖然不同，但因其距離比攝影距離小，所以盡管不是完全的同軸，卻能夠拍攝到網膜反射——紅眼。
<攝影裝置的其它結構>
在本實施方式中，為了使照明12和照相機11的光軸成為同軸，設置半透半反鏡13。但也可以對半透半反鏡13而言，將照明12和照相機11的位置相反設置。這時，照明12的光，透過半透半反鏡13后照射眼睛EY，照相機11拍攝被半透半反鏡13反射的圖象。
另外，將照明12和照相機11的光軸成為同軸的結構，即使不使用半透半反鏡13也能夠實現。例如，在圖13的攝影裝置10A中，作為照明單元的照明12A的光，配置在照相機11前方的光軸上。但是在這種結構中，需要在照明12A和照相機11之間，設置遮光單元18，以免照明12A的光直接射入照相機11。當然，由于通過遮光單元18的區域后不能拍攝被拍攝對象，所以用圖13的攝影裝置10A拍攝的圖象，如圖14所示，遮光區域CR就被包含在瞳孔區域A1內。但是，由于在虹彩認證中，只要能夠獲得虹彩區域A2的圖象即可，所以不成問題。
另外，在圖15的攝影裝置10B中，與照相機11的光軸稍微錯開地配置作為照明單元的照明12B。但是對照明12B而言的照相機11的位置，包含在圖12所示的能夠拍攝網膜反射的區域中。就是說，被攝影者的眼睛EY，被和照相機11的光軸所謂“同軸”(的光)照明。進而，作為圖15的變形，可以如圖16所示，在照相機透鏡11a的周圍，設置多個作為照明單元的照明12c。
(第2實施方式)本發明的第2實施方式涉及的虹彩認證方法，基本的處理流程，與第1實施方式一樣。不同的是在用和照相機的光軸同軸照射被拍攝對象而拍攝的第1圖象之外，還取得用和照相機的光軸不同的光軸照射被拍攝對象而拍攝的第2圖象，使用這些第1及第2圖象，進行活體眼睛判定。
圖17是本實施方式涉及的虹彩認證裝置的結構示例，與圖5相同的構成要素，賦予和圖5一樣的符號。圖17的攝影裝置20，與圖5的攝影裝置10的不同之處是在照明12之外，還設置照明21。照明21用和照相機11的光軸不同的光軸直接照射被攝影的眼睛EY(即不是同軸反射照明而是非同軸反射照明)。由照明12及半透半反射鏡13構成第1照明單元19，由照明21構成第2照明單元。另外，圖象處理部22具有虹彩認證部23及活體眼睛判定部24，對攝影裝置20得到的眼睛的圖象，實施包含活體眼睛判定的虹彩認證。由攝影裝置20及活體眼睛判定部24構成活體眼睛判定裝置。
在此，參照圖4的流程，講述本實施方式的處理。毫無疑問，如圖7所示，既可以在虹彩認證之前進行活體眼睛判定，也可以同時進行虹彩認證和活體眼睛判定。
首先，在步驟S11中，由攝影裝置20拍攝虹彩圖象。在這里，分別在只使照明12發光時和只使照明21發光時進行攝影。將只使照明12發光時、即同軸反射照明時的圖象作為第1圖象，只使照明21發光時、即不是同軸反射照明時的圖象作為第2圖象。
接著，在步驟S12中，使用在步驟S11中拍攝的圖象進行虹彩認證。該處理由虹彩認證部23實施。在虹彩認證中，至少使用第1及第2圖象中的一個。在這里，假設使用第2圖象進行認證。但毫無疑問，也可以使用第1圖象進行認證。另外，還可以使用第1及第2圖象進行認證，按照安全保障的級別，決定認證方針。例如，其中某一個認證成功，就作為最終認證成功，或者雙方認證成功，才作為最終認證成功。虹彩認證的方法，如第1實施方式所述。
然后，在步驟S13中，檢查認證是否成功。認證成功時(Yes)，進入步驟S14。否則(No)，就作為他人拒絕而結束處理。
在步驟S14中，進行活體眼睛判定。詳細內容后文再述。然后，判定的結果，在判定不是活體的眼睛時(在S15中為No)，就拒絕，并且結束處理。另一方面，判定是活體的眼睛時(在S 15中為Yes)，作為認證成功而結束處理。
現在，按照圖8的流程，詳細講述步驟S 14中的活體眼睛判定。這里的處理，與本實施方式涉及的活體眼睛判定方法對應。
首先，在步驟S31中，對第1及第2圖象，決定瞳孔區域。在這里，由于在步驟S12中，已經求出第2圖象的瞳孔的位置，所以可以在決定第1圖象的瞳孔區域時利用。但第1及第2圖象的攝影間隔較短時，例如在用30幀/S的照相機連續攝影時，第1及第2圖象中的瞳孔區域被認為幾乎不變。因此，可以將第2圖象中的瞳孔位置，作為第1圖象中的瞳孔位置采用。另一方面，如圖7的流程那樣，在虹彩認證S24之前，先進行活體眼睛判定S22時，在這里決定瞳孔區域。瞳孔區域的決定，可以用任意的方法，例如可以使用專利文獻1記述的手法。
接著，在步驟S32中，根據第1及第2圖象中的瞳孔區域的亮度值，判定圖象反映的眼睛是不是活體的眼睛。如果是活體的眼睛，同軸反射照明時，在網膜反射的作用下，瞳孔區域整體的亮度變大。而不是同軸反射照明時，瞳孔區域整體的亮度變小。本實施方式利用這一點，判別活體的眼睛和照片及假眼。
在這里，為了判定活體的眼睛，使用瞳孔區域內的亮度值的平均值。在第1及第2圖象中，將瞳孔區域的亮度值的平均值分別設定為Pa、Pb后，在亮度差(Pa-Pb)比所定的臨界值TH1大時，判斷出現網膜反射，判定圖象反映的眼睛是活體的眼睛。
圖18及圖19是使用非同軸照明拍攝的第2圖象的示例，圖18是拍攝的實際的眼睛，圖19是拍攝的打印輸出。另外，作為使用同軸照明拍攝的第1圖象，從圖9及圖10獲得后，亮度差(Pa-Pb)，在實際的眼睛的圖象(圖9及圖18)中就成為P1-P3，在打印輸出的圖象(圖10及圖19)中就成為P2-P4。因此，將臨界值TH1設定為P2-P4＜TH1＜P1-P3后，就能夠判別是不是活體的眼睛。
另外，在第1圖象中的瞳孔區域的亮度平均值Pa大于所定的臨界值TH2、而且第2圖象中的瞳孔區域的亮度平均值Pa小于所定的臨界值TH3時，也可以判定是活體的眼睛。
另外，還可以使用瞳孔區域和虹彩區域的亮度值的差。假設第1圖象中的虹彩區域的亮度平均值為Ia、第2圖象中的虹彩區域的亮度平均值為Ib，那么例如在第1圖象中的亮度差即第1差(Pa-Ia)和第2圖象中的亮度差即第2差(Pb-Ib)之差的絕對值大于臨界值TH4時，判定是活體的眼睛。在先前的示例中，實際的眼睛，其第1圖象(圖9)中的亮度差(Pa-Ia)是P1-I1，第2圖象(圖18)中的亮度差(Pb-Ib)是P3-I3，它們的差的絕對值成為|(P1-I1)-(P3-I3)|。另一方面，打印輸出，其第1圖象(圖10)中的亮度差(Pa-Ia)是P2-I2，第2圖象(圖19)中的亮度差(Pb-Ib)是P4-I4，它們的差的絕對值成為|(P2-I2)-(P4-I4)|。因此，將臨界值TH4設定為|(P2-I2)-(P4-I4)|＜TH1＜|(P1-I1)-(P3-I3)|后，可以判別是不是活體的眼睛。這和關于瞳孔區域的亮度值，求出第1圖象和第2圖象之差，以及關于虹彩區域的亮度值，求出第1圖象和第2圖象之差，使用它們的差的絕對值的方法，是等效的。就是說，|(Pa-Ia)-(Pb-Ib)|＝|(Pa-Pb)-(Ia-Ib)|。
另外，在第1圖象中的亮度差(Pa-Ia)大于所定的臨界值TH6、而且第2圖象中的亮度差(Pb-Ib)大于所定的臨界值TH5時，也可以判定是活體的眼睛。
或者，還可以使用瞳孔區域和虹彩區域的亮度值的比。假設第1圖象中的亮度比即第1比Pa/Ia和第2圖象中的亮度比即第2比Pb/Ib之比大于臨界值TH7時，判定是活體的眼睛。在先前的示例中，實際的眼睛，其第1圖象(圖9)中的亮度比Pa/Ia是P1/I1，第2圖象(圖18)中的亮度比Pb/Ib是P3/I3，它們的比成為(P1/I1)/(P3/I3)。另一方面，打印輸出，其第1圖象(圖10)中的亮度比Pa/Ia是P2/I2，第2圖象(圖19)中的亮度比Pb/Ib是P4/I4，它們的比成為(P2/I2)/(P4-I4)。因此，將臨界值TH7設定為(P2/I2)/(P4-I4)＜TH7＜(P1/I1)/(P3-I3)后，可以判別是不是活體的眼睛。這和關于瞳孔區域的亮度值，求出第1圖象和第2圖象之比，以及關于虹彩區域的亮度值，求出第1圖象和第2圖象之比，使用它們的差的絕對值的方法，是等效的。就是說，(Pa/Ia)/(Pb/Ib)＝(Pa/Pb)/(Ia/Ib)。
另外，在第1圖象中的亮度比Pa/Ia大于所定的臨界值TH9、而且第2圖象中的亮度比Pb/Ib大于所定的臨界值TH8時，也可以判定是活體的眼睛。
另外，為了避免瞳孔區域內的角膜反射的影響，在計算瞳孔區域內的亮度值的平均值時，可以只使用亮度值小于所定的臨界值TH10的象素。另外，網膜反射時，瞳孔區域內的亮度值幾乎一樣大，所以還可以在活體眼睛的判定條件中，添加瞳孔區域的亮度值的分散或標準偏差是否小于所定的臨界值TH11。
綜上所述，采用本實施方式后，可以使用用與照相機的光軸同軸的光照射被拍攝對象而拍攝的圖象和用與照相機的光軸不同軸的光照射被拍攝對象而拍攝的圖象，根據兩圖象的瞳孔區域的亮度值，區別活體的眼睛和照片及假眼。所以，可以利用簡易的方法實現高精度的活體眼睛判定，例如，在個人認證中，能夠防止將不是活體的眼睛誤認證，提高認證的可靠性。
此外，在本實施方式中，拍攝第1圖象時，只使照明12發光；拍攝第2圖象時，只使照明21發光。但是在拍攝第1圖象時，使照明12和照明21同時發光也行。這時，如果使虹彩區域的亮度由照明21確保，使照明12采用引起網膜反射的最低限度的光量，就能夠減少網膜的中心部附近被光照射后造成的眼睛的負擔。
此外，將照相機和照明作為非同軸時，只要與同軸錯開到不引起網膜反射的程度即可。
(第3實施方式)本發明的第3實施方式涉及的虹彩認證方法，基本的處理流程，與第1實施方式一樣。不同的是在用和照相機的光軸同軸照射被拍攝對象而拍攝圖象之際，取得多枚圖象，使用這些圖象，進行活體眼睛判定。
作為本實施方式涉及的虹彩認證裝置，和第1實施方式一樣，使用圖5的裝置。圖5的構成要素，與在第1實施方式中講述的一樣，故不再贅述。
在此，參照圖4的流程，講述本實施方式的處理。毫無疑問，如圖7所示，既可以在虹彩認證之前進行活體眼睛判定，也可以同時進行虹彩認證和活體眼睛判定。
首先，在步驟S11中，由攝影裝置20拍攝多枚虹彩圖象。在這里，在這里，以每移30幀的攝影速度拍攝虹彩圖象，使照明12與照相機11的曝光時同步發光。
接著，在步驟S12中，使用在步驟S11中拍攝的多枚圖象進行虹彩認證。該處理由虹彩認證部23實施。
在這里，另外進行圖象質量判定，將圖象質量判定的評價值最高的1枚圖象，用于虹彩認證。作為圖象質量，可以使用焦點值、眼瞼的張開程度等。毫無疑問，拍攝的多枚虹彩圖象中，將哪張圖象用于認證都可以。另外，還可以將所有的虹彩圖象都用于認證，只要有某一張認證成功，就是最終認證成功，或者用所定比例的虹彩圖象進行認證成功后，就作為最終認證成功。可以按照安全保障級別，決定認證方針。虹彩認證的手法，見第1實施方式所述。
然后，在步驟S13中，檢查認證是否成功。認證成功時(Yes)，進入步驟S14。否則(No)，就作為他人拒絕而結束處理。
在步驟S14中，進行活體眼睛判定。該處理由活體眼睛判定部17實施。
詳細內容后文再述。然后，判定的結果，在判定不是活體的眼睛時(在S15中為No)，就拒絕，并且結束處理。另一方面，判定是活體的眼睛時(在S15中為Yes)，作為認證成功而結束處理。
現在，按照圖8的流程，詳細講述本實施方式的步驟S14中的活體眼睛判定。這里的處理，與本實施方式涉及的活體眼睛判定方法對應。
首先，在步驟S31中，對拍攝的多枚虹彩圖象，決定瞳孔區域。在用每秒30幀的攝影速度連續攝影時，多枚虹彩圖象中的瞳孔區域被認為幾乎不變，所以可以只對第1枚的圖象將瞳孔區域的探索區域做的稍大一些進行探索，第2枚以后，可以將前一幀中的瞳孔區域作為探索的初始值，只對其周邊進行探索，從而削減計算量。瞳孔區域的決定，可以用任意的手法，例如可以使用專利文獻1記述的手法。
接著，在步驟S32中，根據多枚圖象中的瞳孔區域的亮度值，判定圖象反映的眼睛是不是活體的眼睛。在這里，活體的眼睛，即使周圍的明亮程度一定時，其瞳孔也反復進行微小的收縮·散大動作。就是說，發生所謂的瞳孔動搖。在本實施方式中，從如果是活體的眼睛就要引起網膜反射的同軸照明下拍攝的多枚圖象中，求出根據瞳孔區域中的亮度值的所定指標的時間變化。然后，從該指標的時間變化中，檢出有無同樣的瞳孔，判定是不是活體的眼睛。
在這里，瞳孔動搖即瞳孔收縮·散大的程度，可以從瞳孔直徑的時間變化中直接測量。可是，本發明申請人實際進行試驗后的結果，判明基于以下理由，在通常的虹彩認證中，難以高精度地測量瞳孔直徑的變化。
就是說，一般來說，用于虹彩認證的虹彩圖象，根據照相機的規格等，以虹彩的直徑約200象素的析象度拍攝。另外，在通常的明亮程度的環境中，盡管瞳孔開度在人們之間稍有差異，但瞳孔徑·虹彩徑比卻是0.40左右。這時，瞳孔直徑約為80象素。另外，根據本專利申請人的試驗，在這種條件下的瞳孔動搖引起的瞳孔直徑的變動寬度，標準偏差是3.7象素(4名被試驗者的平均值)。可以預料由于存在瞳孔區域的檢出誤差等，精確測量標準偏差是3.7象素左右的周期變動，實際上相當困難。這樣，可以認為在進行虹彩認證之際的一般的拍攝環境中，難以高精度地檢出瞳孔直徑的變化。
因此，在本實施方式中，根據在同軸照明下的瞳孔區域中的亮度值涉及的指標的時間變化，測量瞳孔直徑有無微小的變化。在同軸照明的作用下出現網膜反射時，瞳孔區域的明亮程度，是通過瞳孔到達網膜的光量越大越明亮，即瞳孔直徑越大越明亮。因此，根據瞳孔區域(即網膜反射)的亮度值，或該亮度值涉及的指標的時間變化，可以判定瞳孔有無收縮·散大。
作為亮度值涉及的指標，有多種多樣。例如可以將瞳孔區域包含的各象素的亮度值的平均值，作為所定的指標。這時，在瞳孔區域產生鏡面反射(角膜反射)時，可以計算除角膜反射區域外的區域的亮度值的平均值。由于角膜反射區域的亮度值通常極其大，所以給亮度值設定適當的臨界值后，可以特定其范圍。
另外，還可以將瞳孔區域和虹彩區域的亮度值之比，作為所定的指標使用。這樣，能夠使其對于環境變化具有粗壯性。
作為環境的變化，例如，可以考慮多個圖象的攝影中，同軸照明與被拍攝對象的距離變化。在出入管理裝置那樣的固定式的攝影裝置中，由于被拍攝者的頭部活動，從而造成同軸照明與被拍攝對象的距離變化。另外，在便攜式的攝影裝置中，由于把持裝置的手的抖動或被拍攝者的頭部活動，從而造成同軸照明與被拍攝對象的距離變化。在照明不是完全的平行光時，與照明的距離變化后，瞳孔區域的亮度值也要隨之變化，所以但憑瞳孔區域的亮度值，未必能夠精確測量瞳孔動搖。
另一方面，虹彩區域的亮度值雖然在一定的照明下不會變化，但在同軸照明與被拍攝對象的距離變化時，和瞳孔區域的亮度值一樣，也要隨著它變化。因此，使用瞳孔區域和虹彩區域的亮度值之比后，可以將環境變化的影響除外，高精度地只測量瞳孔的收縮·散開引起的亮度變化。
另外，還可以將瞳孔區域中各象素的亮度值的總和，作為所定的指標使用。就是說，瞳孔散大后，如上所述，在網膜反射引起的瞳孔區域的亮度增大的同時，瞳孔區域的面積也增大。另一方面，瞳孔收縮后，在瞳孔區域的亮度變小的同時，瞳孔區域的面積也變小。所以，將瞳孔區域中的亮度值的總和，作為指標使用后，瞳孔動搖引起的指標的時間變化，與使用亮度值的平均值時相比，得到進一步的強調。所以，能夠提高對于計測噪聲而言的S/N，能夠提高測量精度。
進而，作為瞳孔區域中各象素的亮度值的總和，可以使用被虹彩區域的面積歸一化的值。例如，照明和被拍攝對象的距離變化時，在瞳孔區域的亮度變化的同時，析象度也變化。因此，關于瞳孔區域中的亮度值的總和，應該除去亮度變化的影響，在被虹彩區域的亮度值(例如平均值)歸一化后，再由虹彩區域的面積歸一化。這樣，還能夠除去析象度變化的影響。作為虹彩區域的面積，例如可以使用表示虹彩外緣(參照圖6)的圓的面積(如果設虹彩半徑為r象素，就是πγ2)。另外，還可以使用實際露出來的虹彩區域的面積。此外，取代用虹彩區域的亮度值和面積進行歸一化，使用虹彩區域中的象素的亮度值的總和后進行歸一化，也能獲得同樣的效果。另外，還可以省略用虹彩區域的亮度值進行歸一化的處理，只用面積進行歸一化。
圖20是表示這樣求出的瞳孔區域的亮度值涉及的指標的時間變化的示意圖。縱軸的變動程度因指標的采取方法而異。但是關于活體的眼睛，可以獲得起因于圖20所示的瞳孔動搖的周期性的變動。
接著，根據圖20所示的指標時間變化，判定是不是活體的眼睛。在這里，采用傅里葉變換，使用頻率特性對圖20所示的指標時間變化進行判定。圖21是表示有關活體眼睛的由指標時間變化獲得的頻率與功率的關系的曲線圖。圖21是作為所定的指標，使用瞳孔區域中的亮度和的情況，是將40序列(4眼×10序列)的頻率特性平均化后描點而成。橫軸為頻率，縱軸為功率，均取對數。在圖21中，還將描點作為近似直線的虛線一并表示。由圖21可知對于頻率的對數而言，功率的對數基本上直線性地減少，就是說，具有l/f特性。因此，可以根據認證時拍攝的序列的頻率特性是否成為l/f特性，進行活體眼睛判定。
此外，在攝影析象度非常高時以及瞳孔直徑的變化很大時(例如，使攝影環境的可見光照度變化時，但為了引起網膜反射而使紅外光的照明強度一定時)，可以高精度地取得瞳孔直徑的變化。這時，還可以根據瞳孔直徑的時間變動的頻率特性，進行活體眼睛判定處理。
另外，還可以同時使用瞳孔直徑和瞳孔區域的亮度值。例如，利用瞳孔直徑和瞳孔區域的亮度值之間是否存在相關的關系，進行活體眼睛判定。圖22是表示瞳孔直徑和虹彩亮度·瞳孔亮度之比的關系的曲線圖。圖22是一邊使攝影環境的可見光強度變化，一邊用每秒30幀的拍攝速度對兩個人拍攝虹彩圖象時的結果。由圖22可知隨著瞳孔直徑的增大，瞳孔亮度變大，結果使虹彩亮度·瞳孔亮度之比變小。根據有無這種相互關系，可以進行活體眼睛判定。
綜上所述，采用本實施方式后，從用和照相機的光軸同軸照射被拍攝對象后在時間上連續拍攝的多枚圖象中，求出瞳孔區域的亮度值涉及的所定的指標的時間變化。然后，根據該指標的時間變化，可以區別活體的眼睛和照片及假眼。這樣，可以采用簡易的方法，實現高精度的活體眼睛判定，例如，在個人認證中，能夠防止誤將不是活體的眼睛認證，提高可靠性。
此外，在上述實施方式中，對作為照明使用LED的例子進行了講述。LED因具有耗電量低、壽命長的優點，所以是利用日益增多的光源。但在國際標準IEC60825-1(JlS C6802)中，作為以激光器為基準的光源，規定了安全基準。在商品化之際，當然必須滿足該安全基準。但為了進行活體眼睛判定而用于同軸反射照明時，即使滿足安全基準，對眼睛弱的人及眼睛疲勞的人來說，也有可能增加其負擔。
考慮到這種情況，最好使照明只在照相機曝光時間(例如16ms或33ms)發光。或者給實施活體眼睛判定的次數設定限制。例如，按人計數每天的認證次數，認證次數超過上限值時，不進行活體眼睛判定。或者還可以進行不使用同軸反射照明的其它活體眼睛判定。
此外，在上述各實施方式中，活體眼睛判定與虹彩認證一起進行。但也可以用于其它用途。另外，以上講述的是對近紅外光圖象進行活體眼睛判定的情況，但本發明的方法并不局限于近紅外光照明下的圖象，毫無疑問，也可以在可見光照明下的圖象中采用。這時，不使用可見光阻擋濾鏡。虹彩認證用的圖象，例如，也可以另外進行攝影。
另外，在上述各實施方式中，活體眼睛判定由攝影裝置附帶的圖象處理部實施。但本發明并不局限于這種結構。例如，可以利用圖5所示的攝影裝置10搭載的便攜式終端拍攝眼睛的圖象，通過網絡將該圖象發送給服務器。然后在服務器中，接收該圖象，實施活體眼睛判定。就是說，本發明還包括取得用同軸反射照明拍攝的眼睛的圖象，或與此同時還取得用非同軸反射照明拍攝的眼睛的圖象，實施判定圖象反映的眼睛是不是活體的眼睛的處理的這種結構。
本發明根據圖象的瞳孔區域的亮度值，能夠簡易地判定圖象反映的眼睛是不是活體的眼睛，所以例如在使用虹彩圖象的個人認證中，可以利用簡易的結構，排除使用照片或假眼等的不正當的冒充。
權利要求
1.一種活體眼睛判定方法，包括取得用和照相機的光軸同軸的光照射被拍攝對象而拍攝的圖象的第1步驟；和根據所述圖象中眼睛的瞳孔區域中的亮度值，判定所拍攝的所述圖象中的該眼睛是不是活體的眼睛的第2步驟。
2.如權利要求1所述的活體眼睛判定方法，其特征在于在所述第2步驟中，在瞳孔區域與虹彩區域的亮度值的差或比，大于規定的臨界值時，判定該眼睛是活體的眼睛。
3.如權利要求1所述的活體眼睛判定方法，其特征在于在所述第1步驟中，取得在時間上連續的多枚所述圖象；在所述第2步驟中，根據由所述各圖象獲得的瞳孔區域中的亮度值涉及的規定指標的時間變化，判定該眼睛是不是活體的眼睛。
4.如權利要求3所述的活體眼睛判定方法，其特征在于所述規定的指標，是瞳孔區域中的亮度值的平均值。
5.如權利要求3所述的活體眼睛判定方法，其特征在于所述規定的指標，是瞳孔區域與虹彩區域之間的亮度值之比。
6.如權利要求3所述的活體眼睛判定方法，其特征在于所述規定的指標，是瞳孔區域中的各象素的亮度值的總和。
7.如權利要求6所述的活體眼睛判定方法，其特征在于作為所述亮度值的總和，使用以虹彩區域的面積歸一化的值。
8.一種活體眼睛判定方法，包括取得用與照相機的光軸同軸的光照射被拍攝對象而拍攝的第1圖象、和用與照相機的光軸不同軸的光照射所述被拍攝對象而拍攝的第2圖象的第1步驟；和根據所述第1及第2圖象中眼睛的瞳孔區域中的亮度值，判定所拍攝的所述第1及第2圖象中的該眼睛是不是活體的眼睛的第2步驟。
9.如權利要求8所述的活體眼睛判定方法，其特征在于在所述第2步驟中，求出所述第1圖象中的瞳孔區域與虹彩區域之間的亮度值之差——第1亮度差，和所述第2圖象中的瞳孔區域與虹彩區域的亮度值之差——第2亮度差，在所述第1亮度差與所述第2亮度差之差的絕對值，大于規定的臨界值時，判定該眼睛是活體的眼睛。
10.如權利要求8所述的活體眼睛判定方法，其特征在于在所述第2步驟中，求出所述第1圖象中的瞳孔區域與虹彩區域的亮度值之比——第1亮度比，和所述第2圖象中的瞳孔區域與虹彩區域的亮度值之比——第2亮度比，在所述第1亮度比和所述第2亮度比之比，大于規定的臨界值時，判定該眼睛是活體的眼睛。
11.一種活體眼睛判定裝置，包括拍攝被拍攝對象的照相機；用和所述照相機的光軸同軸的光照射所述被拍攝對象的照明單元；以及接收用所述照明單元照明時由所述照相機拍攝的圖象，根據所述圖象中眼睛的瞳孔區域中的亮度值，判定所拍攝的所述圖象中的該眼睛是不是活體的眼睛的活體眼睛判定部。
12.一種活體眼睛判定裝置，包括拍攝被拍攝對象的照相機；用和所述照相機的光軸同軸的光照射所述被拍攝對象的第1照明單元；用和所述照相機的光軸不同軸的光照射所述被拍攝對象的第2照明單元；以及接收用所述第1照明單元照明時由所述照相機拍攝的第1圖象及用所述第2照明單元照明時由所述照相機拍攝的第2圖象，根據所述第1及第2圖象中眼睛的瞳孔區域中的亮度值，判定所拍攝的所述第1及第2圖象的該眼睛是不是活體的眼睛的活體眼睛判定部。
全文摘要
用和照相機(11)的光軸同軸(的光)照射被攝影者的眼睛(EY)，進行攝影。這時，如果眼睛(EY)是活體的眼睛，就產生網膜反射，瞳孔區域的亮度增高。活體眼睛判定部(17)，根據照相機(11)拍攝的圖象的瞳孔區域的亮度值，判定圖象包含的眼睛是不是活體的眼睛。
文檔編號G06T7/00GK1809316SQ20048001707
公開日2006年7月26日 申請日期2004年7月1日 優先權日2003年7月4日
發明者近藤堅司, 吾妻健夫 申請人:松下電器產業株式會社