攝像裝置及其臉辨別方法

攝像裝置及其臉辨別方法
【專利摘要】一種攝像裝置，判斷是否設定人用的臉檢測模式(S31)，若判斷為設定人用的臉檢測模式，則執行由二維臉檢測處理檢測人臉的處理(S32)。之后，若由該二維臉檢測處理判斷為無人臉，則執行由三維臉檢測處理檢測人臉的處理(S35、S36)。另一方面，在設定動物用的臉檢測模式的情況下，執行由三維臉檢測處理檢測該設定的檢測模式的動物種類的臉的處理(S36)。由此，可使臉辨別的精度提高。
【專利說明】攝像裝置及其臉辨別方法
[0001] 本申請是卡西歐計算機株式會社于2012年6月20日提交的申請號為 "201210211324. 0"的發明名稱為"攝像裝置及其程序"的分案申請（原母案于2008年8月 28日年提交，申請號為"200810214907. 2"）的進一步的分案申請。

【技術領域】
[0002] 本發明涉及一種具有辨別被拍攝體的功能的攝像裝置及其臉辨別方法。

【背景技術】
[0003] 近年來，就電子照相機等攝像裝置而言，由于出現辨別被拍攝體的臉的技術，有如 下技術，即設定曝光條件，以聚焦于該被辨別的臉，或臉適當曝光（日本特開2007-081991 號公報）。
[0004] 但是，現有的臉辨別僅以從某個特定的方向攝像人的臉而且是正面的臉等情況為 對象，不能辨別側臉或帶墨鏡時等。另外，人以外的臉、例如貓或狗等的臉無法辨別。


【發明內容】

[0005] 因此，本發明鑒于這種現有問題作出，其目的在于提供一種可使臉辨別的精度提 高的攝像裝置及其程序。
[0006] 本發明的一個方式是一種具有被拍攝體的辨別功能的攝像裝置，其特征在于，具 有被拍攝體的辨別功能，
[0007] 所述攝像裝置具備：
[0008] 攝像部，其對被拍攝體進行攝像；
[0009] 臉辨別模式設定部，其具備辨別被拍攝體的臉時執行的臉辨別處理的內容各不相 同的多個臉辨別模式，從該多個臉辨別模式中設定任一臉辨別模式；和
[0010] 臉辨別部，其對由所述攝像部攝像的圖像數據執行與由所述臉辨別模式設定部設 定的臉辨別模式對應的臉辨別處理，由此辨別在該攝像的圖像數據內的臉。
[0011] 本發明的另一方式是一種具有被拍攝體的辨別功能的攝像裝置的控制方法，其特 征在于，所述控制方法執行下述步驟：
[0012] 模式設定步驟，從辨別被拍攝體的臉時執行的臉辨別處理的內容各不相同的多個 臉辨別模式中，設定任一種類的臉辨別模式；
[0013] 對被拍攝體進行攝像的攝像步驟；
[0014] 臉辨別步驟，對通過所述攝像步驟攝像的圖像數據，執行與通過所述模式設定步 驟設定的臉辨別模式對應的臉辨別處理；和
[0015] 判定步驟，根據通過所述臉辨別步驟執行的臉辨別處理，判定所述圖像數據內臉 的有無或臉的種類。

【專利附圖】

【附圖說明】
[0016] 圖1是本發明實施方式的數碼相機的框圖。
[0017] 圖2是表示記錄在存儲器12中的臉數據表格的狀態圖。
[0018] 圖3是表示第1實施方式的數碼相機1的動作的流程圖。
[0019] 圖4是表示第1實施方式的數碼相機1的動作的流程圖。
[0020] 圖5是表示對應于設定的臉檢測模式種類的臉檢測處理的動作的流程圖。
[0021] 圖6是表示第1個三維臉檢測處理動作的流程圖。
[0022] 圖7是表示用三角形多邊形表示生成的被拍攝體（這里僅為貓科的臉）的三維模 型時的狀態圖。
[0023] 圖8是表示第2個三維臉檢測處理動作的流程圖。
[0024] 圖9是表示第2實施方式的數碼相機1的動作的流程圖。
[0025] 圖10是表示第2實施方式的數碼相機1的動作的流程圖。
[0026] 圖11是表示對應于設定的臉識別模式種類的臉識別處理的動作的流程圖。

【具體實施方式】
[0027] 下面，作為將本發明的攝像裝置適用于數碼相機的一例，參照附圖來詳細說明本 實施方式。
[0028][第1實施方式]
[0029] A.數碼相機的構成
[0030] 圖1是表示實現本發明攝像裝置的數碼相機1的電示意構成的框圖。
[0031] 數碼相機1具備攝影透鏡2、透鏡驅動模塊3、光圈4、（XD5、驅動器6、TG(timing generator) 7、單位電路8、圖像生成部9、CPU10、鍵輸入部11、存儲器12、DRAM13、閃存14、 圖像顯示部15、總線16。
[0032] 攝影透鏡2包含由未圖示的多個透鏡群構成的聚焦透鏡、變焦透鏡等。另外，在攝 影透鏡2連接有透鏡驅動模塊3。透鏡驅動模塊3由分別沿光軸方向驅動聚焦透鏡、變焦透 鏡的聚焦電動機、變焦電動機、與根據從CPU10發送來的控制信號來驅動聚焦電動機、變焦 電動機的聚焦電動機驅動器、變焦電動機驅動器構成（省略圖示）。
[0033] 光圈4包含未圖不的驅動電路，驅動電路根據從CPU10發送來的控制信號使光圈 4動作。
[0034] 所謂光圈4是指控制從攝影透鏡2射入的光的量的機構。
[0035] CCD5由驅動器6驅動，每規定周期光電變換被拍攝體像的RGB值的各色光的強度， 作為攝像信號，輸出到單位電路8。該驅動器6、單位電路8的動作定時（timing)經TG7由 CPU10控制。另外，CCD5具有成對排列的濾色鏡，還具有作為電子快門的功能。該電子快門 的快門速度經驅動器6、TG7由CPU10控制。
[0036] TG7連接于單位電路8上，由相關二重采樣從(XD5輸出的攝像信號后保持的 0)S(Correlated Double Sampling)電路、在該采樣后執行攝像信號的自動增益調整的 AGC(Automatic Gain Control)電路、將該自動增益調整后的模擬的攝像信號變換為數字 信號的A/D變換器構成，從CCD5輸出的攝像信號經單位電路8作為數字信號發送到圖像生 成部9。
[0037] 圖像生成部9對從單位電路8發送的圖像數據實施γ校正處理、白平衡處理等 處理，同時，生成亮度色差信號（YUV數據），將該生成的亮度色差信號的圖像數據存儲在 DRAM13(緩沖存儲器）中。即，圖像生成部9對從(XD5輸出的圖像數據實施圖像處理。
[0038] CPU10是單片微機，具有執行對(XD5的攝像控制、圖像數據的壓縮擴展處理、向閃 存14的記錄處理、圖像數據的顯示處理的功能，同時，控制數碼相機1的各部。另外，CPU10 包含塊電路，還具有作為計時器的功能。
[0039] 尤其是CPU10具有從多種臉檢測模式中設定任一臉檢測模式的臉檢測模式設定 部101、和辨別在圖像數據內的臉的臉辨別部102。
[0040] 該臉檢測模式設定部101具備存儲設定的臉檢測模式種類的存儲區域，僅存儲最 新設定的臉檢測模式。
[0041] 另外，該臉辨別部102具有僅使用二維數據來辨別臉的功能（二維臉辨別處理）、 與使用三維數據來辨別臉的功能（三維臉辨別處理）。另外，所謂該臉辨別是指檢測位于圖 像數據內的臉、或具體地識別位于圖像數據內的臉是誰的？或是何臉。即，將臉檢測、臉識 別統稱為臉辨別。
[0042] 鍵輸入部11包含可半按壓全按壓的快門按鈕、模式切換鍵、十字鍵、SET鍵、被拍 攝體跟蹤Οη/OfT鍵等多個操作鍵，將對應于用戶的鍵操作的操作信號輸出到CPU10。
[0043] 在存儲器12中，記錄CPU10控制各部所需的控制程序、和必要的數據（設定被拍 攝體的每個種類（人、狗、貓等）的臉數據的臉數據表格），CPU10根據該程序動作。該存儲 器12是可改寫的非易失性存儲器。
[0044] 圖2表示記錄在存儲器12中的臉數據表格的狀態。
[0045] 從圖2可知，將被拍攝體的種類大致分為人與動物，動物進一步按狗、貓、馬...那 樣按每個種類分。另外，按各被拍攝體的每個種類記錄臉數據。臉數據具有二維（平面） 與三維（立體）兩種，對該被拍攝體的每個種類，設定二維或/和三維的臉數據。這里，對 于人的臉數據，同時設定為二維與三維，兒動物的臉數據僅為三維。即，在動物的情況下，不 設定二維的臉數據。這是因為動物的臉因看的角度不同而極端變化，而且是立體的原因。
[0046] DRAM13用作暫時存儲由（XD5攝像后、發送到CPU10的圖像數據的緩沖存儲器，同 時，用作CPU10的工作存儲器。
[0047] 閃存14是保存壓縮后的圖像數據的記錄介質。
[0048] 圖像顯示部15包含彩色IXD及其驅動電路，當處于攝影待機狀態時，將由(XD5攝 像的被拍攝體顯示為直通圖（through image),當再現記錄圖像時，顯示從閃存14中讀出、 擴展后的記錄圖像。
[0049] B.數碼相機1的動作
[0050] 根據圖3和圖4的流程圖來說明第1實施方式的數碼相機1的動作。
[0051] 若利用用戶的模式切換鍵的操作來設定成臉檢測靜止圖像攝影模式，則在步驟 Sl，CPU10使多種臉檢測模式一覽顯示于圖像顯示部15中。
[0052] 這里，多種臉檢測模式大致分為檢測人臉的臉檢測模式（人用的臉檢測模式）與 檢測動物（狗、貓、馬等）的臉的臉檢測模式（動物用的臉檢測模式），動物用的臉檢測模式 進一步如檢測狗的臉的臉檢測模式（狗用的臉檢測模式）、檢測貓的臉的臉檢測模式（貓用 的臉檢測模式）、檢測馬的臉的臉檢測模式（馬用的臉檢測模式）那樣按動物的每個種類分 類。即，多種臉檢測模式按構成臉檢測對象的被拍攝體的每個種類存在，將這些臉檢測模式 一覽顯示于圖像顯示部15中。此時，使光標與規定種類的臉檢測模式一致顯示。
[0053] 接著，在步驟S2，CPU10判斷由用戶選擇了哪個臉檢測模式。該判斷通過是否從鍵 輸入部11發送了與SET鍵的操作對應的操作信號來判斷。
[0054] 此時，用戶通過操作十字鍵，可使光標與想選擇的種類的臉檢測模式一致，在該光 標一致的種類的臉檢測模式下認為0K的情況下，執行SET鍵的操作。
[0055] 在步驟S2,若判斷為選擇了臉檢測模式，則進入步驟S3, CPU10的臉檢測模式設定 部101設定為當執行該SET鍵的操作時、光標一致的種類的臉檢測模式。
[0056] 若設定臉檢測模式，則進入步驟S4, CPU10開始所謂的直通圖顯示，也就是使(XD5 開始以規定的幀速率攝像被拍攝體的處理，將由CCD5依次攝像、由圖像生成部9生成的亮 度色差信號的幀圖像數據（YUV數據）存儲在緩沖存儲器（DRAM13)中，使基于該存儲的幀 圖像數據的圖像依次顯示于圖像顯示部15上。
[0057] 接著，在步驟S5中，CPU10判斷是否執行被拍攝體跟蹤0n/0ff鍵的操作。
[0058] 在步驟S5,若判斷為執行被拍攝體跟蹤鍵的操作，則進入步驟S6, CPU10判斷當前 的被拍攝體跟蹤模式是否為On。
[0059] 在步驟S6,若判斷為當前的被拍攝體跟蹤模式不是On、即是Off，則進入步驟S7， CPU10將被拍攝體跟蹤模式從Off切換為0n，進入步驟S9。
[0060] 另一方面，在步驟S6,若判斷為當前的被拍攝體跟蹤模式是0n，則進入步驟S8， CPU10將被拍攝體跟蹤模式從On切換為Off，進入步驟S9。
[0061] 另外，在步驟S5,若判斷為不執行被拍攝體跟蹤0η/0--鍵的操作，則直接進入步 驟S9。
[0062] 若進入步驟S9,則CPU10判斷是否由用戶半按壓快門按鈕。該判斷通過是否從鍵 輸入部11發送了與快門按鈕的半按壓操作對應的操作信號來判斷。
[0063] 此時，用戶由于在將想攝影的被拍攝體（主被拍攝體）收入視場角內并確定構圖 之后指示攝影的準備，所以半按壓操作快門按鈕。
[0064] 在步驟S9,若判斷為未半按壓快門按鈕，則返回步驟S5,若判斷為半按壓快門按 鈕，則進入步驟S10, CPU10的臉辨別部102執行對應于步驟S3設定的臉檢測模式種類的臉 檢測處理。該臉檢測處理在后面詳細說明。由該臉檢測處理檢測設定的臉檢測模式的種類 的臉。例如，在設定人用的臉檢測模式的情況下，利用臉檢測處理檢測人臉，在設定馬用的 臉檢測模式的情況下，利用臉檢測處理檢測馬臉。
[0065] 若執行臉檢測處理，則進入步驟Sll，CPU10判斷當前的被拍攝體跟蹤模式是否為 0n〇
[0066] 在步驟SI 1，若判斷為被拍攝體跟蹤模式不是On、即是Off，則進入步驟S12, CPU10 判斷是否能利用步驟S10的臉檢測處理來檢測臉。
[0067] 在步驟S12,若判斷為能檢測臉，則進入步驟S13，CPU10對該檢測到的臉執行基于 對比度檢測方式的AF處理，進入步驟S15。所謂該基于對比度檢測方式的AF處理由于是公 知技術，所以不詳細說明，但指通過使聚焦透鏡聚焦于成為聚焦對象的區域的圖像數據的 高頻分量最大的透鏡位置，來聚焦構成該聚焦對象的區域的圖像。
[0068] 另一方面，在步驟S12,若判斷為不能檢測臉，則進入步驟S14, CPU10對規定的區 域（例如視場角的中央區域）執行基于對比度檢測方式的AF處理，進入步驟S15。
[0069] 在步驟S13、步驟S14中，執行基于對比度檢測方式的AF處理，但也可利用其它方 式（例如相位差方式）來執行AF處理。總之能對想聚焦的區域執行AF處理即可。
[0070] 若進入步驟S15,則CPU10判斷是否全按壓快門按鈕。該判斷通過是否從鍵輸入部 11發送了與快門按鈕的全按壓操作對應的操作信號來判斷。
[0071] 在步驟S15,若判斷為未全按壓快門按鈕，則停留在步驟S15,直到全按壓快門按 鈕為止，若判斷為全按壓快門按鈕，則進入步驟S16, CPU10執行靜止圖像攝影處理，并且執 行壓縮利用該攝影處理得到的靜止圖像數據并記錄在閃存14中的處理。
[0072] 另一方面，在步驟S11，若判斷為被拍攝體跟蹤模式為On，則進入圖4的步驟S21， CPU10判斷是否可利用步驟S10的臉檢測處理來檢測臉。
[0073] 在步驟S21，若判斷為可檢測臉，則進入步驟S22，CPU10的臉辨別部102通過二維 地檢測該被檢測的臉，開始對該檢測到的臉跟蹤的跟蹤處理，進入步驟S23。這里，所謂二維 地檢測臉是指僅使用二維數據來檢測臉，該步驟S22中的二維地檢測臉的處理是登記從利 用上述步驟S10的臉檢測處理檢測到的臉區域的二維圖像中抽取的特征數據，使用塊匹配 法等檢測具有該登記的特征數據的臉。該塊匹配法是公知技術，所以不詳細說明，但是指使 用2個圖像數據、檢測與一個圖像數據所在區域的圖像數據相關度最高的另一圖像數據的 區域的方法。
[0074] 另一方面，在步驟S21，若判斷為不能檢測臉，則直接進入步驟S23。
[0075] 若進入步驟S23,則CPU10判斷是否全按壓快門按鈕。
[0076] 在步驟S23,若判斷為未全按壓快門按鈕，則進入步驟S24，CPU10判斷是否看漏該 追加的臉。即，判斷是否能利用步驟S22的二維檢測臉的處理來檢測臉。在步驟S21中判 斷為不能檢測臉的情況下，即判斷為圖3的步驟S10的臉檢測處理根本無法檢測構成跟蹤 源的臉的情況下，也判斷為看漏臉。
[0077] 在步驟S24,若判斷為未看漏臉，則返回步驟S23,在步驟S24,若判斷為看漏臉，則 返回圖3的步驟S10。由此，在看漏臉的情況下，再次執行對應于步驟S3設定的臉檢測模式 種類的臉檢測處理。
[0078] 另一方面，在步驟S23,若判斷為全按壓快門按鈕，則進入步驟S25, CPU10對該跟 蹤的臉執行基于對比度檢測方式的AF處理。即，對在全按壓快門按鈕之前二維檢測到的臉 執行AF處理。
[0079] 接著，在步驟S26, CPU10執行靜止圖像攝影處理，并且執行壓縮利用該攝影處理 得到的靜止圖像數據并記錄在閃存14中的處理。
[0080] C.對應于設定的臉檢測模式種類的臉檢測處理
[0081] 下面，根據圖5的流程圖來說明對應于設定的臉檢測模式種類的臉檢測處理的動 作。
[0082] 若進入圖3的步驟S10,則進入圖5的步驟S31，CPU10的臉辨別部102判斷當前 是否設定了人用的臉檢測模式。
[0083] 在步驟S31，若判斷為設定人用的臉檢測模式，則進入步驟S32，CPU10的臉辨別部 102利用二維的臉檢測處理檢測人臉。
[0084] 這里的2維臉檢測處理通過根據最近攝像到的幀圖像數據計算全部被拍攝體的 特征數據（二維的特征數據），比較對照該計算的被拍攝體的特征數據與圖2所示的臉數據 表格中設定的人的二維臉數據，檢測人臉在哪兒。
[0085] 另外，所謂'全部被拍攝體'是指由CCD5攝像的全部被拍攝體。例如，在攝像作為 立在建筑物前的主被拍攝體的人時，全部被拍攝體指建筑物與人。即，根據圖像數據的全部 區域計算被拍攝體的特征數據。
[0086] 所謂全被拍攝體的特征數據是指例如攝影的全部被拍攝體是建筑物與立在其前 的人的情況下，抽取多個建筑物和人的特征點，對該抽取的特征點的坐標位置或相對位置 關系等進行數值化后的數據。利用該特征點的抽取，還可從眼、鼻、口、臉的輪廓等抽取多個 臉的特征點。即，全部被拍攝體的特征數據是不僅根據臉、還根據攝像的全部被拍攝體的特 征點數值化后的數據。
[0087] 另外，該比較對照判斷生成的全部被拍攝體的特征數據中是否存在與臉數據一致 的部分。因此，該比較對照通過比較對照（搜索）生成的全部被拍攝體的特征數據的各部 與臉數據，得到與各部的一致性。
[0088] 在步驟S33, CPU10的臉辨別部102判斷圖像內是否存在人臉。即，判斷是否能利 用二維的臉檢測處理檢測人臉。即，判斷計算的全部被拍攝體的特征數據中是否存在在規 定值以上（規定范圍內）與臉數據一致的部分。
[0089] 在步驟S33,若判斷為有人臉，則進入步驟S38，CPU10的臉辨別部102判斷為可檢 測臉。
[0090] 另一方面，在步驟S33,若判斷為無人臉，則進入步驟S34, CPU10的臉辨別部102判 斷是否有像臉的部分。所謂該像臉的部分是通過比較對照步驟S32的全部被拍攝體的特征 數據與人的二維臉數據，雖然有口與鼻，但未檢測到單眼或雙眼（側臉的情況、帶墨鏡的情 況），或雖然有眼但未檢測到鼻與口的情況（帶口罩的情況）。即，是基于臉數據的臉的構 成部分其一部分未被檢測到的情況。
[0091] 在步驟S34,若判斷為有像臉的部分，則進入步驟S35，CPU10的臉辨別部102執行 根據存在該檢測到的像臉的區域來利用三維臉檢測處理檢測人臉的處理，進入步驟S37。該 三維臉檢測處理如后所述。由此，可減輕基于三維臉檢測處理的處理負擔。
[0092] 另一方面，在步驟S31，在判斷為未設定人用的臉檢測模式的情況下，或在步驟 S34,判斷為無像臉的部分的情況下，進入步驟S36, CPU10的臉辨別部102執行根據幀圖像 數據的全部區域、利用三維臉檢測處理來檢測當前設定的臉檢測模式種類的臉的處理，進 入步驟S37。該三維臉檢測處理如后所述。這里，在通過步驟S34中判斷為無像臉的部分而 進入步驟S36的情況下，在步驟S36,執行根據幀圖像數據的全部區域、利用三維臉檢測處 理來檢測人臉的處理。
[0093] 若進入步驟S37,則CPU10的辨別部102判斷圖像內是否存在人臉。S卩，判斷能否 利用三維的臉檢測處理來檢測臉。
[0094] 在步驟S37,若判斷為圖像內有臉，則進入步驟S38,臉辨別部102判斷為能檢測 臉，在步驟S37,若判斷為無臉，則進入步驟S39, CPU10的臉辨別部102判斷為不能檢測臉。
[0095] 在該步驟S38,若判斷為能檢測臉，則判斷為圖3的步驟S12、圖4的步驟S21能檢 測臉，若在步驟S39判斷為不能檢測臉，則判斷為圖3的步驟S12、圖4的步驟S21不能檢測 臉。
[0096] D.三維的臉檢測處理
[0097] 下面，說明三維的臉檢測處理的動作。二維的臉檢測處理二維地檢測臉，即通過比 較對照基于攝像到的幀圖像數據的二維被拍攝體的特征數據與二維臉數據，檢測位于該幀 圖像數據內的臉，但三維臉檢測處理是指使用三維的數據來檢測臉。
[0098] 這里，介紹兩個使用三維數據來檢測臉的動作，但不限于此，只要使用三維數據來 檢測被拍攝體的臉即可。
[0099] D-1.第1個三維的臉檢測處理
[0100] 首先，根據圖6的流程圖來說明三維臉檢測處理的動作。
[0101] 在圖5的步驟S35和步驟S36,在通過執行三維臉檢測處理來檢測臉的情況下，進 入圖6的步驟S51，CPU10的臉辨別部102執行督促以不同的攝影角度來攝影主被拍攝體的 顯示。例如，執行'請從不同的角度來攝影想攝影的被拍攝體'等顯示。因此，用戶改變攝 影角度后攝像主被拍攝體。此時，用戶最好不改變構成主被拍攝體的臉在圖像內的位置地 改變攝影角度。
[0102] 接著，在步驟S52, CPU10的臉辨別部102判斷是否從督促以不同的攝影角度攝影 主被拍攝體的顯示起經過規定時間（例如1秒）。此時，CPU10將直通圖顯示用攝像的多個 幀圖像數據保持在緩沖存儲器中。
[0103] 在步驟S52,若判斷為未經過規定時間，則滯留在步驟S52,直到經過規定時間為 止，若判斷為經過規定時間，則進入步驟S53, CPU10的臉辨別部102根據攝像的多個幀圖像 數據，分別計算被拍攝體的特征數據。
[0104] 此時，在圖5的步驟S36的三維臉檢測處理的情況下，根據攝像的幀圖像數據的全 部區域，計算被拍攝體的特征數據（全部被拍攝體的特征數據）。
[0105] 另外，在圖5的步驟S35的三維臉檢測處理的情況下，根據攝像的各幀圖像數據 中、判斷為有像臉的區域的圖像數據，計算被拍攝體的特征數據（像臉被拍攝體的特征數 據）。
[0106] 這里，所謂根據幀圖像數據計算的全部被拍攝體的特征數據是指例如在被攝影的 全部被拍攝體為建筑物與立于其前的人的情況下，抽取多個建筑物和人的特征點，對該抽 取的特征點的坐標位置或相對位置關系等進行數值化后的數據。利用該特征點的抽取，還 從眼、鼻、口、臉的輪廓等抽取多個臉的特征點。即，全部被拍攝體的特征數據是不僅根據 臉、還根據攝像的全部被拍攝體的特征點來數值化后的數據。
[0107] 另外，所謂像臉的部分被拍攝體的特征數據是根據判斷為有像臉的部分的區域內 攝像的全部被拍攝體的特征數據來數值化后的數據。
[0108] 這里，設判斷為有像臉的區域的位置、大小針對攝像的全部幀圖像數據相同，但也 可通過在經過規定時間之前對各幀圖像數據繼續執行二維臉檢測處理，對每個幀圖像數據 檢測像臉區域，對每個幀圖像數據，根據該檢測到的區域的圖像數據，計算被拍攝體的特征 數據（像臉被拍攝體的特征數據）。此時，在利用該二維臉檢測處理檢測到臉的情況下，由 于已不必執行三維臉檢測處理，所以進入圖5的步驟S38。
[0109] 若根據各幀圖像數據計算被拍攝體的特征數據，則進入步驟S54, CPU10的臉辨別 部102根據該計算的各幀圖像數據的被拍攝體的特征數據，生成被拍攝體的三維模型。 [0110] 該三維模型的生成由于是已知技術，所以不詳細說明，但根據某個圖像的特征點 與對應于該特征點的其它圖像的特征點，利用三角測量運算來生成被拍攝體的三維模型 (模塊化處理）。
[0111] 圖7是表示用作為表面模型之一的多角形多邊形（這里為三角形多邊形）表示生 成的被拍攝體（這里僅為貓科動物的臉）的三維模型時的狀態圖。
[0112] 另外，也可不由表面模型（surface model)、而由線框模型（wireframe model)或 實體模型（solid model)等其它方法來表示。
[0113] 接著，在步驟S55中，CPU10的臉辨別部102比較對照該生成的被拍攝體的三維模 型、與圖2所示的臉數據表格中記錄的當前設定的臉檢測模式的種類的立體臉數據（三維 臉數據）。
[0114] 例如，在圖5的步驟S36的情況下，比較對照該生成的被拍攝體的三維模型、與圖 2所示的臉數據表格中設定的人的立體臉數據，在圖5的步驟S36的情況下，例如設定狗用 的臉檢測模式的情況下，比較對照該生成的被拍攝體的三維模型、與圖2所示的臉數據表 格中設定的狗的立體臉數據。
[0115] 另外，該比較對照用于判斷生成的被拍攝體的三維模型中是否有與立體臉數據一 致的部分。因此，該比較對照通過比較對照（搜索）生成的三維模型的各部與立體臉數據， 得到與各部的一致度。
[0116] 接著，在步驟S56, CPU10的臉辨別部102判斷該生成的被拍攝體的三維模型中， 是否有以規定值以上與執行該比較對照的立體臉數據一致的部分。即，判斷在規定范圍內 是否有與立體臉數據一致的部分。所謂該一致的部分可以是被拍攝體的三維模型中的一部 分，也可以是被拍攝體的三維模型的全部。總之可判斷是否有以規定值以上與立體臉數據 一致的部分即可。
[0117] 在步驟S56中，在判斷為有以規定值以上一致的部分的情況下，進入步驟S57， CPU10的臉辨別部102將以規定值以上一致的部分判斷為臉，將對應于以該規定值以上一 致的部分的、攝像的幀圖像數據上的區域為臉區域。即，檢測幀圖像數據上的臉區域。
[0118] 所謂對應于以該規定值以上一致的部分的幀圖像數據上的區域是被拍攝體的三 維模型中、對應于一致的部分（臉部分）的特征數據的幀圖像數據上的區域，由于存在多個 對應于該特征數據的幀圖像數據（由于根據多個幀圖像數據生成被拍攝體模塊），所以可 以是對應于以規定值以上一致的部分的、構成生成源的多個幀圖像數據中、最近攝像的幀 圖像數據上的區域，或是由對應于以規定值以上一致的部分的、構成生成源的全部幀圖像 數據上的區域構成的區域。
[0119] 另一方面，在步驟S56中，若判斷為沒有以規定值以上一致的部分，則進入步驟 S58, CPU10的臉辨別部102判斷為攝像的幀圖像數據內沒有臉。
[0120] 若該步驟S57檢測臉區域，則圖5的步驟S38判斷為可檢測臉，圖3的步驟S12、圖 4的步驟S21判斷為可檢測臉。另外，若步驟S58判斷為沒有臉，則圖5的步驟S39判斷為 不能檢測臉，圖3的步驟S12、圖4的步驟S21判斷為不能檢測臉。
[0121] 這樣，第1個三維臉檢測處理根據攝像同一被拍攝體的多個幀圖像數據，生成該 被拍攝體的三維模型，通過與立體臉數據比較對照，檢測臉，所以可使臉檢測的精度提高。
[0122] 例如，即便在被拍攝體的臉為側臉或帶墨鏡的情況下也可檢測。
[0123] 另外，由于比較對照立體臉數據與生成的三維模型，所以不限于人臉，還可檢測狗 或貓等動物的臉等。例如，馬等動物的臉當看的角度不同時，臉的形狀會極端變化，但通過 設為三維，可高精度地檢測臉。
[0124] D-2.第2個三維臉檢測處理
[0125] 下面，根據圖8的流程圖來說明第2個三維臉檢測處理動作。
[0126] 在圖5的步驟S35和步驟S36中，在通過執行三維臉檢測處理檢測臉的情況下，進 入圖8的步驟S61，CPU10的臉辨別部102將臉的面向設定為正面。
[0127] 接著，在步驟S62中，CPU10的臉辨別部102根據圖2的臉數據表格中記錄的當前 設定的臉檢測模式種類的立體臉數據，生成從當前設定的方向看的臉的平面（二維）圖像 數據（渲染處理）。這里，由于設定的方向是正面，所以生成從正面看設定的臉檢測模式種 類的臉的臉的平面圖像數據。根據該立體的數據生成平面圖像數據的技術是公知技術，所 以不詳細說明，但通過執行陰面刪除或陰線刪除等來執行。
[0128] 例如，在設定的臉檢測模式是人用的情況下，根據圖2中記錄的人的立體臉數據， 生成從當前設定的方向看到的平面圖像數據，在設定的臉檢測模式是貓用的情況下，根據 圖2中記錄的貓的立體臉數據，生成從當前設定的方向看到的平面圖像數據。
[0129] 接著，在步驟S63中，CPU10的臉辨別部102根據該生成的臉的平面圖像數據，計 算臉特征數據。由此，計算從當前設定的方向看到的、該設定的臉檢測模式種類的臉特征數 據。
[0130] 接著，在步驟S64中，CPU10的臉辨別部102根據最近直通圖顯示用攝像的幀圖像 數據，計算被拍攝體的特征數據。
[0131] 此時，在圖5的步驟S36中的三維臉檢測處理的情況下，根據攝像的幀圖像數據的 全部區域，計算被拍攝體的特征數據（全部被拍攝體的特征數據）。
[0132] 另外，在圖5的步驟S35的三維臉檢測處理的情況下，根據攝像的幀圖像數據中、 判斷為有像臉的區域的圖像數據，計算被拍攝體的特征數據（像臉被拍攝體的特征數據）。
[0133] 接著，在步驟S65中，CPU10的臉辨別部102比較對照步驟S63中計算的臉特征數 據與步驟S64中計算的被拍攝體的特征數據。該比較對照用于判斷生成的被拍攝體的特征 數據中是否有與臉特征數據一致的部分。因此，該比較對照通過比較對照（搜索）生成的 被拍攝體的特征數據的各部與臉特征數據，得到與各部的一致度。
[0134] 在步驟S66中，CPU10的臉辨別部102判斷步驟S64計算的被拍攝體的特征數據 中，是否有以規定值以上與步驟S63計算的臉特征數據一致的部分。即，判斷在規定范圍內 是否有與臉特征數據一致的部分。所謂該一致的部分可以是被拍攝體的特征數據中的一部 分，也可以是被拍攝體的特征數據全部。總之可判斷是否有以規定值以上與臉特征數據一 致的部分即可。
[0135] 在步驟S66中，在判斷為有以規定值以上一致的部分的情況下，進入步驟S67， CPU10的臉辨別部102將以該規定值以上一致的部分判斷為臉，將對應于該部分的、構成被 拍攝體的特征數據生成源的幀圖像數據上的區域設為臉區域。即，檢測幀圖像數據上的臉 區域。
[0136] 另一方面，在步驟S66中，若判斷為沒有以規定值以上一致的部分，則進入步驟 S68, CPU10的臉辨別部102判斷當前設定的方向是否是最后的方向。即，判斷是否設定了 預定的全部方向。
[0137] 在步驟S68中，若判斷為設定的方向不是最后的方向，則進入步驟S69, CPU10的臉 辨別部102設定為下一方向后，返回到步驟S62。該所謂'下一方向'例如是從當前設定的 方向右向或左向旋轉5度后的方向。這里，所謂左、右是以將頭的天邊設為上、將顎或喉設 為下時為基準的。這里，沿左右方向使方向旋轉，但也可沿上下方向旋轉，或沿左右方向與 上下方向均旋轉。
[0138] 另一方面，在步驟S68中，若判斷為設定的方向是最后的方向，則進入步驟S70,臉 辨別部102判斷為攝像的幀圖像數據內沒有臉。
[0139] 若在該步驟S67中檢測臉區域，則判斷為在圖5的步驟S38中可檢測臉，圖3的步 驟S12、圖4的步驟S21判斷為可檢測臉。另外，若步驟S70判斷為沒有臉，則圖5的步驟 S39判斷為不能檢測臉，圖3的步驟S12、圖4的步驟S21判斷為不能檢測臉。
[0140] 這樣，第2個三維臉檢測處理根據由攝像被拍攝體的1個幀圖像數據計算的被拍 攝體的特征數據、與事先記錄的立體臉數據，生成從不同方向看到的被拍攝體的臉的平面 圖像數據，通過與根據該生成的平面圖像數據計算的被拍攝體的特征數據比較對照，檢測 臉，所以可使臉檢測的精度提
[0141] 例如，即便在被拍攝體是狗或貓等動物、被拍攝體為側臉的情況下也可檢測。
[0142] 另外，由于不必象第1個三維臉檢測處理那樣、根據攝像的多個幀圖像數據生成 被拍攝體的三維模型，所以可減輕處理負擔。
[0143] 另外，最初將臉的方向設定為正面（步驟S61)，之后，改變設定臉的方向，直到檢 測臉為止（步驟S69)，但最初設定的臉方向也可不是正面。總之設定成不同方向直到檢測 臉為止。
[0144] 如上所述，在第1實施方式中，可對應于由用戶設定的臉檢測模式的種類，進行不 同的臉檢測處理，所以可執行適于被拍攝體的種類或攝影狀況的臉檢測處理，可使臉識別 的精度提1?。
[0145] 并且，在第1實施方式中，由于對應于由用戶設定的臉檢測模式的種類，執行二維 臉檢測處理或執行三維臉檢測處理，所以并非不必執行處理負擔大的三維臉檢測處理，可 使臉檢測的精度提高。例如，由于人臉為平面，所以執行二維臉檢測處理，由于狗等動物一 般為立體的臉，所以二維臉檢測處理難以檢測臉，但通過執行三維臉檢測，也可檢測動物的 臉。
[0146] 另外，在利用二維臉檢測處理未檢測到人臉的情況下，執行三維臉檢測處理，所以 例如即便人的臉為側臉或帶口罩或墨鏡的情況下也可檢測人臉。
[0147] 另外，由于用戶設定臉檢測模式，所以可僅檢測想檢測的種類的被拍攝體的臉。
[0148] 在被拍攝體跟蹤模式為On的情況下，對應于設定的臉檢測模式的種類，執行二維 臉檢測處理或三維臉檢測處理，若檢測該臉，則利用二維臉檢測處理檢測該被檢測的臉，若 看漏跟蹤的臉，則再次對應于設定的臉檢測模式的種類，執行二維臉檢測處理或三維臉檢 測處理，所以可在減輕跟蹤處理的負擔的同時，提高跟蹤處理的精度。
[0149] [第2實施方式]
[0150] 下面，說明第2實施方式。
[0151] 在第1實施方式中，設定成由用戶選擇的臉檢測模式的種類，但在第2實施方式 中，自動地設定臉檢測模式的種類。
[0152] E.數碼相機1的動作
[0153] 第2實施方式也通過使用具有與圖1的一樣構成的數碼相機1來實現本發明的攝 像裝置。
[0154] 下面，根據圖9和圖10的流程圖來說明第2實施方式的數碼相機1的動作。
[0155] 若利用用戶的模式切換鍵的操作，設定為臉檢測靜止圖像攝影模式，則在步驟 S101中，CPU10的臉檢測模式設定部101設定為人用的臉檢測模式。
[0156] 接著，在步驟S102中，CPU10開始(XD5執行的攝像，使直通圖顯示開始。
[0157] 接著，在步驟S103中，CPU10判斷是否執行被拍攝體跟蹤0n/0ff鍵的操作。
[0158] 在步驟S103中，若判斷為執行被拍攝體跟蹤鍵的操作，則進入步驟S104, CPU10判 斷當前的被拍攝體跟蹤模式是否為On。
[0159] 在步驟S104中，若判斷為當前的被拍攝體跟蹤模式不是On，即是Off，則進入步驟 5105, CPU10將被拍攝體跟蹤模式從Off切換為0n，進入步驟S107。
[0160] 另一方面，在步驟S104中，若判斷為當前的被拍攝體跟蹤模式是0n，則進入步驟 5106, CPU10將被拍攝體跟蹤模式從On切換為Off，進入步驟S107。
[0161] 在步驟S103中，若判斷為不執行被拍攝體跟蹤0n/0ff鍵的操作，則直接進入步驟 5107,
[0162] 若進入步驟S107,則CPU10判斷是否由用戶半按壓快門按鈕。
[0163] 在步驟S107中，若判斷為半按壓快門按鈕，則返回到步驟S103。
[0164] 另一方面，在步驟S107中，若判斷為半按壓快門按鈕，則進入步驟S108, CPU10的 臉識別部102執行對應于當前設定的臉檢測模式種類的臉檢測處理。
[0165] 該步驟S108的動作執行與上述第1實施方式中說明的圖3的步驟S10的動作、即 圖5所示的動作一樣的動作。變為利用該臉檢測處理來檢測設定的臉檢測模式的種類的 臉。這里，由于在步驟S101中設定人用的臉檢測模式，所以利用臉檢測處理檢測人臉。
[0166] 若執行臉檢測處理，則進入步驟S109, CPU10判斷是否能利用步驟S108的臉檢測 處理檢測臉。
[0167] 在步驟S109中，若判斷為不能檢測臉，則進入步驟S110, CPU10判斷是否存在還未 由臉檢測模式設定部101設定的臉檢測模式。
[0168] 在步驟S110中，若判斷為存在未設定的臉檢測模式，則進入步驟Sill，CPU10的臉 檢測模式設定部101設定成還未設定的種類的臉檢測模式，返回到步驟S108。
[0169] 這里，由于已僅設定人用的臉檢測模式，所以設定動物用的臉檢測模式（狗用的 臉檢測模式、貓用的臉檢測模式等中任一動物用的臉檢測模式）。
[0170] 另一方面，在步驟S109中，若判斷為可檢測臉，則進入步驟S112, CPU10判斷當前 的被拍攝體跟蹤模式是否為On。
[0171] 在步驟S112中，若判斷為被拍攝體跟蹤模式不是0n，即是Off，則進入步驟S113， CPU10對該檢測到的臉執行基于對比度檢測方式的AF處理，進入步驟S115。
[0172] 另一方面，在步驟S110中，若判斷為沒有未設定的臉檢測模式，則進入步驟S114， CPU10對規定區域執行基于對比度檢測方式的AF處理，進入步驟S115。
[0173] 若進入步驟S115,則CPU10判斷是否由用戶全按壓快門按鈕。
[0174] 在步驟S115中，若判斷為未全按壓快門按鈕，則滯留在步驟S115中，直到全按壓 為止，若判斷為全按壓快門按鈕，則進入步驟S116, CPU10執行靜止圖像攝影處理，執行壓 縮利用該攝影處理得到的靜止圖像數據后記錄在閃存14中的處理。
[0175] 另外，在步驟S112中，若判斷為被拍攝體跟蹤模式是0η，則進入圖10的步驟 S121，CPU10的臉辨別部102通過二維檢測該檢測到的臉，開始對該檢測到的臉跟蹤的跟蹤 處理。這里，所謂二維檢測臉是指僅使用二維數據檢測臉，該步驟S121中的二維檢測臉的 處理使用塊匹配法等來檢測該檢測到的臉。
[0176] 接著，在步驟S122中，CPU10判斷是否由用戶全按壓快門按鈕。
[0177] 在步驟S122中，若判斷為未全按壓快門按鈕，則進入步驟S123, CPU10判斷是否看 漏該跟蹤的臉。即，判斷是否能由步驟S121的二維檢測臉的處理來檢測臉。
[0178] 在步驟S123中，若判斷為未看漏臉，則返回到步驟S122,在步驟S123中，若判斷為 看漏臉，則返回到圖9的步驟S108。由此，在看漏臉的情況下，再次執行對應于當前設定的 臉檢測模式的種類的臉檢測處理。
[0179] 另一方面，在步驟S122中，若判斷為全按壓快門按鈕，則進入步驟S124, CPU10對 該跟蹤的臉執行基于對比度檢測方式的AF處理。即，對全按壓快門按鈕之前二維地檢測的 臉執行AF處理。
[0180] 接著，在步驟S125中，CPU10執行靜止圖像攝影處理，執行壓縮利用該攝影處理得 到的靜止圖像數據后記錄在閃存14中的處理。
[0181] 如上所述，在第2實施方式中，由于自動地設定臉檢測模式，所以節省用戶的手 續。另外，即便在想攝影的被拍攝體的種類具體地不清楚的情況下（例如不知是貓還是狐 的情況下），也可檢測該被拍攝體的臉，提高臉檢測的精度。
[0182] 另外，對應于設定的臉檢測模式的種類，進行二維的臉檢測處理或進行三維臉檢 測處理，所以并非不必進行處理負擔大的三維臉檢測處理，另外，可提高臉檢測的精度。例 如，由于人臉為平面，所以執行二維臉檢測處理，由于狗等動物一般為立體的臉，所以二維 臉檢測處理難以檢測臉，但通過執行三維臉檢測，也可檢測動物的臉。
[0183] 另外，在利用二維臉檢測處理未檢測到人臉的情況下，執行三維臉檢測處理，所以 例如即便人的臉為側臉或帶口罩或墨鏡等的情況下也可檢測人臉。
[0184] 另外，在被拍攝體跟蹤模式為On的情況下，根據設定的檢測模式的種類，執行二 維臉檢測處理或三維臉檢測處理，若檢測到該臉，則利用二維臉檢測處理檢測該被檢測的 臉，若看漏跟蹤的臉，則再次根據設定的檢測模式的種類，執行二維臉檢測處理或三維臉檢 測處理，所以可在減輕跟蹤處理的負擔的同時，提高跟蹤處理的精度。
[0185] 若設定為臉檢測靜止圖像攝影模式，則最初設定人用的臉檢測模式（步驟S101)， 也可設定成其它種類（動物種類）的臉檢測模式。
[0186] 另外，在最初用戶設定任意種類的臉檢測模式，未檢測到該設定的臉檢測模式的 種類的臉的情況下，也可設定為不是自動地設定的種類的臉檢測模式。
[0187] [第3實施方式]
[0188] 下面，說明第3實施方式。
[0189] 在上述第1、2實施方式中，單純檢測臉，但在第3實施方式中，還將臉檢測適用于 攝影的臉是誰或何臉具體地識別的臉識別的情況。
[0190] 在臉檢測處理中，有時例如即便是人臉也不能識別具體是誰的臉，另外，即便是動 物、例如貓的臉，波斯貓、花貓等貓的種類多樣，另外，即便是同一種類的貓，每個貓的臉也 微妙不同。因此，在臉檢測中，為了僅檢測自己的朋友或孩子、自己飼養的寵物，（例如為了 想設為聚焦對象），會檢測至其它人或動物的臉。
[0191] 該臉識別對事先記錄的人物的臉、動物的臉是否位于攝像的幀圖像數據中進行識 別。
[0192] 該人物或動物的臉在登記模式等下，用戶可登記任意人物、任意種類動物的臉。在 登記立體臉數據（三維臉數據）的情況下，從不同角度攝影多個想登記的臉，根據該攝影的 多個幀圖像數據，生成三維模型并登記。另外，在登記二維臉數據的情況下，攝影想登記的 臉，根據該攝影的幀圖像數據，計算該臉的特征數據（臉特征數據）并登記。
[0193] 這里，登記的立體臉數據或二維臉數據必需是誰等可具體地識別的程度的信息 量，而非可大致識別是人或狗、貓等種類臉的程度的信息量。利用該登記，對被拍攝體的每 個種類制作圖2的臉識別用的臉數據表格。這里，也與圖2 -樣，人的臉數據登記二維與三 維兩種數據，動物的臉數據僅登記三維數據。在臉識別用臉數據表格中，可按被拍攝體的每 個種類登記多個臉數據。例如，可記錄多人的二維臉數據、立體臉數據，也可記錄多只貓的 立體臉數據。
[0194] 將該臉檢測處理的動作適用于臉識別處理的情況的動作與上述各實施方式中說 明的動作大致相同，僅說明不同點。
[0195] 首先，這里，具備臉識別模式，代替臉檢測模式，該臉識別模式也與臉檢測模式一 樣，按被拍攝體的每個種類存在。例如，是人用的臉識別模式、狗用的臉識別模式、貓用的臉 識別模式等情況。
[0196] F.臉識別靜止圖像攝影模式的動作
[0197] F-1.將圖3和圖4所示的臉檢測靜止圖像攝影模式的動作適用于臉識別靜止圖像 攝影模式時的動作
[0198] 此時的臉識別靜止圖像攝影模式的動作引用圖3和圖4,僅說明不同部分。
[0199] 首先，圖3的步驟S1使多種臉識別模式一覽顯示，在步驟S2中，若判斷為選擇了 臉識別模式，則在步驟S3中，設定為該選擇的臉識別模式。另外，步驟S10執行對應于設 定的臉識別模式的臉識別處理，步驟S12判斷是否可識別臉，若判斷為可識別臉，則在步驟 S13中，對該識別的臉執行AF處理，若判斷為不能識別臉，則在步驟S14中對規定的區域執 行AF處理。對應于該設定的臉識別模式的臉識別處理在后面說明。
[0200] 在還可利用臉識別處理檢測臉的情況下，在步驟S12中，在判斷為不能識別臉的 情況、即判斷為檢測到臉的情況下，對該檢測到的臉執行AF處理，在判斷為也不能檢測臉 的情況下，進入步驟S14,對規定的區域執行AF處理。基于該臉識別處理的臉檢測在后面說 明。
[0201] 另外，在步驟S21中，判斷是否可識別臉，在不能識別臉的情況下，進入步驟S23， 在能識別臉的情況下，進入步驟S22,對該識別的臉開始跟蹤處理，進入步驟S23。該跟蹤處 理如上述第1實施方式中說明的那樣，通過二維檢測該識別的臉，對該檢測到的臉執行跟 足示。
[0202] F-2.將圖9和圖10所示的臉檢測靜止圖像攝影模式的動作適用于臉識別靜止圖 像攝影模式時的動作
[0203] 此時的臉識別靜止圖像攝影模式的動作引用圖9和圖10,僅說明不同部分。
[0204] 圖9的步驟S101設定為人用的臉識別模式。另外，步驟S108執行對應于設定的 臉識別模式的臉識別處理，步驟S109判斷是否可識別臉。在步驟S109中，若判斷為不能識 別臉，則在步驟S110中，判斷是否存在未設定的臉識別模式。在步驟S110中，若判斷為存 在未設定的臉識別模式，則在步驟S111中，設定為未設定的種類的臉識別模式，返回到步 驟S108。另外，在步驟S109中，判斷為可識別臉，在步驟S112中，判斷為被拍攝體跟蹤模式 不是On時，在步驟S113中，對該臉識別的臉執行AF處理，另一方面，在步驟S110中，若判 斷為沒有未設定的臉識別模式，則在步驟S114中對規定區域執行AF處理。對應于該設定 的臉識別模式的臉識別處理在后面說明。
[0205] 在還可利用臉識別處理檢測臉的情況下，也可在步驟S110中，在判斷為沒有未設 定的臉識別模式的情況下，判斷是否檢測臉，在檢測臉的情況下，對該檢測到的臉執行AF 處理，在判斷為也不能檢測臉的情況下，進入步驟S114,對規定的區域執行AF處理。基于該 臉識別處理的臉檢測在后面說明。
[0206] 另外，在步驟S112中判斷為被拍攝體跟蹤是On，進入圖10的步驟S121時，則對該 識別的臉開始跟蹤處理。該跟蹤處理如上述第1實施方式中說明的那樣，通過二維檢測該 識別的臉，對該檢測的臉進行跟蹤。
[0207] G.對應于設定的臉識別模式的臉識別處理的動作
[0208] G-1.將對應于圖5所示的設定的臉檢測模式的臉檢測處理的動作適用于設定的 臉識別模式的臉識別處理時的動作
[0209] 此時的臉識別處理的動作引用圖5,僅說明不同部分。
[0210] 首先，圖5的步驟S31判斷是否設定人用的臉識別模式，若判斷為設定人用的臉識 別模式，則進入步驟S32,利用二維臉識別處理檢測人臉。該二維臉識別處理根據攝像的幀 圖像數據計算二維全部被拍攝體的特征數據，比較對照該計算的被拍攝體的特征數據與臉 識別用的臉數據表格中登記的人的二維臉數據，由此臉識別攝像的幀圖像數據內是否有登 記的人物的臉。
[0211] 在步驟S33中，判斷是否利用二維臉識別處理識別登記的人物的臉。若在步驟S33 中判斷為可識別臉，則進入步驟S38,判斷為可識別臉。另一方面，在步驟S33中判斷為不能 識別臉的情況下，在步驟S31中判斷為未設定人用的臉識別模式的情況下，進入步驟S36， 執行根據全部區域利用三維臉識別處理來臉識別當前設定的臉識別模式種類的臉的處理， 進入步驟S37。
[0212] 之后，在步驟S37中利用三維臉識別處理來判斷是否有登記的臉，即能否利用三 維臉識別來進行臉識別。若步驟S37中判斷為有登記的臉，則在步驟S38中判斷為可進行 臉識別，若在步驟S37中判斷為沒有登記的臉，則在步驟S39中判斷為不能進行臉識別。
[0213] 若在該步驟S38中判斷為能進行臉識別，則在圖3的步驟S12、圖4的步驟S21、圖 9的步驟S109中判斷為可進行臉識別，若在步驟S39中判斷為不能進行臉識別，則在步驟 S12、步驟S21、步驟S109中判斷為不能進行臉識別。
[0214] 此時，不必執行圖5的步驟S34、步驟S35。
[0215] G-2.對應于由其它方法設定的臉識別模式的臉識別處理的動作
[0216] 根據圖11的流程圖來說明此時的臉識別處理的動作。此時，除臉識別用的臉數據 表格外，將臉檢測用的人的二維臉數據記錄在存儲器12上。
[0217] 若進入圖3的步驟S10、圖9的步驟S108,則進入圖11的步驟S151，CPU10的臉辨 別部102判斷當前是否設定人用的臉識別模式。
[0218] 在步驟S151中，若判斷為設定人用的臉識別模式，則進入步驟S152，CPU10的臉辨 別部102根據攝像的幀圖像數據的全部區域，利用二維臉檢測處理檢測人臉。
[0219] 這里的二維臉檢測處理根據攝像的幀圖像數據，計算被拍攝體的二維特征數據 (全部被拍攝體的二維特征數據），比較對照該計算的被拍攝體的特征數據與記錄在存儲 器12中的臉檢測用的人的二維臉數據，由此檢測位于圖像內的人臉。這里，由于記錄的臉 檢測用的臉特征數據只要能檢測是人臉即足以，所以不必可具體地識別是誰的臉的程度的 信息量。另外，計算的全部被拍攝體的特征數據也一樣只要是檢測人臉所需的信息量即可。
[0220] 在步驟S153中，CPU10的臉辨別部102判斷圖像內是否有人臉。即，判斷是否能 利用二維臉檢測處理來檢測人臉。即，判斷計算的全部被拍攝體的特征數據中是否存在以 規定值以上（在規定范圍內）與臉數據一致的部分。
[0221] 在步驟S153中，若判斷為有人臉，則進入步驟S155，CPU10的臉辨別部102根據該 檢測到的臉區域，進行二維的臉識別處理。即，根據攝像的幀圖像數據中、該檢測到的臉區 域的圖像數據，計算被拍攝體的二維特征數據（臉特征數據），比較對照該計算的臉特征數 據與臉識別用的臉數據表格中登記的人的二維臉數據，由此臉識別是否是該登記的人物。 該登記的人物的臉數據當然不是大致可識別是人臉的程度的信息量，而是可具體識別是誰 的臉的程度的信息量，計算的被拍攝體的特征數據（臉特征數據）也是可具體識別是誰的 臉的程度的信息量。
[0222] 由于根據該檢測到的臉區域來進行二維的臉識別處理，所以可在減輕處理負擔的 同時，提商臉識別的精度。
[0223] 接著，在步驟S155中，CPU10的臉辨別部102判斷是否存在登記的臉。即，判斷是 否可利用二維臉識別處理來識別登記的人物的臉。
[0224] 在步驟S155中，若判斷為存在登記的臉，則進入步驟S161，CPU10的臉辨別部102 判斷為可識別臉。
[0225] 另一方面，在步驟S155中，若判斷為沒有登記的臉，則進入步驟S156,臉辨別部 102進行根據該檢測到的臉區域、利用三維臉識別處理來識別人臉的處理，進入步驟S160。 該三維臉識別處理在后面說明。
[0226] 由于根據該檢測到的臉區域來進行三維的臉識別處理，所以可在減輕處理負擔的 同時，提商臉識別的精度。
[0227] 另一方面，在步驟S153中，若判斷為沒有人臉，則進入步驟S157,判斷是否存在像 臉的部分。所謂該像臉的部分如上述第1實施方式中說明的那樣，是通過步驟S152的基 于二維臉檢測處理的全部被拍攝體的特征數據與人的二維臉數據的比較對照，雖然有口與 鼻，但未檢測到單眼或雙眼（人的臉為側臉的情況、帶墨鏡的情況），或雖然有眼但未檢測 到鼻與口的情況（帶口罩的情況）。即，是基于臉數據的臉的構成部分其一部分未被檢測到 的情況。
[0228] 在步驟S157,若判斷為有像臉的部分，則進入步驟S158, CPU10的臉辨別部102 執行根據存在該檢測到的像臉的區域來利用三維臉識別處理識別人臉的處理，進入步驟 S160。由于根據像臉區域來進行三維的臉識別處理，所以可減輕處理負擔，可提高臉識別的 精度。該三維臉識別處理如后所述。
[0229] 另一方面，在步驟S157,在判斷為沒有像臉的部分的情況下，在步驟S151判斷為 未設定人用的臉識別模式的情況下，進入步驟S159,進行根據幀圖像數據的全部區域來利 用三維臉識別處理識別當前設定的臉識別模式的種類的臉的處理，進入步驟S160。該三維 臉識別處理在后面說明。
[0230] 若進入步驟S160,則CPU10的臉辨別部102判斷是否有登記的臉。即，判斷是否可 利用三維臉識別處理來識別登記的人物的臉。
[0231] 在步驟S160,若判斷為有登記的臉，則在步驟S161，判斷為可識別臉，在步驟 S160,若判斷為無登記的臉，則在步驟S162,判斷為不能識別臉。
[0232] 若在該步驟S161判斷為可臉識別，則在圖3的步驟S12、圖4的步驟S21、圖9的 步驟S109判斷為可臉識別，若步驟S162判斷為不能臉識別，則在步驟S12、步驟S21、步驟 S109判斷為不能臉識別。
[0233] 在圖11中，在設定人用的臉識別模式的情況下，執行二維臉檢測處理與二維臉識 別處理雙方，但在可利用臉識別處理檢測人臉的情況下，也可不執行二維臉檢測處理，而僅 進行二維的臉識別處理。此時，若步驟S151中判斷為設定人用的臉識別模式，則進入步驟 S154,根據全部區域，進行二維的臉識別處理，進入步驟S155。在步驟S155中，若判斷為 無登記的臉，則判斷是否能檢測臉。若判斷為可利用二維臉識別處理檢測臉，則進入步驟 S156,若判斷為不能檢測臉，則進入步驟S157。此時，不必步驟S152、步驟S153的動作。
[0234] 基于該二維臉識別處理的臉檢測在識別為登記的臉位于幀圖像數據內的情況下， 當然也檢測臉，另外，例如即便在判斷為登記的臉不在幀圖像數據內的情況下，也可利用全 部被拍攝體的二維特征數據與登記的人的二維臉數據的比較對照結果，檢測不是登記的人 物的臉，但是人臉。例如，在存在以第1規定值以上與人的二維臉數據一致的部分的情況 下，識別為是對應于該臉數據的人物的臉，在以第1規定值以上不一致、但以第2規定值 (比第1規定值小的值）以上一致的情況下，檢測為是人臉。
[0235] 基于三維臉識別處理的臉檢測在后面說明。
[0236] H.三維臉識別處理的動作
[0237] H-1.將圖6所示的三維臉檢測處理的動作適用于三維臉識別處理時的動作
[0238] 此時的三維臉識別處理的動作引用圖6,僅說明不同部分。
[0239] 首先，在步驟S53中，根據攝像的多個幀圖像數據，分別計算被拍攝體的特征數 據。此時計算的被拍攝體的特征數據不是大致可識別是人或狗、貓等種類的臉的程度的信 息量，而具有可具體識別是誰等的程度的信息量。
[0240] 此時，將圖5適用于臉識別處理時的圖5的步驟S36、圖11的步驟S159中的三維 臉識別處理的情況下，根據攝像的幀圖像數據的全部區域，計算被拍攝體的二維特征數據 (全部被拍攝體的特征數據）。
[0241] 另外，在圖11的步驟S156的三維臉識別處理的情況下，根據攝像的各幀圖像數據 的檢測到的臉區域的圖像數據，計算被拍攝體的二維特征數據（二維臉特征數據）。這里， 所謂臉特征數據是根據在檢測到的臉區域內攝像的全部被拍攝體的特征數據數值化后的 數據。
[0242] 另外，在圖11的步驟S158的三維臉識別處理的情況下，根據攝像的各幀圖像數據 的判斷為有像臉的區域的圖像數據，計算被拍攝體的二維特征數據（像臉被拍攝體的二維 特征數據）。
[0243] 另外，在步驟S55中，比較對照步驟S54中根據各幀圖像數據的被拍攝體特征數據 生成的被拍攝體的三維模型、與登記在臉識別用的臉數據表格中的、當前設定的臉識別模 式的種類的立體臉數據。
[0244] 在步驟S56中，判斷是否存在以規定值以上一致的部分，在存在以規定值以上一 致的部分的情況下，在步驟S57中，判斷為在以該規定值以上一致的部分中有登記的臉，并 檢測臉區域。另一方面，在步驟S56中，若判斷為沒有以規定值以上一致的部分，則進入步 驟S58,判斷為沒有登記的臉。
[0245] 若在該步驟S57中檢測臉區域，則在圖5的步驟S38、圖11的步驟S161中判斷為 可識別臉，在圖3的步驟S12、圖4的步驟S21、圖9的步驟S109中判斷為可識別臉。另外， 若在步驟S58中判斷為沒有臉，則在圖5的步驟S39、圖11的步驟S162中判斷為不能識別 臉，在圖3的步驟S12、圖4的步驟S21、圖9的步驟S109中判斷為不能識別臉。
[0246] 該三維臉識別處理也可檢測臉。該三維臉識別處理在識別為登記的臉位于幀圖像 數據內的情況下，當然也檢測臉，另外，例如即便在判斷為登記的臉不在幀圖像數據內的情 況下，也可利用被拍攝體的三維模型與登記的立體臉數據的比較對照結果，檢測出不是登 記的人物的臉而是人臉的情況。例如，在存在以第1規定值以上與立體臉數據一致的部分 的情況下，識別為是對應于該立體臉數據的臉，在以第1規定值以上不一致、但以第2規定 值（比第1規定值小的值）以上一致的情況下，單純檢測為是臉。
[0247] H-2.將圖8所示的三維臉檢測處理的動作適用于三維臉識別處理時的動作
[0248] 此時的三維臉識別處理的動作引用圖8,僅說明不同部分。
[0249] 在步驟S62中，根據臉識別用臉數據表格中設定的被拍攝體的每個種類的立體臉 數據中、當前設定的臉識別模式的種類的立體臉數據，生成從當前設定的方向看到的臉的 平面圖像數據。接著，在步驟S63中，根據該生成的臉的平面圖像數據，計算二維臉特征數 據。此時，計算的臉特征數據不是大致可識別是人或狗、貓等種類臉的程度的信息量，而是 可具體識別是誰等的程度的信息量。
[0250] 接著，在步驟S64中，根據最近攝像的幀圖像數據，計算被拍攝體的二維特征數 據。此時，計算的被拍攝體的特征數據不是大致可識別是人或狗、貓等種類臉的程度的信息 量，而是可具體識別是誰等的程度的信息量。
[0251] 另外，這里在將圖5適用于臉識別處理時的圖5的步驟S36、圖11的步驟S159的 三維臉識別處理的情況下，根據攝像的幀圖像數據的全部區域，計算被拍攝體的二維特征 數據（全部被拍攝體的特征數據）。
[0252] 另外，在圖11的步驟S156的三維臉識別處理的情況下，根據攝像的各幀圖像數據 的檢測到的臉區域的圖像數據，計算二維被拍攝體的特征數據（二維臉特征數據）。
[0253] 另外，在圖11的步驟S158的三維臉識別處理的情況下，根據攝像的各幀圖像數據 的判斷為有像臉的區域的圖像數據，計算二維被拍攝體的特征數據（二維像臉被拍攝體的 特征數據）。
[0254] 在步驟S66中，在判斷為存在以規定值以上一致的部分的情況下，在步驟S67中判 斷為在以該規定值以上一致的部分中有登記的臉，并檢測臉區域。另外，在步驟S68中，在 將設定的方向判斷為最后的方向的情況下，進入步驟S70,判斷為沒有登記的臉。
[0255] 若在該步驟S67中檢測臉區域，則在圖5的步驟S38、圖11的步驟S161中判斷為 可識別臉，在圖3的步驟S12、圖4的步驟S21、圖9的步驟S109中判斷為可識別臉。另外， 若在步驟S70中判斷為沒有臉，則在圖5的步驟S39、圖11的步驟S162中判斷為不能識別 臉，在圖3的步驟S12、圖4的步驟S21、圖9的步驟S109中判斷為不能識別臉。
[0256] 該三維臉識別處理也可檢測臉。該三維臉識別處理在識別為登記的臉位于幀圖 像數據內的情況下，當然也檢測臉，另外，例如即便在判斷為登記的臉不在幀圖像數據內的 情況下，也可利用步驟S64計算的二維被拍攝體的特征數據與步驟S63中計算的臉特征數 據的比較對照結果，檢測不是登記的人物的臉而是人臉。例如，在存在以第1規定值以上與 步驟S63中計算的臉特征數據一致的部分的情況下，識別為是對應于構成該臉特征數據生 成源的立體臉數據的臉，在以第1規定值以上不一致、但以第2規定值（比第1規定值小的 值）以上一致的情況下，單純檢測為是臉。
[0257] H-3.基于其它方法的三維臉識別處理的動作
[0258] 首先，基于第1個其它方法的三維臉識別處理的動作與上述[H-2]中說明的動作 大致一樣，但在上述[H-2]中，根據立體臉數據，生成不同方向的平面圖像數據，但這里，根 據立體臉數據，生成不同表情（笑、怒、憎惡等不同的表情）的平面圖像數據。此時，生成從 正面看立體臉數據時的平面圖像數據。
[0259] 引用圖8來說明此時的動作。
[0260] 首先，在步驟S61中，將臉的表情設定為無表情，在步驟S62中，辨別當前設定的臉 識別模式的種類的立體臉數據的臉表情，根據該立體臉數據，生成該設定的表情的立體臉 數據。之后，根據該生成的立體臉數據，生成從正面看的臉的平面圖像數據。
[0261] 之后，在步驟S66中，若判斷為存在以規定值以上一致的部分，則在步驟S67中， 判斷為在以該規定值以上一致的部分中存在登記的臉，并檢測臉區域。另一方面，在步驟 S66中，若沒有以規定值以上一致的部分，則在步驟S68中，判斷設定的表情是否是最后的 表情。即，判斷是否設定了預定的全部表情。在步驟S68中，若判斷為設定的表情不是最后 的表情，則在步驟S69中設定為下一表情，返回到步驟S62。另一方面，若在步驟S68中判斷 為設定的表情是最后的表情，則進入步驟S70,判斷為沒有登記的臉。
[0262] 由此，可提高臉識別的精度。例如，即便在被拍攝體笑或怒的情況下，也可識別臉。
[0263] 生成不同表情的平面圖像數據，代替根據立體臉數據，生成不同方向的平面圖像 數據，但也可按每個表情，生成不同方向的平面圖像數據。即，改變方向與表情，生成平面圖 像數據。
[0264] 另外，說明三維臉識別處理，但也可適用于三維臉檢測處理。另外，也可利用該三 維臉識別處理來檢測臉。
[0265] 接著，基于第2個其它方法的三維臉識別處理的動作是使上述[H-1]與[H-2]中 說明的動作組合，在上述[H-2]中，根據登記的立體臉數據，生成從不同方向看到的平面圖 像數據，但根據攝像的多個幀圖像數據生成被拍攝體的三維模型，根據該生成的被拍攝體 的三維模型，生成從不同方向看到的平面圖像數據。此時，臉識別用的臉數據表格中，無論 被拍攝體的種類如何，僅登記二維臉數據。
[0266] 引用圖6和圖8來說明此時的動作。
[0267] 首先，在圖6的步驟S51、步驟S52的動作之后，按攝像的攝影角度不同的多個幀圖 像數據每個，計算被拍攝體的特征數據（步驟S53)，根據該計算的各幀圖像數據每個的被 拍攝體的特征數據，生成被拍攝體的三維模型（步驟S54)。
[0268] 之后，進入圖8的步驟S61，將臉的方向設定為正面，在步驟S62中，根據該生成的 被拍攝體的三維模型，生成從該設定的方向看到的被拍攝體的平面圖像數據。接著，在步驟 S63中，根據該生成的平面圖像數據，計算被拍攝體的特征數據，進入步驟S65,比較對照該 計算的被拍攝體的特征數據（從設定的方向看到的被拍攝體的特征數據）與臉識別用的臉 數據表格中登記的當前設定的臉識別模式的種類的二維臉數據。
[0269] 之后，在步驟S66中，若判斷為存在以規定值以上一致的部分，則進入步驟S67,判 斷為在以該規定值以上一致的部分中有登記的臉，檢測臉區域。另一方面，在步驟S66中， 若判斷為沒有以規定值以上一致的部分，則在步驟S68中，判斷設定的方向是否是最后的 方向。在步驟S68中，若判斷為設定的方向不是最后的方向，則在步驟S69中設定為下一方 向，返回到步驟S62。另一方面，若步驟S68中判斷為設定的方向是最后的方向，則進入步驟 S70,判斷為沒有登記的臉。
[0270] 由此，可提高臉識別的精度。例如，即便在人的臉為側臉的情況下或帶墨鏡的情況 下，均可識別該人物是否是登記的臉。另外，由于只要登記二維臉數據而非立體臉數據即 可，所以可減少記錄容量。
[0271] 說明了三維臉識別處理，但也可適用于三維臉檢測處理。另外，也可利用該三維臉 識別處理來檢測臉。
[0272] 另外，在圖11的步驟S156的三維臉識別處理中，由于根據臉區域的圖像數據生成 被拍攝體的三維模型，所以生成臉的三維模型。這樣在生成臉的三維模型的情況下，也可辨 別生成的臉的三維模型的表情，如上所述改變臉的三維模型的表情。另外，該動作在三維臉 識別處理中說明，但也可適用于三維臉檢測處理。另外，也可利用該三維臉識別處理來檢測 臉。
[0273] 如上所述，在第3實施方式中，由于對應于設定的臉識別模式的種類來進行不同 的臉識別處理，所以可執行適應于被拍攝體的種類或攝影狀況的臉識別處理，提高臉識別 的精度。
[0274] 并且，在第3實施方式中，對應于設定的臉識別模式的種類，進行二維臉識別處理 或進行三維臉識別處理，所以并非不必進行負擔大的三維臉識別處理，可提高臉識別的精 度。例如，由于人臉為平面，所以執行二維臉識別處理，由于狗等動物一般為立體的臉，所以 二維臉識別處理難以識別臉，但通過執行三維臉識別，也可識別動物的臉。
[0275] 另外，在利用二維臉識別處理未識別到人臉的情況下，執行三維臉識別處理，所以 例如即便人的臉為側臉或帶口罩或墨鏡的情況下也可識別人臉。
[0276] 另外，在用戶設定臉識別模式的情況下，可僅識別想識別的種類的被拍攝體的臉。
[0277] 在自動地設定臉識別模式的情況下，可節省用戶的手續，另外，即便在想攝影的被 拍攝體的種類具體地不清楚的情況下（例如不知是貓還是狐的情況下），也可識別該被拍 攝體的臉，提1?臉識別的精度。
[0278] 在被拍攝體跟蹤模式為On的情況下，根據設定的臉識別模式的種類，執行二維臉 識別處理或三維臉識別處理，若識別該臉，則利用二維臉檢測處理檢測該被檢測的臉，若看 漏跟蹤的臉，則再次根據設定的臉識別模式的種類，執行二維臉識別處理或三維臉識別處 理，所以可在減輕跟蹤處理的負擔的同時，提高跟蹤處理的精度。
[0279] [變形例]
[0280] I.上述實施方式也可是如下變形例。
[0281] (01)在上述各實施方式中，在被拍攝體跟蹤模式是Off的情況或On的情況下，都 執行對應于設定的臉檢測模式的臉檢測處理、臉識別處理，但在被拍攝體跟蹤模式是On的 情況下，無論設定的臉檢測模式的種類如何，均執行三維臉檢測處理、三維臉識別處理。通 過二維檢測利用該三維臉檢測處理檢測到的臉、利用三維臉識別處理識別的臉，執行該檢 測到的臉的跟蹤處理，在全按壓快門按鈕之前看漏該臉的情況下，再次執行三維臉檢測處 理、三維臉識別處理。
[0282] (02)另外，在上述各實施方式中，對應于圖3的步驟S10、圖9的步驟S108的設定 的臉檢測模式之臉檢測處理在設定人用的臉檢測模式的情況下，執行二維臉檢測處理、二 維臉識別處理（圖5的步驟S32、圖11的步驟S152、步驟S154)，在利用二維臉檢測處理、二 維臉識別處理未檢測到臉的情況下（圖5的步驟S33為否，圖11的步驟S153、步驟S155為 否），首先執行三維臉檢測處理（圖5的步驟S35、步驟S36、圖11的步驟S156、步驟S158、 步驟S159)，但不執行三維臉檢測處理、三維臉識別處理。此時，在圖5的步驟S33、圖11的 步驟S153、步驟S155中，若判斷為均有人臉、沒有登記的人物的臉，則進入圖5的步驟S39、 圖11的步驟S162。此時，不必執行圖5的步驟S34和步驟S35、圖11的步驟S156-步驟 S158的動作。
[0283] (03)另外，在上述各實施方式中，對應于圖3的步驟S10、圖9的步驟S108的設定 的臉檢測模式之臉檢測處理、臉識別處理在設定動物用的臉檢測模式（例如狗用的臉檢測 模式、貓用的臉檢測模式等）、動物用的臉識別模式的情況下，一律檢測識別由三維臉檢測 處理、三維臉識別處理設定的臉檢測模式的動物種類的臉（圖5的步驟S36、圖11的步驟 S159)，在設定某種動物用的臉檢測模式、臉識別模式的情況下，也可執行與設定了人用的 臉檢測模式、人用的臉識別模式時一樣的動作。即，也可對應于該設定種類的動物用的臉檢 測模式、臉識別模式來執行二維臉檢測處理，或僅執行三維臉檢測處理。例如在設定貓用臉 檢測模式的情況下，執行與設定人用的臉檢測模式時一樣的處理，在設定狗用的臉檢測模 式的情況下，僅執行三維臉檢測處理。由于全部種類的動物的臉不是立體的，也有平面臉的 動物。此時，在執行二維臉檢測處理的情況下，在不能利用該二維臉檢測處理檢測到設定的 臉檢測模式的動物種類的臉的情況下，也可執行三維臉檢測處理，或也可不執行。
[0284] 此時，在圖2所示的臉數據表格中，按每個動物種類，設定二維臉數據或三維臉數 據。
[0285] 由此，可提商臉辨別的精度。
[0286] (04)另外，在上述各實施方式中，在圖5的步驟S32中，根據圖像數據的全部區域， 執行二維臉檢測處理、二維臉識別處理，在圖5的步驟S36中，根據圖像數據的全部區域，執 行三維臉檢測處理、三維臉識別處理，在圖11的步驟S152中，根據圖像數據的全部區域，執 行二維臉檢測處理，在圖11的步驟S159中，根據圖像數據的全部區域，執行三維臉識別處 理，但也可根據視場角的中央區域或由用戶任意指定的區域而非圖像數據的全部區域來進 行。由此，可減輕臉檢測處理、臉識別處理的處理負擔。
[0287] 另外，對應于臉檢測模式的種類、臉識別模式的種類關聯記錄顏色成分，在圖5的 步驟要S32、圖5的步驟S36、圖11的步驟S152、步驟S159中，僅根據具有當前設定的臉檢 測模式、臉識別模式的種類所對應的顏色成分的區域，而非圖像數據的全部區域來進行。所 謂對應于該臉檢測模式、臉識別模式的顏色成分是臉檢測模式、臉識別模式的種類的被拍 攝體的臉的顏色成分。例如，人用的臉識別模式時對應的顏色成分為膚色。由此，可僅根據 認為有設定的臉檢測模式、臉識別模式的種類的被拍攝體的臉的區域來進行臉檢測處理、 臉識別處理，可減輕處理負擔。
[0288] (5)另外，在上述各實施方式中，抽取被拍攝體的特征點或被拍攝體每個種類的特 征點后，抽取特征數據，并根據該抽取的特征數據，生成三維模型，比較對照該抽取的特征 數據，由此檢測、識別臉，但也可利用其它方法來生成三維模型或檢測、識別臉。
[0289] 另外，根據多個圖像數據生成被拍攝體的三維模型，但也可根據1個圖像數據來 生成被拍攝體的三維模型。
[0290] (06)在上述各實施方式中，僅記錄利用靜止圖像攝影處理攝影的靜止圖像數據， 但也可將利用臉檢測處理檢測到的臉的位置或臉的種類（設定的臉檢測模式的種類）、利 用臉識別處理識別的臉的位置或名稱（例如在人的情況下為人物名，在動物的情況下為動 物的名稱或寵物的名稱等）與靜止圖像數據關聯記錄。
[0291] (07)另外，在上述各實施方式中，根據檢測到的臉、識別出的臉來進行AF處理，但 也可根據檢測到的臉、識別出的臉來進行曝光控制，或根據檢測到的臉、識別出的臉來進行 規定的處理，以執行切邊處理。
[0292] (08)另外，在上述各實施方式中，記錄人、狗、貓等大的被拍攝體的每種立體臉數 據或二維臉數據，但也可按被拍攝體的種類進一步詳細分類，記錄立體臉數據或二維臉數 據。例如，若是狗，則如柴狗、秋田狗、...，若是貓，則如波斯貓、花貓、...等詳細分類。由 此，可提1?臉檢測、臉識別的精度。
[0293] (09)另外，圖2所示的臉檢測用臉數據表格對被拍攝體的每個種類僅記錄1個相 同維數的臉數據，但也可對被拍攝體的每個種類記錄多個相同維數的臉數據。例如，即便同 是貓，也可能因其種類不同而臉極端變化，記錄多個立體臉數據，以便可檢測全部貓的臉。
[0294] (10)另外，在上述各實施方式中，設定1個臉檢測模式、臉識別模式（將其統稱為 臉辨別模式）的種類，但也可同時設定多個臉檢測模式、臉識別模式的種類，檢測該同時設 定的全部臉檢測模式、臉識別模式的種類的臉。此時，由于臉檢測處理、臉識別處理的動作 因臉檢測模式、臉識別模式的種類不同而變化（參照圖5、圖11)，所以在動作不變化的范圍 內，同時設定多個臉檢測模式、臉識別模式。
[0295] (11)另外，在上述各實施方式中，具備人用的臉辨別模式與動物用的臉辨別模式， 但不限于此，也可具備檢測其它種類的被拍攝體、例如昆蟲的臉的昆蟲用臉辨別模式（此 時，如甲蟲用的臉辨別模式、鍬形甲蟲用的臉辨別模式等按昆蟲的每個種類具備臉辨別模 式）。
[0296] (12)另外，在上第1、2實施方式的圖5的動作中，在利用二維臉檢測處理未檢測到 人臉的情況下（步驟S33為否），執行三維臉檢測處理（步驟S35、步驟S36)，但也可僅在步 驟S34中判斷為有像臉的部分的情況下進行三維臉檢測處理。即，若步驟S34中判斷為無 像臉的部分，則直接進入步驟S39。此時，不必步驟S36的動作。
[0297] (13)另外，在上述第3實施方式中的圖11的動作中，若利用二維臉檢測處理未檢 測到人臉（步驟S153為否），則判斷是否有像臉的部分（步驟S157)，在有像臉的部分的情 況下，根據存在像臉的區域，執行三維臉識別處理（步驟S158)，在沒有像臉的部分的情況 下，根據全部區域，執行三維臉識別處理（步驟S159)，在步驟S157中判斷為沒有像臉的部 分的情況下，直接進入步驟S162。
[0298] 另外，在上述各實施方式中，在基于臉數據的臉的構成部分其一部分未被檢測 到的情況下，判斷為是像臉的部分，但各部分的有無未必可明確判定，例如有時鼻以30% 的概率存在，口以60%的概率存在。在這種情況下，不是特定的臉構成部分的檢測狀態， 而是例如多個臉構成部分整體的存在概率的平均值為10%以下時，判斷為沒有臉，若在 10% -60%范圍內，則判斷為是像臉的部分，若為60%以上，則明確判斷為是臉。
[0299] (14)構成本發明特征的部分在于對應于臉辨別模式（臉檢測模式與臉識別模式 的總稱）改變臉辨別處理的動作，所以在上述各實施方式中，按每個被拍攝體的種類，設置 稱為臉辨別模式的特征，但也可不是被拍攝體的每個種類。
[0300] 例如，如利用二維臉辨別處理辨別的二維臉辨別模式、利用三維臉辨別處理辨別 的三維臉辨別模式那樣、對臉辨別處理的每個維數都設置臉辨別模式。此時，在辨別人臉的 情況下，首先，設定為二維臉辨別模式，執行臉辨別處理，在不辨別臉的情況下，設定成三維 臉辨別模式。
[0301] 在辨別動物的臉的情況下，也可最初設定成三維臉辨別模式，對應于動物的種類， 設定成二維臉辨別模式或設定成三維臉辨別模式。此時，在設定為二維臉辨別模式的情況 下，在利用該二維臉辨別模式無法辨別臉的情況下，設定成三維臉辨別模式。
[0302] 并且，也可考慮被拍攝體的種類與臉辨別維后設置臉辨別模式。
[0303] 例如，在上述各實施方式中，在人用的臉辨別模式中包含二維臉辨別處理、三維臉 辨別處理，但也可如利用二維臉辨別來辨別人臉的人用二維臉辨別模式、利用三維臉辨別 處理來辨別人臉的人用三維臉辨別模式那樣，按被拍攝體的種類與臉辨別的維數的組合每 個而具備臉辨別模式。
[0304] 例如，在設定了人用二維臉辨別模式的情況下，執行對應于該設定的人用二維臉 辨別模式的臉辨別處理，在未檢測到臉的情況下，自動切換設定成人用三維臉辨別模式，進 行臉辨別處理。另外，在辨別人臉的情況下，也可首先設定人用二維臉辨別模式。
[0305] 另外，在存在二維臉辨別模式與三維臉辨別模式等2個辨別同種類的動物（例如 貓）的臉的模式時，最初設定成二維臉辨別模式進行臉辨別處理，在未辨別出臉的情況下， 首先設定成三維臉辨別模式進行臉辨別處理。
[0306] 另外，上述各實施方式中說明的被拍攝體跟蹤模式也可認為是臉辨別模式的一種 (跟蹤臉辨別模式），例如，若進入圖4的步驟S22、圖10的步驟S121，則切換設定成跟蹤臉 辨別模式，執行對應于該設定的跟蹤臉辨別模式的臉辨別處理，即通過在圖3的步驟S10、 圖9的步驟S108二維檢測最近辨別的臉，執行跟蹤該臉的動作。另外，若在圖4的步驟S24、 圖10的步驟S123判斷為看漏該跟蹤的臉，則再設定成跟蹤臉辨別模式之前設定的臉辨別 模式，返回到圖3的步驟S10、圖9的步驟S108。
[0307] (15)另外，也可是任意組合上述變形例（01)-(14)的狀態。
[0308] (16)另外，本發明的上述實施方式均不過是作為最佳實施方式的單純實例，為了 能更好地理解本發明的原理或構造、動作等而描述，不打算限定下面的權利要求的范圍。
[0309] 因此，對本發明的上述實施方式得到的各種各樣的變形或修正全部包含在本發明 的范圍內，必須認為受下面的權利要求的范圍保護。
[〇31〇] 最后，在上述各實施方式中，說明將本發明的攝像裝置適用于數碼相機1的情況， 但不限于上述實施方式，只要是可根據攝像的圖像數據辨別臉的設備均可適用。
【權利要求】
1. 一種攝像裝置，具有被拍攝體的辨別功能， 所述攝像裝置具備： 攝像單元； 臉辨別模式設定單元，其從與成為辨別對象的被拍攝體的種類的差異和被拍攝體的種 類以外的條件的差異之間的組合相應的多個臉辨別模式中設定任一臉辨別模式；和 臉辨別單元，其對由所述攝像單元攝像的圖像數據，根據由所述臉辨別模式設定單元 設定的臉辨別模式，執行對所述被拍攝體的種類的差異和所述被拍攝體的種類以外的條件 的差異進行了辨別的臉辨別處理，由此辨別在該攝像的圖像數據內的臉。
2. 根據權利要求1所述的攝像裝置，其中， 所述被拍攝體的種類以外的條件的差異是臉辨別處理的條件的差異， 所述臉辨別單元對由所述攝像單元攝像的圖像數據，以與由所述臉辨別模式設定單元 設定的臉辨別模式相對應的條件執行臉辨別處理，由此在該攝像的圖像數據內的臉之中辨 別與該臉辨別模式相對應的種類的被拍攝體的臉。
3. 根據權利要求1所述的攝像裝置，其中， 所述臉辨別模式設定單元設定由用戶選擇的臉辨別模式。
4. 根據權利要求1所述的攝像裝置，其中， 所述臉辨別模式設定單元自動地選擇設定臉辨別模式。
5. 根據權利要求1所述的攝像裝置，其中， 所述被拍攝體的種類的差異是人的臉和人以外的臉的差異， 所述臉辨別單元，在由所述臉辨別模式設定單元設定了將人的臉作為對象的第1臉辨 別模式的情況下，執行辨別人的臉的臉辨別處理，由此辨別在所述攝像的圖像數據內的人 的臉，在由所述臉辨別模式設定單元設定了將人以外的臉作為對象的第2臉辨別模式的情 況下，辨別人以外的種類的臉。
6. 根據權利要求1所述的攝像裝置，其中， 所述臉辨別處理的條件包括以二維方式辨別臉的條件、和以三維方式辨別臉的條件， 所述臉辨別單元，在由所述臉辨別模式設定單元設定了與以二維方式辨別臉的條件相 對應的第3臉辨別模式的情況下，執行以二維方式辨別臉的二維臉辨別處理，由此辨別在 所述攝像的圖像數據內的臉，在由所述臉辨別模式設定單元設定了與以三維方式辨別臉的 條件相對應的第4臉辨別模式的情況下，執行以三維方式辨別臉的三維臉辨別處理，由此 辨別在所述攝像的圖像數據內的臉。
7. -種臉辨別方法，使具備了攝像單元的攝像裝置的計算機執行下述處理： 臉辨別模式設定處理，從與成為辨別對象的被拍攝體的種類的差異和被拍攝體的種類 以外的條件的差異之間的組合相應的多個臉辨別模式中設定任一臉辨別模式；和 臉辨別處理，對由所述攝像單元攝像的圖像數據，根據通過所述臉辨別模式設定處理 設定的臉辨別模式，執行對所述被拍攝體的種類的差異和所述被拍攝體的種類以外的條件 的差異進行了辨別的臉辨別處理，由此辨別在該攝像的圖像數據內的臉。
【文檔編號】H04N5/232GK104092947SQ201410360488
【公開日】2014年10月8日 申請日期:2008年8月28日 優先權日:2007年8月31日
【發明者】喜多一記 申請人:卡西歐計算機株式會社