圖像處理裝置、圖像捕獲裝置、圖像處理方法及記錄媒介的制作方法

專利名稱：圖像處理裝置、圖像捕獲裝置、圖像處理方法及記錄媒介的制作方法
技術領域：
本發明涉及一種圖像處理裝置、圖像捕獲裝置、圖像處理方法以 及圖像處理程序，并且尤其是涉及一種用于存儲最佳拍攝圖像的技術。
背景技術：
在現有技術中提出了一種臉部圖像處理方法。該方法包括連續 地輸入包括有臉部圖像的人的圖像、從該圖像判斷對象臉部的狀態(例 如瞳孔的狀態)、并且自動選擇包括有與用戶期望相匹配的適當臉部
圖像(日本專利申請特開No. 2000 — 259833)。該方法可，例如通過 在某個時間長度將照相機指向對象而獲得包括其中對象睜開眼睛的適 當臉部圖像的圖像。
在現有技術中還提出了一種圖像辟理裝置。所提粗的圖像處理裝 置找到包含在輸入圖像之中的臉部的預定局部(與眼、嘴、以及鼻子 相對應)中的特征點，并且找到預定局部的特征量(例如眼睛(特性 點)的終端與嘴的終端(特性點)之間的距離)。圖像處理裝置還找 到包含預定臉部表情的臉的另一圖像中的預定局部的特征量。圖像處 理裝置進一步計算對于每個預定局部而言輸入圖像的特征量與其他圖 像的特征量之間的差，并且根據該差來計算用于每個預定局部的分數。 通過將為輸入圖像所計算的分數的分布與為各種臉部表情的臉中的預 定局部所計算的分數的已知分布進行比較，圖像處理裝置判斷在輸入 圖像的臉上是哪種臉部表情(日本專利申請特開No. 2005 — 56388)。
此外，根據日本專利申請特開No. 2005 — 56388的圖像捕獲裝置， 當用戶希望捕獲包括有期望臉部表情(諸如笑)的圖像時，捕獲包括 該臉部的時間序列圖像，并且將為每個圖像所計算的分數的分布與為笑臉中的預定局部所計算的分數的分布進行比較。通過僅存儲具有最 接近笑臉分布的分布的圖像，圖像捕獲設備可存儲包括期望表情的圖 像
發明內容
—
然而，日本專利申請特開No. 2000 —259833的發明的問題在于因 為判斷連續輸入圖像的每個圖像是否包括用戶期望的適,臉部圖像 (例如其中對象眼睛睜開的圖像)，因此需要大量圖像處理。
另外，日本專利申請特開No. 2005 — 56388的發明也具有相似問 題，該問題在于因為圖像處理裝置判斷圖像序列的每個圖像中的臉部 表情，因此需要大量圖像處理。
此外，日本專利申請特開No. 2000—259833和No. 2005—56388 均具有進一步的問題，該問題在于如果連續地輸入包含適當臉部圖像 或者期望表情的臉部圖像的圖像，那么存儲所有輸入圖像(例如包含 具有相同表情的臉部的同樣圖像)，并且無用地消耗了存儲媒介的存 儲器容量。 '
在考慮了上述問題之后構思了本發明并且目的是提供一種能夠從 連續捕獲的圖像中僅存儲用戶希望存儲的圖像(以下稱為"最佳拍攝圖 像")并且能夠有效地提取最佳攝圖像的圖像處理裝置、圖像捕獲裝 置、圖像處理方法、以及圖像處理程序。
為了實現該目的，根據本發明第一方面的圖像處理裝置包括圖 像獲取設備，其用于順序地獲取按照連續方式所捕獲的圖像；臉部檢 測設備，其用于對所獲取的圖像中的臉部進行檢測；表情變化量計算 設備，其用于對每個目標幀計算表情變化量，該表情變化量表示在當 前目標幀的圖像中所檢測到的臉部與在之前目標幀的圖像中所檢測到 的臉部之間的表情變化，目標幀是獲取幀中的每個或者是獲取幀中規則間隔的幀；提取設備，其用于提取所計算的表情變化量大于或等于 預定值的目標幀的圖像；以及存儲設備，其用于將所提取的目標幀的 圖像或者位于所提取的目標幀附近的幀的圖像存儲在存儲媒介中。
因此，從按照連續方式所捕獲的圖像當中提取具有大臉部表情變 化的臉部的目標幀的圖像，并且將所提取的目標幀的圖像或者位于所 提取的目標幀附近的幀的圖像存儲在存儲媒介中。
應該注意的是存在大臉部表情變化的臉部很有可能是期望的圖像 (即，用戶希望存儲的臉的圖像(最佳拍攝))。此外，對兩個圖像 之間的表情變化量進行計算所需的圖像處理負荷低于對臉部表情本身 進行分析所需的圖像處理負荷。此外，當在連續圖像中捕獲表情不變 的臉部時，不存儲包含這種臉部的圖像。因此，可避免浪費使用存儲 媒介上的存儲器容量。
根據本發明第二方面的圖像處理裝置包括圖像獲取設備，其用 于順序地獲取按照連續方式所捕獲的圖像；臉部檢測設備，其用于對 所獲取圖像中的臉部進行檢測；表情變化量計算設備，其用于對每個 目標幀計算表情變化量，該表情變化量表示在每個目標幀的圖像中所 檢測到的臉部與參考模板臉部之間的表情變化，該目標幀是獲取幀中 的每個或者是獲取幀中規則間隔的幀；提取設備，其用于提取所計算
的表情變化量是預定值以及之上的目標幀的圖像；以及存儲設備，其 用于將所提取的目標幀的圖像或者位于所提取的目標幀附近的幀的圖 像存儲在存儲媒介中。
根據本發明的第一方面計算在當前目標幀圖像中所檢測到的臉部 與在連續捕獲的圖像的之前目標幀圖像中所檢測到的臉部之間的表情 變化。另一方面，根據本發明的第二方面與第一方面的不同之處在于 計算連續捕獲的目標幀的圖像與參考模板之間的表情變化量。根據本發明的第三方面，在根據第二方面的圖像處理裝置中，根 據與一個或多個人的平常臉的臉部局部相對應的多個特征點的坐標位 置來創建參考模板。
應該注意的是之前與之后幀的臉部之間的表情變化量至多是預定 值的連續捕獲的任何幀的圖像中的臉部可用作平常臉。
根據本發明的第四方面，在根據第三方面的圖像處理裝置中，預 先創建與人的屬性相對應的多個參考模板并且將其存儲在存儲器中， 并且通過圖像獲取設備從存儲器讀取相應于所獲取的圖像中與人的屬 性的參考模板并使用。所考慮的人的屬性的示例包括性別、年齡、成 熟度(孩子或者成人)、以及種族。
根據本發明的第五方面，根據第一至第四方面任何一個的圖像處 理裝置進一步包括典型臉部選擇設備，該典型臉部選擇設備用于當臉 部檢測設備對多個臉部進行檢測時，根據以亮度、位置、大小、以及 臉部清晰度中的至少一個為條件來選擇典型臉部以作為目標幀圖像中 檢測到的臉部。換句話說，當所捕獲的圖像中存在不止一個人時，選 擇單個人作為目標。利用該安排，可將被選擇為目標的人的最佳拍攝 圖像進行存儲，并且可使對要存儲的圖像的選擇簡單化。
根據本發明的第六方面，在根據第一至第五方面任何一個的圖像 處理裝置中，表情變化量檢測設備包括特征點提取設備，其用于提 取與每個臉部局部相對應的多個特征點；標準化設備，其用于使所提 取的特征點的坐標位置標準化；以及計算設備，其用于根據每個臉部 中的相應特征點的標準化坐標位置之間的距離總和或者其之間的距離 的平方和來對兩個比較的臉部計算表情變化量。該安排可利用簡單操 作來計算表情變化量。
根據本發明的第七方面，根據第一至第六方面任何一個的圖像處理裝置進一步包括最佳圖像候選者提取設備，其用于提取已提取的 目標幀的圖像以及多個連續幀的圖像以作為最佳圖像候選者，所述多 個連續幀的圖像是目標幀的之前和之后圖像中的至少一個；以及最佳 圖像選擇設備，其用于從所提取的最佳圖像候選者組中選擇最佳圖像， 其中存儲設備將所選的最佳圖像存儲在存儲媒介中。
根據本發明的第八方面，在根據第七方面的圖像處理裝置中，最 佳圖像選擇設備包括至少一個第一估計設備，其用于將最佳圖像 候選者的臉部與表示預定表情的表情模板進行比較并且根據比較結果 而判給每個最佳圖像候選者分數；第二估計設備，其用于對最佳圖像 候選者中的臉部方向進行檢測并且根據所檢測到的臉部方向判給每個 最佳圖像候選者分數；以及第三估計設備，其用于對最佳圖像候選者 中對象眼睛的方向進行檢測并且根據所檢測到的對象眼睛的方向判給 每個最佳圖像候選者分數；以及選擇設備，其用于根據由至少一個估 計設備所判給的一個或多個分數來從最佳圖像候選者當中選擇最佳圖 像。
當例如，最佳圖像候選者的臉部局部的特征點與表示預定表情的 表情模板之間的匹配程度增大時，第一估計設備判給更高的分數。應 該注意的是匹配程度可以是通過計算各自的特征點集合之間的距離的 平均值或者總和而獲得的。此外，表情模板可以是包括笑臉模板的多 個模板中的任何一個。
當最佳圖像候選者的臉部更接近正面的臉時(也就是說，當臉部 方向接近面向前方時)，第二估計設備判給更高的分數。當最佳圖像 的對象眼睛更直接地看向圖像捕獲設備時(也就是說，當最佳圖像候 選者的對象眼睛的方向接近圖像捕獲設備時)，第三估計設備判給更 高的分數。此后選擇設備根據由第一至第三估計設備所判給的三個分 數(包括使用兩個或更多個分數的總和)中的至少一個從最佳圖像候 選者當中選擇最佳圖像。根據本發明的第九方面，在根據第八方面的圖像處理裝置中，選 擇設備選擇具有最高分數的圖像作為最佳圖像或者從其分數大于或等 于預定值的最佳圖像候選者當中選擇具有由表情變化量計算設備所計 算的最大表情變化量的圖像作為最佳圖像。
根據本發明第十方面的圖像捕獲裝置包括圖像捕獲設備，該圖 像捕獲設備是可操作的以按照連續方式捕獲對象的圖像；以及根據第 一至第九方面中任何一個的圖像處理裝置，其中圖像獲取設備順序地 獲取由圖像捕獲設備按照連續方式所捕獲的圖像。
利用這個安排，在按照連續方式捕獲對象的同時，該設備將臉部 表情變化較大的圖像作為圖像候選者存儲在存儲媒介中。
根據本發明的第十一方面，根據第十方面的圖像捕獲裝置進一步 包括圖像捕獲指示設備；以及存儲數目設置設備，其用于設置為響 應圖像捕獲指示設備的單個圖像捕獲指令而將要被存儲在存儲媒介中 的圖像的數目，其中當圖像捕獲指示設備發出了圖像捕獲的指令時， 重復圖像捕獲設備的圖像捕獲操作以及圖像處理裝置的圖像處理，直 至已存儲的圖像數目到達了所設置的要存儲的圖像的數目。
例如，當從諸如快門按鈕等等的圖像捕獲指示設備輸入了用于圖 像捕獲的單個指令時，順序地存儲包括有更大表情變化的臉部的圖像，
直至到達了要存儲的圖像的預置數目。
根據本發明的第十二方面，根據第十一方面的圖像捕獲裝置進一 步包括捕獲結束指示設備，其中在圖像捕獲指示設備已發出了圖像捕 獲的指令之后，當捕獲結束指示設備發出捕獲結束的指令時，在所存 儲的圖像數目達到所設置的要存儲的圖像的數目之前結束圖像捕獲設 備的圖像捕獲操作以及圖像處理裝置的圖像處理。因此，即使已預置了為響應圖像捕獲的指令而一次要存儲的圖像 數目，用戶也可在捕獲了期望的臉部表情(最佳拍攝圖像)之后通過 捕獲結束指示設備上的操作而結束圖像捕獲操作。
根據本發明的第十三方面，根據第十方面的圖像捕獲裝置進一步 包括圖像捕獲指示設備，其中當圖像捕獲指示設備發出圖像捕獲的指 令時，重復圖像捕獲設備的圖像捕獲操作以及圖像處理裝置的圖像處 理，直到存儲媒介中沒有剩余空間。
根據本發明的第十四方面，根據第十三方面的圖像捕獲裝置進一 步包括捕獲結束指示設備，其中在圖像捕獲指示設備已發出了圖像捕 獲的指令之后，當捕獲結束指示設備發出捕獲結束的指令時，在存儲 媒介中沒有剩余空間之前，結束圖像捕獲設備的圖像捕獲操作以及圖 像處理裝置的圖像處理。
在第十二和第十四方面的圖像捕獲裝置中，捕獲結束指示設備可 利用相同的操作設備(即快門按鈕)作為圖像捕獲指示設備。例如， 一旦按下快門按鈕則指示開始圖像捕獲并且第二次按下快門按鈕則指 示結束圖像捕獲。
根據本發明的第十五方面，根據第十至第十四方面任何一個的圖 像捕獲裝置進一步包括聲音產生設備，該聲音產生設備在每次將圖像 存儲在存儲媒介中時產生聲音以通知用戶存儲定時。利用該安排，用 戶可檢査存儲圖像的定時，并且知道在所存儲圖像中的臉部上是什么 類型的表情。
根據本發明的第十六方面，根據第十至第十五方面任何一個的圖 像捕獲裝置進一步包括圖像顯示設備，其用于顯示圖像捕獲設備按 照連續方式所捕獲的圖像；以及顯示控制設備，其用于使圖像顯示設備顯示最近存儲在存儲媒介上的一個或多個圖像作為尺寸減小的圖 像，所述尺寸減小的圖像具有小于圖像顯示設備的整個顯示區的區域。 利用該安排，用戶可對所存儲的圖像進行檢査并且根據對所存儲圖像 的表情和組成的變化的評估而提出畫面。
根據本發明的第十七方面，第十至第十六方面的任何一個的圖像 捕獲裝置進一步包括顯示設備，其用于顯示可存儲在存儲媒介上的 圖像的最大數目以及己存儲圖像的當前數目，每當將圖像存儲在存儲 媒介中時更新已存儲圖像的當前數目。利用這個安排，用戶可在執行 圖像捕獲時，考慮到仍可記錄在存儲媒介中的圖像數目。
根據本發明的第十八方面，根據第十至第十七方面任何一個的圖 像捕獲裝置進一步包括顯示設備，該顯示設備顯示每當將圖像存儲在 存儲媒介中時所更新的已存儲圖像的當前數目，并且至少當已存儲在 存儲媒介上的圖像數目接近可儲存在存儲媒介中的圖像的最大數目時 改變已存儲圖像的當前數目的顯示形式。利用該安排，用戶可在執行 圖像捕獲時，考慮到仍可存儲在存儲媒介中的圖像數目。應該注意的 是通過改變用于已存儲圖像的當前數目的指示器的顏色、通過使用于 已存儲圖像的當前數目的指示器閃爍，或者通過其它方法可改變用于 已存儲圖像的當前數目的指示器的形式。
根據本發明第十九方面的圖像處理方法包括步驟順序地獲取按 照連續方式所捕獲的圖像；對所獲取圖像中的臉部進行檢測；對每個 目標幀計算表情變化量，該表情變化量表示在當前目標幀的圖像中所 檢測到的臉部與在之前目標幀的圖像中所檢測到的臉部之間的表情的 變化，該目標幀可以是獲取幀中的每個或者是獲取幀中規則間隔的幀； 提取所計算的表情變化量大于或等于預定值的目標幀的圖像；以及將 所提取的目標幀的圖像或者位于所提取的目標幀附近的幀的圖像存儲 在存儲媒介中。根據本發明第二十方面的圖像處理方法包括步驟順序地獲取按 照連續方式所捕獲的圖像；對所獲取的圖像中的臉部進行檢測；對每 個目標幀計算表情變化量，該表情變化量表示在每個目標幀的圖像中 所檢測到的臉部與參考模板臉部之間的表情的變化，該目標幀可以是 獲取幀的每個或者是獲取幀中規則間隔的幀；提取所計算的表情變化 量是預定值以及之上的目標幀的圖像；以及將所提取的目標幀的圖像 或者位于所提取的目標幀附近的幀的圖像存儲在存儲媒介中。
根據本發明的第二十一方面，根據第十九或者第二十方面的圖像 處理方法，進一步包括步驟提取所提取的目標幀的圖像以及多個連 續幀的圖像作為最佳圖像候選者，所述多個連續幀的圖像是目標幀的 之前和之后圖像中的至少一個；以及從所提取的最佳圖像候選者組中 選擇最佳圖像以將其存儲在存儲媒介中。
根據本發明的第二十二方面，提供了一種存儲圖像處理程序的記 錄媒介。根據第二十二方面的記錄媒介上的圖像處理程序可使計算機 實現下述功能順序地獲取按照連續方式所捕獲的圖像；對所獲取的 圖像中的臉部進行檢測；對每個目標幀計算表情變化量，該表情變化 量表示在當前目標幀的圖像中所檢測到的臉部與在之前目標幀中所檢 測到的臉部之間的表情的變化，該目標幀可以是獲取幀的每個或者是 獲取幀中規則間隔的幀；提取所計算的表情變化量大于或等于預定值 的目標幀的圖像；以及將所提取的目標幀的圖像或者位于所提取的目 標幀附近的幀的圖像存儲在存儲媒介中。
根據本發明第二十三方面，提供了一種存儲圖像處理程序的記錄 媒介。根據根據第二十三方面的記錄媒介上的圖像處理程序可使計算 機實現下述功能順序地獲取按照連續方式所捕獲的圖像；對所獲取 的圖像中的臉部進行檢測；對每個目標幀計算表情變化量，該表情變 化量表示在每個目標幀的圖像中所檢測到的臉部與參考模板臉部之間 的表情的變化，該目標幀可以是獲取幀的每個或者是獲取幀中規則間隔的幀；提取所計算的表情變化量是預定值以及之上的目標幀的圖像； 以及將所提取的目標幀的圖像或者位于所提取的目標幀附近的幀的圖 像存儲在存儲媒介中。
根據本發明的二十四方面，根據第二十二或者第二十三方面的記 錄在記錄媒介上的圖像處理程序，進一步可使計算機起下述功能提 取所提取的目標幀的圖像以及多個連續幀的圖像作為最佳圖像候選 者，所述多個連續幀的圖像是目標幀的之前和之后圖像中的至少一個； 以及從所提取的最佳圖像候選者組中選擇最佳圖像以將其存儲在存儲 媒介中。
根據本發明的方面，從按照連續方式所捕獲的圖像中提取具有較 大臉部表情變化的目標幀的圖像，并且將所提取的目標幀的圖像或者 位于所提取目標幀附近的幀的圖像存儲在存儲媒介上。因此，用戶可 在連續捕獲的圖像當中存儲他們希望記錄的臉部的圖像(最佳拍攝圖 像)。此外，可有效地提取最佳拍攝圖像。


圖1是示出了根據本發明的圖像捕獲裝置(數字照相機)的實施 例的框圖2是示出了與臉部部分的位置相關的臉部特征點的示例的示意
圖3是示出了根據本發明的第一實施例的處理的整個流程的流程
圖4A、 4B、以及4C是用于對目標幀和笑臉模板的臉部特征點的 標準化進行描述的示意圖5A、 5B、以及5C是示出了平常臉的特征點以及笑臉1和2的 特征點的示意圖6是示出了根據本發明的第二實施例的處理的整個流程的流程
圖；圖7是示出了用于創建平常臉模板的處理程序的流程圖8是示出了根據本發明的第三實施例的處理的整個流程的流程
圖9是用于對臉部的方向(臉方向)進行檢測的方法進行描述的 示意圖10示出了根據本發明的第四實施例的處理的整個流程的流程
圖ll是示出了當在最佳拍攝圖像捕獲模式下捕獲圖像時在顯示單 元上所顯示的屏幕的第一示例的示意圖12A和12B是示出了當在最佳拍攝圖像捕獲模式下捕獲圖像時 在顯示單元上所顯示的屏幕的第二示例的示意圖；以及
圖13A和13B是示出了當在最佳拍攝圖像捕獲模式下捕獲圖像時 在顯示單元上所顯示的屏幕的第三示例的示意圖。
具體實施例方式
下面參考附圖對根據本發明的圖像處理裝置、圖像捕獲裝置、圖 像處理方法、以及圖像處理程序的優選實施例進行描述。
圖1是示出了根據本發明的圖像捕獲裝置(數字照相機)10的實 施例的框圖。
數字照相機IO具有用于對靜止圖像和活動圖像進行存儲并且對該 圖像進行回放的功能。操作單元12包括電源按鈕、快門按鈕、模式手 柄、變焦鍵、回放按鈕、由上，下，左、右鍵所組成的多功能十字鍵、 菜單/OK按鈕、顯示/返回按鈕等等。
通過轉動模式手柄，可選擇包括有自動圖像捕獲模式、手動圖像 捕獲模式、人圖像捕獲模式、風景圖像捕獲模式和夜景圖像捕獲模式 的許多情形位置的任何一個。還可選擇本發明的活動圖像模式或者最佳拍攝圖像捕獲模式。快門按鈕包括當半按下快門按鈕時接通并且使 數字照相機10通過使用自動曝光調節(AE)和自動聚焦調節(AF)
來準備圖像捕獲的開關Sl，以及當當完全按下快門按鈕時接通并且使 數字照相機10捕獲圖像的開關S2。
顯示單元(液晶監控器)14顯示活動圖像(通過圖像)并且因此 用作電子取景器。顯示單元14還可在存儲之前顯示所捕獲的圖像(預 覽圖像)并且顯示從加載到照相機中的諸如存儲卡這樣的存儲媒介16 所讀取的圖像等等。顯示單元14還顯示當手動設置照相機的操作模式、 白平衡、圖像中的像素數目、以及靈敏度時所使用的各種形式的菜單 屏幕以響應對菜單/OK按鈕的操作。顯示單元14進一步顯示可經由對 十字鍵和菜單/ OK按鈕的操作而從其中設置手動設置的圖形用戶界面 (GUI)。
當從操作單元12輸入了操作信號時，中央處理單元(CPU) 18 通過根據照相機控制程序執行處理來執行數字照相機10中的單元的綜 合控制。CPU18與控制總線20和數據總線22相連。
除了 CPU18之外，控制總線20和數據總線22還與SDRAM (同 步動態RAM) 24、表情判斷單元26、特征點跟蹤單元28、臉部檢測 單元30、 EEPROM 32、數字信號處理單元34、壓縮/解壓縮單元36、 音頻控制單元38、顯示控制單元40、以及外部介質控制單元41相連。 進一步并且A/D轉換電路54與數據總線22相連。
CPU 18從SDRAM 24和EEPROM 32接收所需數據。EEPROM 32 將諸如用于固態成像設備的照相機控制程序和故障信息這樣的與照相 機控制有關的各種參數存儲在其中。EEPROM進一步包含根據本發明 的圖像處理程序、參考模板、表情模板等等。
CPU 18將存儲在EEPROM 32中的照相機控制程序調配到SDRAM 24中，并且利用作為工作存儲器的SDRAM 24執行各種處理。
在數字照相機10中，當將操作單元12的電源按鈕切換到ON時， CPU18對該切換進行檢測、接通內部電源、并且將數字照相機10置于 圖像捕獲模式的圖像捕獲等待狀態。在圖像捕獲等待狀態下，CPU 18 總是在顯示單元14上顯示活動圖像(通過圖像)。
用戶(攝影師)框定要拍攝的對象并對其進行檢査，同時在顯示 單元14上顯示通過圖像。用戶還可觀看所捕獲的圖像并且設置圖像捕 獲條件。
當照相機處于普通靜止圖像捕獲模式的圖像捕獲等待狀態下半按 下快門按鈕時，CPU 18對半按進行檢測并且執行AE光測量和AF控 制。在AE測量期間，數字照相機IO根據通過固態圖像捕獲設備(CCD) 50所獲取的圖像信號的總和或者相似值來測量對象的亮度。通過光測 量所獲得的值(所測量的光值)用于確定光圈44的光圈值以及圖像捕 獲的快門速度。當捕獲圖像時，CPU18根據由所測量的光值確定的光 圈值通過光圈驅動單元58來驅動光圈44并且通過圖像捕獲設備驅動 單元60來對CCD 50上的電荷存儲時段(所謂的"電子快門")進行控 制以提供利用所測量的光值所確定的快門速度。
當使用AF控制時，CPU 18還可通過使聚焦透鏡位置在近景與無 限遠之間一點一點地移動、對每個透鏡位置的通過CCD 50而在AF區 域中所獲得的圖像信號的頻率分量求和以獲得估計值、找到估計值到 達最高點的透鏡位置、并且使聚焦透鏡移動到該透鏡位置來執行對比 AF。應該注意的是在活動圖像模式下，CPU18利用聚焦透鏡的位置受 到控制的所謂"波峰跟蹤控制"來執行連續AF，以便保持該波峰估計值。
來自對象的光在穿過包括有聚焦透鏡和變焦透鏡的成象透鏡42之 后并且此后穿過光圈44、紅外線截止濾波器46、以及光學低通濾波器48而入射到CCD 50的光接收面上。
CCD 50是利用提供有預定安排(如Beyer或者蜂窩式安排)的R、 G、 B顏色濾波器陣列的彩色CCD構造而成的。將入射到CCD 50的光 接收面上的光轉換成其量取決于通過光接收面中的光電二極管的入射 光量的信號電荷。根據圖像捕獲設備驅動單元60所應用的定時信號來 讀取存儲在光電二極管中的信號電荷，并且使其從CCD50順序輸出以 作為電壓信號(圖像信號)。
模擬信號處理單元52包括CDS(相關雙采樣)電路和模擬放大器。 CDS電路根據CDS脈沖對CCD輸出信號執行相關雙采樣。模擬放大 器根據CPU 18所應用的圖像捕獲靈敏度增益來對CDS電路所輸出的 圖像信號進行放大。A/D轉換電路54將模擬信號處理單元52所輸出 的模擬圖像信號轉換成數字圖像信號。通過數據總線22將因而發生的 圖像信號(R、 G、以及BRAW數據)發送到SDRAM 24并且將其臨 時存儲在其中。
臉部檢測單元30對通過圖像或者活動圖像中的人臉進行檢測并且 將與該臉的位置和大小有關的信息輸出到CPU18。更具體地說，臉部 檢測單元30包括圖像比較電路和臉部圖像模板(臉部詞典)。圖像比 較電路在示出了通過圖像等等的屏幕上對目標區域進行定位，并且將 該目標區域中的圖像與臉部詞典進行比較以尋找相關性。當相關性分 數超過預定門限值時，圖像比較電路將目標區域指定為臉部區域。臉 部檢測單元30還通過將臉部區域中的臉部局部與臉部局部詞典進行比 較來對臉部局部(諸如眼睛、鼻子、嘴、以及眉毛)進行檢測。
在從臉部檢測單元30獲取臉部區域的位置和大小時，CPU 18可 使顯示單元14顯示疊加在通過圖像上的環繞所獲取的人類對象的臉的 臉部檢測框。按照上述方式所檢測到的臉部區域的位置和大小還可用作AF區 域以使照相機聚焦于對象臉上或者還可用作AE區域以便對象臉部的 亮度是合適的。
當在根據本發明的最佳拍攝圖像捕獲模式下捕獲圖像時表情判斷
單元26和特征點跟蹤單元28進行操作。最佳拍攝圖像捕獲模式是其 中按照活動圖像或者連續畫面的方式連續捕獲幀圖像、提取被判斷為 最佳拍攝圖像的幀圖像、并且將其存儲在存儲媒介16上的模式。
特征點跟蹤單元28對每個連續捕獲的幀圖像的臉部圖像的特征點 進行檢測，并且對臉部檢測單元30所檢測到的臉部局部中的特征點進 行檢測。
如圖2所示，在該實施例中，特征點跟蹤單元對由眉毛上的4個 點、眼睛上的8個點、鼻尖上的1個點、以及嘴上的4個點所組成的 總共17個特征點的Pi (Xi， y,) (1=1至17)進行檢測。特征點跟蹤 單元28對該序列的每個幀圖像中的每個特征點Pi (Xi， yi)進行跟蹤。
表情判斷單元26計算表示被用作比較的目標的之前與當前幀圖像 中所檢測到的臉部表情變化的表情變化量，并且對該臉部表情進行判 斷以選擇最佳圖像。
為了得到表情變化量，使不強烈地取決于臉部表情(例如眼睛的 外邊緣以及鼻尖)的當前幀的特征點與之前幀的相應特征點對準(匹 配)(位置調節)。或者，通過利用諸如KLT算法(Kanade—Lucas 一Tomasi的特征點跟蹤算法)的相應點檢測技術來跟蹤幀之間的特征 點以執行位置調節。此后利用以下公式來計算表情變化量以作為相應 特征點之間的差(距離)的總和。
表情變化量^V(x廠x")2+(yi棚yw)2
應該注意的是雖然通過對相應特征點之間的距離求和來得到公式 1中所描述的表情變化量，但是也可使用相應特征點之間的距離的平方 之和。
當按照上面的方式所計算的表情變化量大于或等于預定門限值 時，表情判斷單元26從目標幀之前和之后獲取m幀圖像以作為最佳圖 像候選者。此后表情判斷單元26計算，例如，該圖像組中的每幀圖像 的笑容相似度分數并且從該組中提取其笑容相似度分數最高的幀圖像 以作為最佳圖像(最佳拍攝圖像)。隨后對與最佳拍攝圖像的選擇有 關的詳情進行描述。
數字信號處理單元34起圖像處理設備的作用，該圖像處理設備包 括白平衡調節電路、伽瑪校正電路、同步電路、色度/亮度數據產生電 路、邊緣校正電路、用于插入圖像的圖像轉換電路、以及疊加處理電 路。數字信號處理單元34利用SDRAM 24根據來自CPU 18的命令執 行處理。具體地說，從SDRAM 24所讀取的R、 G和B圖像信號由白 平衡調節電路將數字增益施加到每個R、 G和B圖像信號上而經歷白 平衡調節、根據伽瑪特性通過伽瑪校正電路而經歷灰度轉換處理、并 且通過同步電路而經歷同步。在同步過程中，對與單個CCD上的顏色 濾波器的安排相關的彩色信號中的時間滯后進行校正以提供同步格式 的彩色信號。此后通過色度/亮度數據產生電路將同步的R、 G、以及B 圖像信號轉換成亮度信號Y和色度信號Cr和Cb (即YC信號)。Y 信號通過邊緣校正電路而經歷邊緣增強處理。數字信號處理單元34將 數字信號處理單元34的處理所產生的YC信號返回到SDRAM 24。
在由數字信號處理單元34的處理并且存儲在SDRAM 24中之后， 壓縮/解壓縮單元36對YC信號進行壓縮并且通過外部介質控制單元41 將其存儲在存儲媒介16中以作為預定格式(諸如JPEG (聯合圖像專家組)格式)的圖像文件。存儲媒介16可以是諸如可移動的xD — Pk:ture Card (商標)或者SmartMedia (商標)這樣的半導體存儲器卡、便攜 式壓縮硬盤、磁盤、光盤、光磁盤片等等。
:當對操作單元12的回放按鈕進行操作以選擇回放模式時，通過外 部介質控制單元41來讀取存儲在存儲媒介16中的最后幀的圖像文件。 對所讀取的圖像文件的壓縮數據進行解壓縮以通過壓縮/解壓縮單元36 形成非壓縮的YC信號。
將解壓縮的YC信號存儲在SDRAM 24中(或者附圖中未示出的 VRAM中)、將其轉換成用于通過顯示控制單元40來顯示的信號格式、 并且將其輸出到顯示單元14。因此，顯示單元14顯示存儲在存儲媒介 16上的圖像文件的最后幀。
此后，用戶按下幀正序導航開關(十字鍵的右部)以使幀按照正 序移動并且按下幀反序導航開關(十字鍵的左部)以使幀按照反序移 動。在幀導航所確定的幀位置上從存儲媒介16讀取圖像文件并且按照 上述方式來在顯示單元14上對相應應圖像進行回放。
音頻控制單元38既可使揚聲器39對于照相機的各種操作產生聲 音且在回放活動圖像時產生聲音，還可使揚聲器39產生聲音(諸如快 門的滴答聲這樣的耳朵捕獲聲音)以表示存儲每個最佳拍攝圖像的定 時。
<第一實施例〉
下面對用于捕獲/存儲n個最佳拍攝圖像的第一實施例進行描述， 其中預先設置為響應單個圖像捕獲指令而要存儲的最佳拍攝圖像數目 "n"。
圖3是給出了根據本發明第一實施例的處理的整個流程的流程圖。當已選擇最佳拍攝圖像捕獲模式作為圖像捕獲模式并且按下快門 按鈕時，圖像捕獲開始(步驟SIO)。應該注意的是為響應單個圖像捕 獲指令而要存儲的最佳拍攝圖像數目"n"可以由默認數目確定或者由用 戶設置'為適當數目(可以是l)。此外，當在最佳拍攝圖像捕獲模式下 捕獲圖像時，與為活動圖像和連續畫面一樣按照連續方式捕獲幀圖像。
該處理將所捕獲的幀圖像臨時存儲在SDRAM 24中(步驟S12)。 接下來，該處理從臨時存儲在特征點跟蹤單元28中的幀圖像當中的目 標幀圖像中的對象臉部提取特征點(步驟S14)。目標幀包括連續捕獲 的幀圖像的每個幀或者是以若干幀為間隔的所選幀。應該注意的是以 若干幀為間隔選擇目標框幅可比較容易地發現表情變化并且可降低處 理負荷。
此后參考圖2所述，該處理提取與的臉部局部的各個位置相對應 的特征點Pi (Xi， yi)。
接下來，表情判斷單元26通過將從當前目標幀圖像所提取的臉部 特征點Pi(Xi， yi)以及從存儲在SDRAM 24中的之前目標幀圖像所提 取的臉部特征點Pw (x卜,，yi—,)代入到上述公式1來計算表情變化量 (步驟S16)。
表情判斷單元26此后判斷所計算的表情變化量是否大于或等于預 定門限值(步驟S18)。當表情判斷單元26判斷為否定時，該處理回 到步驟S12。當判斷為肯定時，認為對象臉部上的表情已經經歷了很大 變化，并且該處理轉到步驟S20。
在步驟S20中，該處理提取包括當前目標幀以及當前目標幀之前 和之后的m個幀的圖像組以作為最佳圖像候選者，對于所述當前目標 幀表情變化量已被判斷為等于或者超過門限值。接下來，該處理從在步驟S20所提取的圖像組(最佳圖像候選者)
的2m+l個幀中選擇單個最佳圖像(最佳拍攝圖像)(步驟S22)。 以下被認為是用于選擇最佳拍攝圖像的可能方法。
(1) 該處理將最佳圖像候選者的臉部與預定表情的模板進行比 較，例如將最佳圖像候選者的臉部與笑容的笑臉模板進行比較，并且 根據比較結果判給最佳圖像候選者笑容相似度分數。
首先，該處理將其分數要被估計的目標幀的臉部和笑臉模板的特 征點執行標準化處理。如圖4A、 4B、以及4C所示，利用鼻尖作為參 考點，該處理為包含在每個笑臉模板和目標幀臉部的17個特征點的每 個特征點計算至各自參考點的距離(Dli， D2》。該處理為每個特征點 計算至參考點(DVD2i)的距離比，并且計算所有特征點上的平均比。 此后該處理利用該平均比通過按比例縮放目標幀中的臉部的特征點來 對目標幀(參見圖4A和4B)臉部的特征點的坐標執行標準化處理(即 按比例縮放以適合笑臉模板)。
此后該處理計算標準化目標幀的特征點與笑臉模板的相應特征點 之間的距離的平均差，并且判給笑容相似度分數(參見圖4B和4C)。 應該注意的是目標幀具有的平均差值越小，判給該幀的笑容相似度分 數越大。
該處理按照這種方式判給所有最佳圖像候選者笑容相似度分數， 并且選擇具有最高笑容相似度分數的最佳圖像候選者作為最佳拍攝圖 像。
(2) 該處理將最佳圖像候選者的臉部與笑臉模板進行比較并且根據該比較結果判給每個最佳圖像候選者笑容相似度分數。此后該處理 選擇其中笑容相似度分數大于或等于預定值(缺省值)的最佳圖像候
選者當中的表情變化量最大的圖像以作為最佳拍攝圖像。
如圖3所示，當步驟S22的處理選擇最佳拍攝圖像時，將所選的
最佳拍攝圖像存儲在存儲媒介16中。
接下來，該處理對所存儲的最佳拍攝圖像進行計數(步驟S24)， 并且判斷所存儲的最佳拍攝圖像的數目是否到達n (步驟S26)。當該 數目沒有到達n時，該處理回到步驟S12。當該數目到達n時，該處理 結束最佳拍攝圖像的捕獲。
應該注意的是需要SDRAM 24臨時存儲計算了其表情變化量的當 前目標幀之前和之后的至少m個幀。
當在步驟S16中計算表情變化量時，優選按照上述方式使之前和 之后幀的特征點Pi (Xi， yi)和Pi-, (Xi-,， y卜)標準化。該標準化可 以與諸如臉部大小這樣的因素無關地計算表情變化量。
應該注意的還有笑容相似度分數并不局限于按照上述方式來計 算，而是可以替代為利用平常臉之間的特征量的差來計算。
該特征量可以是利用特征點的位置、特征點之間的距離、或者臉 部中存在/不存在線(鈹紋)來表示的。
圖5A給出了平常臉的特征點。圖5B和5C分別示出了笑臉1和 2的特征點。
參笑臉1
如圖5B所示，與圖5A所示的平常臉相比嘴唇的兩端提高了，并且在鼻子和嘴唇出現了線(皺紋)以給出具有比平常臉更多笑容的臉 部。例如，如果"嘴唇的兩端都提高了"和"在臉上出現了線或者線加深 了"的每一個被判給1點，那么判給笑臉1的笑容相似度分數是2點。
參笑臉2
在圖5C所示的笑臉2中，由于嘴張大了，因此與圖5A所示的平 常臉相比，該嘴的縱向寬度遠大于笑臉1的寬度。同時，由于面頰上 升了，因此眼睛的縱向寬度更小。如果"嘴張開"和"眼睛變窄"的每一個 被判給1點，那么判給笑臉2的笑容相似度分數是4點。
通過利用表示重要程度的加權而判給每個特征量加權點，而不是 利用統一加權判給點數，分數系統的可靠性增大了。
<第一實施例的修改>
在上面所描述的第一實施例中，重復圖像捕獲和存儲直到已存儲 的最佳拍攝圖像達到預置數目"n"。然而，本發明并不局限于被重復的 該安排。當指示捕獲圖像時，也可以重復圖像捕獲和存儲直到存儲媒 介16的剩余容量耗盡。
此外，通過提供捕獲結束指示設備，可以允許用戶在他們選擇時 結束圖像捕獲操作。
例如，利用對捕獲結束指示設備的操作，在已捕獲了期望表情的 臉部(最佳拍攝圖像)但是在到達最佳拍攝的記錄的設置數目"n"之前 或者在存儲媒介16的剩余容量耗盡之前，用戶可結束圖像捕獲及其他 操作。應該注意的是捕獲結束指示設備可以利用相同控制設備作為圖 像捕獲指示設備(即快門按鈕)。在這種情況下， 一旦按下快門按鈕 則指示將執行圖像捕獲并且在捕獲圖像的同時再次按下按鈕則指示將 結束圖像捕獲。在上述第一實施例中，提取其表情變化量大于或等于預定值的目 標幀之前的m個幀以及之后的m個幀作為最佳圖像候選者。然而，本 發明并不局限于這種安排，并且僅包括目標幀之前的m個幀或者目標 幀之后的m個幀以及目標幀圖像來作為最佳圖像候選者也是可接受 的。 -
此外，在第一實施例中，當從最佳圖像候選者中選擇最佳拍攝圖 像時，計算每個最佳圖像候選者的笑容相似度分數。然而，可以通過 選擇具有最大表情變化量的最佳圖像候選者作為最佳拍攝圖像來選擇 最佳拍攝圖像而無需計算笑容相似度分數。
<第二實施例〉
圖6是給出了根據本發明第二實施例的處理的整個流程的流程圖。 應該注意的是與圖3所示的第一實施例相同的方法的部分被分配給相 同的步驟號碼，并且省略對這些部分的詳細說明。
在圖3所示的第一實施例中，計算目標幀之前和之后的幀中的臉 部的表情變化量。圖6所示的第二實施例不同之處在于計算連續捕獲 的目標幀中的臉部的表情變化量，所述目標幀與平常臉模板(參考模 板)的臉部相關。
當通過第一圖像捕獲指令開始捕獲/存儲n個最佳拍攝圖像(其中 "n"是預先設置的)時(步驟SIO)，創建平常臉模板(步驟S30)。
圖7是示出了用于創建平常臉模板的處理程序的流程圖。應該注 意的是與圖3所示的第一實施例相同的程序的部分被分配給相同的步 驟號碼，并且省略對這些部分的詳細說明。
在用于創建平常臉模板的流程圖中，提取包括表情變化量較小的 臉部的預定數目"k"的幀圖像，并且從對于所提取的幀圖像的臉部局部的特征點的平均值來創建平常臉模板。
如圖7所示，當用于創建平常臉模板的處理開始時，該處理判斷 根據從之前和當前幀圖像所提取的臉部的特征點所計算的表情變化量 是否小于或等于預定門限值X步驟S32)。當表情變化量大于門限值時， 該處理重新設置計數到預定數目k的計數器的計數值、清除臨時存儲
在SDRAM 24中的幀圖像(步驟S34)、并且回到步驟S12。應該注意 的是預定數目k可以，例如通過使不變臉部表情必須維持以被指定為 平常臉的預定時段除以幀時段而得到的。
當在步驟S32中判斷出表情變化量小于或等于預定門限值時，該 處理使計數器的計數加l (步驟S36)，并且此后判斷當前計數是否大 于或等于預定數目k。當當前計數小于預定數目k時，該處理回到步驟 S12。當當前計數大于或等于預定數目k時，該處理移動到步驟S39。
在步驟S39中，該處理計算存儲在SDRAM 24中的預定數目k(也 就是說，k個幀圖像)的幀圖像中的臉部局部的特征點的平均值，并且 將該平均特征點的位置坐標設置為平常臉模板。
如圖6所示，在按照上述方式完成了創建平常臉模板之后，處理 開始圖像捕獲/存儲實際最佳拍攝圖像。
在第一實施例(圖2)的步驟S16中，處理計算之前和之后幀中 的表情變化量。然而，在第二實施例的步驟S16'中，處理計算從輸入 的目標幀所提取的臉部特征點Pi (x,， y,)與平常臉模板的特征點之間 的表情變化量。應該注意的是當在步驟S16'中計算表情變化量時，優 選預先使這兩個特征點集標準化。
利用這個安排，可計算相對平常臉的臉部的表情變化量。此后根 據表情變化量最大的目標幀從提取的2m+l個幀圖像(最佳圖像候選者)當中選擇單個最佳圖像(最佳拍攝圖像)，并且將其存儲在存儲 媒介16中。按照與第一實施例相同的方式來執行最佳拍攝圖像選擇等 等。
<第二實施例的修改〉 〃
在上述第二實施例中，在開始捕獲和記錄實際最佳拍攝圖像之前 創建平常臉模板。然而，也可以預先創建平常臉模板并且將其存儲在
EEPROM32中。當預先創建平常臉模板時，在創建處理中使用無表情 的臉部數據庫。
或者，為每個要捕獲的人類對象記錄平常臉模板，并且在開始捕 獲最佳拍攝圖像之前讀出給定拍攝的對象的平常臉模板。
另一可能性是從多個對象的平常臉創建平均平常臉模板并且將其 存儲在EEPROM 32上。
更進一步的可能性是根據各種對象屬性創建平常臉模板并且將其 存儲在EEPROM 32中。考慮用作對象屬性的特征包括性別、年齡、成 熟度(孩子或者成人)、以及種族。
應該注意的是平常臉模板不必是利用數字照相機IO創建的，并且 可以在運送之前將其存儲在EEPROM 32中或者根據外部源的輸入而 存儲。
<第三實施例>
圖8是給出了根據本發明第三實施例的處理的整個流程的流程圖。 應該注意的是與圖3所示的第一實施例共享的過程的部分被分配給相 同的步驟號碼，并且省略對這些部分的詳細說明。
在圖8所示的第三實施例中，第一實施例的處理補充有步驟S40的處理。此外，步驟S22'提供了與步驟S22的最佳拍攝圖像選擇方法
不同的處理程序。
在步驟S40中，處理判斷每個最佳圖像候選者中的臉部方向(臉 部的方向)。 一
如圖9所示，右眼的內端點表示為"a"并且左眼的內端點表示為 "b"。線ab與平行于鼻子的鼻梁且垂直于線ab而延伸的線之間的交叉 點表示c。
通過將距離ac與距離bc進行比較來執行評分。
該處理根據距離之間的比率或者根據距離差來計算分數(臉部方 向分數)。當距離ac和距離bc的值彼此接近(接近相等)時，判斷出 臉部接近正面的臉(臉部差不多面向前方)并且向該臉部判給較高分 數。當僅可提取一個眼睛時，該處理判斷出臉部處于側面并且判給分 數"O"。
另外，該處理使用包括有與0。相對應的面向正面的臉部、與卯° 相對應的側面臉部、以及以10°為間隔的這兩者之間的臉部的臉部詞 典，判斷每個幀中的臉部與角度詞典中的臉部之間的匹配程度是否很 高，并且根據匹配程度判給分數。
回到圖8，可知在步驟S22'中處理從在步驟S20所提取的2m+l個 幀圖像(最佳圖像候選者)選擇單個最佳圖像(最佳拍攝圖像)。在 圖3所示的第一實施例中，只根據笑容相似度分數或者根據笑容相似 度分數連同表情變化量來選擇最佳拍攝圖像。然而，在步驟S22'中， 處理判給的分數是每個最佳圖像候選者的笑容相似度分數與臉部方向 分數的總和，并且選擇具有最高結果分數的最佳圖像候選者作為最佳拍攝圖像。
或者，處理從具有大于或等于預定值的結果分數的最佳圖像候選 者當中選擇最佳拍攝圖像。
在步驟S22'中，處理此后將所選最佳拍攝圖像存儲在如上所述的 存儲媒介16中。
<第三實施例的修改〉
在上述第三實施例中，使用臉部方向分數來選擇最佳拍攝圖像。 然而，取代臉部方向分數或者除了臉部方向分數之外，可判斷對象眼 睛的方向。在這種情況下，當對象眼睛更直接地看向照相機時，在評 分中分數變得較高，并且該分數(對象眼睛方向分數)可用于選擇最 佳拍攝圖像。
為了判斷對象眼睛的方向，該處理對在眼睛區域中瞳孔的位置進 行檢測。例如，當臉部面向前并且瞳孔位置位于眼睛區域中心時，判 斷出對象眼睛看向照相機。因此，該處理可根據臉部方向和瞳孔在眼 睛區域中的位置判斷對象眼睛的方向。
笑容相似度分數、臉部方向分數、對象眼睛方向分數、以及表情 變化量中的任何一個可用于從最佳圖像候選者當中選擇最佳拍攝圖 像。或者，可適當結合兩個或更多個分數并且用于選擇。
除了笑臉模板之外，可制備其他臉部表情模板。處理此后選擇最 接近最佳圖像候選者的表情模板并且根據所選表情模板的臉部表情的 相似程度來判給每個最佳候選者圖像分數。
<第四實施例〉
圖10是示出了根據本發明第四實施例的處理的整個流程的流程圖。應該注意的是與圖3所示的第一實施例相同的程序的部分被分配 給相同的步驟號碼，并且省略對這些部分的詳細說明。
在圖IO所示的第四實施例中，第一實施例的處理補充有步驟S50
的處理。此外，步驟S22"提供了與步驟S22-的最佳拍攝圖像選擇方法 不同的處理程序。
在步驟S50中，當在幀圖像中檢測到多個面部時，處理選擇典型 臉部。該處理從由臉部檢測單元30所檢測到的多個臉部當中選擇最大 的臉部作為典型臉部。或者，該處理判給每個面部區域點數來確定每 個條件的重要性并且使用具有最大點數總和的臉部作為典型臉部，所 述條件是從臉部亮度、位置、大小、以及臉部清晰度當中選擇的一個 或多個。
僅對在步驟S50所選的典型臉部執行步驟S14至S18的處理。
在步驟S22"中，處理利用下述之一從在步驟S20所提取的2m+l 個幀圖像(最佳圖像候選者)當中選擇單個最佳圖像(最佳拍攝圖像)。
(1 )該處理挑選包含有最大數目的具有笑容相似度分數至少為門 限值的臉部的幀作為最佳拍攝圖像。當多個幀具有相同數目的笑臉時， 該處理挑選其中典型臉部具有最高笑容相似度分數的幀作為最佳拍攝 圖像。
(2)該處理也可以利用來挑選包含有最大數目的具有笑容相似度 分數至少為門限值的臉部的幀作為最佳拍攝圖像。當多個幀具有相同 數目的笑臉時，該處理挑選其中典型臉部具有最大表情變化量的幀作 為最佳拍攝圖像。
在上面所描述的(1)和(2)中，除了各自的臉部之外，還必須計算除了典型臉部之外的臉部的笑容相似度分數。
(3) 該處理挑選其中典型臉部具有最高笑容相似度分數的幀作為 最佳拍攝圖像。
(4) 該處理挑選其中典型臉部具有至少為門限值的笑容相似度分 數的幀，并且從這些幀當中挑選具有典型臉部中的最大表情變化量的 幀作為最佳拍攝圖像。
在上面所描述的(3)和(4)中，不必計算除了典型臉部之外的
臉部的笑容相似度分數，并且該處理類似于第一實施例的步驟S22。
應該注意的是在按照第三實施例和第三實施例的修改示例中所描 述的方式考慮了臉部方向分數和對象眼睛方向分數之后選擇最佳拍攝 圖像。
<第五實施例>
下面描述了當在最佳拍攝圖像捕獲模式下捕獲圖像時的用戶界面。
因為在照相機側確定最佳拍攝圖像捕獲模式下的最佳拍攝圖像的 存儲定時，因此利用聲音或者顯示指示器向用戶通知已存儲了圖像。
圖ll示出了在最佳拍攝圖像捕獲模式下進行圖像捕獲期間在顯示
單元14上所顯示的屏幕的示例。除了顯示通過圖像之外，顯示單元14 還顯示可存儲的最佳拍攝(BS)的最大數目(100)和已存儲的最佳拍 攝的當前數目(8)。
該安排可使用戶看到仍可存儲多少最佳拍攝圖像。此外，當獲得 新的最佳拍攝時對已存儲的最佳拍攝的當前數目的計數可使用戶看到當存儲最佳拍攝時的定時。
圖12A和12B示出了在最佳拍攝圖像捕獲模式下進行圖像捕獲期 間在顯示單元14上所顯示的屏幕的第二示例。
圖12A和12B所示的顯示單元14顯示的屏幕顯示了最佳拍攝的 當前數目以及直通圖像(pass-through image)。此外，指示器的顏色根 據已存儲的最佳拍攝的當前數目而變化。
具體地說，指示器的顏色逐步變化，當已存儲的最佳拍攝的當前 數目是最佳拍攝(BS)的最大數目的很小比例時指示器顏色是綠色， 當當前數目大約是最大數目的一半時是黃色，并且當當前數目接近最 大數目時是紅色。
在圖12A所示的示例中，因為假如最佳拍攝(BS)的最大數目是 "100"，那么當已存儲了八個最佳拍攝時以綠色顯示數字"8"(參見圖 12A)并且當已存儲了 98個最佳拍攝時以紅色顯示"98"(參見圖12B)。
應該注意的是，本發明并不局限于根據由已存儲的最佳拍攝的當 前數目所構成的最佳拍攝的最大數目的比例而為已存儲的最佳拍攝的 數目改變指示器的顏色。可以僅當已存儲的最佳拍攝的當前數目接近 最大數目時使指示器改變顏色。此外，本發明并不局限于改變指示器 的顏色。例如，已存儲的最佳拍攝的當前數目可以斷續地閃爍。只要 當當前數目接近最大數目時以顯示已存儲的最佳拍攝的當前數目的方 式存在變化，則提供任何指示器都是可接受的。
圖13A和13B示出了在最佳拍攝圖像捕獲模式下進行圖像捕獲期 間在顯示單元14上所顯示的屏幕的第三示例。
圖13A所示的顯示單元14的顯示屏在小窗口中顯示存儲在存儲媒介16中的最近的最佳拍攝的尺寸減小的圖像以及通過圖像。
圖13B所示的顯示單元14的顯示屏在小窗口中顯示存儲在存儲媒 介16中的最近五個最佳拍攝的尺寸減小的圖像以及通過圖像。當記錄 了新的最佳拍攝圖像時，更新在顯示單元14的顯示屏上所顯示的尺寸 減小的最佳拍攝圖像。
應該注意的是在顯示單元14的顯示屏上所顯示的尺寸減小的最佳 拍攝圖像的數目并不局限于當前實施例的數目。
每當存儲最佳拍攝圖像時，音頻控制單元38通過揚聲器39產生 聲音(諸如快門的滴答聲的耳朵捕獲聲音)以表示存儲最佳拍攝圖像 的時刻。
可以將已存儲的最佳拍攝圖像的數目、已存儲圖像的顯示、以及 在存儲時刻的耳朵捕獲聲音進行組合可以改善可用性。
<修改示例>
在該實施例中，雖然數字照相機IO用作示例，但是本發明可適用 于監控照相機和移動電話中的照相機。此外可根據本實施例，制備用 于使個人計算機等等起到圖像處理設備的作用的圖像處理程序、可將 該圖像處理程序安裝在計算機上、并可使該計算機執行程序。當將該 程序安裝在計算機上時，可使用記錄該程序的記錄媒介。
例如，可使用諸如被捕獲為視頻、TV圖像等等的活動圖像的連續 拍攝的圖像作為輸入圖像，從該輸入圖像中提取最佳拍攝圖像，并且 將該最佳拍攝存儲為靜止圖像。
此外，本發明還可是上述實施例的適當組合。應該注意的是雖然已根據本發明對圖像處理裝置、圖像捕獲裝置、 圖像處理方法、圖像處理程序、以及記錄媒介進行了詳細的描述，但 是本發明并不局限于這些示例并且在不脫離本發明的范圍或者精神的 情況下可按照多種方式對這些示例進行改善和修改。
權利要求
1. 一種圖像處理裝置，包括圖像獲取設備，所述圖像獲取設備用于順序地獲取按照連續方式所捕獲的圖像；臉部檢測設備，所述臉部檢測設備用于對所獲取的圖像中的臉部進行檢測；表情變化量計算設備，所述表情變化量計算設備用于對每個目標幀計算表情變化量，所述表情變化量表示在當前目標幀的圖像中所檢測到的臉部與在之前目標幀的圖像中所檢測到的臉部之間的表情的變化，所述目標幀是獲取幀中的每個或者是所述獲取幀中規則間隔的幀；提取設備，所述提取設備用于提取所計算的表情變化量大于或等于預定值的目標幀的圖像；以及存儲設備，所述存儲設備用于將所提取的目標幀的圖像或者位于所提取的目標幀附近的幀的圖像存儲在存儲媒介中。
2. —種圖像處理裝置，包括圖像獲取設備，所述圖像獲取設備用于順序地獲取按照連續方式 所捕獲的圖像；臉部檢測設備，所述臉部檢測設備用于對所獲取圖像中的臉部進 行檢測；表情變化量計算設備，所述表情變化量計算設備用于對每個目標 幀計算表情變化量，所述表情變化量表示在每個目標幀的圖像中所檢測到的臉部與參考模板臉部之間的表情的變化，所述目標幀是獲取幀 中的每個或者是所述獲取幀中規則間隔的幀；提取設備，所述提取設備用于提取所計算的表情變化量是預定值 以及之上的目標幀的圖像；以及存儲設備，所述存儲設備用于將所提取的目標幀的圖像或者位于 所提取的目標幀附近的幀的圖像存儲在存儲媒介中。
3. 根據權利要求2所述的圖像處理裝置，其中所述參考模板是根據與一個或多個人的平常臉的臉部局部相對應 的多個特征點的坐標位置而創建的。
4. 根據權利要求3所述的圖像處理裝置，其中 預先創建與人的屬性相對應的多個參考模板并且將所述多個參考模板存儲在存儲器中，以及，從所述存儲器讀取并使用與通過所述圖像獲取設備獲取的圖像中 的人的屬性相對應的參考模板。
5. 根據權利要求l所述的圖像處理裝置，還包括典型臉部選擇設備，所述典型臉部選擇設備用于當所述臉部檢測 設備檢測到多個臉部時，根據以亮度、位置、大小以及臉部清晰度中 的至少一個為條件來選擇典型臉部以作為所述目標幀的圖像中檢測到 的臉部。
6. 根據權利要求l所述的圖像處理裝置，其中所述表情變化量檢測設備包括特征點提取設備，所述特征點提取設備用于提取與每個臉部局部 相對應的多個特征點；標準化設備，所述標準化設備用于使所提取的特征點的坐標位置 標準化；以及計算設備，所述計算設備用于根據每個臉部中的相應特征點的標 準化坐標位置之間的距離總和或者標準化坐標位置之間的距離的平方 和來為兩個比較的臉部計算表情變化量。
7.根據權利要求1所述的圖像處理裝置，還包括 最佳圖像候選者提取設備，所述最佳圖像候選者提取設備用于提 取所提取的目標幀的圖像以及多個連續幀的圖像以作為最佳圖像候選 者，所述多個連續幀的圖像是所述目標幀的圖像之前和之后的至少一個；以及最佳圖像選擇設備，所述最佳圖像選擇設備用于從所提取的最佳 圖像候選者組中選擇最佳圖像，其中所述存儲設備將所選擇的最佳圖像存儲在所述存儲媒介中。
8. 根據權利要求7所述的圖像處理裝置，其中 所述最佳圖像選擇設備包括、 下述至少一個第一估計設備，所述第一估計設備用于將所述最佳圖像候選者的 臉部與表示預定表情的表情模板進行比較，并且根據比較結果而判給 每個最佳圖像候選者分數；第二估計設備，所述第二估計設備用于對所述最佳圖像候選者中 的臉部方向進行檢測，并且根據所檢測到的臉部方向判給每個最佳圖 像候選者分數；以及第三估計設備，所述第三估計設備用于對所述最佳圖像候選者中 的對象眼睛的方向進行檢測，并且根據所檢測到的對象眼睛的方向判 給每個最佳圖像候選者分數；以及選擇設備，所述選擇設備用于根據由所述估計設備中的至少一個 所判給的一個或多個分數來從所述最佳圖像候選者當中選擇最佳圖 像。
9. 根據權利要求8所述的圖像處理裝置，其中 所述選擇設備選擇具有最高分數的圖像以作為最佳圖像，或者從其分數大于或等于預定值的最佳圖像候選者當中選擇具有由所述表情 變化量計算設備所計算的最大表情變化量的圖像作為最佳圖像。
10. —種圖像捕獲裝置，包括圖像捕獲設備，所述圖像捕獲設備可操作用于按照連續方式捕獲對象的圖像；以及根據權利要求l所述的圖像處理裝置，其中所述圖像獲取設備順序地獲取由所述圖像捕獲設備按照連續方式 所捕獲的圖像。
11. 根據權利要求IO所述的圖像捕獲裝置，還包括 圖像捕獲指示設備；以及存儲數目設置設備，所述存儲數目設置設備用于設置響應所述圖 像捕獲指示設備的單個圖像捕獲指令p將要存儲在存儲媒介中的圖像 的數目，其中當所述圖像捕獲指示設備發出了圖像捕獲的指令時，重復所述圖 像捕獲設備的圖像捕獲操作以及所述圖像處理裝置的圖像處理，直至 已存儲的圖像數目達到了所設置的要存儲的圖像的數目。
12. 根據權利要求ll所述的圖像處理裝置，還包括 捕獲結束指示設備，其中在所述圖像捕獲指示設備已發出了圖像捕獲的指令之后，當所述 捕獲結束指示設備發出捕獲結束的指令時，在已存儲的圖像數目達到 所設置的要存儲的圖像的數目之前結束所述圖像捕獲設備的圖像捕獲 操作以及所述圖像處理裝置的圖像處理。
13. 根據權利要求IO所述的圖像處理裝置，還包括 圖像捕獲指示設備，其中當所述圖像捕獲指示設備發出圖像捕獲的指令時，重復所述圖像 捕獲設備的圖像捕獲操作以及所述圖像處理裝置的圖像處理，直至所 述存儲媒介中沒有剩余空間。
14. 根據權利要求3所述的圖像處理裝置，還包括 捕獲結束指示設備，其中在所述圖像捕獲指示設備已發出了圖像捕獲的指令之后，當所述 捕獲結束指示設備發出捕獲結束的指令時，在所述存儲媒介中沒有剩 余空間之前結束所述圖像捕獲設備的圖像捕獲操作以及所述圖像處理裝置的圖像處理。
15. 根據權利要求IO所述的圖像捕獲裝置，還包括 聲音產生設備，所述聲音產生設備在每次將圖像存儲在所述存儲媒介中時產生聲音以通知用戶存儲定時。—
16. 根據權利要求10的圖像捕獲裝g，還包括圖像顯示設備，所述圖像顯示設備用于顯示由所述圖像捕獲設備 按照連續方式所捕獲的圖像；以及顯示控制設備，所述顯示控制設備用于使所述圖像顯示設備將最 近存儲在所述存儲媒介上的一個或多個圖像顯示為尺寸減小的圖像， 所述尺寸減小的圖像具有小于所述圖像顯示設備的整個顯示區的面 積。
17. 根據權利要求IO所述的圖像處理裝置，還包括 顯示設備，所述顯示設備用于顯示可存儲在存儲媒介上的圖像的最大數目以及已存儲圖像的當前數目，每當將圖像存儲在所述存儲媒 介中時更新所述已存儲圖像的當前數目。
18. 根據權利要求IO所述的圖像處理裝置，還包括 顯示設備，所述顯示設備顯示每當將圖像存儲在所述存儲媒介中時所更新的所述已存儲圖像的當前數目，并且至少當存儲在所述存儲 媒介上的圖像數目接近可儲存在所述存儲媒介中的圖像的最大數目 時，改變所述已存儲圖像的當前數目的顯示形式。
19. 一種圖像處理方法，包括步驟 順序地獲取按照連續方式所捕獲的圖像； 對所獲取圖像中的臉部進行檢測；對每個目標幀計算表情變化量，所述表情變化量表示在當前目標 幀的圖像中所檢測到的臉部與在之前目標幀的圖像中所檢測到的臉部之間的表情的變化，所述目標幀是獲取幀中的每個或者是所述獲取幀 中規則間隔的幀；提取所計算的表情變化量大于或等于預定值的目標幀的圖像；以及將所提取的目標幀的圖像或者位于所提取的目標幀附近的幀的圖 像存儲在存儲媒介中。
20. —種圖像處理方法，包括步驟 順序地獲取按照連續方式所捕獲的圖像； 對所獲取的圖像中的臉部進行檢測；對每個目標幀計算表情變化量，所述表情變化量表示在每個目標 幀的圖像中所檢測到的臉部與參考模板臉部之間的表情的變化，所述 目標幀可以是獲取幀中的每個或者是所述獲取幀中規則間隔的幀；提取所計算的表情變化量是預定值以及之上的目標幀的圖像；以及將所提取的目標幀的圖像或者位于所提取的目標幀附近的幀的圖 像存儲在存儲媒介中。
21. 根據權利要求19所述的圖像處理方法，進一步包括步驟 提取所提取的目標幀的圖像以及多個連續幀的圖像作為最佳圖像候選者，所述多個連續幀的圖像是所述目標幀的圖像之前和之后的至 少一個；以及從所提取的最佳圖像候選者組中選擇最佳圖像以將所述最佳圖像 存儲在所述存儲媒介中。
22. —種存儲圖像處理程序的記錄媒介，所述圖像處理程序使計 算機實現下述功能順序地獲取按照連續方式所捕獲的圖像； 對所述獲取的圖像中的臉部進行檢測；計算每個目標幀的表情變化量，所述表情變化量表示在當前目標幀的圖像中所檢測到的臉部與在之前目標幀的圖像中所檢測到的臉部 之間的表情的變化，所述目標幀是獲取幀中的每個或者是所述獲取幀 中規則間隔的幀；提取所計算的表情變化量大于或等于預定值的目標幀的圖像；以及 -將所提取的目標幀的圖像或者位于所提取的目標幀附近的幀的圖 像存儲在存儲媒介中。
23. —種存儲圖像處理程序的記錄媒介，所述圖像處理程序使計 算機實現下述功能順序地獲取按照連續方式所捕獲的圖像； 對所獲取的圖像中的臉部進行檢測；對每個目標幀計算表情變化量，所述表情變化量表示在每個目標 幀的圖像中所檢測到的臉部與參考模板臉部之間的表情的變化，所述 目標幀是獲取幀中的每個或者是所述獲取幀中規則間隔的幀；提取所計算的表情變化量是預定值以及之上的目標幀的圖像；以及將所提取的目標幀的圖像或者位于所提取的目標幀附近的幀的圖 像存儲在存儲媒介中。
24. 根據權利要求22所述的記錄媒介，所述圖像處理程序進一步 使計算機實現下述功能提取所提取的目標幀的圖像以及多個連續幀的圖像作為最佳圖像 候選者，所述多個連續幀的圖像是所述目標幀的圖像之前和之后的至 少一個；以及從所提取的最佳圖像候選者組中選擇最佳圖像以將所述最佳圖像 存儲在所述存儲媒介中。
全文摘要
圖像處理裝置、圖像捕獲裝置、圖像處理方法及記錄媒介。獲取按照連續方式所捕獲的圖像并對其進行臨時存儲。提取所獲取的幀圖像中的臉部的特征點。計算在當前幀中的臉部(臉部部分)的特征點與在之前幀的特征點之間的距離總和(表情變化量)。提取其中表情變化量最大的目標幀圖像以及其中表情變化量最大的目標幀圖像之前和之后的m個幀圖像以作為最佳圖像候選者。從最佳圖像候選者中提取最佳拍攝圖像并將其存儲到存儲媒介中。因此，可有效地從按照連續方式所捕獲的圖像當中僅提取包含用戶期望記錄的臉部的圖像(最佳拍攝圖像)并對其進行存儲。
文檔編號G06K9/00GK101419666SQ20081016815
公開日2009年4月29日 申請日期2008年9月28日 優先權日2007年9月28日
發明者中村友和 申請人:富士膠片株式會社