專利名稱：以人臉五官辨識為基礎之人臉辨識方法
技術領域：
本發明系有關于一種以人臉五官辨識為基礎之人臉辨識方法，可自動地偵測出人臉及其五官位置并將各器官分門別類。本系統使用影像處理技術，準確且有效地將人臉五官分類，可廣泛應用于人臉搜尋或人臉辨識等功能。
背景技術：
當前的生物特征認證系統或人臉辨識系統，人臉辨識的功能大部份是采用影像處理的方法，而且大多需要建立人臉的影像數據庫，然后將目標人臉與數據庫中的人臉逐一比對，比對的運算耗時耗資源，且對于不同身份的人均未有視覺上的描述，很多時候對于使用者而言，很難感覺出目標人臉是否與數據庫中的影像相同。另外，目前亦沒有任何針對人臉五官做描述的方法出現。由此可見，上述現有系統對于使用者而言實在是很不友善，有待加以改良；本系統采用影像處理技術偵測出人臉五官，并妥善將人臉五官分門別類，可提供一合理且良好的人臉描述方式，故能有效地應用于當前的人臉辨識系統、生物特征認證系統及其它相關應用。
綜上所述，提供一種可妥善分類、有效應用于當前的人臉辨識系統、生物特征認證系統及其它相關應用的以人臉五官辨識為基礎之人臉辨識方法實為必要。
發明內容
本發明的目的在于提供以人臉五官辨識為基礎之人臉辨識方法，改良原本現有之生物特征認證及人臉辨識系統，并提供合理且可行的人臉五官描述方案。
現今市面上己有不少的人臉辨識或生物特征認證系統，大部份都是為了辨識或認證功能而產生，對于一般人們所采用的人臉五官描述方式有所不同，因此對于使用者而言不是直覺且友善的。因此上述系統很難應用于實際環境下，本發明的系統為了克服上述系統的缺點，提供以人臉五官辨識為基礎之人臉辨識方法。
本系統主要由人臉偵測單元及人臉五官描述單元所組成。輸入的影像由人臉偵測單元使用人臉偵測算法，擷取出人臉的部份，然后再進行人臉五官位置偵測，如眼睛、鼻子、耳朵及嘴巴等器官。最后再由人臉五官描述單元按照各個器官事先規畫好常見的類別，將各個器官給予適當的類別，例如常見的眼睛類別有單鳳眼、炯炯大眼及獨眼等，常見的嘴巴類別有櫻桃小嘴、厚唇及血盆大口等。
目前常見的生物特征認證系統及人臉辨識系統，透過本發明的器官描述方法，可事先定義好各個器官足夠、合理的類別，不但可以用來做為認證功能，還可以有較適當的器官描述方式，對于人們現有的口語描述方法，透過本方法仍然可以有效的找出所有可能的目標，由此可知，本方法確實是擁有較良善的使用及溝通接口。
本發明所提供的以人臉五官辨識為基礎之人臉辨識方法，與現有技術相比較時，具有下列優點1、有直覺的且友善的器官描述方式。
2、可應用于生物特征認證系統及人臉辨識系統。
3、可有效的將人臉五官描述與辨識系統兩大功能做適當的整合。
圖1是本發明以人臉五官辨識為基礎之人臉辨識方法架構示意圖；圖2A～圖2H是本發明以人臉五官辨識為基礎之人臉辨識方法范例圖；圖3A～圖3F是本發明嘴巴類別示意圖；圖4是本發明各種分類器組合示意圖；圖5是本發明中使用雙眼屏蔽偵測可能的眼睛位置的示意圖。
具體實施方法本發明所提供的以人臉五官辨識為基礎之人臉辨識方法，是以人臉偵測單元偵測出影像中人臉及五官位置，再由人臉五官描述單元將各器官分類，使輸入的人臉影像分別辨識各器官種類，并總合各器官的類別與數據庫中登錄的個人各器官類別比對，即可辨識出人臉為誰，其中，該數據庫是利用影像處理技術偵測出人臉及五官的位置，并將人臉部的器官事先分成幾個主要的類別并加以描述，所建立的每個人的五官類別數據庫。
請參閱圖1及圖2A～圖2H所示，是本發明的實施例之一，其中圖1是本發明以人臉五官辨識為基礎之人臉辨識方法架構示意圖，圖2A～圖2H是本發明以人臉五官辨識為基礎之人臉辨識方法范例圖。
首先，本發明輸入的影像交由人臉偵測單元11進行處理，如圖2A、圖2B所示，是本發明所取得的連續兩張人臉影像。人臉定位13的方法可使用移動物體偵測及邊線(edge)影像偵測，找出欲偵測目標的輪廓，如圖2C、圖2D所示，接著再使用橢圓定位配合膚色偵測算法偵測出人臉的位置，如圖2E所示，人臉五官擷取14則是將欲分類的器官偵測出來，常用的人臉器官有眼睛、鼻子、耳朵及嘴巴等，各個器官可分別定義成數個類別，本發明僅以偵測眼睛及嘴巴做為說明，使用如圖5所示的雙眼屏蔽偵測可能的眼睛位置第一個屏蔽的大小為P×2Q，用來尋找上面長方形區塊較暗且下面長方形區塊較亮的中心點，第二個屏蔽的大小為P×Q，用來尋找中間長方形區塊較亮且兩邊長方形區塊較暗的中心點。在同一位點上，若同時滿足兩個屏蔽運算結果都大于門檻值ρ，則可將其視為雙眼的中心點位置，因此將以上兩個屏蔽命名為雙眼中心屏蔽。
找到雙眼中心點位置之后，因為有很多候選點，需再進一步確認雙眼的位置，以找出正確的雙眼及其中心點位置。此時將人臉區塊分別依垂直及水平方向取各線條上的區域極小值，將兩方向的區域極小值取交集可得到數個雙眼候選點。利用先前找到的雙眼中心點位置，使用相連組件標示法(Connected component labeling)將其分成數個雙眼中心區塊，然后在每個區塊的兩邊各自尋找雙眼配對，條件有三個一、配對的雙眼中心位置必須落在該雙眼中心區塊上，二、配對的雙眼其平均灰階值必須相近，三、配對的雙眼傾斜角度必須在一個容忍范圍內，符合上述三個條件的雙眼配對仍然不少，最后選擇雙眼距離最小但須在門檻值σ之上的配對，做為本雙眼中心區塊所找到的雙眼位置，最后，從找到雙眼配對的雙眼中心區塊之中，將最接近人臉中心位置的該區塊視為雙眼的中心區塊，圖2F中，黑色的區塊代表可能的雙眼中心區塊，灰色的點是區域極小值。
嘴巴的位置一樣要利用雙眼中心區塊，因為嘴巴的位置一定在雙眼中心區塊的下方。與尋找雙眼配對方法類似，將人臉區塊依垂直方向，取各線條上的區域極小值(此時不用取水平方向各線條的區域極小值)，然后在各雙眼中心區塊的下方尋找相連長度大于2的區域極小值聯機，每個聯機均可能為嘴巴特征，若是有偵測出雙眼，則可利用雙眼距離及雙眼中心至嘴巴的距離來找出最適合的聯機視為嘴巴，圖2G為所有雙眼中心區塊底下的區域極小值聯機，圖2H中灰色的點為本范例最后找到的雙眼位置及嘴巴位置。
人臉五官描述單元12把偵測到的人臉器官先做適當的分類，例如眼睛可分成大眼、小眼及獨眼等類別，嘴巴也可以分成櫻桃小嘴及血盆大口等類別，然后再把目前偵測到的器官與各種類別做比對，可將其適當的歸類。各個器官依照需求來適當的分類是很重要的，因此需要計算不同類別之間的差異性(Difference)及該器官的可用性(Usability)，再從可用性高低，可以判斷該器官的分類是否適當。本發明以嘴巴為例，圖3A、圖3B及圖3C是分類好的三個不同嘴巴類別，因此比例差異性Dr可定義為兩兩不同類別的長寬比例的商值Dr＝MAX(W1/H1，W2/H2)/MIN(W1/H1，W2/H2)，其中Wi為第i類的寬度，Hi為第i類的高度，MAX(A，B)為取A，B的最大值，MIN(A，B)為取A，B的最小值。
圖3D、圖3E及圖3F是將A、B及C分別取得最外圍輪廓及中心線的示意圖，所以還可以定義輪廓差異性Dc為兩兩不同類別上下輪廓與中心線距離的差值Dc＝|∑i|H1i-center1|-∑j|H2j-center2||/Sum，其中H1i及H2j為兩個類別的輪廓上界或下界，而center1及center2為兩個類別的中心線位置，Sum為兩類別的總輪廓點數。計算出Dr及Dc之后，我們可以得到一個總差異性DtDt＝Dr×Dc，此差異性大小可用來計算一個偵測到的特征屬于哪一類別之外，還可以計算該器官的可用性，計算公式可以使用如下定義U＝MIN({Dt})，其中{Dt}是兩兩類別間的總差異性值所形成的群(group)。使用此公式可以得到差異性最低的總差異值，本發明用它來計算此器官的分類方式是否具有可用性；值越大，代表此器官的類別兩兩之間的差異性都大，值越小，表示有至少兩個類別的差異性小，以上所述是可行的分類方法，另外類神經網絡(Neural Network)及主要組件分析法(Principal Component Analysis)也是常見的分類算法。
個別的人臉器官除了可以各自分成數個類別外，如圖4所示，還可以將其統合起來形成一個大型的分類器(classifier)，或者是器官兩兩整合在一起亦可形成中型的分類器，例如本發明僅使用兩個器官，眼睛及嘴巴，如果各自分成10類別，那么本例的分類方法就可以成為能夠分辨10×10＝100個不同類別的分類器，若是再加入其它器官做參考，更能大大的增加分類的能力，因此本方法亦能運用于各種辨識功能的系統上。
上述說明僅僅是本發明具體實施例的具體說明，然本領域一般技術人員可理解，任何非實質性更改或變換皆包含在本發明范圍內，該實施例并非用以限制本發明的專利范圍。
權利要求
1.一種以人臉五官辨識為基礎之人臉辨識方法，其特征在于，其是以人臉偵測單元偵測出影像中人臉及五官位置，再由人臉五官描述單元將各器官分類，使輸入的人臉影像分別辨識各器官種類，并總合各器官的類別與數據庫中登錄的個人各器官類別比對，即可辨識出人臉為誰。
2.如權利要求1所述的以人臉五官辨識為基礎之人臉辨識方法，其特征在于，該人臉偵測單元可使用移動物體偵測及邊線影像偵測等方法偵測出人臉位置。
3.如權利要求1所述的以人臉五官辨識為基礎之人臉辨識方法，其特征在于，人臉偵測單元可使用雙眼中心區塊及區域極小值偵測眼睛。
4.如權利要求1所述的以人臉五官辨識為基礎之人臉辨識方法，其特征在于，該人臉偵測單元可使用雙眼中心區塊及區域極小值偵測嘴巴。
5.如權利要求1所述的以人臉五官辨識為基礎之人臉辨識方法，其特征在于，該人臉偵測單元可偵測包含眉毛、眼睛、鼻子、耳朵及嘴巴等器官。
6.如權利要求1所述的以人臉五官辨識為基礎之人臉辨識方法，其特征在于，該人臉五官描述單元可使用輪廓偵測做為器官分類的特征，并定義合理的差異性公式來做分類或辨識。
7.如權利要求1所述的以人臉五官辨識為基礎之人臉辨識方法，其特征在于，該人臉五官描述單元可使用類神經網絡做為器官分類的方法。
8.如權利要求1所述的以人臉五官辨識為基礎之人臉辨識方法，其特征在于，該人臉五官描述單元可使用主要元素分析法做為器官分類的方法。
9.如權利要求1所述的以人臉五官辨識為基礎之人臉辨識方法，其特征在于，該人臉五官描述單元所使用的器官可單獨用來做為分類器或提供辨識功能，也可使用兩兩器官或復數個器官的分類結果做為分類器或提供辨識功能，或是使用所有器官的分類結果做為分類器或提供辨識功能。
10.如權利要求9所述的以人臉五官辨識為基礎之人臉辨識方法，其特征在于，該人臉五官描述單元可使用的人臉器官兩兩之間的相對關系做為分類器的參考項目。
11.如權利要求1所述的以人臉五官辨識為基礎之人臉辨識方法，其特征在于，該數據庫是利用影像處理技術偵測出人臉及五官的位置，并將人臉部的器官事先分成幾個主要的類別并加以描述，所建立的每個人的五官類別數據庫。
全文摘要
一種以人臉五官辨識為基礎之人臉辨識方法，主要是利用影像處理技術偵測出人臉及五官的位置，接著將人臉部的器官事先分成幾個主要的類別并加以描述，以建立每個人的人臉五官類別數據庫，使用此種類描述方法主要可用于人臉搜尋及人臉辨識等應用，然后將輸入的影像由人臉偵測單元使用影像處理技術擷取影像中出現的人臉及其五官位置，最后人臉五官描述單元將人臉五官事先分門別類并加入描述內容，再將偵測出的人臉五官分別辨認出其所屬的類別，即可將其應用于人臉搜尋及人臉辨識。
文檔編號G06K9/00GK1967562SQ20051011899
公開日2007年5月23日 申請日期2005年11月15日 優先權日2005年11月15日
發明者吳坤榮, 柳恒菘, 白家榮 申請人:中華電信股份有限公司