專利名稱：基于分類器集成的人臉識別系統及其方法
技術領域：
本發明屬于圖像處理技術領域，特別是涉及人臉的識別，可用于公共安全，信息安全，金融安全的監督和防護。
背景技術：
人臉識別是比較容易為人們所接受的非侵犯性識別手段，從而成為備受計算機視覺與模式識別等領域關注的熱點問題。人臉識別技術的目的是賦予計算機根據人的面孔辨別人物身份的能力。人臉識別作為個科學問題，是一個典型的圖像模式分析，理解與分類的計算機問題，它涉及模式識別，計算機視覺，智能人機交互，圖形學，認知科學等多個學科。作為生物特征識別關鍵技術之一的人臉識別技術在公共安全，信息安全，金融等領域具有潛在的應用前景。在人臉識別技術中，高精度核心識別算法是問題的關鍵，設計識別系統的最終目的是為了得到好的識別率。傳統的方法是設計不同的分類器來實現人臉識別這個目的，在識別系統中的分類器的作用是根據特征提取器得到的特征向量來給一個被測樣本賦一個類別標記，從而達到分類的目的。由于不同分類器的錯分樣本不一定都相同，因而可對分類器進行融合，以產生更好的性能。大量的研究表明，集成多個子分類器是提高識別率一種有效手段。用這種手段可以實現對人臉的識別。
現有的分類器輸出集成方法主要有英國的J.Kittler等人在1998年論文中總結了分類器輸出集成的方法。該方法提出，如果單個分類器的輸出能表示成后驗概率的形式，則可以采用乘積規則、和規則、最大規則、最小規則和中值規則來對多個子分類器的結果進行集成，這些規則是屬于非線性的集成方式，在應用中比較復雜。而在實際應用中線性集成的方式是最為常見的，其中簡單投票規則是常用的線性集成方式之一，為此意大利的G.Fumera等人在2005年對簡單投票和加權投票方法進行了比較，指出如果單個分類器有相同的性能而且對估計誤差有相同的相關性，則簡單平均投票是最優的規則。否則，加權投票規則會優于簡單平均投票規則。關于如何尋找權系數，J.A.Benediktsson等人于1997年和M.P.Perone等人在1993年提出了用回歸估計的方式來求解權系數，但這些方法不適用于分類問題。N.Ueda在2000年針對分類問題，設計了基于最小分類誤差原則的線性加權方法。該方法的目標函數是非線性的，從理論上存在著局部極值點，而且求解目標函數所采用的梯度下降方法在很大程度上依賴于初始權值的選擇，如果初始權值選擇不好，將會降低分類器的識別率，導致人臉識別系統性能的惡化。
發明的內容 本發明的目的在于克服上述已有技術的不足，提出了一種基于分類器集成的人臉識別系統及其方法，以提高集成分類器的識別率，改善人臉識別系統的性能。
為實現上述目的，本發明的技術方案是 一.基于分類器集成的人臉識別系統，包括 原始人臉圖像特征提取模塊，用于對輸入到計算機中的原始人臉圖像進行特征提取，獲取c類個有標識的原始訓練樣本集； 待分類人臉圖像特征提取模塊，用于對輸入到計算機中的待分類人臉圖像進行特征提取，獲取待分類樣本x∈Rn； 訓練模塊，用于選擇有后驗概率輸出的N個子分類器，并根據原始訓練樣本集對其進行訓練，獲得關于原始訓練樣本集的后驗概率Pj(ωk|xi)，xi表示第i個訓練樣本，ωk表示第k個類別； 子分類器加權系數計算模塊，用于根據后驗概率Pj(ωk|xi)，通過線性規劃求解各個子分類器的加權系數αj，并輸出到集成模塊； 子分類器分類模塊，用于將待分類樣本輸入到訓練過程中訓練好的N個子分類器中，獲得待分類樣本的后驗概率Pj(ωk|x)； 集成模塊，用于根據訓練過程得到的加權系數αj和待分類的后驗概率Pj(ωk|x)設計分類規則，并根據該分類規則得到分類結果； 分類結果輸出模塊，用于將待分類樣本的分類結果以類別標識的形式輸出，并在計算機顯示屏上顯示。
二、基于分類器集成的人臉識別訓練方法，包括如下過程 提取輸入到計算機中的原始人臉圖像特征，獲取c類個有標識的原始訓練樣本集{(xi，yi)|xi∈Rn，yi∈{1，2，…，c}，i＝1，…，l}，其中xi表示n維實數空間中的一個樣本，yi是其標識，在1到c之間的正整數中取值，如果yi＝k，則表示xi∈ωk類，l為樣本的個數； 選擇有后驗概率輸出的N個子分類器，并根據原始訓練樣本集對其進行訓練，獲得關于原始訓練樣本集的后驗概率Pj(ωk|xi)，該式表示第j個子分類器關于xi樣本屬于ωk類的后驗概率，其中j＝1，…，N，k＝1，…，c，i＝1，…，l； 根據后驗概率Pj(ωk|xi)，通過線性規劃求解各個子分類器的加權系數αj，其求解公式為 subject to ξq≥0，αj≥0，i＝1，…，l，j＝1，…，N，k≠m，k＝1，…，c q＝1，2，…，l(c-1) 式中，j＝1，…，N；
C是折中系數，ξq是松弛變量，
是容量控制項，
是經驗風險項； 將各個子分類器的加權系數αj輸出到分類系統。
三、基于分類器集成的人臉識別分類方法，包括如下過程 提取輸入到計算機中的待分類人臉圖像特征，獲取待分類樣本x∈Rn； 將待分類樣本輸入到訓練過程中訓練好的N個子分類器中，獲得待分類樣本的后驗概率Pj(ωk|x)，j＝1，…，N，k＝1，…，c； 根據訓練過程得到的加權系數αj和待分類的后驗概率Pj(ωk|x)設計分類規則，該模塊所設定的分類規則為 如果則x∈ωm類，m∈{1，2，…，c}代表不同的類別，其類別標識為y＝m。
將待分類樣本的分類結果以類別標識的形式輸出，并在計算機顯示屏上顯示。
本發明由于在訓練系統中通過子分類器加權系數計算模塊得到子分類器加權系數是全局最優的，從而保證了整個分類系統對待分人臉圖像較高的識別率。仿真結果表明，在對360幅圖像重復進行30次訓練和分類的條件下，本發明的平均識別率比現有的Ueda線性加權方法的平均識別率高3.54％。
圖1是本發明的虛擬系統框圖； 圖2是本發明的訓練過程流程圖； 圖3是本發明的分類過程流程圖。
具體實施例方式 參照圖1，本發明的人臉識別系統包括訓練系統和分類系統兩部分，其中訓練系統由原始人臉圖像特征提取模塊、訓練模塊、子分類器加權系數計算模塊和訓練結果輸出模塊組成。分類系統由待分類人臉圖像特征提取模塊、子分類器分類模塊、集成模塊和分類結果輸出模塊組成。其工作原理為 原始人臉圖像特征提取模塊對輸入到計算機中的原始人臉圖像進行特征提取，獲取c類個有標識原始訓練樣本集{(xi，yi)|xi∈Rn，yi∈{1，2，…，c}，i＝1，…，l}，其中xi表示n維實數空間中的一個樣本，yi是其標識，在1到c之間的正整數中取值，如果yi＝k，則表示xi∈ωk類，l為樣本的個數，該原始訓練樣本集輸送給訓練模塊。訓練模塊，首先選擇有后驗概率輸出的N個子分類器，然后根據原始訓練樣本集對這些子分類器進行訓練，獲得關于原始訓練樣本集的后驗概率Pj(ωk|xi)，式中，xi表示第i個訓練樣本，ωk表示第k個類別，j＝1，…，N，k＝1，…，c，i＝1，…，l，每個子分類器的訓練樣本是通過對原始訓練樣本集的特征進行隨機采樣生成的，并且每個子分類器的特征數是相同的。子分類器加權系數計算模塊，根據后驗概率Pj(ωk|xi)，通過線性規劃求解各個子分類器的加權系數αj，其求解公式為 subject to ξq≥0，αj≥0，i＝1，…，l，j＝1，…，N，k≠m，k＝1，…，c q＝1，2，…，l(c-1) 式中，j＝1，…，N；
C是折中系數，ξq是松弛變量，
是容量控制項，
是經驗風險項。該加權系數αj的具體計算可以調用已有的工具包來實現，比如調用Matlab中的線性規劃函數，即可求得線性規劃問題的最優解αj。得到各個子分類器的加權系數αj后，輸出到分類系統中的集成模塊作為后續分類的一個輸入參數。
分類系統的待分類人臉圖像特征提取模塊，對輸入到計算機中的待分類人臉圖像進行特征提取，獲取待分類樣本x∈Rn，并輸出給子分類器分類模塊，其中待分類樣本不能出現在訓練樣本集中。子分類器分類模塊，將該待分類樣本再輸入到訓練模塊中已經訓練好的N個子分類器中，獲得待分類樣本的后驗概率Pj(ωk|x)，并輸出給集成模塊。集成模塊，根據訓練系統得到的權系數αj和待分類的后驗概率Pj(ωk|x)設計分類規則并獲得分類結果，該模塊所設定的分類規則為如果則x∈ωm類，m∈{1，2，…，c}代表不同的類別，其分類結果可用類別標識y＝m表示，并通過分類結果輸出模塊在計算機顯示屏上顯示。
上述整個人臉識別系統中的各個模塊均通過計算機程序實現其功能，完成對人臉圖像的識別。
參照圖2，對本發明實現人臉識別的訓練實施過程進行如下詳細描述 該實施例是在以本發明技術方案為前提下進行實施的，給出了詳細的實施方式和具體的操作過程，但本發明的保護范圍不限于下述的實施例。
實施例采用了一個公用的人臉數據庫——UMIST數據庫。在該數據庫中共有574幅20個不同的人臉圖像。這個圖像庫是一個多視角，具有從側面到正面的不同姿態人臉的數據庫，其訓練過程是 步驟1，對原始人臉圖像進行特征提取，獲取c類有標識的原始訓練樣本集{(xi，yi)|xi∈Rn，yi∈{1，2，…，c}，i＝1，…，l}，其中xi表示n維實數空間中的一個樣本，yi是其標識，在1到c之間的正整數中取值，如果yi＝k，則表示xi∈ωk類，l為樣本的個數；特征提取是指對圖像進行主分量分析或下采樣或各種變換。
原始的人臉圖像的大小均為112×92，這里特征提取方法采用了下四采樣方法，采樣后每幅圖像的大小為n＝28×23。
由于每個類別擁有的樣本個數有多有少，最少的為19幅。對每個類別隨機抽取18個樣本，則整個數據集大小為360幅圖像。仿真時對每類人臉從18個中隨機選取5個樣本作為訓練樣本，其余的13個作為測試樣本。這樣形成了一組訓練-測試樣本集。這里訓練樣本的參數n、c和l的取值分別為n＝644，c＝20和l＝100。
步驟2，選擇有后驗概率輸出的分類器，并設定子分類器的個數N，設計子分類器；分類器的選擇可以有神經網絡或支持向量機或K近鄰或判別方法或決策樹或貝葉斯決策分類器。設計子分類器是指給子分類器設計不同的訓練集合，其方法采用對原始訓練集直接隨機采樣或對原始訓練集的特征進行隨機采樣，使得子分類器具有多樣性。
在實施過程中，選擇了K近鄰分類器，這是一種非參數學習模型，而且由于K近鄰分類器本身不是具有概率輸出的，所以要對其輸出進行處理，以獲得概率輸出的形式。具體處理過程為對某個訓練或待分類樣本x′在訓練樣本中找到其K個近鄰，如果在這K個近鄰中屬于ωk類的訓練樣本為Kk，則用P(ωk|x′)＝Kk/K來表示K近鄰分類器關于x′的后驗概率。這里設定分類器個數N＝100，而近鄰個數K當成一個可變的參數。在實驗中K的變化范圍為{3，4，5}。對每個子分類器其訓練樣本是采用對原始訓練集的特征進行隨機采樣，每個子分類器的特征數是相同的。這里把特征數也當成是一個可變的參數，變化范圍為{23，24，25，26}。
步驟3，訓練N個子分類器，并獲得各個子分類器關于原始訓練樣本的后驗概率Pj(ωk|xi)，式中，xi表示第i個樣本，ωk表示第k個類別，j＝1，…，N，k＝1，…，c，i＝1，…，l； 步驟4，通過線性規劃求得各個子分類器加權系數αj，j＝1，…，N。
線性規劃的形式為 subject to ξq≥0，αj≥0，i＝1，…，l，j＝1，…，N，k≠m，k＝1，…，c q＝1，2，…，l(c-1) 其中
C是折中系數，ξq是松弛變量和αj是第j個分類器的加權系數。
在目標函數中，第一項是容量控制項，第二項是經驗風險項，該目標函數的最小化體現了結構風險最小化原則。線性規劃的求解可以調用已有的工具包來實現，比如調用Matlab中的線性規劃函數，即可求得線性規劃問題的最優解αj。
參照圖3，對本發明實現人臉識別的分類實施過程進行如下詳細描述 步驟A，對待分類的人臉圖像進行特征提取，獲取待分類樣本x∈Rn，并將其輸入到訓練過程中訓練好的N個子分類器中；這里的特征提取和訓練過程中的特征提取方式是一致的； 在本實施例中待分類樣本也被稱為是測試樣本，不能出現在訓練樣本集中。
步驟B，采用與訓練過程相同的方法獲得對待分類樣本的后驗概率Pj(ωk|x)，j＝1，…，N，k＝1，…，c； 步驟C，輸出對待分類樣本的分類結果；分類規則為 如果則x∈ωm類，即其標識為y＝m。
本發明的效果可以通過以下仿真數據進一步說明 1、仿真條件與內容 對UMIST數據集都按照上述具體實施過程獲取訓練-分類樣本集的方式進行仿真，生成30組隨機的訓練-分類樣本集，重復上述訓練和分類過程30次，并計算其平均識別率。幾種方法的仿真是在相同的實驗環境下進行的。
2、仿真結果 在重復上述訓練和分類過程30次中，記錄下每次仿真得到的識別率，并計算其平均識別率，如表1所示。表1中的“K近鄰方法”是沒有采用集成的分類器；集成方法中，均采用了100個子分類器，“簡單投票”指的是權值都取為1/100，以及“Ueda線性加權”采用的是N.Ueda在2000年針對分類問題設計的最優線性加權方法進行的仿真。
表1.識別性能比較
從表1的仿真結果可以看出，集成方法的識別率高于沒有集成的方法，而且在這些集成方法中，本發明方法的平均識別率要高于簡單投票和Ueda等人提出的最優線性加權方法。
權利要求
1、一種基于分類器集成的人臉識別系統，包括
原始人臉圖像特征提取模塊，用于對輸入到計算機中的原始人臉圖像進行特征提取，獲取c類個有標識的原始訓練樣本集；
待分類人臉圖像特征提取模塊，用于對輸入到計算機中的待分類人臉圖像進行特征提取，獲取待分類樣本x∈Rn；
訓練模塊，用于選擇有后驗概率輸出的N個子分類器，并根據原始訓練樣本集對其進行訓練，獲得關于原始訓練樣本集的后驗概率Pj(ωk|xi)，xi表示第i個訓練樣本，ωk表示第k個類別；
子分類器加權系數計算模塊，用于根據后驗概率Pj(ωk|xi)，通過線性規劃求解各個子分類器的加權系數αj，并輸出到集成模塊；
子分類器分類模塊，用于將待分類樣本輸入到訓練過程中訓練好的N個子分類器中，獲得待分類樣本的后驗概率Pj(ωk|x)；
集成模塊，用于根據訓練過程得到的權系數αj和待分類的后驗概率Pj(ωk|x)設計分類規則，并根據該分類規則得到分類結果；
分類結果輸出模塊，用于將待分類樣本的分類結果以類別標識的形式輸出，并在計算機顯示屏上顯示。
2、根據權利要求1所述的人臉識別系統，其特征在于，子分類器加權系數計算模塊按照線性規劃計算加權系數，該目標函數的最小化體現了結構風險最小化原則，求解的加權系數是全局最優的，采用如下公式
subject to
ζq≥0，αj≥0，i＝1，...，l，j＝1，…，N，k≠m，k＝1，…，c
q＝1，2，…，l(c-1)
式中，
C是折中系數，ζq是松弛變量和αj是第j個分類器的加權系數，
是容量控制項，
是經驗風險項。
3、根據權利要求1所述的人臉識別系統，其特征在于，集成模塊設計的分類規則為如果則x∈ωm類，m∈{1，2，…，c}代表不同的類別，其分類結果可用類別標識y＝m表示。
4、一種基于分類器集成的人臉識別訓練方法，包括如下過程
提取輸入到計算機中的原始人臉圖像特征，獲取c類個有標識原始訓練樣本集{(xi，yi)| xi∈Rn，yi∈{1，2，…，c}，i＝1，...，l}，其中xi表示n維實數空間中的一個樣本，yi是其標識，在1到c之間的正整數中取值，如果yi＝k，則表示xi∈ωk類，l為樣本的個數；
選擇有后驗概率輸出的N個子分類器，并根據原始訓練樣本集對其進行訓練，獲得關于原始訓練樣本集的后驗概率Pj(ωk|xi)，該式表示第j個子分類器關于xi樣本屬于ωk類的后驗概率，其中j＝1，…，N，k＝1，…，c，i＝1，...，l；
根據后驗概率Pj(ωk|xi)，通過線性規劃求解各個子分類器的加權系數αj，其求解公式為
subject to
ζq≥0，αj≥0，i＝1，...，l，j＝1，…，N，k≠m，k＝1，…，c
q＝1，2，…，l(c-1)
式中，j＝1，…，N；
C是折中系數，ζq是松弛變量，
是容量控制項，
是經驗風險項；將各個子分類器的加權系數αj輸出到分類系統。
5、一種基于分類器集成的人臉識別分類方法，包括如下過程提取輸入到計算機中的待分類人臉圖像特征，獲取待分類樣本x∈Rn；將待分類樣本輸入到訓練過程中訓練好的N個子分類器中，獲得待分類樣本的后驗概率Pj(ωk|x)，j＝1，…，N，k＝1，…，c；
根據訓練過程得到的權系數αj和待分類的后驗概率Pj(ωk|x)設計分類規則，該模塊所設定的分類規則為
如果則x∈ωm類，m∈{1，2，…，c}代表不同的類別，其類別標識為y＝m；
將待分類樣本的分類結果以類別標識的形式輸出，并在計算機顯示屏上顯示。
全文摘要
本發明公開了一種基于分類器集成的人臉識別系統及其方法，其目的是通過求解多個子分類器的加權系數集成多個子分類器輸出，以獲得對人臉識別系統較好的識別率。整個系統包括訓練系統和分類系統兩部分，其中訓練系統完成對人臉圖像進行特征提取，選擇多個有后驗概率輸出的子分類器，輸入不同的訓練樣本到子分類器中訓練，獲得原始訓練樣本的后驗概率，采用線性規劃優化求得各個子分類器的加權系數；分類系統完成輸入特征提取后的待分類樣本到訓練后的子分類器中，得到待分類樣本的后驗概率，并通過該后驗概率和子分類器加權系數設計分類規則，輸出分類結果。本發明具有識別率高的優點，可用于機器學習和模式識別范疇內的人臉識別。
文檔編號G06K9/62GK101303730SQ200810150268
公開日2008年11月12日 申請日期2008年7月4日 優先權日2008年7月4日
發明者莉 張, 周偉達, 霍婕婷, 刁丹丹, 焦李成 申請人:西安電子科技大學