基于運動單元分層的人臉表情識別方法及系統的制作方法
【技術領域】
[0001] 本發明涉及計算機視覺技術領域，具體涉及一種人臉表情識別方法及系統。
【背景技術】
[0002] 人臉表情識別是通過視覺信號分析人臉運動及面部特征的變化對表情進行分類。 表情分類的研宄基本是依據1971年心理學家Ekman與Friesen最早提出的人類六種主要 情感，每種情感以唯一的表情來反映人的一種獨特的心理活動。這六種情感被稱為基本情 感，由生氣（anger)、開心（happiness)、悲傷（sadness)、驚訝（surprise)、厭惡（disgust) 和恐懼（fear)組成。近年來隨著一系列相關領域的飛速發展，如機器學習、圖像處理、人臉 檢測等，人臉表情識別越來越受到重視，其應用前景十分廣泛，如自然人機交互，智能機器 人，情緒檢測及心理狀態分析、虛擬現實技術、合成臉部動畫等等。
[0003] 人臉表情識別的研宄主要步驟為：人臉檢測，表情特征提取以及表情分類。第一步 需要從背景圖像中對人臉進行準確定位，這一環節現在已作為一個獨立的研宄方向；第二 步從人臉圖像或圖像序列提取能夠代表表情本質的信息，如紋理表觀、運動變化或幾何形 狀特征等；第三步設計表情分類器，結合提取的特征識別表情。目前主要有以下分類方法： 貝葉斯網絡、K近鄰域、神經網絡、隨機森林、支持向量機、隱馬爾可夫模型等。
[0004] 近年來的表情識別方面的研宄取得了很大的進展，獲得不錯的識別效果。但現有 方法一般針對高分辨率的圖像，需要定位精確特征點，容易受到噪聲影響，準確率低。
【發明內容】
[0005] 本發明提供一種人臉表情識別方法及系統，其目的在于，針對低分辨率圖像，通過 基于AU分層結構提取對表情具有代表性區域的特征逐層分類，提高了表情識別精確度與 速度。
[0006] -種人臉表情識別方法，該方法包括三層分類步驟，具體為：
[0007] (1)第一層分類步驟：
[0008] 在待識別人臉圖像中提取鼻子上部鄰近區域作為第一層分類區域，在第一層分類 區域內提取紋理特征，以檢測是否出現AU9運動單元作為第一層分類器判定標準，所述AU9 運動單元表明皺鼻；若出現，則第一層分類結果為class-1 {厭惡}，結束；若未出現，則第一 層分類結果為class-2 {生氣、開心、恐懼、驚奇、悲傷}，進入步驟（2);
[0009] (2)第二層分類步驟：
[0010] 在待識別人臉圖像中提取嘴唇區域作為第二層分類區域，在第二層分類區域內 提取紋理特征，以檢測是否出現AU25和AU12運動單元作為第二層分類器判定標準，所 述AU25運動單元表明雙唇分離，AU12運動單元表明唇角上拉；若均未出現，則第二層分 類結果為class-21 {生氣、悲傷}，進入步驟（31);若出現至少一種，則第二層分類結果為 class-22 {恐懼、開心、驚奇}，進入步驟（32);
[0011] ⑶第三層分類步驟：
[0012] (31)在待識別人臉圖像中提取上半臉區域作為第三層分類區域，在第三層分類區 域內提取紋理特征并利用第三層分類器精確分類，最終確定表情為class-211 {生氣}和 class-212 {悲傷}中的一類；
[0013] (32)在待識別人臉圖像中提取下半臉區域作為第三層分類區域，在第三層分 類區域內提取紋理特征并利用第三層分類器分類，最終確定表情為class-221 {恐懼}、 class-222 {開心}和class-223 {驚奇}中的一類。
[0014] 一種人臉表情識別系統，該系統包括：
[0015] 第一模塊，用于在待識別人臉圖像中提取鼻子上部鄰近區域作為第一層分類區 域，在第一層分類區域內提取紋理特征，以檢測是否出現AU9運動單元作為第一層分類器 判定標準，所述AU9運動單元表明皺鼻；若出現，則第一層分類結果為class-1 {厭惡}，結 束；若未出現，則第一層分類結果為class-2 {生氣、開心、恐懼、驚奇、悲傷}，進入第二模 塊；
[0016] 第二模塊，用于在待識別人臉圖像中提取嘴唇區域作為第二層分類區域，在第二 層分類區域內提取紋理特征，以檢測是否出現AU25和AU12運動單元作為第二層分類器判 定標準，所述AU25運動單元表明雙唇分離，AU12運動單元表明唇角上拉；若均未出現，則第 二層分類結果為class-21 {生氣、悲傷}，進入第三一子模塊；若出現至少一種，則第二層分 類結果為class-22 {恐懼、開心、驚奇}，進入第三二子模塊；
[0017] 第三模塊，包括：
[0018] 第三一子模塊，用于在待識別人臉圖像中提取上半臉區域作為第三層分類區 域，在第三層分類區域內提取紋理特征并利用第三層分類器精確分類，最終確定表情為 class-211 {生氣}和class-212 {悲傷}中的一類；
[0019] 第三二子模塊，用于在待識別人臉圖像中提取下半臉區域作為第三層分類 區域，在第三層分類區域內提取紋理特征并利用第三層分類器分類，最終確定表情為 class-221 {恐懼}、class-222 {開心}和class-223 {驚奇}中的一類。
[0020] 本發明通過上述步驟將人臉表情識別進行了層次化分類，相較于現有的技術，具 有如下優點：
[0021] 相較于其他通過整個人臉對表情特征識別的方法，本發明基于AU分層結構，提取 對表情具有代表性區域的特征結合隨機森林逐層分類，有效提高表情識別精確度與速度， 尤其適用于低分辨率圖像。本發明不需要依賴精確的特征點信息，通過提取圖像的例如灰 度、LBP和Gabor等紋理特征即可達到較好識別率，有效的降低對圖像質量的要求和對圖像 預處理的難度，提高該方法的實用性和通用性。
【附圖說明】
[0022] 圖1為本發明基于AU分層的人臉表情識別方法流程圖；
[0023] 圖2為本發明實例詳細流程圖；
[0024] 圖3為本發明實例歸一化示意圖；
[0025]圖4為本發明實例用于分層分類的局部區域示意圖。
【具體實施方式】
[0026] 為了使本發明的目的、技術方案及優點更加清楚明白，以下結合附圖及實施例，對 本發明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發明，并 不用于限定本發明。此外，下面所描述的本發明各個實施方式中所涉及到的技術特征只要 彼此之間未構成沖突就可以相互組合。
[0027] 為描繪不同的臉部肌肉動作和不同表情的對應關系，心理學家PaulEkman和 W.V.Friesen提出了FACS(FacialActionCodingSystem)面部表情編碼系統。根據人類解 刨學特點，將該系統劃分成若干既相互獨立又相互聯系的運動單元即AU(ActionUnits)， 例如AUl(InnerBrowRaiser內端眉毛上揚），AU2(0uterBrowRaiser外端眉毛上揚）等 等。
[0028] 本發明針對低分辨率圖像，提出AU分層思想從而對六類基本表情進行識別。本發 明分層具體如下：
[0029] 首先，分層結構的第一層基于AU9(NoseWrinkler)鼻子上部鄰近區域，皺鼻，將六 類表情粗分為兩類，class-1 :Disgust ;class_2 :生氣、開心、恐懼、驚奇和悲傷；
[0030] 然后，分層結構的第二層基于AU25(LipsPart)雙唇分離，和AU12(LipCorner Puller)唇角上拉，將class-2細化為，class-21 :生氣、悲傷；class-22 :恐懼、開心和驚 喜；
[0031] 最后，分層結構的第三層中，基于上半臉區域（見圖4,人臉區域從上往下三分之 一部分），將class-21分為class-211 :生氣；class-212 :悲傷；基于下半臉區域（見圖4， 人臉區域從下往上三分之二部分），將class-22分為：class-221:恐懼；class-222:開心； class-223 :驚奇。
[0032] 基于上述分層，本發明圖1給出了逐層分類的具體實施步驟，具體為：
[0033](1)第一層分類步驟：
[0034] 在待識別人臉圖像中提取鼻子上部鄰近區域作為第一層分類區域，在第一層分類 區域內提取紋理特征，以檢測是否出現AU9運動單元作為第一層分類器判定標準，所述AU9 運動單