一種用于魯棒人臉識別的數據增強方法與流程
本發明涉及人臉識別技術領域，尤其涉及一種用于魯棒人臉識別的數據增強方法。
背景技術：
人臉識別是基于人的臉部特征信息進行身份識別的一種生物識別技術，是圖像分析與理解領域中最成功的應用之一，因其在商業、安全、身份認證、法律執行、管理等眾多方面的廣泛應用，備受使用者與研究者青睞，在眾多領域有著廣闊的應用前景。其中，大數據的應用，對模型的通用性有著重要的影響。
學術界一直將主要精力集中在識別算法的研究上，相關算法層出不窮。現有的人臉識別算法在理想的實驗環境下，已達到相當高的識別率，但在實際客觀非受控的條件下識別效果卻不盡如人意，尤其是面臨著遮擋、噪聲、模糊、光照、表情、姿態等多方面的挑戰。
遮擋是影響人臉檢測、識別的重要因素，它對人臉識別的影響遠遠超過了光照、表情等的影響，在實際人臉圖像處理過程中，墨鏡、帽子、圍巾等往往會導致臉部，如眼睛、嘴角等部位重要信息的丟失。
噪聲可以理解為影響傳感器對所接受圖像源信息進行理解或分析的各種因素。圖像中的噪聲就是圖像中的雜點或者干擾成分，主要產生于圖像的獲取和傳輸過程中。噪聲一般是不可預測的隨機信號，它只能用概率統計的方法去認識。噪聲對圖像的輸入，采集和處理的各個環節以及輸出結果全過程都有影響。因為在實際工程應用中，很難保證采集到的圖像清晰可靠，大數據時代，增加噪聲，可以避免過擬合訓練數據，同時，給圖像加上噪聲，以方便后期對算法效果進行驗證。
隨著智能手機的迅速發展，越來越多的人通過手機拍攝圖像與視頻，并將其應用于各種場合，例如社交、監控等。由于硬件設備的限制和所處環境的影響，拍攝的圖像往往存在模糊不清的現象。對于模糊圖像增強有著越來越大的需求。因此，將基于模糊集的圖像增強方法應用到圖像處理中，以克服傳統圖像增強方法的不足。
而針對光照問題，有效克服光照影響是人臉識別不可缺少的環節，也是計算機視覺中的技術難點。由于光照強度變化，人臉上一部分特征可能會更加突出，在數字人臉圖像上表現為灰度值較高，而又會有另一部分特征可能會由于光照作用的變化而被弱化，在數字人臉圖像上表現為灰度值偏低。所以，由于光照信息的變化，使得可用于有效識別的人臉的關鍵特征分布于差異較大的灰度空間。盡管人臉的表情、姿態以及拍攝的視角都沒有變化，但是由于光照條件的不同，卻造成了明暗、高光、陰影效果上的顯著差異。
人臉表情作為表達情感的一個方面，在人際交流中起到非常重要的作用，不僅是展示情緒，更是傳播情感信息與協調雙方關系的重要方式。據心理學家mehrabiadu的研究表明，在人類的日常交流中，通過人臉表情傳遞的信息高達信息總量的55％，而通過聲音、語言傳遞的信息分別占信息總量的38％和7％。而人臉表情的變化會引起了人臉的非剛性形變，并導致同一個體人臉在識別中增加難度。
人臉姿態的變化同時會使表述更加生動形象，其復雜的結構能提供非常豐富的信息，使得生成多姿態人臉圖像在許多人臉處理應用中成為人臉識別、人臉檢測、人臉跟蹤、人臉表情分析等領域的一個關鍵環節和重要研究內容之一。姿態變化給人臉圖像帶來的變化往往比不同人的人臉圖像之間的差異更大，這是當前人臉識別技術面臨的主要挑戰，所以姿態問題也是人臉識別的一個瓶頸問題。
因此，針對以上問題，我們提出了一種用于魯棒人臉識別的數據增強方法，來改進現有方法的不足。
技術實現要素：
為解決上述問題本發明提出了一種用于魯棒人臉識別的數據增強方法，在實際人臉識別系統中可以克服遮擋、噪聲、模糊、光照、表情、姿態等因素影響，能夠解決在實際人臉識別系統中訓練數據不足的問題，提升模型的泛化能力。
本發明的技術方案如下：一種用于魯棒人臉識別的數據增強方法，其中，包括一種臉部遮擋處理方法，如果輸入的人臉圖像是無遮擋的情況，則遮擋掩膜選用所有無遮擋樣本形成的標準，如果人臉圖像對應某一類遮擋，則選用相應的遮擋掩膜進行重建。
常用的臉部遮擋處理方法有基于統計分析的方法、基于紅外圖像的遮擋區域檢測方法、主成分分析方法、缺口主成分分析方法、模糊主分量分析方法、自動多值掩膜主成分分析人臉重建模型等。可以選擇其中之一來進行臉部遮擋處理。
本發明以一種自動多值掩膜主成分分析人臉重建模型，來進行臉部遮擋處理。該模型包括3個關鍵步驟：自動確定人臉遮擋類型、尋找遮擋掩模、確定重建系數。首先，判斷遮擋區域、確定遮擋類型；然后，找到不同遮擋類型的遮擋掩模；最后，確定重建合成系數，從而實現遮擋區域的自動重建。從而恢復人臉圖像，達到減弱遮擋對人臉識別影響的目的。
一種用于魯棒人臉識別的數據增強方法，其中，還包括人為添加噪聲，進行噪聲增強處理。圖像信號在產生、傳輸過程中都可能會受到噪聲的污染，一般數字圖像系統中的常見噪聲主要有：高斯噪聲(主要由阻性元器件內部產生)、椒鹽噪聲(主要是圖像切割引起的黑圖像上的白點噪聲或光電轉換過程中產生的泊松噪聲)等。大數據時代，加上噪聲的圖像，可以避免過擬合訓練數據，同時，給圖像加上噪聲，以方便后期對算法效果進行驗證。有些機器學習算法對沒有噪聲的圖像識別的效果很好，但噪聲較多的情況效果就很不理想了，因為在實際工程應用中，很難保證采集到的圖像清晰可靠。
圖像增強是一種基本的圖像底層處理的手段，它的目的在于改善原始圖像的視覺效果。傳統的圖像增強方法，技術上可以分成兩大類：頻域法和空域法。前者立足于修改圖像的傅立葉變換，后者基于灰度級映射變換，直接處理圖像中的象素，其變換型取決于增強準則的選擇。這些傳統的圖像增強技術大都沒有考慮圖像的模糊性，而只簡單地對整個圖像改變對比度或抑制噪聲，往往在抑制噪聲的同時也削弱了圖像的細節部分。因此，本專利將基于模糊集的圖像增強方法應用到圖像處理中，以克服傳統圖像增強方法的不足。
模糊特征平面：按照模糊子集理論的概念，一幅m×n維的具有l個灰度等級的圖像x，可以作為一個模糊點陣看待，記為
或
式(2)中
本發明專利中以pal方法為實施例進行說明，首先利用變換函數(即隸屬度函數)提取圖像的模糊特征，所用的隸屬度函數如式(3)所示。
式(3)中fe和fd分別為大于零的指數模糊化因子和分母模糊化因子，μij∈[α，1]，α＞0；形成圖像的模糊特征平面{μij}，稱μ＝0.5對應的灰度等級為渡越點。通過對隸屬度函數μij進行變換，并以渡越點為界增大或減小μij的值從而得到一個由全體μij，組成的新模糊特征平面{μij′}，其中
μij′＝t(r)(μij)＝t(t(r-1)(μij))，r＝1，2，3，...(4)
而t(r)是函數t的r次迭代運算，其中變換t取為某種s型函數，如式(5)
式(5)中uc為閾值，可以取0.5(也可自定義)，其作用是增大那些大于0.5的而減小那些小于0.5的，以達到增強對比度的目的。對新的模糊特征平面{μij′}進行式(6)所示的逆變換，
式(6)中g-1表示g的逆變換，這樣就可以得到模糊增強后的圖像的灰度值。
在人臉識別中，光照強度的改變會對人臉識別產生較大影響，由光照強度變化所導致的暗光和高光或者是光照角度變化所生成的不同程度的明暗區或者陰影都會降低算法的識別率。有效克服光照影響是圖像處理中不可缺少的環節。
為了弱化光照影響，提高彩色圖像質量，本專利應用hsv變換和同態濾波的光照補償方法。首先將圖像從rgb色彩空間變換至hsv色彩空間，然后將高斯高通濾波傳遞函數引入同態濾波中，設計出一種新的動態高斯同態濾波器，在頻域內對圖像亮度分量進行增強，并保持色調和飽和度不變，在增強圖像細節的同時，削減圖像低頻分量，彌補因光照不足引起的圖像質量下降，實現對彩色圖像的光照補償。
本發明專利中，我們使用一種魯棒性強的幾何特征，命名為幾何彎曲特征，它是從人臉關鍵點的彎曲變換導出的。人臉表情是由臉部肌肉運動引起的。這些運動導致人臉關鍵點位置的移動。我們假設每個人臉圖像由許多子區域組成。這些子區域可以由位于人臉關鍵點的三角形頂點組成。人臉關鍵點位置的移動引起三角形的變形。我們利用變形來表示人臉表情的變化。
人臉表情可以被看作是包括靜止，峰值和偏移的動態過程。我們考慮相應的人臉關鍵點在開始(中性面部)和峰值(表情臉)之間的位移。給定一組人臉關鍵點s＝(x1，y1，x2，y2，...，xn，yn)，其中(xi，yi)表示第i個人臉關鍵點的坐標。這些人臉關鍵點構成人臉的網格，如圖4所示。
我們可以看到，臉上有許多小三角形，每個三角形由三個關鍵點決定。當中性臉變換為表情臉時，面部肌肉運動引起三角形的變形。我們認為位于中性臉的δabc中的像素(x，y)對應于表情臉的δa′b′c′中的像素(u，v)，如圖5所示。像素(x，y)可以用三個頂點的線性組合表示。
系數λ1，λ2可以由以下公式得到
表情臉中δabc的點(u，v)可以用三個頂點和λ1，λ2來定義。
中性臉中δabc中的像素點(x，y)轉換到表情臉中δa′b′c′中的像素(u，v)
合并(8)、(9）、(10)式子可以重新寫為：
中性臉和表情臉之間的每對三角形可以定義唯一變換，并且每個仿射變換由6個參數a1，a2，...，a6確定。我們計算每個扭曲變換的6個參數，并將所有參數連接成一個長的全局特征向量，用于表征人臉表情變化變化。從而達到由一張人臉表情得到多張人臉表情的目的。
由以上得到的人臉圖像，下一步進行人臉姿態圖像獲取。姿態獲取較常用的方法有基于模型的方法、基于訓練的方法、基于特征三角形的方法。本發明專利選用基于特征三角形的人臉姿態圖像獲取方法作為實施例進行說明。
基于人臉平面的對稱性，利用人臉圖像中三個特征點估計人臉姿態。
特征點位置的選擇
從一組特征中挑選出一些最有效的特征以達到降低特征空間維數的目的，這個過程叫特征選擇。
基于投影知識的姿態分析
(1)人臉特征三角形的確立
把人臉近似地看作是對稱的，定義二維坐標(oxy)的坐標原點位于正臉時左右眼(a和b)連線的中點o。人手選取兩眼球中心和鼻尖這三個特征點，連接這三個特征點可以得到一個等腰三角形，如圖1所示的三角形，稱這個為特征三角形。圖6中點a到b為兩只眼睛之
間的連線l，鼻尖到l的垂線為h，垂足為e。
(2)轉角的確立
有轉角時兩眼長度為albl，即側面人臉兩眼長度ab在二維坐標xy面的投影，(關系：正臉人臉兩眼距離ab在轉角面的投影為albl)，構造直角三角形abb1，ab與a1b1構成的角就是側臉和正臉之間的夾角，也就是人臉在平行于成像平面的轉角。如圖7所示。
(3)仰(俯)角的確立
有仰(俯)角時鼻尖到兩眼連線的距離為c1e1，即仰地(俯)面人臉鼻尖到兩眼連線的距離長度ce在二維坐標xy面的投影，(關系：正面人臉鼻尖到兩眼連線的距離長度ce在仰(俯)角面的投影為c1e1)，構造直角三角形cc1e，ce與c1e1構成的角就是仰(俯)臉和正臉之間的夾角，也就是人臉在垂直于成像平面的仰(俯)角。如圖8所示。
附圖說明
為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。
圖1為本發明實施例提供的結構示意圖。
圖2為本發明實施例提供的hsv彩色空間模型。
圖3為本發明實施例提供的pal提出的模糊增強的模型。
圖4為本發明實施例提供的人臉關鍵點描述人臉形狀示意圖。
圖5為本發明實施例提供的中性臉中δabc中的像素點(x，y)轉換到表情臉中δa′b′c′中的像素(u，v)。
圖6為本發明實施例提供的利用兩眼球中點和鼻尖得到特征三角形
圖7為本發明實施例提供的確定轉角∠bab1
圖8為本發明實施例提供的確定仰(俯)角∠cec1
具體實施方式
下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基于本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬于本發明保護的范圍。
一種用于魯棒人臉識別的數據增強方法，其中，包括一種臉部遮擋處理方法，如果輸入的人臉圖像是無遮擋的情況，則遮擋掩膜選用所有無遮擋樣本形成的標準，如果人臉圖像對應某一類遮擋，則選用相應的遮擋掩膜進行重建。
常用的臉部遮擋處理方法有基于統計分析的方法、基于紅外圖像的遮擋區域檢測方法、主成分分析方法、缺口主成分分析方法、模糊主分量分析方法、自動多值掩膜主成分分析人臉重建模型等。可以選擇其中之一來進行臉部遮擋處理。
本發明以一種自動多值掩膜主成分分析人臉重建模型，來進行臉部遮擋處理。該模型包括3個關鍵步驟：自動確定人臉遮擋類型、尋找遮擋掩模、確定重建系數。首先，判斷遮擋區域、確定遮擋類型；然后，尋找不同遮擋類型的遮擋掩模；最后，確定重建合成系數，從而實現遮擋區域的自動重建。從而恢復人臉圖像，達到減弱遮擋對人臉識別影響的目的。
遮擋類型判斷：
遮擋區域的精確判斷是確定臉部什么特征被遮擋了(眼睛、嘴巴、鼻子、下巴等)。用無遮擋樣本與待測人臉的特征臉之差來判斷是否有遮擋，遮擋區域在哪里。pca變換用式(1)表示：
式中，x是包括n個像素的待測圖像，e是近似誤差，m是平均人臉圖像，yi是對應第i個特征臉的權重，vi(i＝1，2，3，...，n)是第i個特征臉。
式中，x0是待測圖像的原始數據，x′是新的重建人臉，x1第一次融合后的人臉圖像，w對于遮擋部分與非遮擋部分分別取0和1，表明遮擋區域使用新的重建圖像部分，非遮擋部分使用原始輸入圖像，通過上面的公式迭代計算直到系數y小于閾值為止。下面是遮擋部分的檢測：
|e|＝|x(k+1)′-xk|(3)
式中，|e|值較大時認為是遮擋區域，|e|值較小時則認為是非遮擋區域。
最優遮擋人臉合成系數：
給定樣本集{x1，x2，...，xn}，其中n為樣本總數，樣本xi在n維空間中取值，最優人臉合成系數yi在m維空間取值，且m＜n。
式中，xi′是合成后的樣本，xij是原始樣本xi與第j個人臉基圖像對應的最優合乘系數，i＝1，...，n，j＝1，...，m。定義第q個特征的原始圖像與合成圖像之間的殘差臉為：
δq＝xiq-xiq′，q＝1，...，n(5)
根據charbonnier等人給出的約束條件：
式中，b是外部干擾面，δ是最優人臉遮擋掩膜，β(·)是bq的函數，對人臉來說，bq值趨向1，對遮擋物來說，bq值趨向0，顯然，bq僅僅是最優人臉遮擋掩膜的σq反映，即σq才是真正的人臉遮擋區域的掩膜，最優合成系數問題就是合成系數y和變量b的多目標優化問題。
最優人臉遮擋合成系數的求解：
為了使上述目標優化問題能夠收斂，并減少迭代次數和運算量，使用標準二次型函數和3種半二次型函數通過4次迭代進行求解。
其中，第一個函數是一個凸函數，它的導數是單調函數；第二個函數是非凸函數，它的導數是弱震蕩的；第三個函數是非凸的。第一個函數可以保證唯一解，而第三個函數的強振蕩導數可以有效地抑制外部干擾的影響，使用第二個函數的弱振蕩導數來保證優化問題的最終收斂。最優合成系數的初始值選用pca空間的最小均方誤差意義下求得的重建系數，迭代更新重建系數，求得最優合成系數y。
多值變化掩模的生成：
首先定義人臉遮擋的類型，如墨鏡遮擋、圍巾遮擋、網狀遮擋等。使用各種遮擋人臉圖像，選用m估計器(m-estimator)對遮擋掩模進行估計，為不同像素點估計符合自身特性的幅度參數，其目標函數滿足：
式中，ρ是在零值處有且只有一個最小值的對稱正定目標函數，ψ為影響函數，w為權函數。目標函數ρ選擇不同，其影響函數和權函數也不相同。由m估計器估計的遮擋掩模σq滿足如下公式：為奇數
式中，avg表示n個樣本的均值，是遮擋樣本，gp為常數，θ(g)是輔助中心估計，ε為一個平滑函數。
m估計中，β、ε不同可以確定不同的遮擋掩膜。在實際處理時，首先確定遮擋區域，即遮擋類型，就能確定遮擋掩膜。通過多次試驗獲得墨鏡和圍巾遮擋情況下的參數值：β取值為a，ε取值為b，獲得了墨鏡遮擋的人臉掩膜；β取值為c，ε取值為d獲得了圍巾遮擋的人臉掩膜。
重建無遮擋人臉：
給定待處理的遮擋人臉，確定遮擋類型后，重建無遮擋人臉的公式為：
如果系統給出的人臉是無遮擋的情況，則遮擋掩模選用所有無遮擋樣本形成的標準，如果人臉對應某一類遮擋，則選用相應的遮擋掩模進行重建。
對于以上完成人臉遮擋區域恢復后的人臉圖像進行加噪處理。圖像信號在產生、傳輸過程中都可能會受到噪聲的污染，一般數字圖像系統中的常見噪聲主要有：高斯噪聲(主要由阻性元器件內部產生)、椒鹽噪聲(主要是圖像切割引起的黑圖像上的白點噪聲或光電轉換過程中產生的泊松噪聲)等。大數據時代，加上噪聲的圖像，可以避免過擬合訓練數據，同時，給圖像加上噪聲，以方便后期對算法效果進行驗證。有些機器學習算法對沒有噪聲的圖像識別的效果很好，但噪聲較多的情況效果就很不理想了，因為在實際工程應用中，很難保證采集到的圖像清晰可靠。因此，本發明實施例中，我們對人臉圖像增加高斯噪聲、椒鹽噪聲。
圖像增強是一種基本的圖像底層處理的手段，它的目的在于改善原始圖像的視覺效果。傳統的圖像增強方法，技術上可以分成兩大類：頻域法和空域法。前者立足于修改圖像的傅立葉變換，后者基于灰度級映射變換，直接處理圖像中的象素，其變換型取決于增強準則的選擇。這些傳統的圖像增強技術大都沒有考慮圖像的模糊性，而只簡單地對整個圖像改變對比度或抑制噪聲，往往在抑制噪聲的同時也削弱了圖像的細節部分。因此，本專利將基于模糊集的圖像增強方法應用到圖像處理中，以克服傳統圖像增強方法的不足。
模糊特征平面：按照模糊子集理論的概念，一幅m×n維的具有l個灰度等級的圖像x，可以作為一個模糊點陣看待，記為
或
式(14)中
若以像素的相對灰度級作為感興趣的模糊特征，這時μij表示像素(x，y)的灰階xij關于某個特定灰度等級的隸屬度，通常這個特定的灰度等級為圖像的最大灰度等級xmax。由μij的全體組成的平面{μij}，i＝1，2，...，m；j＝1，2，...，n，稱為模糊特征平面。
本專利以pal方法為實施例進行說明，首先利用變換函數(即隸屬度函數)提取圖像的模糊特征，所用的隸屬度函數如式(15)所示。
式(15)中fe和fd分別為大于零的指數模糊化因子和分母模糊化因子，μij∈[α，1]，α＞0；形成圖像的模糊特征平面{μij}，稱μ＝0.5對應的灰度等級為渡越點。通過對隸屬度函數μij進行變換，并以渡越點為界增大或減小μij的值從而得到一個由全體μij′組成的新模糊特征平面{μij′}，其中
μij′＝t(r)(μij)＝t(t(r-1)(μij))，r＝1，2，3，...(16)
而t(r)是函數t的r次迭代運算，其中變換t取為某種s型函數，如式(17)
式(17)中uc為閾值，可以取0.5(也可自定義)，其作用是增大那些大于0.5的而減小那些小于0.5的，以達到增強對比度的目的。對新的模糊特征平面{μij′}進行式(18)所示的逆變換，
式(18)中g-1表示g的逆變換，這樣就可以得到模糊增強后的圖像的灰度值。
在人臉識別中，光照強度的改變會對人臉識別產生較大影響，由光照強度變化所導致的暗光和高光或者是光照角度變化所生成的不同程度的明暗區或者陰影都會降低算法的識別率。有效克服光照影響是圖像處理中不可缺少的環節。
為了弱化光照影響，提高彩色圖像質量，本專利應用hsv變換和同態濾波的光照補償方法。首先將圖像從rgb色彩空間變換至hsv色彩空間，然后將高斯高通濾波傳遞函數引入同態濾波中，設計出一種新的動態高斯同態濾波器，在頻域內對圖像亮度分量進行增強，并保持色調和飽和度不變，在增強圖像細節的同時，削減圖像低頻分量，彌補因光照不足引起的圖像質量下降，實現對彩色圖像的光照補償。
hsv色彩空間由h、s、v三個分量組成，h、s分別代表色調和飽和度，v代表亮度。該空間模型為一個倒圓錐體，如圖1所示。
圓錘的頂面對應于v＝1，代表的顏色最亮，錐角處v＝0，代表的顏色最暗；色調h由圍繞v軸逆時針旋轉的角度表示，其中紅色對應于0°角，黃色對應于60°角，綠色對應于120°角，深藍色對應于180°角，藍色對應于240°角；飽和度s由軸心向椎體圓周過渡，表示飽和度由低到高。
色彩空間能夠更加完善地去處理人眼所不能察覺的信息，與人的感知更加接近。圖像彩色信息主要體現在色調和飽和度上，亮度的改變對彩色信息影響較少，便于對各分量分別處理。在光照補償過程中，把rgb圖像轉換到hsv空間，對其中的亮度分量進行增強處理，同時保持色調和飽和度不變，最后將生成的亮度分量與色調、飽和度分量進行逆變換產生新圖像。由rgb空間到hsv空間的變換表達式如下：
v＝max(r，g，b)(21)
式中：r、g、b分別是歸一化的rgb空間的值。h分量取值范圍為[0，360)，s、v分量取值范圍分別為(0，1]和[0，1]。設i＝h/60，f＝h/60，其中i為被60整除的除數，f為被60整除的余數。設p＝v(1-s)，q＝v(1-sf)，t＝v[1-s(1-f)]，從hsv空間到rgb空間的變換表達式如下：
圖像f(x，y)可以用其入射分量i(x，y)與反射分量r(x，y)的乘積來表示，即：
f(x，y)＝i(x，y)×r(x，y)(23)
式中：r(x，y)的性質取決于成像物體的表面特性。
光照條件體現在入射分量i(x，y)中，屬于變化緩慢的低頻成分；而圖像的細節等特性主要反映在圖像的反射分量r(x，y)中，屬于高頻成分。處理照明不足或不均勻的彩色圖像，就是要盡量削減圖像的低頻分量，同時放大圖像的高頻分量。
由于函數乘積的fourier變換是不可分的，故不能直接對i(x，y)和r(x，y)分別進行操作，對式(24)取對數：
lnf(x，y)＝lni(x，y)+lnr(x，y)(24)
再對上式進行快速fourier變換，得到頻域表達式：
f(u，v)＝i(x，y)+r(x，y)(25)
同態濾波能夠壓縮低頻成分并增加高頻成分，可以減少光照變化并銳化圖像邊緣或細節。用同態濾波函數h(u，v)來處理式(25)中的f(u，v)，將照射分量和反射分量分開，得：
h(u，v)f(u，v)＝h(u，v)i(x，y)+h(u，v)r(x，y)(26)
濾波處理后，再通過快速fourier逆變換，使式(26)返回空間域：
hf(u，v)＝hi(x，y)+hr(x，y)(27)
對式(27)兩邊取指數，得到濾波后的圖像：
采用高通濾波器衰減或抑制低頻分量，能夠使高頻分量暢通并能對圖像進行銳化處理。傳統的n階高斯高通濾波傳遞函數為：
式中：d0表示截止頻率，可以根據需要選取。
圖像經高通濾波處理后丟失了許多低頻信息，平滑區基本消失。為此需要采用高頻加強濾波來彌補，即在濾波傳遞函數中添加一個0、1之間的常數。
同態濾波的關鍵之處在于用同態濾波器對圖像進行處理，而能否達到理想的濾波效果則取決于同態濾波傳遞函數h(u，v)的選擇。
同態濾波函數用h(u，v)表示，rh代表高頻增益，rl代表低頻增益；d(u，v)表示點(u，v)到濾波中心(u0，v0)的距離：、
同態濾波傳遞函數的波形與高斯高通濾波器十分相似。依據同態濾波傳遞函數的特點，將高斯高通濾波器的表達式進行改進，設計出一種新的動態高斯同態濾波傳遞函數：
式中：m、n為動態算子；當rh＞1，0＜rl＜1時，圖像的低頻分量減小，高頻分量增強，使得動態范圍壓縮和對比度增強；常數c用來控制濾波器函數斜面的銳化。大小為m×n的圖像fourier變換后中心在(m/2，n/2)處，因此式(33)中u0、v0分別取(m/2，n/2)，即
d0與入射分量和反射分量有關，傳統同態濾波方法只能通過大量實踐選擇，效果欠佳。通過對d(u，v)進行中值運算的方式，在頻域內快速確定d0的取值。
本發明專利中，我們使用一種魯棒性強的幾何特征，命名為幾何彎曲特征，它是從人臉關鍵點的彎曲變換導出的。人臉表情是由臉部肌肉運動引起的。這些運動導致人臉關鍵點位置的移動。我們假設每個人臉圖像由許多子區域組成。這些子區域可以由位于人臉關鍵點的三角形頂點組成。人臉關鍵點位置的移動引起三角形的變形。我們利用變形來表示人臉表情的變化。
人臉表情可以被看作是包括靜止，峰值和偏移的動態過程。我們考慮相應的人臉關鍵點在開始(中性面部)和峰值(表情臉)之間的位移。給定一組人臉關鍵點s＝(x1，y1，x2，y2，...，xn，yn)，其中(xi，yi)表示第i個人臉關鍵點的坐標。這些人臉關鍵點構成人臉的網格，如圖4所示。
我們可以看到，臉上有許多小三角形，每個三角形由三個關鍵點決定。當中性臉變換為表情臉時，面部肌肉運動引起三角形的變形。我們認為位于中性臉的δabc中的像素(x，y)對應于表情臉的δa′b′c′中的像素(u，v)，如圖6所示。像素(x，y)可以用三個頂點的線性組合表示。
系數λ1，λ2可以由以下公式得到
表情臉中δabc的點(u，v)可以用三個頂點和λ1，λ2來定義。中性臉中δabc中的像素點(x，y)轉換到表情臉中δa′b′c′中的像素(u，v)
合并(37)、(38)、(39)式子可以重新寫為：
中性臉和表情臉之間的每對三角形可以定義唯一變換，并且每個仿射變換由6個參數a1，a2，...，a6確定。我們計算每個扭曲變換的6個參數，并將所有參數連接成一個長的全局特征向量，用于表征人臉表情變化變化。從而達到由一張人臉表情得到多張人臉表情的目的。
由以上得到的人臉圖像，下一步進行人臉姿態圖像獲取。姿態獲取較常用的方法有基于模型的方法、基于訓練的方法、基于特征三角形的方法。本發明專利選用基于特征三角形的人臉姿態圖像獲取方法作為實施例進行說明。
基于人臉平面的對稱性，利用人臉圖像中三個特征點估計人臉姿態。
特征點位置的選擇
從一組特征中挑選出一些最有效的特征以達到降低特征空間維數的目的，這個過程叫特征選擇。
基于投影知識的姿態分析
(1)人臉特征三角形的確立
把人臉近似地看作是對稱的，定義二維坐標(oxy)的坐標原點位于正臉時左右眼(a和b)連線的中點o。
人手選取兩眼球中心和鼻尖這三個特征點，連接這三個特征點可以得到一個等腰三角形，如圖1所示的三角形，稱這個為特征三角形。圖6中點a到b為兩只眼睛之間的連線l，鼻尖到l的垂線為h，垂足為e。
(2)轉角的確立
有轉角時兩眼長度為albl，即側面人臉兩眼長度ab在二維坐標xy面的投影，(關系：正臉人臉兩眼距離ab在轉角面的投影為albl)，構造直角三角形abb1，ab與a1b1構成的角就是側臉和正臉之間的夾角，也就是人臉在平行于成像平面的轉角。如圖7所示。
(4)仰(俯)角的確立
有仰(俯)角時鼻尖到兩眼連線的距離為c1e1，即仰地(俯)面人臉鼻尖到兩眼連線的距離長度ce在二維坐標xy面的投影，(關系：正面人臉鼻尖到兩眼連線的距離長度ce在仰(俯)角面的投影為c1e1)，構造直角三角形cc1e，ce與c1e1構成的角就是仰(俯)臉和正臉之間的夾角，也就是人臉在垂直于成像平面的仰(俯)角。如圖8所示。
針對同一人臉的各特征點比例不變原理，對于不同焦距的人臉姿態的確定需要作等比例變換。
記錄正臉狀態時，特征三角形邊l(兩外眼角距離)和邊h(鼻尖到兩外眼角連線的距離)的比例。每一張待生成姿態變化人臉圖像中會得到一個特征三角形和對應的邊l1和邊h1。通過把每一張待生成姿態人臉圖像中的特征三角形的邊l1和邊h1比例和正臉的兩邊比例比較，來獲得不同姿態的人臉圖像。人臉繞y軸轉動，則通過調整參數，使l1∶h1小于1∶h；頭部繞x軸轉動，則通過調整參數，使l1∶h1大于1∶h。h1是h在xy平面上的投影，根據h和h1計算旋轉角度；通過以上計算得到人臉在空間運動生成不同姿態的人臉圖像。
- 還沒有人留言評論。精彩留言會獲得點贊！