一種建立一致性三維人臉網格的稀疏變形模型的方法
【專利摘要】本發明公開了一種建立一致性三維人臉網格的稀疏變形模型的方法，其步驟如下：(1)、訓練人臉數據預處理；(2)、字典學習；(3)、測試人臉變形；(4)、一致性對齊。本發明是以幾何關系約束和對應關系約束對三維人臉進行變形和稀疏編碼為核心技術、建立三維人臉之間點對點稠密對應關系的全自動的稀疏變形模型的方法。通過本發明的建立一致性三維人臉網格的稀疏人臉變形模型的方法獲得的三維人臉數據上稠密的頂點間對應關系非常好。
【專利說明】一種建立一致性三維人臉網格的稀疏變形模型的方法
【技術領域】
[0001] 本發明涉及人臉數據計算機處理方法，尤其涉及一種以幾何關系約束和對應關系 約束對三維人臉進行變形和稀疏編碼為核心技術、建立三維人臉之間點對點稠密對應關系 的全自動的稀疏變形模型的方法。
【背景技術】
[0002] 近年來，隨著三維數據獲取技術的飛速發展，精確且實時地獲取三維數據已趨于 實用。由于三維數據的表示形式通常是離散的、稀疏的，三維數據很難方便地利用通常的方 法進行處理。造成這一狀況的原因是因為三維人臉掃描獲得的數據是不規整的，不同的人 臉通常含有不同數量的頂點和不一致的邊界情況。就兩個三維人臉而言，即使頂點數量和 邊界情況一樣，它們各自的頂點也是散亂無章的，經過三角化算法獲得的三維人臉曲面其 拓撲結構完全不同。
[0003] 經過近些年的發展，現有的能夠自動的建立三維人臉間頂點與頂點間對應關系 的方法主要可總結、歸納為以下幾類：
[0004] 1)基于最近點的方法。對于給定的兩個三維數據，基于最近點的方法通過對齊的 思想尋找對應點將其對齊，頂點間的對應關系由二者間的空間距離來決定。此類方法建立 的對應關系相當粗糙，尤其當涉及的模型個體之間偏差比較大的時候，其對應點間的基本 無法保持稠密的具有生理意義上的對齊。
[0005] 2)基于等距映射的方法。基于等距映射的方法假設一個模型上兩點的測地線距離 應該近似或者相等于另外一個模型上對應點的測地距離。基于這個假設，對應關系可以通 過流形學習來計算。對于三維人臉數據而言，人臉嘴部區域的空洞往往讓這類方法的假設 不成立，并由此產生錯誤的對應結果。
[0006] 3)彈性變形模型。這些方法通常情況下將待變形的通用模型變形到一個目標三 角網格模型，經過這一變形后，通用模型和目標三角網格模型間的對應關系是能夠自然而 然的建立，同時具有相同的拓撲結構。該類方法的缺陷是需要人為地去手工標定一些特征 點，因此無法全自動地去建立三維人臉模型稠密的對應關系，而且過該方法變形后的人臉 模型依舊不太過光滑以至于還是不能很好地表示目標人臉模型的細節。
【發明內容】
[0007] 本發明提供一種建立一致性三維人臉網格的稀疏變形模型的方法，該方法基于稀 疏人臉變形模型，能全自動地建立三維人臉間稠密的頂點間對應關系。
[0008] -種建立一致性三維人臉網格的稀疏變形模型的方法，其步驟如下：
[0009] (1)、訓練人臉數據預處理：包括訓練人臉數據特征點標定、通用人臉模板數據分 塊和訓練人臉數據非剛性對齊三部分：
[0010] (2)、稀疏字典學習：基于步驟（1)的預處理結果，利用幾何形狀約束和對應關系 約束對訓練人臉數據學習一個稀疏字典；
[0011] (3)、測試人臉變形：基于步驟（2)得到字典，對給定的一張輸入測試人臉，利用幾 何形狀約束和對應關系約束，將通用人臉模板向輸入的測試人臉變形；
[0012] (4)、一致性對齊：基于步驟（3)得到變形后的人臉替代輸入的測試人臉，即完成 一致性對齊任務。
[0013] 通過本發明方法，得到的效果是全自動地建立三維人臉之間頂點稠密的、具有人 體測量學意義上的一一對應關系的，它通過將通用人臉模型向目標人臉模型形變得到的。
[0014] 所述的訓練人臉特征點標定方法，其特點是對所有的訓練人臉數據及通用人臉模 板進行手工標定，并且覆蓋了人臉的關鍵區域。
[0015] 所述的通用人臉模板數據，是基于步驟（1)標注的特征點對每一個特征點，把一 個球的中心固定在點上，球內部的人臉區域構成一個塊；隨機選取沒被覆蓋到的點用同樣 的辦法提取出新的一個塊，直到所有人臉上的點至少處于一個塊中。
[0016] 所述的訓練人臉數據非剛性對齊的方法，是將通用人臉模板向訓練人臉模板形 變，用形變結果替代原始人臉數據進行后續字典學習，形變過程基于光滑誤差項、數據誤差 項和特征點誤差項。這個形變過程即通過最小化能量函數Ei來進行人臉的非剛性對齊變 形：
[0017] E: =A1Ec+A2Ee+A3Eq (3)其中，E。是特征點誤差項，氏是光滑誤差，Eq是數據 誤差項，AA2,A3是經驗給定的參數，一般通過對訓練數據進行交叉驗證的方法得到。 [0018] 幾何形狀約束的方法通過最小化通用人臉模型和目標人臉模型之間的光滑誤差 函數和數據誤差函數得到，數據誤差函數中采用的是最近點法則和法向射線法則相結合的 混合原則，幾何對應關系$(S(M')，S(M))定義為
[0019] (HS(M，），D(M))=入屯+入2Eq (4)
[0020] 其中艮是光滑誤差，&是數據誤差項，^和是系數，是經驗給定的參數，一般 通過對訓練數據進行交叉驗證的方法得到。
[0021] 由于通用人臉模型是分塊好的，而訓練數據的人臉是由通用人臉模板進行形變得 至IJ，所以訓練數據中的人臉是自然分好塊的。對于人臉上的每一塊，對應關系約束通過求解 以下稀疏編碼的過程進行形式化：
【權利要求】
1. 一種建立一致性三維人臉網格的稀疏變形模型的方法，其步驟如下： (1) 、訓練人臉數據預處理：包括訓練人臉數據特征點標定、通用人臉模板數據分塊和 訓練人臉數據非剛性對齊三部分； (2) 、字典學習：基于步驟（1)的預處理結果，利用幾何形狀約束和對應關系約束對訓 練人臉數據學習一個稀疏字典； (3) 、測試人臉變形：基于步驟（2)得到稀疏字典，對給定的一張輸入測試人臉，利用幾 何形狀約束和對應關系約束，將通用人臉模板向輸入的測試人臉變形； (4) 、一致性對齊：基于步驟（3)得到變形后的人臉替代輸入的測試人臉，即完成一致 性對齊任務。
2. 根據權利要求1所述的建立一致性三維人臉網格的稀疏變形模型的方法，其特征 是，步驟（1)中的訓練人臉特征點標定，是對所有的訓練人臉數據及通用人臉模板進行手 工標定，并且覆蓋了人臉的關鍵區域。
3. 根據權利要求1所述的建立一致性三維人臉網格的稀疏變形模型的方法，其特征 是，步驟（1)中的通用人臉模板數據分塊，是對三維人臉上的每一個特征點，把一個球的中 心固定在點上，球內部的人臉區域構成一個塊。隨機選取沒被覆蓋到的人臉上的點用同樣 的方法提取出新的一個塊，直到所有人臉上的點至少處于一個塊中。
4. 根據權利要求1所述的建立一致性三維人臉網格的稀疏變形模型的方法，其特征 是，步驟（1)中的訓練人臉數據非剛性對齊，是將通用人臉模板向訓練人臉模板形變，用形 變結果替代原始人臉數據進行后續字典學習，形變過程基于光滑誤差項、數據誤差項和特 征點誤差項。
5. 根據權利要求1所述的建立一致性三維人臉網格的稀疏變形模型的方法，其特征 是，步驟（2)中的幾何形狀約束，是通過最小化通用人臉模型和目標人臉模型之間的光滑 誤差函數和數據誤差函數得到，其中在數據誤差函數中采用的是最近點法則和法向射線法 則相結合的混合原則。
6. 根據權利要求1所述的建立一致性三維人臉網格的稀疏變形模型的方法，其特征 是，步驟（2)中的對應關系約束，是對于人臉上的每一塊，通過求解一個稀疏字典進行形式 化
其中Ck是分塊矩陣，由分塊結果確定，是已知的，y是已知的人臉數據，Dk和xk是第k塊的待求的字典和對應編碼；并且字典學習過程中采用自適應稀疏度閾值的方法來提高重 建精度。
7. 根據權利要求6所述的建立一致性三維人臉網格的稀疏變形模型的方法，其特征 是，所述的自適應稀疏度閾值的方法為：在前幾步迭代過程中，采用較小的稀疏度閾值，允 許較大的重建誤差；在后面的迭代過程中，設較大的稀疏度閾值，去重建一些局部的形狀。
8. 根據權利要求1所述的建立一致性三維人臉網格的稀疏變形模型的方法，其特征 是，步驟（3)中的測試人臉變形，是指輸入一張測試人臉，對它的變形基于幾何形狀約束和 對應關系約束，通過求解以下優化問題： min||S(M/ )-Dx||2+u| |x| |0+(j5 (S(M/ ),S(M)). (2) 其中砧11||5^)-〇1||2+11||1||(|表示對應關系約束，(35(5^)，5(1))表示幾何形 狀約束，M'是待求的變形后的人臉，x是其對應的編碼，M是輸入的測試人臉。
【文檔編號】G06T17/00GK104408767SQ201410667253
【公開日】2015年3月11日 申請日期:2014年11月20日 優先權日:2014年11月20日
【發明者】王躍明, 潘綱, 鄭乾, 吳朝暉 申請人:浙江大學