專利名稱：一種三維人臉模型的構造方法和系統的制作方法
一種三維人臉模型的構造方法和系統
技術鄰域
本發明涉及圖像處理技術鄰域，尤其涉及一種三維人臉模型的構造方法和 系統。
背景技術：
目前的人臉建模的方法大致可以分為兩類 一類是傳統的基于多張相片的 形狀重建方法，另外一類是基于正交圖片的^t型擬合的方法。
傳統的基于多張相片的形狀重建方法一般包含以下步驟相機標定、特征 點匹配、三維點重建、構建三角網、紋理映射。傳統的重建方法的理i侖基礎比 較成熟，但是實現起來比較困難。相機標定的目的是計算相機的內方位元素(焦 距、主點、畸變參數等)和外方位元素(相機的空間位置和姿態參數)，標定 一般是需要利用專門的輔助設備來完成。近年來提出的自標定方法雖然可以不 需要任何輔助設備，但是需要大量的特征對應點。而特征點匹配是一個非常困 難的問題，至今還沒有非常有效的方法。在標定和特征點匹配完成后，為了獲 得精確的重建結果， 一般會釆樣光束法(Bundle Adjustment)來對所有的未 知數進行整體優化。
另外一類重建方法避開了傳統方法中的標定和特征點匹配。其思想是對人 臉拍攝正面和側面圖像，由于正面圖像和側面圖像正交，所以可以從圖像中直 接提取出人臉特征點的三維坐標。然后用提取出的三維坐標來對一個通用的三 維人臉模型進行擬合，就可以得到一個外形和圖像中人臉相似的模型。基于正 交圖像的方法原理比較簡單，不過一般需要手工交互來確定人臉特征點的位 置，而且需要用戶拍攝出正交圖像，這在實際中操作起來比較麻煩。
總之，現有的構造三維人臉模型的方法比較復雜，需要本領域技術人員提 出更加方便、快捷的構造三維人臉模型的解決方案。
發明內容
本發明所要解決的技術問題是提供一種三維人臉模型的構造方法和系統，
能夠更力口方便、快捷的構造三維人臉模型。
為解決上述技術問題，本發明公開了一種三維人臉模型構造方法，包括以
下步驟
依據在正面人臉圖片中的輪廓控制點和人臉網格模型上對應網格控制點 之間建立的第一映射關系，對所述人臉網格模型中所有的點作相應的位置調
整；所述人臉網格模型由通用三維人臉模型投影得到，所述第一映射關系由多 個選取的對應點計算得到；
在正面人臉圖片器官上的輪廓控制點和已調整過的人臉網格模型器官上 的網格控制點中選取對應的關鍵4侖廓控制點和關鍵網才各控制點，并確定各個點 的鄰域；所述鄰域內還包括多個4侖廓控制點和網格控制點；
依據關鍵網格控制點建立三角網，確定人臉網格模型上的非網格控制點所 在的三角網中的三角形；
依據建立的鄰域內對應的4侖廓控制點和網格控制點的第二映射關系，對確 定該鄰域的關鍵網格控制點進行位置調整；
依據各個三角形的三個頂點調整前后的坐標，分別建立各自的第三映射關 系，依據第三映射關系對所述三角形內的所有非網格控制點進行位置調整；
將調整后的人臉網格模型中的點的平面坐標作為通用三維人臉模型的 X,Y坐標，對通用三維人臉模型進行調整；
對調整后的通用三維人臉模型添加紋理，得到三維人臉模型。
優選的，在投影得到人臉網格模型之前還包括對通用三維人臉模型進行姿 態矯正步驟。
優選的，所述姿態矯正步驟包括
在通用三維人臉;^莫型上標出雙眼中心的位置和嘴巴中心的位置，4艮據這三 個點計算出經過這三個點的平面的法向量N;
調整通用三維人臉模型，直至法向量N與三維坐標的Z軸重合。
優選的，在建立第一映射關系之前進一步包括將正面人臉圖片和人臉網 格模型上的坐標原點調整至臉部相同位置點的坐標歸一化處理步驟。
優選的，通過以下方式建立第一映射關系
將多個相應的輪廓控制點和網4各控制點代入二元一次方程；
計算得到各個系數，建立具體的二元一次關系式。
優選的，所述確定關鍵輪廓控制點或關鍵網格控制點的鄰域的預置規則
為
以該點為中心，長、寬為該點所在器官長度的1/3單位的正方形。 優選的，通過以下方式建立第二映射關系
將鄰域中的多個相應的輪廓控制點和鄰域中的網4各控制點代入二元一次 方程；
計算得到各個系數，建立具體的二元一次關系式。 優選的，通過以下方式建立第三映射關系
將三角網中某一三角形三個頂點的原坐標和調整后的坐標代入二元一次 方程；
計算得到各個系數，建立針對該三角形的具體的二元一次關系式。 依據本發明的實施例，公開了一種三維人臉模型構造系統，包括 投影裝置，用于將通用三維人臉模型投影到二維平面得到人臉網格模型； 第一變形裝置，用于依據在正面人臉圖片中的輪廓控制點和人臉網格模型
上對應網格控制點之間建立的第一映射關系，對所述人臉網格模型中所有的點
作相應的位置調整；
鄰域確定裝置，用于在正面人臉圖片器官上的輪廓控制點和已調整過的人
臉網格模型器官上的網格控制點中選取對應的關鍵輪廓控制點和關鍵網格控
制點，并確定各個點的鄰域；
建網裝置，用于依據關鍵網格控制點建立三角網，確定人臉網格模型上的
4 一網檔、控制點所在的三角網中的三角形；
第二變形裝置，用于依據建立的鄰域內對應的輪廓控制點和網格控制點的
第二映射關系，對確定該鄰域的關鍵網格控制點進行位置調整；
第三變形裝置，用于依據各個三角形的三個頂點調整前后的坐標，分別建
立各自的第三映射關系，依據第三映射關系對所述三角形內的所有非網格控制
點進行位置調整；
調整裝置，用于將調整后的人臉網格模型中的點的平面坐標作為通用三維
人臉模型的X,Y坐標，對通用三維人臉模型進行調整；
紋理添加裝置，用于對調整后的通用三維人臉模型添加紋理，得到三維人 臉模型。
優選的，所述的投影裝置之前還還包括姿態矯正裝置，姿態矯正裝置用于 對通用三維人臉模型進行姿態矯正。 優選的，所述姿態矯正裝置包括
平面單元，用于在通用三維人臉模型上標出雙眼的位置和嘴巴中心的位 置，根據這三個點計算出經過這三個點的平面的法向量N;
旋轉單元，用于調整通用三維人臉模型，直至法向量N與三維坐標的Z 軸重合。
優選的，公開的系統還包括坐標處理裝置，坐標處理裝置設于投影裝置同 第一變形裝置之間，用于在建立第一映射關系之前將正面人臉圖片和人臉網格 模型上的坐標原點調整至臉部相同位置點的坐標進行歸一化處理。
本發明的優點
首先，本發明假設由通用三維人臉模型投影得到的人臉網格模型上的所有 點都符合整體的一個映射關系，然后依據輪廓控制點同網格控制點之間的關 系，對人臉網格模型上的所有點都進行相同的整體映射；既將人臉網格模型調 整到與人臉圖片上的器官位置相似，并且還保持了原來通用三維人臉模型各個 點之間的拓樸結構，可以直接用于動畫驅動和展示。
其次，本發明為了進一步得到更加逼真的三維人臉模型，假定人臉網格模 型上一些網格控制點即關鍵網格控制點具有另外的局部映射關系，然后依據所 建立的局部映射關系，對關鍵網格控制點進行局部映射調整；之后，還通過關 鍵網格控制點建立的三角網內各個三角形的三個頂點調整前后的坐標，建立各 個三角形變化前后的映射關系，按此映射關系對各個三角形內的非網4各控制點 進行調整，從而可以達到更加逼真的效果，與所給出的人臉圖片更加相似。
另外，本發明在投影得到二維的人臉網格模型之前，還可以對通用三維人 臉模型進行姿態矯正，以適合所給出的處于各種方向或角度的通用三維人臉模
型；使得不論給出的通用三維人臉模型其方向、角度如何，都可以投射得到正
面人臉的網格模型，與正面人臉圖片相對應，以減少由于投影不正而導致的構
造誤差。
圖1為本發明的 一種三維人臉才莫型構造方法實施例的步驟流程圖2為本發明實施例中，通用三維人臉模型在投影到二維平面上的人臉網 格模型示意圖3-l為本發明實施例中，姿態矯正的步驟流程圖3-2為本發明實施例中，姿態矯正后的通用三維人臉模型的雙眼中心和 嘴角連線中心點所在平面示意圖3-3、圖3-4為本發明實施例中，通用三維人臉模型姿態矯正的方法原 理示意圖4為本發明 一種三維人臉模型構造系統實施例的結構框圖； 圖5為本發明實施例中，姿態矯正裝置的結構框圖。
具體實施例方式
為使本發明的上述目的、特征和優點能夠更加明顯易懂，下面結合附圖和具體實施方式
對本發明作進一步詳細的說明。
本發明的核心思想在于依據建立人臉正面圖片同人臉網格模型上點對點 的聯系，對人臉網格模型上的所有點都作相應的位置調整，之后，依據所建立 的人臉正面圖片同人臉網格模型上的局部映射關系，對人臉網格模型的關鍵網 格控制點進行調整，之后，還通過關^T建網格控制點建立的三角網內各個三角形 的三個頂點調整前后的坐標，建立各個三角形變化前后的映射關系，按此映射 關系對各個三角形內的非網格控制點進行調整，將經過三次調整后的人臉網格 模型中的點的平面坐標作為通用三維模型的X， Y坐標，對通用三維人臉模型進 行調整，調整后的通用三維人臉模型能更加逼真的再現真實人臉。
參考圖l，給出了一種三維人臉模型構造方法實施例，具體可以包括
步驟101、依據在正面人臉圖片中的輪廓控制點和人臉網格模型上對應網
格控制點之間建立的第 一映射關系，對所述人臉網格模型中所有的點作相應的 位置調整；所述人臉網格模型由通用三維人臉模型投影得到，所述第一映射關 系由多個選取的對應點計算得到。
步驟102、在正面人臉圖片器官上的輪廓控制點和已調整過的人臉網格模 型器官上的網格控制點中選取對應的關鍵輪廓控制點和關鍵網格控制點，并確 定各個點的鄰域；所述鄰域內還包括多個輪廓控制點和網才各控制點。
步驟103、依據關鍵網格控制點建立三角網，確定人臉網格模型上的非網 格控制點所在的三角網中的三角形。
步驟104、依據建立的鄰域內對應的輪廓控制點和網格控制點的第二映射 關系，對確定該鄰域的關鍵網格控制點進行位置調整；因為人臉網格模型按照 第一映射關系調整后，整個人臉網格模型在大體上與真實人臉圖片相似，但是 由于采用的是多個對應關系取平衡的方式，所以在局部細節上，調整后的人臉 網格模型與真實人臉圖片還是存在一些不相似的地方，因此需要建立第二映射關系對局部關鍵的點進行調整。
步驟105、依據各個三角形的三個頂點調整前后的坐標，分別建立各自的 第三映射關系，依據第三映射關系對所述三角形內的所有非網4各控制點進行位 置調整；我們從前面步驟可知，三角形的三個頂點是由關鍵網格控制點構成， 而關鍵網格控制點在按照第二映射關系進行調整后其坐標發生了變化，所以原 來落在三角形內的非網格控制點坐標也要作相應的調整。
步驟106、將調整后的人臉網格模型中的點的平面坐標作為通用三維人臉 模型的X, Y坐標，對通用三維人臉模型進行調整；
步驟107、對調整后的通用三維人臉模型添加紋理，得到三維人臉模型。
在本發明的另一個優選實施例中，在實施步驟101時，可以通過如下方法 找尋人臉正面圖片的輪廓控制點和與之對應的人臉網格模型上的網格控制點。 我們采用ASM (Active Shape Model)方法定位出正面人臉圖片中人臉器官的輪 廓，該方法的具體實現步驟在中國專利申請號200610088857.9,名稱為基 于單張相片的快速人臉建模方法及系統的說明書中有公開，在實際應用中，ASM 的人臉器官輪廓定位方法實際上已經成為人臉器官輪廓定位的標準方法。采用
ASM方法定位得到圖片輪廓的過程中，因為定位受外界光照等因素的影響，定 位的結果不會非常精確，所以我們采用人機交互對定位的輪廓進行手工微調， 得到人臉各個器官的準確輪廓，標識輪廓控制點并得到其坐標。為了在人臉網 格模型上得到與輪廓控制點對應的網格控制點，我們可通過手工找尋的方法將 輪廓控制點對應的網格控制點都選擇出來。
在本發明的另一個優選實施例中，在實施步驟101時，可以通過以下方式 建立第一映射關系將輪廓控制點和網格控制點代入二元一次方程；計算得到 各個系數，建立具體的二元一次關系式。即將相對應的人臉圖片上的輪廓控制 點坐標(x， y)和人臉網格模型中的網格控制點坐標(x、 y')，代入公式l
<formula>formula see original document page 11</formula>
計算出它們之間的系數對應關系，即將已知的3個輪廓控制點坐標(X:，
yj ... (x3, y3)和3個網格控制點坐標(x/， y/ ) ... ( x/， y/ )代入上面 的公式l，通過解二元一次多項式，得到a-f的值，建立了輪廓控制點同網格 控制點之間的系數關系，我們認為人臉網格模型上所有的點都遵循這種系數關 系。當然，我們也可建立多元一次多項式，依據建立的方程式不同，我們在選 擇輪廓控制點時也要相應的作出調整， 一般情況下選擇70個左右的輪廓控制 點就可以比較精確的得到相應的系數對應關系。當我們將選擇的7 0個輪廓控 制點的坐標和對應的網格控制點的坐標代入到公式1中，可以得到很多不同的 系數值，這時選用最小二乘法將這些系數值進行處理，得到最佳的一個系數值， 用這個系數值建立輪廓控制點同網格控制點的對應關系，可以把對應關系的誤 差降低。
建立系數對應關系后，將人臉網格模型上所有點的坐標代入到公式l中， 得到新坐標值，將人臉網一各模型上的所有點移動到新坐標的位置，完成整體仿 射。
在本發明的一個優選實施例中，在實施步驟101時，我們可以通過如下方 法得到人臉網格模型。首先輸入一個通用三維人臉模型，通用三維人臉模型一 般可以采用三維造型軟件(比如3DMax、 Maya等)來制作；在將通用三維人臉
模型投影到二維平面上時，本發明實施例中使用的通用三維人臉模型可以只用 人臉部分的三維數據，因為正面人臉圖片上的輪廓控制點不會在通用三維人臉 模型的背面上，所以通用三維人臉模型背面上點的數據對于建立正面人臉圖片 中的輪廓控制點和通用三維人臉模型上對應模型控制點的映射關系沒有意義， 在投影時可以僅僅投影人臉正面即可。但是在選擇投影人臉正面會出現一個問 題就是，我們通常會選擇人臉正面的中心點作為通用三維人臉模型的坐標原
點，那么人臉正面的部分的點由坐標(x, y， z)來確定，z值對于我們建立
所述映射關系沒有意義，所以我們在投影之前，把三維模型從正面輪廓面積最
大的平面上切分，僅僅對人臉這一面的模型進行投影即可；另外一種簡單的方
法就是在投影之前，我們可以把通用三維模型的人臉正面上的所有點的坐標的
z值設為0，然后投影得到的網格模型的行列號作為x、 y值。當然，在技術人 員的具體4喿作中也可以采用0penGL (Open Graphics Library,開方文的圖形程 序接口 )來實現。參考圖3,是通用三維人臉模型在投影到二維平面上的通用 網格模型示意圖。
在本發明的另 一個優選實施例中，在投影得到人臉網格模型之前還可以包 括對通用三維人臉模型進行姿態矯正步驟。因為輸入的三維人臉模型不一定是 正面的模型，這樣在將通用三維人臉模型投影到二維平面上的時候就會出現人 臉上有的地方沒有投影到二維平面上，或者是不同的人臉部位重合疊加在二維 平面上的同 一位置，所以為了適合所給出的處于各種方向或角度的通用三維人 臉模型，使得不論給出的通用三維人臉模型其方向、角度如何，都可以投射得 到正面人臉的網格模型，與正面人臉圖片相對應，以減少由于投影不正而導致 的構造誤差，我們需要對通用三維人臉模型進行矯正。
在本發明的另一個優選實施例中，所述姿態矯正步驟可以包括(參考圖3-1)
步驟301、在通用三維人臉模型上標出雙眼中心的位置和嘴巴中心的位 置，根據這三個點計算出經過這三個點的平面的法向量N;
步驟302、調整通用三維人臉模型，直至法向量N與三維坐標的Z軸重合。 在實施步驟301時，我們主要的目的是在人臉上找出一個平面進而找出該
平面的法向量，根據我們的觀察就絕大部分人而言雙眼中心和位置嘴巴中心的 位置是處于一個平面上的，當然我們也可以選擇嘴角同眉心這三個點構成一個 平面。(參考圖3-2)
在實施步驟302時，參考圖3-3,EL, ER，MC代表矯正前的三維才莫型的右眼， 左眼和嘴巴中心點。w代表了通過三個點的平面的法線方向。虹'，w,^c'代 表了人臉正對前方時的右、左眼中心點位置和嘴巴中心點的位置，過這三點的 平面的法線方向W和Z軸的方向一致。因此姿態矯正的問題可以轉換為如何 將法向量^旋轉到法向量W'的問題，我們可以利用四元數來解決這個問題， 四元數將旋轉看作是空間點繞著某個矢量軸旋轉某個角度。參考圖3-4所示，
設旋轉軸為W和V的外積，即P = W x iV'，那么P垂直于7V和7V' , IKV IIP II 。
從W旋轉到W'可以看作^繞著戶旋轉了^角度，根據四元數的原理，只要知道 旋轉軸P和旋轉角度^就可以計算出旋轉矩陣，將通用三維人臉模型上的所有 點都按照得出的旋轉矩陣進行旋轉，從而完成通用三維人臉模型姿態的矯正。
在本發明的另 一優選實施例中，在姿態矯正步驟之后還可以包括將正面人 臉圖片和人臉網格模型上的坐標原點調整至臉部相同位置點的坐標歸 一化處
理步驟。因為通用三維人臉模型^:影到平面后的坐標系和人臉正面圖片輪廓點 的坐標系有可能是不一致的，為了讓投影后的網格模型同人臉正面圖片對應， 我們需要將兩個坐標系進行歸一化處理，在進行坐標系歸一化處理時，臉部相 同位置點我們可以選擇將投影后得到的網格模型的坐標原點平移到網格模型 中兩個鼻孔的中心點，將人臉圖片的坐標原點也平移到人臉圖片中兩個鼻孔的 中心點；也可以選擇將網格模型的坐標原點平移到網格模型中的眉心位置，將 人臉圖片的坐標原點也平移到人臉圖片中的眉心位置。
在本發明的一個優選實施例中，在實施步驟102時，從器官上的輪廓控制 點中選擇關鍵輪廓控制點，這些器官我們可以選擇在人臉表情發生變化時，變 化比較明顯的器官，例如我們可以選擇眼睛、眉毛、嘴巴這些器官上的輪廓控 制點作為關鍵輪廓控制點，因為當人臉的表情發生變化時，這些器官的變化比 較明顯，精確的定位這些器官就能較為逼真的反映真實人臉狀態；當然，對于
數量而言，關鍵輪廓控制點數量越多，越能逼真的反映真實人臉的細節上的變 化。選擇完關鍵輪廓控制點之后，在人臉網格模型中的網格控制點中選出與關
鍵輪廓控制點對應的關鍵網格控制點；確定找出的點的鄰域。
在本發明的另 一個優選實施例中，所述確定關鍵輪廓控制點或關鍵網格控
制點的鄰域的預置規則可以是以該點為中心，長、寬為該點所在器官長度的 1/3單位的正方形。例如，當我們的關鍵輪廓控制點選擇眼睛上的點時，在正 面人臉圖片上該點的鄰域范圍就是以該點為中心的長、寬為眼睛長度值的1/3 單位的正方形范圍內；當我們的關鍵輪廓控制點選擇嘴巴上的輪廓控制點時， 在人臉網格模型上對應的關鍵網格控制點的鄰域范圍就是以該關鍵網格控制 點為中心的長、寬為嘴巴長度值的1/3單位的正方形范圍內。
確定的鄰域內包括至少三個輪廓控制點或者網格控制點，否則我們就更換 關4建輪廓控制點或者關4建網格控制點來重新確定其鄰域。
在本發明的一個優選實施例中，在實施步驟104時，可以通過以下方法建 立第二映射關系
將關鍵輪廓控制點確定的鄰域內的輪廓控制點坐標和關鍵網格控制點確 定的鄰域內的網格控制點的坐標代入二元一次方程；計算得到各個系數，建立 具體的二元一次關系式。即將相對應鄰域內的人臉圖片上的輪廓控制點坐標 (x, y)和人臉網格模型中的網格控制點坐標(x、 y'),代入公式2 x'= "'x + + c' = Wx + + /'，
計算出它們之間的系數對應關系，即通過解二元一次多項式，得到a' -f' 的值，建立了對應鄰域內輪廓控制點同網格控制點之間的系數關系，我們認為 確定該鄰域關鍵網格控制點遵循該系數關系，將該關鍵網格控制點坐標代入公 式2中，得到其新坐標，按照得到的新坐標調整該關鍵網格控制點。
每一個關鍵網格控制點都可以通過建立第二映射關系的方法得到其新坐 標，各個關鍵網格控制點分別按照其新坐標進行調整，完成人臉網格模型的第 二次調整。
在本發明的另一個優選實施例中，在實施步驟105時，可以通過如下方法
建立第三映射關系，通過上述實施例，我們可以知道關鍵網格控制點變化前后 的坐標，因為三角形的頂點是由關鍵網格控制點構成的，這樣我們就可以知道 各個三角形的三個頂點變化前后的坐標了 。按照建立第 一映射關系的建立二元 一次方程的方法，將三角形的三個頂點的前后三個坐標代入二元一次方程，計 算得到各個系數，建立具體的二元一次關系式。我們認為三角形內的所有非網 格控制點都遵循這個系數關系，那么我們就可以得到三角形內所有非網格控制 點的新坐標，按照新坐標調整三角形內的所有非網格控制點。按照此方法對三 角網的各個三角形內的非網格控制點進行調整，完成人臉網格模型的第三次調 整。
進一步的優選方案，我們可以通過如下方法建立第三映射關系，因為人臉 網格上的點的坐標都是已知的，所以我們可以知道任一三角形三個頂點坐標以 及該三角形內任一非網格控制點到該三角形三個頂點的距離，當該三角形三個 頂點調整后，得到三個頂點的新坐標，依據三角形內非網格控制點到三個頂點 的距離的比值不隨三角形三個頂點坐標的變化而變化的原理，我們可以根據三 角形三個頂點的前后坐標以及任一非網格控制點到三角形三個頂點的距離，得 到該非網格控制點隨三角形三個頂點調整后的新坐標。同樣的，所有的三角形 內的非網格控制點都可以通過該方法計算得到新的坐標。按照此方法對三角網 的各個三角形內的非網格控制點進行調整，完成人臉網格模型的第三次調整。
參照圖4,給出了一種三維人臉^1型構造系統實施例，具體可以包括 投影裝置401,用于將通用三維人臉模型投影到二維平面得到人臉網格模
型；
第一變形裝置402，用于依據在正面人臉圖片中的輪廓控制點和人臉網格 模型上對應網格控制點之間建立的第一映射關系，對所述人臉網格模型中所有 的點作相應的位置調整；
鄰域確定裝置403,用于在正面人臉圖片器官上的輪廓控制點和已調整過 的人臉網格模型器官上的網格控制點中選取對應的關鍵輪廓控制點和關鍵網 才各控制點，并確定各個點的鄰域；
建網裝置404，用于依據關鍵網格控制點建立三角網，確定人臉網格模型
上的非網4各控制點所在的三角網中的三角形；
第二變形裝置405,用于依據建立的鄰域內對應的輪廓控制點和網格控制 點的第二映射關系，對確定該鄰域的關鍵網格控制點進行位置調整；
第三變形裝置406,用于依據各個三角形的三個頂點調整前后的坐標，分 別建立各自的第三映射關系，依據第三映射關系對所述三角形內的所有非網格 控制點進行位置調整；
調整裝置407,用于將調整后的人臉網格模型中的點的平面坐標作為通用 三維人臉模型的X, Y坐標，對通用三維人臉模型進行調整；
紋理添加裝置408,用于對調整后的通用三維人臉^t型添加紋理，得到三 維人臉模型。
在具體實施時，輸入通用三維人臉模型到投影裝置401,投影裝置401將 通用三維人臉模型投影到二維平面得到人臉網格模型；
然后將正面人臉圖片和人臉網格模型輸入第一變形裝置402，第一變形裝 置402在正面人臉圖片上確定輪廓控制點，并在人臉網格模型上找到與輪廓控 制點對應的網格控制點，然后，第一變形裝置402依據在正面人臉圖片中的輪 廓控制點和人臉網格模型上對應網格控制點之間建立的第 一映射關系，對所述 人臉網格模型中所有的點作相應的位置調整。
將確定輪廓控制點的正面人臉圖片和經過調整的人臉網格模型輸入鄰域 確定裝置403,鄰域確定裝置403在正面人臉圖片器官上的輪廓控制點和已調 整過的人臉網格模型器官上的網格控制點中選取對應的關鍵輪廓控制點和關 鍵網格控制點，并確定各個點的鄰域。
將經過調整的人臉網格模型輸入建網裝置404,建網裝置404依據關鍵網 格控制點建立三角網，確定人臉網格模型上的非網格控制點所在的三角網中的 三角形。
將已經確定鄰域的正面人臉圖片和人臉網格模型輸入第二變形裝置405， 第二變形裝置405，依據建立的鄰域內對應的輪廓控制點和網才各控制點的第二 映射關系，對確定該鄰域的關鍵網格控制點進行位置調整。
第三變形裝置406依據建網裝置404和第二變形裝置405的輸入信息，可
以得到建立的三角網內各個三角形的三個頂點調整前后的坐標，，第三變形裝
置406依據各個三角形三個頂點的前后坐標分別建立每個三角形的第三映射
關系，依據每個三角形的第三映射關系對該三角形內的所有非網才各控制點進行 位置調整。
將經過三次調整的人臉網格模型輸入調整裝置407，調整裝置407將調整 后的人臉網格模型中的點的平面坐標作為通用三維人臉模型的X， Y坐標，對通 用三維人臉模型進行調整。
紋理添加裝置408對調整后的通用三維人臉模型添加紋理，得到三維人臉 模型。
在本發明的一個優選實施例中，所述的一種三維人臉模型構造系統還包括 姿態矯正裝置，所述姿態矯正裝置設于投影裝置之前，姿態矯正裝置用于對通 用三維人臉模型進行姿態矯正。
在本發明的一個優選實施例中，所述姿態矯正裝置進一步包括(參考圖
5)
平面單元501,用于在通用三維人臉模型上標出雙眼的位置和嘴巴中心的 位置，4艮據這三個點計算出經過這三個點的平面的法向量N;
旋轉單元502，用于調整通用三維人臉模型，直至法向量N與三維坐標的 Z軸重合。
在本發明的另一個優選實施例中，所述的一種三維人臉模型構造系統還包 括坐標處理裝置，坐標處理裝置設于投影裝置同第一變形裝置之間，用于在建 立第 一映射關系之前將正面人臉圖片和人臉網格模型上的坐標原點調整至臉 部相同位置點的坐標進行歸一化處理。
本說明書中的各個實施例均采用遞進的方式描述，每個實施例重點說明的 都是與其他實施例的不同之處，各個實施例之間相同相似的部分互相參見即 可。對于系統實施例而言，由于其與方法實施例基本相似，所以描述的比較簡 單，相關之處參見方法實施例的部分說明即可。
以上對本發明所提供的一種三維人臉模型的構造方法和系統，進行了詳細
17
施例的說明只是用于幫助理解本發明的方法及其核心思想；同時，對于本鄰域 的一般技術人員，依據本發明的思想，在具體實施方式
及應用范圍上均會有改 變之處，綜上所述，本說明書內容不應理解為對本發明的限制。
權利要求
1、一種三維人臉模型構造方法，其特征在于，包括以下步驟:依據在正面人臉圖片中的輪廓控制點和人臉網格模型上對應網格控制點之間建立的第一映射關系，對所述人臉網格模型中所有的點作相應的位置調整；所述人臉網格模型由通用三維人臉模型投影得到，所述第一映射關系由多個選取的對應點計算得到；在正面人臉圖片器官上的輪廓控制點和已調整過的人臉網格模型器官上的網格控制點中選取對應的關鍵輪廓控制點和關鍵網格控制點，并確定各個點的鄰域；所述鄰域內還包括多個輪廓控制點和網格控制點；依據關鍵網格控制點建立三角網，確定人臉網格模型上的非網格控制點所在的三角網中的三角形；依據建立的鄰域內對應的輪廓控制點和網格控制點的第二映射關系，對確定該鄰域的關鍵網格控制點進行位置調整；依據各個三角形的三個頂點調整前后的坐標，分別建立各自的第三映射關系，依據第三映射關系對所述三角形內的所有非網格控制點進行位置調整；將調整后的人臉網格模型中的點的平面坐標作為通用三維人臉模型的X，Y坐標，對通用三維人臉模型進行調整；對調整后的通用三維人臉模型添加紋理，得到三維人臉模型。
2、 根據權利要求1所述的方法，其特征在于在投影得到人臉網格模型 之前還包括對通用三維人臉模型進行姿態矯正步驟。
3、 根據權利要求2所述的方法，其特征在于，所述姿態矯正步驟包括 在通用三維人臉模型上標出雙眼中心的位置和嘴巴中心的位置，根據這三個點計算出經過這三個點的平面的法向量N;調整通用三維人臉模型，直至法向量N與三維坐標的Z軸重合。
4、 根據權利要求1所述的方法，其特征在于，在建立第一映射關系之前 進一步包括將正面人臉圖片和人臉網格模型上的坐標原點調整至臉部相同位 置點的坐標歸一化處理步驟。
5、 根據權利要求1所述的方法，其特征在于，通過以下方式建立第一映射關系將多個相應的輪廓控制點和網格控制點代入二元一次方程； 計算得到各個系數，建立具體的二元一次關系式。
6、 根據權利要求1所述的方法，其特征在于，所述確定關鍵輪廓控制點 或關鍵網格控制點的鄰域的預置規則為以該點為中心，長、寬為該點所在器官長度的1/3單位的正方形。
7、 根據權利要求1所述的方法，其特征在于，通過以下方式建立第二映 射關系將鄰域中的多個相應的輪廓控制點和鄰域中的網格控制點代入二元一次 方程；計算得到各個系數，建立具體的二元一次關系式。
8、 根據權利要求1所述的方法，其特征在于，通過以下方式建立第三映 射關系將三角網中某一三角形三個頂點的原坐標和調整后的坐標代入二元一次 方程；計算得到各個系數，建立針對該三角形的具體的二元一次關系式。
9、 一種三維人臉模型構造系統，其特征在于，包括投影裝置，用于將通用三維人臉模型投影到二維平面得到人臉網格模型；第一變形裝置，用于依據在正面人臉圖片中的輪廓控制點和人臉網格模型 上對應網格控制點之間建立的第一映射關系，對所述人臉網格模型中所有的點 作相應的位置調整；鄰域確定裝置，用于在正面人臉圖片器官上的輪廓控制點和已調整過的人 臉網格模型器官上的網格控制點中選取對應的關鍵輪廓控制點和關鍵網格控 制點，并確定各個點的鄰域；建網裝置，用于依據關鍵網格控制點建立三角網，確定人臉網格模型上的 一 一網格控制點所在的三角網中的三角形； 第二變形裝置，用于依據建立的鄰域內對應的輪廓控制點和網格控制點的第二映射關系，對確定該鄰域的關鍵網格控制點進行位置調整；第三變形裝置，用于依據各個三角形的三個頂點調整前后的坐標，分別建 立各自的第三映射關系，依據第三映射關系對所述三角形內的所有非網格控制 點進行位置調整；調整裝置，用于將調整后的人臉網桔4莫型中的點的平面坐標作為通用三維 人臉模型的X, Y坐標，對通用三維人臉模型進行調整；紋理添加裝置，用于對調整后的通用三維人臉模型添加紋理，得到三維人 臉模型。
10、 根據權利要求9所述的系統，其特征在于所述的投影裝置之前還還 包括姿態矯正裝置，姿態矯正裝置用于對通用三維人臉模型進行姿態矯正。
11、 4艮據權利要求IO所述的系統，其特征在于，所述姿態矯正裝置包括 平面單元，用于在通用三維人臉模型上標出雙眼的位置和嘴巴中心的位置，；^艮據這三個點計算出經過這三個點的平面的法向量N;旋轉單元，用于調整通用三維人臉模型，直至法向量N與三維坐標的Z 軸重合。
12、 根據權利要求9所述的系統，其特征在于還包括坐標處理裝置，坐 標處理裝置設于投影裝置同第一變形裝置之間，用于在建立第一映射關系之前 將正面人臉圖片和人臉網格模型上的坐標原點調整至臉部相同位置點的坐標 進行歸一化處理。
全文摘要
本發明公開了一種三維人臉模型的構造方法和系統，該方法可以包括以下步驟依據正面人臉圖片中的輪廓控制點和人臉網格模型上對應網格控制點之間建立的第一映射關系，對所述人臉網格模型中所有的點作相應的位置調整；依據關鍵網格控制點建立三角網，確定人臉網格模型上的非網格控制點所在的三角網中的三角形；依據建立的鄰域內對應的輪廓控制點和網格控制點的第二映射關系，對確定該鄰域的關鍵網格控制點進行位置調整；依據各個三角形的三個頂點調整前后的坐標，分別建立各自的第三映射關系，依據第三映射關系對所述三角形內的所有非網格控制點進行位置調整；依據調整后的人臉網格模型對通用三維人臉模型進行調整并添加紋理，得到三維人臉模型。
文檔編號G06T17/20GK101383055SQ20081011995
公開日2009年3月11日 申請日期2008年9月18日 優先權日2008年9月18日
發明者浩 王, 謝東海, 英 黃 申請人:北京中星微電子有限公司