專利名稱：：二維正面人臉圖像的三維網(wǎng)格化方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及三維人臉識(shí)別技術(shù)，具體涉及一種二維正面人臉圖像的三維網(wǎng)格化方法。
背景技術(shù)：
：人臉不僅分布有人類身上重要的感覺器官，也是人類表達(dá)思想，情緒反饋，溝通交流等智能呈現(xiàn)的場所。具有逼真的人臉合成不僅是生物、認(rèn)知心理、人工智能領(lǐng)域關(guān)心的方向之一，也是計(jì)算機(jī)圖形學(xué)中最根本的問題之一，同時(shí)也是最具有挑戰(zhàn)性的問題之一。計(jì)算機(jī)三維人臉建模及其表情動(dòng)畫技術(shù)的開創(chuàng)性工作始于Parke在20世紀(jì)70年代所做的研究。之后三十多年來，具有真實(shí)感的計(jì)算機(jī)三維人臉動(dòng)畫研究吸引著廣大研究者的目光，使三維人臉建模和動(dòng)畫技術(shù)得到顯著的發(fā)展，20世紀(jì)80年代中期，Waters等人提出了廣泛應(yīng)用的肌肉模型方法。Cohen和Massaro以及其他很多研究者對(duì)可視化語音合成進(jìn)行了初步的嘗試，伴隨網(wǎng)絡(luò)技術(shù)的普及，世界上第一個(gè)網(wǎng)上虛擬主播Ananova在倫敦發(fā)布，通過計(jì)算機(jī)合成的虛擬主播Ananova可以一天24小時(shí)發(fā)布新聞，不知疲倦，讓人意識(shí)到以新技術(shù)引領(lǐng)的媒體變革必將深刻而廣泛。此外，計(jì)算機(jī)模擬真實(shí)感的人臉表情動(dòng)畫還被應(yīng)用于諸如電影、廣告人物動(dòng)畫、計(jì)算機(jī)游戲、視頻會(huì)議、人機(jī)接口、面部外科手術(shù)、電視節(jié)目、計(jì)算機(jī)輔助手語教學(xué)以及心理學(xué)、認(rèn)知科學(xué)等許多領(lǐng)域。真實(shí)感三維人臉建模是在計(jì)算機(jī)中重構(gòu)出與真人臉部相像的三維人臉。目前，經(jīng)過研究者的不斷深入研究，已經(jīng)提出了許多真實(shí)感三維人臉建模方法。通常，真實(shí)感人臉合成包括以下三個(gè)過程1)臉部數(shù)據(jù)的獲取，2)設(shè)計(jì)臉部模型(三維人臉幾何建模)，3)模型化臉部表情(生成真實(shí)感人臉)。通過人體測量學(xué)對(duì)相似的面部進(jìn)行測量，對(duì)其結(jié)果進(jìn)行統(tǒng)計(jì)，生成臉的統(tǒng)計(jì)學(xué)數(shù)據(jù)。這些統(tǒng)計(jì)學(xué)數(shù)據(jù)被當(dāng)作對(duì)參數(shù)化表面的約束。對(duì)特定人臉的建模往往需要用戶輸入大量的數(shù)據(jù)，某些特定的設(shè)備(如激光掃描儀、立體攝像機(jī)等)也被大量應(yīng)用于三維人臉模型的自動(dòng)建模。根據(jù)這些方法所用數(shù)據(jù)來源依據(jù)的不同，可以分為5大類一般模型形變建模、手工建模、掃描儀器建模、圖像建模、視頻建模。1)—般模型形變建?；谝话闳S人臉模型形變建模的基本思想是通過對(duì)一般三維人臉模型按設(shè)定的條件進(jìn)行優(yōu)化變形，變形出特定三維人臉模型。這種方法又可進(jìn)一步分為從單個(gè)一般模型形變建模和從多個(gè)一般模型線形組合形變建模。從單個(gè)一般模型形變建模依據(jù)彈性力學(xué)的形變模型來實(shí)現(xiàn)，具有模型簡單、計(jì)算量小的特點(diǎn)，自動(dòng)化程度較高，但是合成的特定三維人臉模型的真實(shí)感較差。從多個(gè)一般模型線形組合形變建模分別用向量來表示每個(gè)模型的幾何結(jié)構(gòu)和紋理圖像，通過線形組合這些向量得到新的3D人臉模型，優(yōu)化調(diào)整線形組合的系數(shù)，使新模型的二維投影圖像與輸入人臉圖像的差值最小。從而重構(gòu)出與輸入人臉圖像相似的特定三維人臉模型。這種方法重構(gòu)的人臉模型真實(shí)感強(qiáng)，但需要計(jì)算量大，實(shí)時(shí)性差。2)手工建模5借助三維制作軟件，比如Softimage3D、3DsMax、Maya、LIGHTWAVE3D等，在計(jì)算機(jī)中繪制出三維人臉模型。這種方法的優(yōu)點(diǎn)是易于實(shí)現(xiàn)，不受環(huán)境影響。缺點(diǎn)是制作費(fèi)時(shí)費(fèi)力，模型效果好壞基本取決于制作者的繪制水平，因此對(duì)制作者有很高的要求，一般需要經(jīng)過專業(yè)的訓(xùn)練才可以。同時(shí)，這樣的建模方式對(duì)于模型的刻畫程度大多不夠精細(xì)，相對(duì)來說不容易作為人臉表情的基礎(chǔ)模型，多應(yīng)用于游戲場景等不需要太細(xì)致刻畫的應(yīng)用中。3)掃描儀器建模三維掃描分為表面掃描和斷層掃描。三維掃描儀通過對(duì)物體的表面掃描進(jìn)行建模，得到物體表面網(wǎng)格信息，這種方式得到的模型非常精細(xì)，準(zhǔn)確度高，非常適合對(duì)靜態(tài)物體進(jìn)行建模。但是對(duì)于人臉建模，由于設(shè)備本身造價(jià)昂貴，而且模特必須在場，掃描后的模型還需要經(jīng)過軟件處理，排除掃描中的一些錯(cuò)誤結(jié)果，有時(shí)需要后期人工處理。因此目前大眾化采用三維掃描儀進(jìn)行人臉建模還不經(jīng)濟(jì)和方便。斷層掃描不僅能夠獲取人臉的表面信息，而且還可以得到諸如骨骼和肌肉的內(nèi)部結(jié)構(gòu)，通常用于構(gòu)建體素化模型，主要用于醫(yī)學(xué)領(lǐng)域。4)圖像建模基于圖像的三維人臉建模是根據(jù)一張或者多張不同視角的特定人臉圖像重構(gòu)出三維人臉模型。其主要思想是計(jì)算二維圖像中點(diǎn)的深度信息重構(gòu)出特定人臉的三維幾何模型。這種方法簡單易行，但是這種方法的難點(diǎn)是如何使不同圖像間特征點(diǎn)的對(duì)應(yīng)。為了準(zhǔn)確對(duì)應(yīng)，通常研究者采用在人的臉部首先標(biāo)記出一些特征點(diǎn)的辦法。另外一個(gè)難點(diǎn)是受光照影響較大，如果光照不能滿足要求，往往重構(gòu)的三維人臉模型表面比較粗糙，甚至不能重構(gòu)。其方法大致如下首先，在中性表情下，用相機(jī)隨機(jī)地，多方向地拍照；然后在所有的相片上標(biāo)注特征點(diǎn)，如眼角、嘴角以及鼻子頂部等；然后，這些特征點(diǎn)被用于變形普通三維人臉網(wǎng)格，以適應(yīng)特定人臉要求；最后，用相片作為紋理來映射至變形臉部，以生成所需要的真實(shí)感人臉。5)視頻建模由于視頻中便于提取出序列圖片，利用這些圖片利用圖像建模的思想基于視頻的三維人臉建模技術(shù)同基于圖像的建模技術(shù)基本思想相同，都是通過二維圖像重構(gòu)三維模型。但是基于視頻的建模技術(shù)需要首先從視頻序列中提取出不同視角的圖像序列，如果圖像序列提取不當(dāng)，將很難生成真實(shí)感的人臉模型。
發(fā)明內(nèi)容本發(fā)明所要解決的問題是如何提供一種二維正面人臉圖像的三維網(wǎng)格化方法，該方法能克服現(xiàn)有技術(shù)中所存在的缺陷，能從二維圖像中很好的提取人臉特征，轉(zhuǎn)化為三維模型真正反映自然真實(shí)的人臉表情。本發(fā)明所提出的技術(shù)問題是這樣解決的提供一種二維正面人臉圖像的三維網(wǎng)格化方法，其特征在于，包括以下步驟步驟1對(duì)具有二維正面人臉的圖像進(jìn)行分析自動(dòng)提取人臉特征信息；步驟2將基準(zhǔn)人臉三維模型的特征點(diǎn)對(duì)齊二維正面人臉的圖像特征點(diǎn)，得到二維仿射矩陣由于基準(zhǔn)人臉三維模型特征點(diǎn)與二維正面人臉的圖像特征點(diǎn)維數(shù)不同，將基準(zhǔn)人臉三維模型位置調(diào)整到正面朝向Z軸正方向，在對(duì)齊過程中不考慮Z分j陣，對(duì)于二維點(diǎn)(x，y)，:，令T是仿射變換矩T,,x、cos夕sin6《001(1)其中A是X軸上的縮放參數(shù)，^是Y軸上的縮放參數(shù)，9是旋轉(zhuǎn)參數(shù)，t,和ty是平s2cos9移參數(shù)，向量x為基準(zhǔn)人臉三維模型特征點(diǎn)向:和x'的對(duì)齊問題即為為解minD=lT(x)-x'|T(X)-xf=Z[(A.cos-&.sin&+^-《)2+02.sin0&+&.cosWt+一乂)2]令向量x'為二維正面人臉的圖像特征點(diǎn)，x2的優(yōu)化問題，有(2):0，畫=0改巾(Xi)-Xj|2解得s丄.cosQEXi-s丄.sinQEx^+txEx±s丄.cosQExji-SpsinQEyi2+txEy±s2.sinQEXi+s2.cosQEx^+tyEx±s2.sinQExji+s^cosQEy±+tyEy±:E早'將x平移到原點(diǎn)，有丄^^,=0，丄2^=0。若令3s丄cosQ，b=—s工sinQ，c=s2sinQ，d則有《="2+，《=+A-肌tan(")帶入，得<formula>formulaseeoriginaldocumentpage8</formula>帶入公式(l)，得T;步驟3得到三維仿射矩陣，施加于特定人臉三維模型的每一個(gè)點(diǎn)，得到特定的人臉三維<formula>formulaseeoriginaldocumentpage8</formula>模型令T'是三維仿射變換矩陣，有通過對(duì)特定人臉三維模型的特征點(diǎn)和非特征點(diǎn)施加仿射變換T'，得到特定的人臉三維模型，在特定的人臉三維模型基礎(chǔ)之上，對(duì)整個(gè)特定人臉三維模型的輪廓進(jìn)行整體調(diào)整，把臉部分為左半邊臉與右半邊臉，對(duì)于左臉部，通過人臉圖像上的臉部輪廓特征點(diǎn)，進(jìn)行樣條插值，生產(chǎn)一條與左半邊臉輪廓相似的光滑曲線。以臉部中心為遠(yuǎn)端，通過計(jì)算左半邊臉上的點(diǎn)與左半邊光滑曲線在X軸方向的距離，并根據(jù)該距離平移該點(diǎn)。右半邊臉的調(diào)整采用同樣方式處理步驟4對(duì)特定人臉三維模型進(jìn)行局部區(qū)域?qū)?zhǔn)將人臉按五官分布劃分為多個(gè)不同的矩形區(qū)域，每個(gè)區(qū)域均含模型上一個(gè)特征點(diǎn)，因?yàn)樵诓襟E3后，特定人臉三維模型上的特征點(diǎn)和二維正面人臉的圖像特征點(diǎn)仍然沒有完全重合，所以在本步驟中把每個(gè)區(qū)域內(nèi)模型上特征點(diǎn)對(duì)齊到圖像特征點(diǎn)，然后根據(jù)距離和角度，調(diào)整區(qū)域內(nèi)其他點(diǎn)的位移，使模型局部對(duì)齊得更加準(zhǔn)確，同時(shí)保證模型的平滑；disL=pt—x-range—leftdisR=range_right_pt_xxi/disLdisU=range_up_pt_yxi/disRV6Cxx_pt_xvec—y=y_Pt_yratioL=|disL+vecratioRdisR—vecyi/disUdisDdisD=pt_y_range_downratioUdisU_vec(計(jì)算出控制點(diǎn)距離區(qū)域各邊界的距離，pt為控制點(diǎn))ratioD=|disD+VeC_y當(dāng)y>pt_y時(shí)=cos(了x(3;當(dāng)y<Pt_y時(shí)=cos(y:<formula>formulaseeoriginaldocumentpage8</formula>當(dāng)x>pt_x時(shí)r"〃。y=cos(yx(當(dāng)x<pt_x時(shí)""〃。y=cos(上面的pt_x和pt_y分別代表區(qū)域內(nèi)控制點(diǎn)的x、y坐標(biāo)值，range_left、range_right為區(qū)域的最左、最右x坐標(biāo)值，range—up、range—down為區(qū)域最高、最低y坐標(biāo)值。x、y為區(qū)域內(nèi)每點(diǎn)的坐標(biāo)，disL等為控制點(diǎn)距離區(qū)域各邊界的距離，vec—x，vec—y為區(qū)域內(nèi)任意點(diǎn)到控制點(diǎn)的向量，ratioL=|disL+vec_xXratioY|/disLratioR=|disR_vec_xXratioY|/disRratioU=|disU_vec_yXratioX|/disUratioD=|disD+vec_yXratioX|/disD[ooes](計(jì)算出各個(gè)比例因子)最終得到的ratioL，ratioR，ratioU，ratioD為區(qū)域內(nèi)任一點(diǎn)在移動(dòng)時(shí)用到的比例參數(shù)。最終區(qū)域內(nèi)任一點(diǎn)的移動(dòng)方式如下，下面的x、y是它們的新坐標(biāo)當(dāng)x>pt_x時(shí)x=range—right-(range_right_x)XratioR當(dāng)x<pt_x時(shí)x=(x_range_left)XratioL+range—left當(dāng)y>pt_y時(shí)y=range—up-(range_up_y)XratioU當(dāng)y<pt_y時(shí)y=(y_range_down)XratioD+range—down(得到調(diào)整后新的X，Y坐標(biāo))即所有點(diǎn)的位移方向均與控制點(diǎn)的位移方向一致，離控制點(diǎn)近的點(diǎn)位移較大，隨著離控制點(diǎn)的距離增大，區(qū)域內(nèi)點(diǎn)的位移逐漸減小，到區(qū)域邊緣處的點(diǎn)位移幾乎為O，這樣就保證了區(qū)域內(nèi)的點(diǎn)移動(dòng)均勻、平滑，同時(shí)保證在區(qū)域邊緣處模型的光滑、自然；步驟5對(duì)步驟4得到的特定人臉三維模型進(jìn)行邊界網(wǎng)格延伸，得到人臉圖像板利用貝塞爾曲面和貝塞爾曲線將正面人臉模型平滑地延展，按照?qǐng)D像寬度和高度的比例關(guān)系，生成一個(gè)背景板，進(jìn)而形成整個(gè)圖像的三維網(wǎng)格；BEZ03=(1_//)3人2BEZy=3//(1-//)BEZ23:3//2(1-//)BEZ33=〃(3貝塞爾曲面公式)P(")=Z2;pMBE^>>)BEZM(>")A^、(貝塞爾曲面公式)步驟6得到三維相似矩陣，施加于附屬網(wǎng)格的每一個(gè)點(diǎn)附屬網(wǎng)格由左右眼、口腔中的牙齒、舌頭和口腔體組成，根據(jù)二維仿射變換矩陣T，令T〃是三維相似變換矩陣，有+>y2)cose/2—(A+>y2)sin6>/20^、0,+>s2)sin6>/2+s2)cos6>/20000!+^)/200001T"=對(duì)附屬網(wǎng)格的所有點(diǎn)施加相似變換T〃，得到對(duì)齊后的附屬網(wǎng)格；步驟7將附屬網(wǎng)格平移到步驟5所得到的特定人臉三維模型的對(duì)應(yīng)位置；步驟8將步驟1所用的二維正面人臉圖像作為紋理映射到步驟7所得到特定人臉三維模型，完成人臉圖像網(wǎng)格化。本發(fā)明所提供的方法輸入一張具有正面人臉的圖像，通過對(duì)圖像的分析自動(dòng)提取出人臉特征信息(特征點(diǎn))，通過將基準(zhǔn)人臉三維模型的特征點(diǎn)對(duì)齊二維正面人臉的特征點(diǎn)，對(duì)基準(zhǔn)人臉三維模型全局變換得到特定人臉的三維模型，根據(jù)圖像上人臉輪廓特征點(diǎn)模擬樣條曲線，根據(jù)樣條曲線調(diào)整特定人臉三維模型的輪廓，根據(jù)五官部分的特征點(diǎn)進(jìn)一步局部調(diào)整特定人臉三維模型；最后按照人臉自然弧度延伸網(wǎng)格形成最終的特征人臉三維模型，對(duì)網(wǎng)格進(jìn)行紋理映射，最終得到正面人臉圖像的三維網(wǎng)格化模型。具體實(shí)施例方式下面結(jié)合實(shí)施例對(duì)本發(fā)明作進(jìn)一步描述對(duì)二維正面人臉圖像的特征點(diǎn)提取是基于ASM算法，ASM算法通常對(duì)圖像轉(zhuǎn)譯的研究有兩種策略，分別是數(shù)據(jù)驅(qū)動(dòng)策略和至上而下策略。前者在局部結(jié)構(gòu)上對(duì)圖像數(shù)據(jù)進(jìn)行測試，進(jìn)而得到邊界或熱點(diǎn)區(qū)域，然后對(duì)得到的邊界和熱點(diǎn)進(jìn)行劃分，進(jìn)而得到感興趣對(duì)象的識(shí)別或特征，由于該策略缺乏全局對(duì)象信息，對(duì)于紛繁復(fù)雜的圖像結(jié)構(gòu)來說，往往識(shí)別較難；后者是一種帶有"目地"的圖像特征提取策略，通過預(yù)先指定需要匹配的模型，有目地的在圖像結(jié)構(gòu)中查找與該模型最匹配的數(shù)據(jù)信息，由于具有先驗(yàn)知識(shí)，該策略可以避免由于局部結(jié)構(gòu)復(fù)雜帶來的識(shí)別沖突，和由于噪聲影響帶來的魯棒性較差等問題，同時(shí)，由于需要預(yù)先指定模型，也會(huì)帶來較差的通用性。ASM算法是一種基于至上而下策略的模型搜索算法，由于僅需要正面人臉的特征，只要預(yù)先指定需要匹配的模型信息作為先驗(yàn)知識(shí)，該算法就能夠滿足提取單張正面人臉特征的要求，接下來，從形狀建模和目標(biāo)搜索兩個(gè)方面討論ASM算法應(yīng)用于人臉特征提取。形狀建模的目地是為目標(biāo)圖像中的特征提取提供模型信息，建模過程中得到的統(tǒng)計(jì)結(jié)果可以得到一系列的形狀表達(dá)。這里，首先給出形狀(Shape)的定義是n個(gè)二維點(diǎn)的表示的點(diǎn)分布向量。其數(shù)學(xué)表達(dá)如下<formula>formulaseeoriginaldocumentpage10</formula>每個(gè)點(diǎn)分布向量在相似變換下具有不變性，即存在形狀Xi和形狀Xj，若對(duì)形狀Xi施加相似變換T，有Xj二T(Xi)成立，則形狀Xi和形狀Xj是同一形狀。保證相似變換下的不變性意味著模型形狀不受縮放，旋轉(zhuǎn)，平移的影響?；诮y(tǒng)計(jì)模型的形狀建模主要有以下步驟構(gòu)造形狀統(tǒng)計(jì)樣本該步驟通常是通過人工手動(dòng)選取特征點(diǎn)，形成形狀樣本，采集30個(gè)樣本圖片，每個(gè)樣本手工選取68個(gè)特征點(diǎn)，形成的形狀向量為136維；形狀對(duì)齊根據(jù)本小節(jié)開始部分對(duì)形狀的定義，形狀應(yīng)該在相似變換下具有不變性，所以需要消除縮放，旋轉(zhuǎn)，平移對(duì)步驟1采集的30個(gè)點(diǎn)分布向量的影響，即對(duì)齊形狀向量樣本。形狀對(duì)齊的流程是將30個(gè)點(diǎn)分布向量排列成序，分別編號(hào)Xl，...，x，令S為平均形狀向量，且；初始化為xn按順序?qū)2，...x3。依次對(duì)齊到該平均向量；，完成一次迭代后重新計(jì)算平均向量；，并對(duì)齊到x"繼續(xù)迭代直至形狀收斂。在這里，收斂是指連續(xù)兩次迭代之后的平均向量；與？有|/|;|《e成立，e是一個(gè)小于l的正數(shù)。0099]由于模型特征點(diǎn)與圖像特征點(diǎn)維數(shù)不同，將模型位置調(diào)整到正面朝向Z軸正方向，在對(duì)齊過程中不考慮Z分量。0100]令T是仿射變換矩陣，對(duì)于二維點(diǎn)(x，y)，結(jié)合公式l有s2.sine^.cos夕~0102]令向量x為模型特征點(diǎn)向量，向量x'以表達(dá)為解minD=IT(x)-x'|2的優(yōu)化問題:0103]0101]「X、、;=:1.Vx、001(1)0104]0105]0106]0107]0108]0109]0110]0111]0112]0113]0114]0115]0116]0117]0118]0119]0120]0121]|T(x)-xf=Z令中(Xj)-Xj3T(Xi)—Xi5|T(Xi)-x'2=0，=0叫T(Xi)-Xi=0,&2.sinP巾(Xj)-Xj改..解得s丄.cosQEXi-s丄.sinQEx^+txEx±=Ex丄x's丄.cosExji-s^sinQEyi2+txEy±=Ey主x'±s2.sinQI]Xi+s2.cosQI]x^+tyEx±=Exj's2.sinQEx^+scosQEyj+tyEy±=Eyj'不失一般性，假設(shè)x平移到原點(diǎn)，有-丄1>=0，丄5>,=0。若令a=s丄cosQ，b=—s!sinQ，c《=a2+62，《=c2+J2,-arctan(")帶入，得iis2sin9，d^〕s2cose，則有<formula>formulaseeoriginaldocumentpage12</formula><formula>formulaseeoriginaldocumentpage12</formula>帶入公式1，得T。其中A是X軸上的縮放參數(shù)，^是Y軸上的縮放參數(shù)，e是旋轉(zhuǎn)參數(shù)，tx和ty是平移參數(shù)。在計(jì)算T的過程中，由于忽略了Z軸坐標(biāo)，Z軸的縮放參數(shù)相應(yīng)的不會(huì)被計(jì)算。在這里，為了保證深度信息的合理，需要對(duì)Z軸的縮放參數(shù)進(jìn)行大致的估計(jì)，假設(shè)人的臉型與人的頭型有比例上的對(duì)應(yīng)，故假定Z軸的縮放參數(shù)為(Sl_s2)/2。令T'是三維仿射變換矩陣，有、cos0-Asine0>s2sin6*^cos0000(a+^)/2000通過對(duì)基準(zhǔn)人臉三維模型所有點(diǎn)(包括特征點(diǎn)和非特征點(diǎn))施加仿射變換T'，得到的三維模型本文稱之為特定人臉三維模型。在實(shí)際應(yīng)用中，如果可以采取對(duì)三維模型左右轉(zhuǎn)頭角度的限制，Z軸坐標(biāo)的不準(zhǔn)確對(duì)動(dòng)畫效果的影響十分有限。由于人的發(fā)型千變?nèi)f化，不可能將頭發(fā)輪廓納入ASM的統(tǒng)計(jì)模型，對(duì)于三維人臉動(dòng)畫來說，臉部五官的細(xì)節(jié)比頭型的輪廓更為重要，所以特定人臉三維模型是一個(gè)臉部輪廓凸包而不是頭部輪廓凸包，加之背景和光照條件復(fù)雜多樣，如果僅使用前臉模型，效果不自然。將特定人臉三維模型自然延展，按照?qǐng)D像寬度和高度的比例關(guān)系，生成一個(gè)背景板，進(jìn)而形成整個(gè)圖像的三維網(wǎng)格，即為一個(gè)具有三維網(wǎng)格結(jié)構(gòu)覆蓋的正面人臉圖像板，這樣的三維網(wǎng)格結(jié)構(gòu)既有正面人臉的細(xì)節(jié)特征，又能把圖像背景包含在內(nèi)，從而保證了模型的真實(shí)感。邊界網(wǎng)格的生成分兩個(gè)步驟。首先，找出正面人臉模型的邊界點(diǎn)。以邊界點(diǎn)為控制點(diǎn)，使用貝塞爾曲線和貝塞爾曲面來生成。附屬網(wǎng)格由左右眼及口腔中的牙齒、舌頭、口腔體等網(wǎng)格組成。由于仿射變換矩陣T'在X軸和Y軸上都有縮放，不能滿足附屬網(wǎng)格縮放的要求，應(yīng)使用相似變換進(jìn)行線性變換。根據(jù)二維仿射變換矩陣T，令T〃是三維相似變換矩陣，有T"=0!+s2)cos6>/2-(a+1s2)sin<9/20000,+^)/200001對(duì)附屬網(wǎng)格的所有點(diǎn)施加相似變換T〃，得到對(duì)齊后的附屬網(wǎng)格。將附屬網(wǎng)格平移12到特定人臉三維模型的對(duì)應(yīng)位置，將所用的二維正面人臉圖像作為紋理映射到特定人臉三維模型，完成人臉圖像網(wǎng)格化。權(quán)利要求一種二維正面人臉圖像的三維網(wǎng)格化方法，其特征在于，包括以下步驟步驟1對(duì)具有二維正面人臉的圖像進(jìn)行分析自動(dòng)提取人臉特征信息；步驟2將基準(zhǔn)人臉三維模型的特征點(diǎn)對(duì)齊二維正面人臉的圖像特征點(diǎn)，得到二維仿射矩陣由于基準(zhǔn)人臉三維模型特征點(diǎn)與二維正面人臉的圖像特征點(diǎn)維數(shù)不同，將基準(zhǔn)人臉三維模型位置調(diào)整到正面朝向Z軸正方向，在對(duì)齊過程中不考慮Z分量，令T是仿射變換矩陣，對(duì)于二維點(diǎn)(x，y)，<mrow><msub><mi>T</mi><mrow><mo>(</mo><msub><mi>s</mi><mn>1</mn></msub><mo>,</mo><msub><mi>s</mi><mn>2</mn></msub><mo>,</mo><mi>θ</mi><mo>,</mo><msub><mi>t</mi><mi>x</mi></msub><mo>,</mo><msub><mi>t</mi><mi>y</mi></msub><mo>)</mo></mrow></msub><mfencedopen='('close=')'><mtable><mtr><mtd><mi>x</mi></mtd></mtr><mtr><mtd><mi>y</mi></mtd></mtr><mtr><mtd><mn>1</mn></mtd></mtr></mtable></mfenced><mo>=</mo><mfencedopen='('close=')'><mtable><mtr><mtd><msub><mi>s</mi><mn>1</mn></msub><mo>·</mo><mi>cos</mi><mi>θ</mi></mtd><mtd><mo>-</mo><msub><mi>s</mi><mn>1</mn></msub><mo>·</mo><mi>sin</mi><mi>θ</mi></mtd><mtd><msub><mi>t</mi><mi>x</mi></msub></mtd></mtr><mtr><mtd><msub><mi>s</mi><mn>2</mn></msub><mo>·</mo><mi>sin</mi><mi>θ</mi></mtd><mtd><msub><mi>s</mi><mn>2</mn></msub><mo>·</mo><mi>cos</mi><mi>θ</mi></mtd><mtd><msub><mi>t</mi><mi>y</mi></msub></mtd></mtr><mtr><mtd><mn>0</mn></mtd><mtd><mn>0</mn></mtd><mtd><mn>1</mn></mtd></mtr></mtable></mfenced><mfencedopen='('close=')'><mtable><mtr><mtd><mi>x</mi></mtd></mtr><mtr><mtd><mi>y</mi></mtd></mtr><mtr><mtd><mn>1</mn></mtd></mtr></mtable></mfenced><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>1</mn><mo>)</mo></mrow></mrow>其中s1是X軸上的縮放參數(shù)，s2是Y軸上的縮放參數(shù)，θ是旋轉(zhuǎn)參數(shù)，tx和ty是平移參數(shù)，向量x為基準(zhǔn)人臉三維模型特征點(diǎn)向量，向量x′為二維正面人臉的圖像特征點(diǎn)，x和x′的對(duì)齊問題即為為解minD＝|T(x)-x′|2的優(yōu)化問題，有<mrow><msup><mrow><mo>|</mo><mi>T</mi><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>-</mo><msup><mi>x</mi><mo>′</mo></msup><mo>|</mo></mrow><mn>2</mn></msup><mo>=</mo></mrow><mrow><munderover><mi>Σ</mi><mrow><mi>k</mi><mo>=</mo><mn>1</mn></mrow><mi>n</mi></munderover><mo>[</mo><msup><mrow><mo>(</mo><msub><mi>s</mi><mn>1</mn></msub><mo>·</mo><mi>cos</mi><mi>θ</mi><msub><mi>x</mi><mi>k</mi></msub><mo>-</mo><msub><mi>s</mi><mn>1</mn></msub><mo>·</mo><mi>sin</mi><mi>θ</mi><msub><mi>y</mi><mi>k</mi></msub><mo>+</mo><msub><mi>t</mi><mi>x</mi></msub><mo>-</mo><msubsup><mi>x</mi><mi>k</mi><mo>′</mo></msubsup><mo>)</mo></mrow><mn>2</mn></msup><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>2</mn><mo>)</mo></mrow></mrow><mrow><mo>+</mo><msup><mrow><mo>(</mo><msub><mi>s</mi><mn>2</mn></msub><mo>·</mo><mi>sin</mi><mi>θ</mi><msub><mi>x</mi><mi>k</mi></msub><mo>+</mo><msub><mi>s</mi><mn>2</mn></msub><mo>·</mo><mi>cos</mi><mi>θ</mi><msub><mi>y</mi><mi>k</mi></msub><mo>+</mo><msub><mi>t</mi><mi>y</mi></msub><mo>-</mo><msubsup><mi>y</mi><mi>k</mi><mo>′</mo></msubsup><mo>)</mo></mrow><mn>2</mn></msup><mo>]</mo></mrow>令<mrow><mfrac><mrow><mo>∂</mo><msup><mrow><mo>|</mo><mi>T</mi><mrow><mo>(</mo><msub><mi>x</mi><mi>i</mi></msub><mo>)</mo></mrow><mo>-</mo><msub><mi>x</mi><mi>j</mi></msub><mo>|</mo></mrow><mn>2</mn></msup></mrow><mrow><mo>∂</mo><msub><mi>s</mi><mn>1</mn></msub><mo>·</mo><mi>cos</mi><mi>θ</mi></mrow></mfrac><mo>=</mo><mn>0</mn><mo>,</mo></mrow><mrow><mfrac><mrow><mo>∂</mo><msup><mrow><mo>|</mo><mi>T</mi><mrow><mo>(</mo><msub><mi>x</mi><mi>i</mi></msub><mo>)</mo></mrow><mo>-</mo><msub><mi>x</mi><mi>j</mi></msub><mo>|</mo></mrow><mn>2</mn></msup></mrow><mrow><mo>∂</mo><msub><mi>s</mi><mn>1</mn></msub><mo>·</mo><mi>sin</mi><mi>θ</mi></mrow></mfrac><mo>=</mo><mn>0</mn><mo>,</mo></mrow><mrow><mfrac><mrow><mo>∂</mo><msup><mrow><mo>|</mo><mi>T</mi><mrow><mo>(</mo><msub><mi>x</mi><mi>i</mi></msub><mo>)</mo></mrow><mo>-</mo><msub><mi>x</mi><mi>j</mi></msub><mo>|</mo></mrow><mn>2</mn></msup></mrow><mrow><mo>∂</mo><msub><mi>s</mi><mn>2</mn></msub><mo>·</mo><mi>cos</mi><mi>θ</mi></mrow></mfrac><mo>=</mo><mn>0</mn><mo>,</mo></mrow><mrow><mfrac><mrow><mo>∂</mo><msup><mrow><mo>|</mo><mi>T</mi><mrow><mo>(</mo><msub><mi>x</mi><mi>i</mi></msub><mo>)</mo></mrow><mo>-</mo><msub><mi>x</mi><mi>j</mi></msub><mo>|</mo></mrow><mn>2</mn></msup></mrow><mrow><mo>∂</mo><msub><mi>s</mi><mn>2</mn></msub><mo>·</mo><mi>sin</mi><mi>θ</mi></mrow></mfrac><mo>=</mo><mn>0</mn><mo>,</mo></mrow><mrow><mfrac><mrow><mo>∂</mo><msup><mrow><mo>|</mo><mi>T</mi><mrow><mo>(</mo><msub><mi>x</mi><mi>i</mi></msub><mo>)</mo></mrow><mo>-</mo><msub><mi>x</mi><mi>j</mi></msub><mo>|</mo></mrow><mn>2</mn></msup></mrow><mrow><mo>∂</mo><msub><mi>t</mi><mi>x</mi></msub></mrow></mfrac><mo>=</mo><mn>0</mn><mo>,</mo></mrow><mrow><mfrac><mrow><mo>∂</mo><msup><mrow><mo>|</mo><mi>T</mi><mrow><mo>(</mo><msub><mi>x</mi><mi>i</mi></msub><mo>)</mo></mrow><mo>-</mo><msub><mi>x</mi><mi>j</mi></msub><mo>|</mo></mrow><mn>2</mn></msup></mrow><mrow><mo>∂</mo><msub><mi>t</mi><mi>y</mi></msub></mrow></mfrac><mo>=</mo><mn>0</mn></mrow>解得s1.cosθ∑xi2-s1.sinθ∑xiyi+tx∑xi＝∑xix′i，s1.cosθ∑xiyi-s1.sinθ∑yi2+tx∑yi＝∑yix′i，s2.sinθ∑xi2+s2.cosθ∑xiyi+ty∑xi＝∑xiy′i，s2.sinθ∑xiyi+s2.cosθ∑yi2+ty∑yi＝∑yiy′i，<mrow><msub><mi>s</mi><mn>1</mn></msub><mo>·</mo><mi>cos</mi><mi>θ</mi><mfrac><mn>1</mn><mi>n</mi></mfrac><mi>Σ</mi><msub><mi>x</mi><mi>i</mi></msub><mo>-</mo><msub><mi>s</mi><mn>1</mn></msub><mo>·</mo><mi>sin</mi><mi>θ</mi><mfrac><mn>1</mn><mi>n</mi></mfrac><mi>Σ</mi><msub><mi>y</mi><mi>i</mi></msub><mo>+</mo><msub><mi>t</mi><mi>x</mi></msub><mo>=</mo><mfrac><mn>1</mn><mi>n</mi></mfrac><mi>Σ</mi><msubsup><mi>x</mi><mi>i</mi><mo>′</mo></msubsup><mo>,</mo></mrow><mrow><msub><mi>s</mi><mn>2</mn></msub><mo>·</mo><mi>sin</mi><mi>θ</mi><mfrac><mn>1</mn><mi>n</mi></mfrac><mi>Σ</mi><msub><mi>x</mi><mi>i</mi></msub><mo>-</mo><msub><mi>s</mi><mn>2</mn></msub><mo>·</mo><mi>cos</mi><mi>θ</mi><mfrac><mn>1</mn><mi>n</mi></mfrac><mi>Σ</mi><msub><mi>y</mi><mi>i</mi></msub><mo>+</mo><msub><mi>t</mi><mi>y</mi></msub><mo>=</mo><mfrac><mn>1</mn><mi>n</mi></mfrac><mi>Σ</mi><msubsup><mi>y</mi><mi>i</mi><mo>′</mo></msubsup></mrow>將x平移到原點(diǎn)，有<mrow><mfrac><mn>1</mn><mi>n</mi></mfrac><mi>Σ</mi><msub><mi>x</mi><mi>i</mi></msub><mo>=</mo><mn>0</mn><mo>,</mo></mrow><mrow><mfrac><mn>1</mn><mi>n</mi></mfrac><mi>Σ</mi><msub><mi>y</mi><mi>i</mi></msub><mo>=</mo><mn>0</mn><mo>.</mo></mrow>若令a＝s1cosθ，b＝-s1sinθ，c＝s2sinθ，d＝s2cosθ，則有<mrow><msubsup><mi>s</mi><mn>1</mn><mn>2</mn></msubsup><mo>=</mo><msup><mi>a</mi><mn>2</mn></msup><mo>+</mo><msup><mi>b</mi><mn>2</mn></msup><mo>,</mo></mrow><mrow><msubsup><mi>s</mi><mn>2</mn><mn>2</mn></msubsup><mo>=</mo><msup><mi>c</mi><mn>2</mn></msup><mo>+</mo><msup><mi>d</mi><mn>2</mn></msup><mo>,</mo></mrow><mrow><mi>θ</mi><mo>=</mo><mo>-</mo><mi>arctan</mi><mrow><mo>(</mo><mfrac><mi>b</mi><mi>a</mi></mfrac><mo>)</mo></mrow></mrow>帶入，得<mrow><msub><mi>t</mi><mi>x</mi></msub><mo>=</mo><mfrac><mn>1</mn><mi>n</mi></mfrac><mi>Σ</mi><msubsup><mi>x</mi><mi>i</mi><mo>′</mo></msubsup><mo>,</mo></mrow><mrow><msub><mi>t</mi><mi>y</mi></msub><mo>=</mo><mfrac><mn>1</mn><mi>n</mi></mfrac><mi>Σ</mi><msubsup><mi>y</mi><mi>i</mi><mo>′</mo></msubsup><mo>,</mo></mrow><mrow><mfencedopen='('close=')'><mtable><mtr><mtd><mi>a</mi></mtd><mtd><mi>b</mi></mtd></mtr><mtr><mtd><mi>c</mi></mtd><mtd><mi>d</mi></mtd></mtr></mtable></mfenced><mo>=</mo><mfrac><mn>1</mn><mi>Δ</mi></mfrac><mfencedopen='('close=')'><mtable><mtr><mtd><mi>Σ</mi><msub><mi>x</mi><mi>i</mi></msub><msubsup><mi>x</mi><mi>i</mi><mo>′</mo></msubsup></mtd><mtd><mi>Σ</mi><msub><mi>y</mi><mi>i</mi></msub><msubsup><mi>x</mi><mi>i</mi><mo>′</mo></msubsup></mtd></mtr><mtr><mtd><mi>Σ</mi><msub><mi>x</mi><mi>i</mi></msub><msubsup><mi>y</mi><mi>i</mi><mo>′</mo></msubsup></mtd><mtd><mi>Σ</mi><msub><mi>y</mi><mi>i</mi></msub><msubsup><mi>y</mi><mi>i</mi><mo>′</mo></msubsup></mtd></mtr></mtable></mfenced><mfencedopen='('close=')'><mtable><mtr><mtd><mi>Σ</mi><msubsup><mi>y</mi><mi>i</mi><mn>2</mn></msubsup></mtd><mtd><mo>-</mo><mi>Σ</mi><msub><mi>x</mi><mi>i</mi></msub><msub><mi>y</mi><mi>i</mi></msub></mtd></mtr><mtr><mtd><mo>-</mo><mi>Σ</mi><msub><mi>x</mi><mi>i</mi></msub><msub><mi>y</mi><mi>i</mi></msub></mtd><mtd><mi>Σ</mi><msubsup><mi>x</mi><mi>i</mi><mn>2</mn></msubsup></mtd></mtr></mtable></mfenced><mo>,</mo></mrow>Δ＝∑x2i∑y2i-(∑xiyi)2帶入公式(1)，得T；步驟3得到三維仿射矩陣，施加于基準(zhǔn)人臉三維模型的每一個(gè)點(diǎn)，得到特定的人臉三維模型令T′是三維仿射變換矩陣，有<mrow><msup><mi>T</mi><mo>′</mo></msup><mfencedopen='('close=')'><mtable><mtr><mtd><mi>x</mi></mtd></mtr><mtr><mtd><mi>y</mi></mtd></mtr><mtr><mtd><mi>z</mi></mtd></mtr><mtr><mtd><mn>1</mn></mtd></mtr></mtable></mfenced><mo>=</mo><mfencedopen='('close=')'><mtable><mtr><mtd><msub><mi>s</mi><mn>1</mn></msub><mi>cos</mi><mi>θ</mi></mtd><mtd><mo>-</mo><msub><mi>s</mi><mn>2</mn></msub><mi>sin</mi><mi>θ</mi></mtd><mtd><mn>0</mn></mtd><mtd><msub><mi>t</mi><mi>x</mi></msub></mtd></mtr><mtr><mtd><msub><mi>s</mi><mn>2</mn></msub><mi>sin</mi><mi>θ</mi></mtd><mtd><msub><mi>s</mi><mn>1</mn></msub><mi>cos</mi><mi>θ</mi></mtd><mtd><mn>0</mn></mtd><mtd><msub><mi>t</mi><mi>y</mi></msub></mtd></mtr><mtr><mtd><mn>0</mn></mtd><mtd><mn>0</mn></mtd><mtd><mrow><mo>(</mo><msub><mi>s</mi><mn>1</mn></msub><mo>+</mo><msub><mi>s</mi><mn>2</mn></msub><mo>)</mo></mrow><mo>/</mo><mn>2</mn></mtd><mtd><mn>0</mn></mtd></mtr><mtr><mtd><mn>0</mn></mtd><mtd><mn>0</mn></mtd><mtd><mn>0</mn></mtd><mtd><mn>1</mn></mtd></mtr></mtable></mfenced><mfencedopen='('close=')'><mtable><mtr><mtd><mi>x</mi></mtd></mtr><mtr><mtd><mi>y</mi></mtd></mtr><mtr><mtd><mi>z</mi></mtd></mtr><mtr><mtd><mn>1</mn></mtd></mtr></mtable></mfenced></mrow>通過對(duì)基準(zhǔn)人臉三維模型的特征點(diǎn)和非特征點(diǎn)施加仿射變換T′，得到特定人臉三維模型，然后再對(duì)整個(gè)特定人臉三維模型的輪廓進(jìn)行整體調(diào)整，把臉部分為左半邊臉與右半邊臉。對(duì)于左臉部，通過人臉圖像上的臉部輪廓特征點(diǎn)，進(jìn)行樣條插值，生產(chǎn)一條與左半邊臉輪廓相似的光滑曲線，以臉部中心為遠(yuǎn)端，通過計(jì)算左半邊臉上的點(diǎn)與左半邊光滑曲線在X軸方向的距離，并根據(jù)該距離平移該點(diǎn)，右半邊臉的調(diào)整采用同樣方式處理；步驟4對(duì)特定人臉三維模型進(jìn)行局部區(qū)域?qū)?zhǔn)將人臉按五官分布劃分為多個(gè)不同的矩形區(qū)域，每個(gè)區(qū)域均含得到的特定人臉三維模型上一個(gè)特征點(diǎn)，把每個(gè)區(qū)域內(nèi)特定人臉三維模型上的特征點(diǎn)對(duì)齊到二維正面人臉的圖像特征點(diǎn)，然后根據(jù)距離和角度，調(diào)整區(qū)域內(nèi)其他點(diǎn)的位移，使特定人臉三維模型與二維正面人臉的圖像的局部對(duì)齊得更加準(zhǔn)確，同時(shí)保證模型的平滑；步驟5對(duì)步驟4得到的特定人臉三維模型進(jìn)行邊界網(wǎng)格延伸，得到人臉圖像板利用貝塞爾曲面和貝塞爾曲線將特定人臉三維模型平滑地延展，按照?qǐng)D像寬度和高度的比例關(guān)系，生成一個(gè)背景板，進(jìn)而形成整個(gè)二維正面人臉的圖像的三維網(wǎng)格；步驟6得到三維相似矩陣，施加于附屬網(wǎng)格的每一個(gè)點(diǎn)附屬網(wǎng)格由左右眼、口腔中的牙齒、舌頭和口腔體組成，根據(jù)二維仿射變換矩陣T，令T″是三維相似變換矩陣，有<mrow><msup><mi>T</mi><mrow><mo>′</mo><mo>′</mo></mrow></msup><mo>=</mo><mfencedopen='('close=')'><mtable><mtr><mtd><mrow><mo>(</mo><msub><mi>s</mi><mn>1</mn></msub><mo>+</mo><msub><mi>s</mi><mn>2</mn></msub><mo>)</mo></mrow><mi>cos</mi><mi>θ</mi><mo>/</mo><mn>2</mn></mtd><mtd><mo>-</mo><mrow><mo>(</mo><msub><mi>s</mi><mn>1</mn></msub><mo>+</mo><msub><mi>s</mi><mn>2</mn></msub><mo>)</mo></mrow><mi>sin</mi><mi>θ</mi><mo>/</mo><mn>2</mn></mtd><mtd><mn>0</mn></mtd><mtd><msub><mi>t</mi><mi>x</mi></msub></mtd></mtr><mtr><mtd><mrow><mo>(</mo><msub><mi>s</mi><mn>1</mn></msub><mo>+</mo><msub><mi>s</mi><mn>2</mn></msub><mo>)</mo></mrow><mi>sin</mi><mi>θ</mi><mo>/</mo><mn>2</mn></mtd><mtd><mrow><mo>(</mo><msub><mi>s</mi><mn>1</mn></msub><mo>+</mo><msub><mi>s</mi><mn>2</mn></msub><mo>)</mo></mrow><mi>cos</mi><mi>θ</mi><mo>/</mo><mn>2</mn></mtd><mtd><mn>0</mn></mtd><mtd><msub><mi>t</mi><mi>y</mi></msub></mtd></mtr><mtr><mtd><mn>0</mn></mtd><mtd><mn>0</mn></mtd><mtd><mrow><mo>(</mo><msub><mi>s</mi><mn>1</mn></msub><mo>+</mo><msub><mi>s</mi><mn>2</mn></msub><mo>)</mo></mrow><mo>/</mo><mn>2</mn></mtd><mtd><mn>0</mn></mtd></mtr><mtr><mtd><mn>0</mn></mtd><mtd><mn>0</mn></mtd><mtd><mn>0</mn></mtd><mtd><mn>1</mn></mtd></mtr></mtable></mfenced></mrow>對(duì)附屬網(wǎng)格的所有點(diǎn)施加相似變換T″，得到對(duì)齊后的附屬網(wǎng)格；步驟7將附屬網(wǎng)格平移到步驟5所得到的特定人臉三維模型的對(duì)應(yīng)位置；步驟8將步驟1所用的二維正面人臉的圖像作為紋理映射到步驟7所得到特定人臉三維模型，完成人臉圖像網(wǎng)格化。全文摘要本發(fā)明公開了一種二維正面人臉圖像的三維網(wǎng)格化方法對(duì)具有二維正面人臉的圖像進(jìn)行分析自動(dòng)提取人臉特征信息；將基準(zhǔn)人臉三維模型的特征點(diǎn)對(duì)齊二維正面人臉的特征點(diǎn)，得到二維仿射矩陣；將得到的三維仿射矩陣，施加于基準(zhǔn)人臉三維模型的每一個(gè)點(diǎn)，得到特定的人臉三維模型；對(duì)特定人臉三維模型進(jìn)行局部區(qū)域?qū)?zhǔn)；對(duì)特定人臉三維模型進(jìn)行邊界網(wǎng)格延伸，得到非臉部網(wǎng)格；將得到的三維相似矩陣，施加于附屬網(wǎng)格的每一個(gè)點(diǎn)，將附屬網(wǎng)格平移到特定人臉三維模型的對(duì)應(yīng)位置；將二維正面人臉的圖像作為紋理映射到特定人臉三維模型，完成人臉圖像網(wǎng)格化。該方法能從二維圖像中很好的提取人臉特征點(diǎn)，根據(jù)特征點(diǎn)生產(chǎn)人臉的真實(shí)自然的三維網(wǎng)格模型。文檔編號(hào)G06T17/00GK101739719SQ20091026355公開日2010年6月16日申請(qǐng)日期2009年12月24日優(yōu)先權(quán)日2009年12月24日發(fā)明者于佳麗,呂建成,張海仙,張蕾,彭德中,王平安,章毅,鄭伯川申請(qǐng)人:四川大學(xué)