采用便攜式相機獲得三維臉部模型的方法和裝置的制造方法
【技術領域】
[0001]本發明涉及一種用于使用相機創建三維(3D)臉部模型的方法和裝置，尤其涉及一種用于從一系列由相機捕獲的連續圖像中產生高質量的、逼真的3D臉部模型的方法和
>j-U ρ?α裝直。
【背景技術】
[0002]采用相機創建3D臉部模型的方法包括采用多個同步相機的方法和采用單獨一個相機的方法。在采用多個同步相機的情況下，多個高分辨率的相機布置在固定的位置，而且在這種情況下，相機可以包括深度相機以及彩色相機。在這種方式中，采用相機一次獲得多個校準圖像以創建3D臉部模型。
[0003]采用這種方法，由于可以在一瞬間獲得臉部圖像，并且使用的是已經同步的相機信息，所以可以在短時間內創建3D臉部模型。然而，通常來說，需要高價的設備，并且需要大的空間來將相機布置在固定的位置，這導致高的安裝成本，并且對普通用戶來說存在成本和空間的限制。
[0004]為了采用單獨一個相機創建3D臉部模型，臉部需要多次成像以獲得一個或者多個圖像。首先，搜索多個臉部的特征點(接近眼睛、鼻子和嘴巴的點)，并且分析特征點的相互關系以獲得3D空間中的坐標。將已經創建的與3D模型對應的點變形以獲得用戶的3D臉部模型。然而，創建的特征點的數量僅僅是幾十個點，這在三維方向上精確地將人們的各種臉部形狀恢復成能夠虛擬整形手術(virtual plastic surgey)的水平方面還存在限制。
【發明內容】
[0005]考慮到上述內容，因此，本發明提供一種從利用相機捕獲的一系列連續圖像中產生高質量的、逼實的3D臉部模型的方法和裝置。
[0006]從下面的描述本領域的技術人員將明顯地理解，本發明的技術問題并不局限于上述的內容和其它這里沒有提及的技術問題。
[0007]根據本發明的一個方案，提供了一種采用便攜式相機獲得三維(3D)臉部模型的裝置，其包括:臉部圖像捕獲單元，配置成捕獲多個用戶臉部圖像；臉部圖像處理單元，配置成從捕獲的多個用戶臉部圖像提取一系列的臉部圖像；3D臉部網格產生單元，配置成分析多個臉部圖像的關系以產生3D用戶臉部網格；標準臉部模型匹配單元，配置成使3D臉部標準模型與網格創建單元創建的3D臉部網格匹配以創建最終的高質量的用戶臉部模型；臉部皮膚紋理合成單元，配置成從捕獲的多個圖像創建臉部皮膚紋理；以及逼真的臉部繪制(rendering)單元，配置成通過使用用戶的高質量的3D臉部模型以及皮膚紋理實施逼真的繪制。
[0008]在實施例中，其中臉部圖像捕獲單元配置成通過使用便攜式相機依賴于圖像捕獲指導用戶界面(UI)捕獲用戶臉部的圖像，并且隨后存儲視頻和圖像。
[0009]在實施例中，其中臉部圖像處理單元配置成以預定的間隔從傳輸的一組連續圖像中選擇圖像以優化處理過程，并且探測臉部的輪廓線(counter line)部分，其余的部分被排出在后期處理目標之外。
[0010]在實施例中，其中3D臉部網格創建單元配置成從一系列優化的圖像中提取關鍵點，分析這些點之間的關系以創建3D點云，并且在3D空間中連接點以創建3D臉部網格。
[0011]在實施例中，其中標準臉部模型匹配單元配置成將所述3D臉部網格與之前建模的高質量的標準模型匹配以創建最終的高質量臉部可變形的3D臉部模型，所述標準模型定義了關于臉部可變形的控制點。
[0012]在實施例中，其中臉部皮膚紋理合成單元配置成將3D臉部模型轉換至UV空間，并且合成用戶圖像以創建用于臉部皮膚繪制的紋理圖(map)。
[0013]在實施例中，其中逼真的臉部繪制單元配置成將臉部皮膚紋理繪制成3D臉部模型，并且通過使用模擬皮膚效果的技術實施逼真的臉部繪制。
[0014]根據本發明的一個方案，提供了一種獲取三維(3D)臉部模型的方法，該方法通過采用便攜式相機獲得3D臉部模型的裝置來獲取所述三維(3D)臉部模型，該方法包括:通過使用便攜式相機依賴于圖像捕獲指導用戶界面(UI)捕獲用戶臉部圖像；以特定的幀間隔從捕獲的多個圖像中獲得多個圖像以探測臉部輪廓線；從所述多個預處理的圖像中識別關鍵點并且分析這些點之間的空間關系以創建3D點云；連接3D點云的點以創建3D臉部網格；使預先存儲的3D臉部標準模型與之前過程中創建的3D臉部網格匹配，以模擬出光滑的高質量的3D臉部模型；以及合成用戶臉部圖像以創建用于與所述3D臉部模型一起繪圖的紋理圖。
[0015]在實施例中，其中，在捕獲中，采用所述用戶臉部保持靜止的方式，通過將所述相機從所述臉部的左側移動至所述臉部的右側，或者通過將所述相機從所述臉部的右側移動至所述臉部的左側，獲取所述用戶臉部的多個圖像，或者采用相機固定的方式，通過從左側至右側旋轉所述臉部，或者通過從右側至左側旋轉所述臉部，獲取用戶臉部的多個圖像。
[0016]在實施例中，其中，在獲取中，以預定的間從臉部圖像捕獲過程傳遞的視頻或者系列連續的圖像中隔選擇最少的圖像，通過用于從相應的圖像中提取臉部輪廓線的算法提取臉部輪廓線，并且隨后實施屏蔽處理以將剩余的區域排除在處理目標之外。
[0017]在實施例中，其中，在識別中，從圖像處理過程傳遞的臉部圖像中提取關鍵點，從相鄰的圖像中搜索相應的關鍵點并且連接所述相應的關鍵點，通過實施利用因式分解(factorizat1n)的空間頻率調制(Sfm)算法分析所述圖像的所述關鍵點的結構,從而根據捕獲的圖像獲取相機的屬性，例如焦距、角度等，并且基于這些信息，通過對關鍵點實施三角測量(triangulat1n)創建與所述關鍵點有關的3D空間中的坐標值。
[0018]在實施例中，其中，在連接中，通過利用光流技術創建額外的點云，并且隨后通過對所述創建的稠密點云應用三角測量將3D網絡創建成稠密的點云。
[0019]在實施例中，其中，在匹配中，通過使用預存儲的高質量3D標準模型的標記在之前過程中創建的3D臉部網絡上設置標記，基于相應的標記，利用迭代最近點(ICP)算法使兩個模型對準，并且隨后，所述3D臉部標準模型的所述標記首先被改變成相應位置的所述3D臉部網格的標記，隨后所述3D臉部標準模型的其余的頂點(vertice)通過非線性變形與所述3D臉部網格的頂點匹配。
[0020]在實施例中，其中，在合成中，創建的3D臉部模型被繪制到UV空間，搜索相應于UV坐標的用戶圖像的像素值以創建用戶臉部皮膚顏色紋理圖，并且隨后，為了逼真地描繪，通過使用法向向量、光源位置等，針對所創建的顏色圖和所創建的3D臉部模型，創建諸如法向圖(normal map)或者鏡面圖(specular map)等的附加文本圖。
【附圖說明】
[0021]專利或者申請文件包括至少一個在彩色下可執行的圖片。在請求和繳納必要費用之后，包含彩色圖片的該專利文本或者專利申請公開文本將由政府部門提供。
[0022]本發明的上述以及其它的目的和特征將從以下結合附圖的實施例的描述變得清楚，附圖中:
[0023]圖1是示出了根據本發明實施例的用于采用便攜式相機獲得3D臉部模型的裝置的視圖；
[0024]圖2是示出了根據本發明實施例的采用便攜式相機獲得3D臉部模型的過程的流程圖；
[0025]圖3是示出了根據本發明實施例的從由便攜式