047]圖4是示出了根據本發明實施例的3D臉部標準模型以及通過匹配該3D臉部標準模型而創建的最終的3D臉部模型的視圖。
[0048]參考圖4，根據本發明實施例的401表示之前創建的3D臉部標準模型。該之前創建的3D臉部標準模型具有標記，該標記用于與在3D臉部網格創建過程中創建的3D臉部網格400匹配，并且該之前創建的3D臉部標準模型還被結構化成將臉部分成多個區域，并且控制所分的區域以便于容易地變形。因此，通過圖2的步驟S107和S108匹配的最終3D臉部模型可具有與3D臉部標準模型相同的網格結構，并且因此，其可容易地變形。
[0049]根據如上述的用于采用便攜式相機獲得3D臉部模型的方法和裝置，個人可容易地通過使用諸如智能手機等的便攜式相機或者DSLR相機，以低的成本容易地對用戶的3D臉部建模，而無需使用特定目的的掃描設備或者單獨的高價相機，并且不需要必須到相應的設備安裝的位置。
[0050]而且，根據本發明的實施例，可獲得高質量的、逼真的3D模型，而不是僅利用成像臉部的有限數量的特征點來創建用于網絡空間中游戲或者頭像的角色的低質量3D臉部。
[0051]此外，根據本發明的實施例，由于以低成本捕獲高質量的3D用戶臉部，所述可以更容易地提供逼真的虛擬整形手術服務。而且，由于可以利用用戶的3D臉部模型提供多種與臉部相關的虛擬模擬服務，諸如虛擬穿戴如眼鏡和耳環等的配件服務、虛擬的發型服務或者3D皮膚化妝服務，所以相關的行業可得到極大發展。
[0052]雖然結合實施例對本發明進行了展示和說明，本發明并不僅限于此。本領域技術人員應當理解，在不脫離本發明的以下權利要求限定的范圍的情況下，本發明可作出多種變化和修正。
【主權項】
1.一種采用便攜式相機獲得三維(3D)臉部模型的裝置，包括: 臉部圖像捕獲單元，配置成捕獲多個用戶臉部圖像； 臉部圖像處理單元，配置成從所述捕獲的多個用戶臉部圖像中提取一系列臉部圖像；3D臉部網格創建單元，配置成分析所述多個臉部圖像的關系以創建3D用戶臉部網格；標準臉部模型匹配單元，配置成將3D臉部標準模型與由所述網格創建單元創建的所述3D臉部網格匹配，以產生最終的高質量用戶臉部模型； 臉部皮膚紋理合成單元，配置成從所述捕獲的多個圖像中創建臉部皮膚紋理；以及逼真的臉部繪制單元，配置成通過使用所述用戶的高質量3D臉部模型和所述皮膚紋理實施逼真的繪制。2.根據權利要求1所述的裝置，其中所述臉部圖像捕獲單元配置成通過采用便攜式相機依賴于圖像捕獲指導用戶界面捕獲所述用戶臉部的圖像，并且隨后存儲視頻和圖像。3.根據權利要求1所述的裝置，其中所述臉部圖像處理單元配置成以預定的間隔從傳輸的一組連續圖像中選擇圖像，以優化處理性能，并且探測臉部的輪廓線部分，其剩余部分被排除在后期處理目標之外。4.根據權利要求1所述的裝置，其中所述3D臉部網格產生單元配置成從一系列優化的圖像中提取關鍵點，分析這些點之間的關系以創建3D點云，并且在3D空間中連接點以創建3D臉部網格。5.根據權利要求1所述的裝置，其中所述標準臉部模型匹配單元配置成將所述3D臉部網格與之前建模的高質量標準模型匹配以創建最終的高質量臉部可變形的3D臉部模型，所述標準模型定義了關于臉部可變形的控制點。6.根據權利要求1所述的裝置，其中所述臉部皮膚紋理合成單元配置成將所述3D臉部模型轉換至UV空間，并且合成用戶圖像以創建用于臉部皮膚繪制的紋理圖。7.根據權利要求1所述的裝置，其中所述逼真的臉部繪制單元配置成將臉部皮膚紋理繪制成所述3D臉部模型，并且通過使用模擬皮膚效果的技術實施逼真的臉部繪制。8.一種用于獲取三維臉部模型的方法，該方法通過采用便攜式相機獲得3D臉部模型的裝置來獲取所述三維臉部模型，該方法包括: 通過采用所述便攜式相機，依賴于圖像捕獲指導用戶界面捕獲用戶臉部的多個圖像； 以特定的幀間隔從所述捕獲的多個圖像中獲取圖像以探測臉部的輪廓線； 從所述多個預處理的圖像中識別關鍵點，并且分析這些點之間的空間關系以產生3D點云； 連接3D點云的點以創建3D臉部網格； 將預存儲的3D臉部標準模型與之前過程中創建的所述3D臉部網格匹配以建模出光滑的高質量3D臉部模型；以及 合成用戶臉部圖像以創建用于與所述3D臉部模型一起繪圖的紋理圖。9.根據權利要求8所述的方法，其中，在捕獲中，采用所述用戶臉部保持靜止的方式，通過將所述相機從所述臉部的左側移動至所述臉部的右側，或者通過將所述相機從所述臉部的右側移動至所述臉部的左側，獲取所述用戶臉部的多個圖像，或者采用相機固定的方式，通過從左側至右側旋轉所述臉部，或者通過從右側至左側旋轉所述臉部，獲取所述用戶臉部的多個圖像。10.根據權利要求8所述的方法，其中，在獲取中，以預定的間隔從臉部圖像捕獲過程傳遞的視頻或者一組連續圖像中選擇最少的圖像，通過用于從相應的圖像中提取臉部輪廓線的算法提取臉部輪廓線，并且隨后實施屏蔽處理以將剩余的區域排除在處理目標之外。11.根據權利要求8所述的方法，其中，在識別中，從圖像處理過程傳遞的所述臉部圖像提取關鍵點，從相鄰的圖像中搜索相應的關鍵點并且連接所述相應的關鍵點，通過實施利用因式分解的空間頻率調制算法分析所述圖像的所述關鍵點的結構，從而根據捕獲的圖像獲取相機的屬性，例如焦距、角度等，并且基于這些信息，通過對所述關鍵點實施三角測量創建與所述關鍵點有關的3D空間中的坐標值。12.根據權利要求8所述的方法，其中，在連接中，通過利用光流技術創建額外的點云，并且隨后通過對創建的稠密點云應用三角測量將3D網絡創建成稠密的點云。13.根據權利要求8所述的方法，其中，在匹配中，通過使用預存儲的高質量3D標準模型的標記在之前過程中創建的3D臉部網絡上設置標記，基于相應的標記，利用迭代最近點(ICP)算法使兩個模型對準，并且隨后所述3D臉部標準模型的所述標記首先被改變成相應位置的所述3D臉部網格的標記，隨后所述3D臉部標準模型的其余的頂點通過非線性變形與所述3D臉部網格的頂點匹配。14.根據權利要求8所述的方法，其中，在合成中，創建的3D臉部模型被映射到UV空間，搜索相應于UV坐標的所述用戶圖像的像素值以創建用戶臉部皮膚顏色紋理圖，并且隨后，為了逼真地描繪，通過使用法向向量、光源位置等，針對所創建的顏色圖和所創建的3D臉部模型，創建諸如法向圖或者鏡面圖等的附加文本圖。
【專利摘要】本發明公開一種采用便攜式相機獲得三維臉部模型的方法和裝置，該裝置包括：臉部圖像捕獲單元；臉部圖像處理單元；3D臉部網格產生單元，配置成分析臉部圖像的關系以創建3D用戶臉部網格；標準臉部模型匹配單元，配置成使3D臉部標準模型與網格產生單元生成的3D臉部網格匹配以創建最終的高質量用戶臉部模型；臉部皮膚紋理合成單元，配置成從捕獲的圖像創建臉部皮膚紋理；以及逼真的臉部繪制單元，配置成通過使用用戶的高質量3D臉部模型以及皮膚紋理，實施逼真的繪制。根據本發明的裝置可以以低成本獲得高質量的、逼真的3D模型。
【IPC分類】G06T17/30
【公開號】CN104952111
【申請號】CN201410589974
【發明人】金鐘旻, 李尚紀, 金萬洙, 安敏虎
【申請人】特里庫比奇有限公司
【公開日】2015年9月30日
【申請日】2014年10月28日
【公告號】US20150279044