專利名稱：單幅人物圖像中著裝人體三維模型估計方法
技術領域：
本發明涉及人體建模和計算機輔助設計領域，具體涉及單幅人物圖像中著裝人體三維模型估計方法。
背景技術：
虛擬現實(Virtual Reality,簡稱VR)以計算機技術為核心,結合相關科學技術， 生成與一定范圍真實環境在視、聽、觸感等方面高度近似的數字化環境，用戶借助必要的裝備與數字化環境中的對象進行交互作用、相互影響，可以產生親臨對應真實環境的感受和體驗。隨著社會生產力和科學技術的不斷發展，各行業對虛擬現實技術的需求日益旺盛，人們對虛擬現實技術的研究日益重視，虛擬現實技術也取得了巨大進展，并逐步成為一個新的科學技術領域。
在虛擬現實環境的構建中，逼真的三維人物模型能夠加深用戶的沉浸感，方便用戶之間的交互。但是現有的三維模型構建技術需要專業人士的大量手工交互，且與真實人物還是有明顯差異。相較之下，基于單幀圖像的三維人物模型估計技術具有取材方便、操作簡易、近似真實人物的優點。從虛擬現實和增強現實的理論技術發展和實用化應用前景來看，基于圖像的三維人物模型構建技術正在成為虛擬現實和增強現實方向的技術發展趨勢和典型研究熱點。
本方法涉及人體三維姿勢估計，三維人物模型表示以及基于圖像/視頻的三維人體模型估計等多方面相關技術，現分別介紹各項技術的發展現狀。
基于單幀圖像的三維人體姿勢估計該方面技術從給定的單張圖像中估計出目標人物的三維姿勢，并且以三維人體骨架的方式展現估計結果。目前該類技術大都采用半自動方法確定圖像中目標人物關節點的位置，再以此建立約束恢復出人物三維姿勢。但是由于用戶標點存在誤差，攝像機參數及目標人物的骨骼比例無法獲取，估計出的三維姿勢往往不是自然的動作。為了將人物姿勢限制在理想的范圍，微軟亞洲研究院的Rose等人將預先構建出的三維姿勢庫中的樣本按不同權重組合并進行插值，以構建出滿足用戶約束的自然動作，但是該方法只限于較小的樣本庫。德州農工大學的Xiaolin Wei等人使用混合因子分析的方法，對百萬個真實三維人體姿態作進行學習以獲得先驗，能夠對任意給定姿態的“自然程度”進行評估。對于輸入的單張圖像，在用戶對關節點手工標點后，綜合人體姿態先驗及用戶給定的約束，求解出符合用戶約束且合理的三維人體姿勢，有很大的借鑒意義。
三維人物模型表示技術三維人物的表示方法按照模型的精細度來劃分，由低到高大致可分為四類非參數化模型，如點云模型等；通用幾何體模型，如基于圓柱體的肢體表示模型等；參數化類人模型，如超二次曲面模型等；以及基于數據驅動的參數化人體模型。其中，基于數據驅動的參數化人體模型對人體的描述最為精細準確，因為這種技術的數據基礎是大量真實人物的三維掃描信息，能夠最為真實地反映人體在體型與動作兩方面的非剛性變化，對基于圖像/視頻的人體三維模型估計技術提供可靠的先驗信息。該種模型的核心在于對人體體型及動作變形進行參數化表示。
為了學習出人體體型的變化范圍，華盛頓大學的Alien等人首先對同一姿勢下各種體型的真實人物進行三維掃描，得到人體體型的三維模型樣本，然后將一個手工構建的虛擬人物逐個變形擬合到這些樣本上，得到其中的變形參數，最后對這些參數進行插值以獲取人體體型變化的連續空間。該方法的局限性在于不能對人體動作變形進行描述。
斯坦福大學的Anguelov等人提出了一種在動作和體型上都可以變形的三維人體模型，簡稱SCAPE模型。在體型學習上，SCAPE模型沿用了 Alien等人的方法；在動作學習上，使用了同一人物不同動作的三維掃描模型作為學習樣本。最后使用基于三角形的連續仿射變換方法獲得關于體型及動作的變形參數，并分別使用主成分分析及線性回歸擬合的方法對這兩種參數進行插值變換。該種方法能夠逼真地反映真實人物在動作及體型上的變化，具有很大的借鑒意義。
基于圖像/視頻的三維人體模型估計由于人體同時存在剛體與柔體的變形，使得基于單目圖像/視頻的三維人體模型估計難以開展。目前的相關研究大都是在預先調配好的協同多視角環境下進行的。布朗大學的Bdlan等人搭建了一個用于構建人體模型的協同環境，包括4個配準并同步的攝像機，能夠從4個角度獲取到目標人物在同一時刻的多張圖像。Bdlan等人首先使用基于圓柱體的人體模型對目標人物的三維動作進行初步估算，然后使用SCAPE人體模型對各圖像上的目標人物同時進行擬合，最終獲得一個目標人物的三維模型。該方法有三個限制必須使用多視角協同攝像頭環境且目標人物身穿緊身衣物，另外模型與目標人物的擬合過程比較緩慢。
布朗大學的Peng Guan等人首次提出了基于單張圖像的三維人體模型估計方法， 主要針對目標人物穿戴較少的情況，首先在用戶協助下估計出目標人物的三維動作，然后使用該著裝人體的真實輪廓、邊緣、皮膚上的光照陰影這三種線索，估計出SCAPE人體模型的參數，最終擬合出與目標人物體型、動作一致的三維人體模型。
針對目標人物衣物寬松的情況，布朗大學的Bdlan等人使用目標人物的多個動作之間的關系估計出其真實體型，但仍舊需要協同多視角環境。
通過分析國內外研究現狀可以得出，目前基于圖像/視頻估計目標人物三維模型的相關研究還處于起步階段，而且大多數研究需要搭建協同多視角環境；針對單張圖像的人物模型估計方法很少，且對目標人物的衣著要求嚴格，難以投入實際使用，滿足廣大用戶的需求。發明內容
本發明的目的是提供一種單幅人物圖像中著裝人體三維模型估計方法，所述方法能夠從包含人物的單張圖像中，估計出其著裝的三維人物模型與非著裝狀態下的三維體型模型，同時估計出圖像中人物的三維姿勢。
本發明的又一目的是提供一種適用范圍廣、操作簡便的著裝人體三維模型估計方法，所述方法不需要專業配置的實驗室，也不需要圖像中的人物必須穿緊身衣服。
為了克服現有技術存在的不足，達到上述目的，本發明提供了一種單幅人物圖像中著裝人體三維模型估計方法，所述方法包括如下步驟
步驟一、建立基于真實人物的三維模型訓練樣本庫，所述訓練樣本庫中包括多種真實人物體型、多種真實人體姿勢和多種服裝類型；
步驟二、在所述訓練樣本庫上學習出人體姿勢、人物體型及服裝之間的變形函數， 得到可變換各種姿勢、體型及服裝的可變形著裝三維人物模型，作為可變形模板，并根據所述多種真實人物體型計算出一種平均體型；
步驟三、選取包含待估計三維模型的著裝人體影像的單幅人物圖像，由用戶根據該著裝人體影像的著裝類型，在所述訓練樣本庫中包括的多種服裝類型中選擇一種相似的服裝類型，并且由用戶目測選擇該著裝人體影像上的多個關節點位置，計算機根據所選出的關節點位置初始化該著裝人體影像的三維姿勢，并將步驟二中的平均體型和用戶選出的服裝類型賦予到該三維姿勢上，從而得到該人體影像的初始三維模型。
優選的是，在所述步驟三之后，還包括
步驟四、根據所選出的關節點位置，將初始三維模型投影在單幅人物圖像上，得到該著裝人體的初始輪廓，并在所述單幅人物圖像上對該初始輪廓進行擬合約束，以得到該著裝人體的真實輪廓。
優選的是，在所述步驟四之后，還包括
步驟五、結合所述真實輪廓、所述三維姿勢和所選的服裝類型，對所述可變形模板進行參數估計，得到符合待估計著裝人體的包含體型、服裝和姿勢的三維著裝模型。
優選的是，步驟一中所述的三維模型訓練樣本庫，包括姿勢樣本庫、體型樣本庫與著裝人物樣本庫。
優選的是，所述三維模型訓練樣本庫的構建包括如下步驟
I對同一個人的70個姿勢進行全身三維掃描,得到的模型作為姿勢樣本庫；
II對111個不同體型人物的站立姿態進行全身三維掃描，得到的模型作為體型樣本庫；
III對體型樣本庫中每個人物分別在7種服裝類型著裝狀態下進行建模，得到的模型作為著裝人物樣本庫。
優選的是，步驟III中所述三維模型訓練樣本庫的著裝模型的建模包括如下步驟
A選擇一個三維人物模型，對其在著裝與非著裝兩種情況下的三維模型執行內部不可見面片自動清除算法，得到兩個包裹模型；
B學習出步驟A中所述的兩個包裹模型之間的變形差異，將所述差異傳播到體型樣本庫中的所有體型模型上，得到每個體型模型在所述服裝種類下的著裝模型；
C對于所有服裝類型，分別采用步驟A和步驟B的方法，構建出不同服裝類型的著裝人物樣本庫。
優選的是，步驟二中所述的可變形模板對姿勢、體型和著裝種類這三種變形方式進行了參數化，給定具體的一組低維參數，能夠快速地生成相應姿勢、體型和著裝的三維人物模型。
優選的是，步驟三在人體影像三維姿勢的估計上，使用了基于海量三維姿勢樣本的半自動估計方法，所述方法采用的三維姿勢樣本的容量級別是百萬數量級。
優選的是，步驟四中所述的著裝人體真實輪廓三維模型參數的估計方法包括如下步驟
a計算出所述初始三維模型與圖像中著裝人體的真實輪廓的匹配點對；6
b使用所述匹配點對作為約束，優化當前的姿勢參數；
c在新的姿勢參數上更新匹配點對，優化當前的體型參數；
d迭代步驟b和步驟C，直到匹配點對間的差異達到一個預定值時，獲得最優的姿勢參數和體型參數，使用所述參數可以生成所述圖像中著裝人體真實輪廓的著裝三維模型與體型模型。
本發明的有益效果是本發明所述方法只需要包含人物的單張圖像即可構建其三維著裝人物模型，適用范圍廣，操作簡便，而目前大部分相關方法需要協同多視角采集環境，只能在專業配置的實驗室進行；對圖像中人物的著裝有較好的適應性，而目前大部分相關方法需要圖像中人物身著緊身衣物以估算其真實體型；本發明所述方法能夠同時估算圖像中人物的著裝三維人物模型、真實體型與姿勢，而目前方法只能估算圖像中人物的體型與姿勢；估算出的著裝三維人物模型與圖像中人物匹配程度高，能夠進行如紋理貼圖之類的進一步應用。
圖I為本發明所述方法的總體設計結構示意圖2為本發明所述著裝人物樣本庫的樣本構建流程示意圖3為本發明所述可變形模板變形流程示意圖4為本發明所述可變形模板的參數估計示意圖5為本發明所述方法中從單幅圖像中估計出的三維著裝人物模型效果圖6為本發明所述方法的三種典型應用效果圖。
具體實施方式
下面結合附圖對本發明做進一步說明，以使本領域普通技術人員參照本說明書后能夠據以實施。
請參閱圖1，為本發明所述方法的總體設計結構示意圖，所述方法包括兩個階段: 可變形模板訓練階段與圖像中人物模型參數估計階段。在所述可變形模板訓練階段，首先建立了三種人物模型訓練集，包括姿勢樣本庫、體型樣本庫與著裝人物樣本庫，然后使用拓展的SCAPE人體模型訓練方法在這套訓練集上進行統計學習，分別訓練出姿勢、體型與著裝相關的變形映射函數，得到可變形模板；利用這些映射函數，給定期望的姿勢、體型及服裝類型這三種參數，能夠快速創建出特定的著裝人物模型。在所述圖像中人物模型參數估計階段，首先通過用戶輔助得到圖像中人物的服裝類型，同時對圖像中人物的三維姿勢與體型進行初始估計，構建初始著裝人物模型，然后使用該初始模型對圖像中人物進行前景分割，得到圖像中人物的輪廓，作為估計圖像中人物姿態和體型的線索。接著本發明通過計算三維著裝人物模型與輪廓的匹配點對，使用迭代的方式對圖像中人物的姿勢與體型進一步估計，得到圖像中人物的真實輪廓，使得最終構建出的三維著裝人物模型與圖像中的人物相吻合。所述方法具體包括如下步驟
步驟一、建立基于真實人物的三維模型訓練樣本庫，所述訓練樣本庫中包括多種真實人物體型、多種真實人體姿勢和多種服裝類型。
所述的三維模型訓練樣本庫，包括姿勢樣本庫、體型樣本庫與著裝人物樣本庫。所述姿勢樣本庫與所述體型樣本庫中的模型是通過三維掃描儀對真實人物進行掃描而得到的三維模型。所述姿勢樣本庫中包含同一個人的70種不同姿勢，所述體型樣本庫中包含 111個不同人體的站姿模型，其中有一個同時出現在所述姿勢樣本庫與所述體型樣本庫中的模型被設定為可變形模板的基準模型，擁有1. 25萬個網格節點與2. 5萬個三角網格面片，并且根據人體結構劃分為18個部分(頭、手、腳等)。經過人體網格注冊技術的匹配后， 所有其他模型的三角網格節點與鏈接方式都與所述基準模型完全對應。
所述著裝人物模型樣本庫是使用所述體型樣本庫中的三維人體進行著裝變形從而構建出來，本發明對每一種服裝類型都建立了 111個不同體型的著裝人物模型，目的是使所述每一種服裝都可以根據三維模型體型的變形而發生變形，符合每一個體型的人物穿著，每一個著裝人物模型的具體構建方式如圖2所示。M是體型樣本庫中的一個模型，首先使用SCAPE人體模型變形方法將它變形為T型姿勢M'，然后分別將所述T型模型依據著裝參考模型與體型參考模型進行變形。其中所述著裝參考模型與所述體型參考模型是同一個人著裝前后的三維模型，是使用POSER人體模型軟件制作而來，然而這一對參考模型的網格節點沒有對應，不能直接使用，所以本發明將M'分別變形成這一對參考模型的形狀，以學習對應網格面片的變形參數。本發明首先對兩個參考模型的內部不可見面片進行清除， 得到參考模型的兩個包裹模型，然后在所述包裹模型與M'的7個指定部位進行標注(腳上4個，手上2個，鼻尖I個)，利用麻省理工學院的Sumner等人提出的模型變形方法，將 W逐步擬合成包裹模型，最終得到一對與參考模型外形相似，但是網格節點與M'相同的模型(M'clothed，M unclothed) 由于 Mclothed M unclothed的網格結構完全對應，可以使用 Sumner等人提出三維模型變形遷移方法將M'…―與^ mel()thed對應的三角面片仿射矩陣加載到M'上，得到M'的著裝模型。
步驟二、在所述訓練樣本庫上學習出人體姿勢、人物體型及服裝之間的變形函數， 得到可變 換各種姿勢、體型及服裝的可變形著裝三維人物模型，作為可變形模板，并根據所述多種真實人物體型計算出一種平均體型。
所述可變形模板訓練對三種樣本庫中的模型進行統計學習，對人體模型在姿勢、 體型和著裝的三種變形進行參數化。對于訓練集中給定的一個三維模型M，需要計算出從基準模型變形成M的變形仿射矩陣并進行統計降維。請參閱圖3，令是基準模型中第k個三角面片的三個頂點，Ek,」=vkjJ-vkjl, j = 2, 3,是該三角形的兩條邊所在向量, E = , j = 2，3，是M中對應三角形的兩條邊所在向量，b是該三角面片所屬的肢體編號，則定義
Ek^Rb*Ck*Sk*Qk*Ekj
其中Ck，Qk, Sk是第k個三角面片3*3的仿射矩陣，分別代表著裝相關變形、體型相關變形與姿勢相關變形。Rb是一個3*3的旋轉矩陣，表示肢體b從基準模型所在姿勢到模型M所在姿勢的旋轉角度，可以通過基準模型與M的對應節點使用非線性最優化方法估算得到。統計學習的目的是學習出一組映射函數，將一組低維的(姿勢，體型，著裝)參數 (θ,β,γ)映射到每個三角面片的變形仿射矩陣(Q，S，C)上，對模型在這三種方面的變形進行了低維參數化控制。
在除去著裝變形的情況下，本發明使用SCAPE人體模型的訓練方法，對姿勢和體型的變形仿射矩陣進行學習統計，得到一套將姿勢參數Θ映射到姿勢仿射矩陣Q的映射函數fQ(0)，和一套將體型參數β映射到體型仿射矩陣s的映射函數fs(i3)，具體方法可查閱SCAPE模型的文獻。本發明將體型參數β的維數設定為20，可以覆蓋體型樣本庫中80% 的體型變化。以下具體闡述著裝變形映射函數的學習方法
技術領域：
本發明對著裝樣本庫中的每種服裝類型學習出一套著裝變形映射函數，對于給定的服裝類型參數Y與體型參數β，該映射函數，Y)能給出每個三角面片的著裝仿射矩陣C。著裝映射函數的訓練步驟包括單個樣本仿射矩陣的學習與總體樣本參數統計兩個子階段。在單個樣本參數學習階段，給定服裝類型Y，對于著裝模型樣本庫中服裝類型為 Y的每個樣本Mi,估計其每個三角面片對應的仿射矩陣Ck。具體方法是求解以下最優化問題
權利要求
1.單幅人物圖像中著裝人體三維模型估計方法，其特征在于，所述方法包括以下步驟 步驟一、建立基于真實人物的三維模型訓練樣本庫，所述訓練樣本庫中包括多種真實人物體型、多種真實人體姿勢和多種服裝類型； 步驟二、在所述訓練樣本庫上學習出人體姿勢、人物體型及服裝之間的變形函數，得到可變換各種姿勢、體型及服裝的可變形著裝三維人物模型，作為可變形模板，并根據所述多種真實人物體型計算出一種平均體型； 步驟三、選取包含待估計三維模型的著裝人體影像的單幅人物圖像，由用戶根據該著裝人體影像的著裝類型，在所述訓練樣本庫中包括的多種服裝類型中選擇一種相似的服裝類型，并且由用戶目測選擇該著裝人體影像上的多個關節點位置，計算機根據所選出的關節點位置初始化該著裝人體影像的三維姿勢，并將步驟二中的平均體型和用戶選出的服裝類型賦予到該三維姿勢上，從而得到該人體影像的初始三維模型。
2.如權利要求I所述的單幅人物圖像中著裝人體三維模型估計方法，其特征在于，在所述步驟三之后，還包括 步驟四、根據所選出的關節點位置，將初始三維模型投影在單幅人物圖像上，得到該著裝人體的初始輪廓，并在所述單幅人物圖像上對該初始輪廓進行擬合約束，以得到該著裝人體的真實輪廓。
3.如權利要求2所述的單幅人物圖像中著裝人體三維模型估計方法，其特征在于，在所述步驟四之后，還包括 步驟五、結合所述真實輪廓、所述三維姿勢和所選的服裝類型，對所述可變形模板進行參數估計，得到符合待估計著裝人體的包含體型、服裝和姿勢的三維著裝模型。
4.如權利要求I所述的單幅人物圖像中著裝人體三維模型估計方法，其特征在于，步驟一中所述的三維模型訓練樣本庫，包括姿勢樣本庫、體型樣本庫與著裝人物樣本庫。
5.如權利要求4所述的單幅人物圖像中著裝人體三維模型估計方法，其特征在于，所述三維模型訓練樣本庫的構建包括如下步驟 I對同一個人的70個姿勢進行全身三維掃描，得到的模型作為姿勢樣本庫； II對111個不同體型人物的站立姿態進行全身三維掃描，得到的模型作為體型樣本庫； III對體型樣本庫中每個人物分別在I種服裝類型著裝狀態下進行建模，得到的模型作為著裝人物樣本庫。
6.如權利要求5所述的單幅人物圖像中著裝人體三維模型估計方法，其特征在于，步驟III中所述三維模型訓練樣本庫的著裝模型的建模包括如下步驟 A選擇一個三維人物模型，對其在著裝與非著裝兩種情況下的三維模型執行內部不可見面片自動清除算法，得到兩個包裹模型； B學習出步驟A中所述的兩個包裹模型之間的變形差異，將所述差異傳播到體型樣本庫中的所有體型模型上，得到每個體型模型在所述服裝種類下的著裝模型； C對于所有服裝類型，分別采用步驟A和步驟B的方法，構建出不同服裝類型的著裝人物樣本庫。
7.如權利要求I所述的單幅人物圖像中著裝人體三維模型估計方法，其特征在于，步驟二中所述的可變形模板對姿勢、體型和著裝種類這三種變形方式進行了參數化，給定具體的一組低維參數，能夠快速地生成相應姿勢、體型和著裝的三維人物模型。
8.如權利要求I所述的單幅人物圖像中著裝人體三維模型估計方法，其特征在于，步驟三在人體影像三維姿勢的估計上，使用了基于海量三維姿勢樣本的半自動估計方法，所述方法采用的三維姿勢樣本的容量級別是百萬數量級。
9.根據權利要求2所述的單幅人物圖像中著裝人體三維模型估計方法，其特征在于，步驟四中所述的著裝人體真實輪廓三維模型參數的估計方法包括如下步驟 a計算出所述初始三維模型與圖像中著裝人體的真實輪廓的匹配點對； b使用所述匹配點對作為約束，優化當前的姿勢參數； c在新的姿勢參數上更新匹配點對,優化當前的體型參數； d迭代步驟b和步驟C，直到匹配點對間的差異達到一個預定值時，獲得最優的姿勢參數和體型參數，使用所述參數可以生成所述圖像中著裝人體真實輪廓的著裝三維模型與體型模型。
全文摘要
本發明公開了單幅人物圖像中著裝人體三維模型估計方法，步驟如下首先，建立基于真實人物的三維模型訓練樣本；其次，在該訓練樣本上學習人體姿勢、體型及服裝之間的變形函數，并計算出所述多種真實人物體型的平均體型；然后，選取包含著裝人體影像的單幅圖像，由用戶選擇服裝類型和多個關節點位置，計算機根據這些關節點位置初始化該著裝人體影像的三維姿勢，并將平均體型和用戶選出的服裝類型賦予到該三維姿勢上，從而得到該人體影像的初始三維模型。最后，根據該著裝人體影像的輪廓，自動調整初始三維模型的體型與姿勢，使三維模型符合目標人物的外形。本發明所述方法只需人物單張圖像即可構建其三維著裝人物模型，適用范圍廣，操作簡便。
文檔編號G06T17/00GK102982578SQ201210429279
公開日2013年3月20日 申請日期2012年10月31日 優先權日2012年10月31日
發明者陳小武, 趙沁平, 郭宇, 周彬 申請人:北京航空航天大學